일반뉴스 엔비디아 텐서RT 3, 하이퍼스케일 데이터센터를 위한 AI 추론 성능 대폭 강화
엔비디아(nvidia)가 새로운 엔비디아 텐서RT 3 AI 추론 소프트웨어(NVIDIA® TensorRT 3 AI inference software)를 공개했다. 본 소프트웨어는 대폭 향상된 성능을 제공하는 동시에, 자율주행차, 로봇 등과 관련된 클라우드에서 엣지 디바이스에 이르는 추론 비용을 절감할 수 있도록 지원한다. 텐서RT 3와 엔비디아 GPU를 결합하는 경우, 이미지 및 음성 인식, 자연어 처리, 비주얼 검색 및 맞춤 제안 등 인공지능 기반 서비스를 위한 프레임워크 전반에서 초고속으로 효율적인 추론을 구현할 수 있다. 텐서RT와 엔비디아 테슬라 GPU 가속기(NVIDIA Tesla® GPU accelerators)는 CPU 기반 솔루션의 10분의 1에 불과한 비용으로 CPU 대비 최대 40배 가량 빠른 속도를 낼 수 있다. 엔비디아의 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 “인터넷 기업들은 수십억 인구가 사용하는 서비스에 인공지능을 적용하려는 경쟁에 뛰어들고 있다. 이에 따라, 인공지능 추론 작업부하가 기하급수적으로 증가하고 있다”며, “엔비디아 텐서RT는 세계 최초의 프로그래밍이 가능한