정형·비정형 데이터 저장 및 활용, 저렴한 개방형 스토리지 지원하면서 높은 성능 제공

IBM이 13일 여의도 본사에서 기자간담회를 열고 기업이 AI를 잘 활용하도록 지원하기 위한 새로운 데이터 레이크하우스 솔루션 'IBM 왓슨x.데이터(watsonx.data)'를 발표했다. 

IDC 조사 결과, 전 산업군에서 대대적인 디지털 전환이 이뤄지면서 향후 5년간 기업이 보유한 데이터의 양은 250% 이상 증가할 것으로 예상된다. 오늘날 기업이 보유한 데이터는 온프레미스, 프라이빗 클라우드, 퍼블릭 클라우드, 엣지 등 다양한 환경에 분산돼 있어 공유나 활용이 쉽지 않다.

데이터 형식이 문서, 이미지, 동영상 등 다양해지고, 데이터의 품질이 오래되고 일관성이 없는 경우도 많아 데이터를 활용하기 위해서는 80%의 시간을 데이터 정리, 통합, 준비하는데 사용한다는 통계도 있다. 이런 상황에서 기존의 데이터 접근 방식은 오히려 복잡성을 가중시키고 불필요한 비용을 야기하며 AI의 잠재력을 최대한 끌어내기 어렵다. 

현재 많은 기업은 데이터를 저장하고, 분석, 활용하기 위해 데이터 웨어하우스를 사용한다. 성능이 높은 대신 정형 데이터만 저장, 분석이 가능하고, 비용이 많이 드는 데이터 웨어하우스의 약점을 보완하기 위해 이미지, 동영상 등 비정형 데이터를 저장 및 사용하고, 비용이 상대적으로 저렴한 데이터 레이크를 도입한 기업이 늘었지만, 데이터 레이크는 성능이 낮고, 단일 클라우드에서만 사용이 가능한 경우가 많아 AI를 전 비즈니스 영역으로 확대하는 데 적합하지 않았다. 

IBM이 발표한 왓슨x.데이터는 데이터 웨어하우스의 고성능 처리 기술과 데이터 레이크의 유연성을 함께 제공하는 새로운 데이터 레이크하우스 솔루션이다. 정형 데이터와 비정형 데이터를 자유롭게 저장, 활용할 수 있으며, 저렴한 개방형 스토리지를 지원하면서도 높은 성능을 제공한다. 

왓슨x.데이터는 기업이 AI 작업을 확대 적용을 최우선으로 지원한다. 온프레미스, 클라우드, 멀티 클라우드 등 데이터가 저장된 위치에 상관없이 단일 접속 지점으로부터 모든 데이터에 접근 가능하며, 중앙집중식 거버넌스 및 보안, 자동화 기술을 내장, 데이터를 보호하고, 규정 준수 여부를 관리하며, 신뢰성을 유지한다. 

왓슨x.데이터는 멀티 쿼리 엔진과 스토리지 계층 기술로 AI 및 분석 작업을 최적화하고 데이터 용도에 따라 컴퓨팅 및 저장 공간을 확장 또는 축소해 기존에 사용 중인 데이터 웨어하우스 비용을 50% 까지 절감한다. 

AI를 통해 비즈니스 가치를 극대화하기 위해서는 데이터 분석가, 데이터 과학자뿐 아니라 기업 사용자 누구든 신뢰할 수 있는 고품질의 검증된 데이터를 셀프 서비스로 활용하게 하는 것이 중요하다. 이를 위해 왓슨x.데이터는 다른 왓슨x 플랫폼 솔루션과 마찬가지로 파운데이션 모델과 생성형 AI를 활용하고 있다. 

사용자가 자연어 문장과 질문을 사용해 필요한 데이터를 활용하도록 돕는 시맨틱 오토메이션라는 기능이 그 대표적인 예다. 한 예로, 사용자가 왓슨x.데이터에 “이 테이블에 거주지 데이터를 추가해줘”라고 말하면 시맨틱 오토메이션의 AI가 후보 테이블을 찾고, 실제로 조건을 충족시키는 테이블 간의 조인 키도 찾아내는 식이다. 

이 기술로 사용자는 코딩이나 데이터 엔지니어링 전문 지식 없이도 셀프 서비스 대화 기능을 사용하여 데이터를 쉽게 검색, 보강, 정제할 수 있다. 시맨틱 오토메이션 기술은 2024년 초에 정식 공개될 예정이다. 

한편, 과거 기업들은 AI를 도입할 때, 다양한 AI 모델에 데이터를 학습시키고 유지 관리하는 데 상당한 어려움을 겪어왔다. 이 때 등장한 것이 파운데이션 모델이다. 파운데이션 모델은 레이블이 지정되지 않은 방대한 양의 데이터를 사전에 학습한 AI 모델이다. 

조직은 AI 활용 시 파운데이션 모델을 사용하면 AI를 학습시키기 위한 데이터 준비 및 학습에 들어가는 시간과 비용을 절감한다. 또한, 레이블이 지정된 데이터를 이전 방식보다 10~100배 적게 사용해 사용 사례에 쉽게 적용한다. 그 결과, 조직에서 결과를 창출하는 시간이 단축되고, 내부 팀의 생산성을 향상한다. 

파운데이션 모델은 생성형 AI를 가능하게 하는 기본 바탕이다. 그러나, 파운데이션 모델과 생성형 AI에 있어 소비자용과 비즈니스용 AI 애플리케이션은 다르다. 오늘날 기업은 신뢰하는 데이터, 속도, 거버넌스를 통해 조직 전체에 AI를 활용하기 위한 전 과정을 아우르는 모든 기술과 서비스가 필요하다. 또한, 이 모든 것은 한 곳에서 활용하며, 모든 클라우드 환경에 걸쳐 실행할 수 있어야 한다. 
 
이러한 비즈니스 요구조건이 반영된 IBM의 AI 플랫폼 '왓슨x'는 기존 머신러닝 및 최신 파운데이션 모델을 구축 및 개선하는 기업용 AI 및 데이터 플랫폼이다. 비즈니스 전용이므로 데이터가 어디에 있든 책임감 있고 투명하게 데이터를 활용한다. 'x'는 규모를 의미하며 비즈니스에서 AI의 영향력을 배가함을 의미한다. 

IBM은 왓슨x의 핵심이 신뢰성이라고 밝혔다. 기업은 고객과 상호 작용할 때 AI가 거짓 정보를 사실처럼 꾸며내거나 부적절한 언어를 사용하지 않을 것이라는 확신을 가질 수 있어야 한다. IBM의 접근 방식은 진화하는 법률 및 규제 환경에 민첩하게 적응하는 적절한 수준의 엄격성, 프로세스, 기술 및 도구를 구축하는 것이다. 

IBM은 오는 7월 왓슨x.데이터를 한국을 포함한 전 세계에서 정식 출시하며 비즈니스용 AI 시장을 본격 공략할 계획이라고 밝혔다. 

오토메이션월드 서재창 기자 |