최근 스마트폰 카메라는 고기능 및 다기능화되는 경향이다. 그중에서도 이미지를 3D로 센싱하려는 시도가 활발하게 진행되고 있으며, 듀얼 카메라는 그러한 시도 중 하나라고 할 수 있다. 

따라서 본지에서는 정보통신기술진흥센터 기술정책단 산업분석팀에서 발표한 자료를 바탕으로 듀얼 카메라를 포함해 스마트폰 카메라로 3D 센싱을 구현하려는 다양한 시도와 개발 동향, 시장 환경 등을 살펴본다.

2000년 전후 휴대폰에 카메라가 탑재되기 시작했고, 2005년경에는 휴대폰용 카메라가 휴대폰 산업의 킬러 애플리케이션으로 부상했다. 특히 휴대폰의 중요한 차별화 포인트 중 하나로 부각되며 화소 수가 빠르게 증가했다. 

휴대폰이 피처폰에서 스마트폰으로 진화하고, 통신 기술이 발달해 고용량 데이터의 송수신이 용이해졌으며 SNS가 확산됨에 따라 후면에 이어 전면 카메라까지 필수 아이템이 됐다. 화소 수도초기 피처폰의 VGA(30만 화소)급 내외였던 수준에서 발전해 최근 후면 12∼16MP(Mega Pixel), 전면 5∼8MP이 주류를 이루고 있는 가운데 20MP 이상의 카메라가 탑재된 제품도 출시되고 있다.

진화하고 있는 스마트폰 카메라

이제 스마트폰 카메라의 중요 차별화 포인트인 화소 경쟁이 어느 정도 한계에 도달했으며, 하이엔드 스마트폰을 중심으로 새로운 성능 차별화 포인트가 필요하다는 것이 업계의 중론이다. 

이에 고화소화 중심의 스마트폰 카메라가 고기능화, 다기능화 방향으로 나아가기 시작했다. OIS(Optical Image Stabilizer)를 통한 손떨림 보정, 듀얼 픽셀 적용을 통한 AF(Auto Focus) 기능 강화 등은 고기능화의 대표적인 사례이며, 최근에는 후면에 두개의 카메라를 탑재해 카메라가 제공할 수 있는 물체 판독 기능을 배경으로 센싱 기능을 강조하는 듀얼 카메라가 부상하고 있다.

기존 LG전자의 옵티머스3D, HTC의 One M8, 화웨이(Huawei)의 Honor 6 Plus를 비롯해 LG전자 G5, 화웨이의 P9 시리즈(2016년 4월) 등 이미 많은 벤더들이 듀얼 카메라 탑재 폰을 출시하고 있으며, 삼성과 애플 등도 차기 제품에 듀얼 카메라를 탑재할 전망이다.

이러한 발전 방향 중 분명한 것은 3D 센싱이다. 최근 VR(가상현실)을 배경으로 카메라의 3D 센싱에 대한 관심이 크게 증가하고 있다. 이것은 지난해 CES, MWC 등에서 가장 큰 주목을 받은 분야 중 하나가 VR이며, 업계에서 지난해를 VR 산업의 원년으로 평가한다는 것에서도 알 수 있다. 이러한 VR 체험의 핵심은 입체적인 3차원(3D) 영상이며, 따라서 VR 콘텐츠를 제작하기 위해서는 3D 영상을 촬영할 수 있는 3D 카메라가 반드시 필요하다.

스마트폰용 3D 카메라 개발 동향

3D 카메라는 특정 장면에서 객체에 작용하는 모든 광선을 수집해 객체의 심도 정보(Depth Information)를 포착할 수 있는 카메라를 말한다.

스마트폰에 탑재되어 심도 정보를 수집하는 카메라 기술은 현재 크게 두 가지 방향으로 전개되고 있는데, 첫 번째 방향은 멀티 카메라(혹은 렌즈)를 사용하는 방법이다. 이 경우 2개 이상의 카메라를 이용해 가시광선을 포착하고 심도 정보를 측정해 3D 이미지를 생성하며 멀티 카메라, 멀티 렌즈 등의 방법으로 구현한다. 

그리고 두 번째 방향은 센서 카메라로 카메라 모듈에 심도 센싱(Depth Sensing)하기 위해 별도의 센서를 탑재하는 방식으로, SL(Struc-tured Light) 방식과 ToF(Time of Flight) 방식이 대표적이다.

현재 3D 카메라는 다양한 방식으로 개발되고 있으며, 실용화에서는 듀얼 카메라가 한발 앞서고 있는 상황이다. 듀얼 카메라는 사람의 눈처럼 2개의 카메라가 탑재돼 역할을 분담하는 멀티 센서 방식이다. 예를 들면, 한 개의 카메라는 피사체에 초점을 맞추고, 다른 카메라는 주변 배경을 촬영해 두 개의 영상을 합성하는 방식이다. 

이러한 듀얼 카메라의 렌즈 조합은 기술적으로 봤을 때 어떤 조합도 가능하지만, 최근에는 각각 다른 기능을 가진 고화소 1개, 저화소 1개의 조합이 많이 사용되고 있는 추세이다. 듀얼 카메라 솔루션은 기존 카메라의 방법론을 사용하므로, 대부분의 기업들이 기존 애플리케이션 프로세서를 이용하여 쉽게 채택할 수 있다는 장점도 갖고 있다.

2011년 LG전자의 ‘옵티머스 3D’ 등을 통해 듀얼 카메라 탑재 제품이 출시된 이래 많은 스마트폰 벤더들이 듀얼 카메라를 적용하려고 하고 있다. 그러나 아직 깊이 정보의 품질이 기대에 미치지 못하고 있고 이로 인해 정밀한 3D 이미지 제공이 어렵다는 점에서, 각 벤더들은 최근 이미지 품질 향상에 집중하고 있는 것으로 분석되고 있다.

듀얼 카메라 개발 부분에서는 애플이 링스(LinX)를 인수하는 등 가장 앞선 것으로 평가되고 있다. 애플은 성장성 한계에 대한 대안으로 고부가가치 제품 판매를 확대하고 있으며, 특히 세대별로 차별화 포인트를 제공하고 있다. 이러한 가운데 퀄컴과 삼성전자 등도 코어포토닉스(Corephotonics)와의 제휴를 통해 애플을 추격하고 있다.

한편, 애플은 지난 6년간 링스 외에 마이크로소프트 엑스박스(Microsoft Xbox) 키넥트(Kinect)의 첫 번째 모델을 개발한 센서 카메라 업체 프라임센스(PrimeSense)를 포함해 3D 매핑, 위치분석, 증강현실, 생체인식 등 모두 17개의 3D 또는 카메라 및 영상 관련 기술 보유업체들의 M&A를 진행했다.

▲ 최근 6년간 애플이 인수한 카메라/영상 관련 업체

곤충의 겹눈을 닮은 3D 카메라 기술

3D 카메라의 경우, 다양한 각도에서 들어오는 빛을 포착하기 위해 탑재된 마이크로렌즈 어레이로 특징지을 수 있으며, 개념적으로 봤을 때 곤충의 겹눈(Compound Eyes)과 유사하다. 이 카메라는 미국의 Lytro사에서 개발했으며, 이 기술을 채택한 Lytro의 카메라는 2012년에 1세대, 2014년에 2세대 제품이 출시됐으며 국내의 경우 2015년 3월에 출시됐다.

이 기술은 이미지 센서와 렌즈 사이에 마이크로 렌즈를 넣어 한 번의 샷으로 빛을 받아들이는 방향과 각도, 거리, 색상, 밝기 등을 모두 파일 형태로 기록하는 방식이다. 따라서 한 번의 샷으로 저장된 파일 하나만 있으면 전용 SW를 통한 후보정으로 언제든지 원하는 각도에서 원하는 피사체에 초점을 맞춘, 즉 원하는 포커스 상태의 사진을 만들 수 있으며 이미지 프로세서를 통한 심도 정보 확보로 3D 이미지도 생성할 수 있다.

그러나 이 방식은 최종 이미지의 화소 수가 적다는 문제도 있다(2D 변환 이미지 기준 약 400만 화소). 따라서 효율적인 화소 수 확대 방법의 개발 여부가 이 방식의 성공에 큰 영향을 미칠 것으로 보인다.

또한 여러 개의 작은 카메라를 모듈화한 카메라 어레이의 경우, 기본적으로 플래시 등의 구성은 기존 카메라와 같지만 여러 개의 작은 카메라들이 격자 형태의 모듈을 구성해 피사체를 포함한 공간을 다양한 각도에서 촬영함으로써 여러 각도에서 촬영된 복수의 이미지를 확보할 수 있다. 이 기술은 현재 여러 벤더들이 개발하고 있으며 선두 업체로는 펠리칸 이미징(Pelican Imaging), 헵타곤(Heptagon) 등이 있다.

그러나 이렇게 미래 기술로 각광받고 있는 3D 카메라에도 해결해야 할 기술적 난제가 있다. 카메라 모듈에 심도 센싱(Depth Sensing)을 위해 별도의 센서를 탑재해야 하는데, SL(Structured Light) 방식과 ToF(Time of Flight) 방식이 대표적이다.

SL 방식은 특정 패턴(직선 또는 격자무늬)의 레이저를 촬영 대상에 방사하고, 대상 표면의 모양에 따라 패턴이 변형된 정도를 분석해 심도를 계산한 후 이미지 센서가 찍은 사진과 합성해 3D 기반의 촬영 결과를 도출하는 것이다. 이 방식은 특정하게 패턴화된 레이저 적외선(IR) 프로젝터, 적외선 심도 센서(1∼2개), 이미지 센서, 3D 프로세서 등으로 구성된다.

SL 방식 기반으로 RealSense 플랫폼을 제공하고 있는 인텔이 3D 카메라 기술 분야에서 가장 앞선 것으로 평가되고 있다. 이미 F200과 R200 모델이 출시되었으며 지난해에는 렌즈 및 센서가 보강된 ZR300을 발표하기도 했다. 3D 카메라는 기존 2D 싱글 카메라 및 듀얼 카메라 대비 높은 심도를 제공하지만, 스마트폰에 탑재하기에는 아직 크기가 크므로 인텔에서는 3D 인지 기능 강화 외에 제품 소형화에도 집중하고 있다.

그리고 ToF 방식은 레이저가 촬영 대상에 갔다가 반사돼서 돌아오는 시간을 측정해 심도를 계산한 후 이미지 센서가 찍은 사진과 합성해 3D 기반의 촬영 결과를 도출한다. 이 방식은 레이저 적외선 프로젝터(송신), 수신 센서, 이미지 센서, 3D 프로세서 등으로 구성되며, 선도 업체로는 소니와 마이크로소프트가 있다.

소니의 경우 2015년 10월, 벨기에의 ToF 이미지 센서 개발 업체인 소프트키네틱(Softkinetic)을 인수했는데, 이는 소니 게임기(Play Station4)용 VR 솔루션 개발, 글로벌 시장을 과점하고 있는 이미지 센서 사업부의 3D 기술 개발 강화, 향후 성장 가능성이 높은 3D 시장의 주도권 확보 등을 위한 포석으로 분석되고 있다. 특히 소니는 듀얼 카메라 모듈 사업에서의 철수를 공식화했는데 이는 ToF 센서 카메라 시장에 집중하기 위한 전략으로 보인다.

전술한 바와 같이, 이미 많은 기업들이 3D 카메라 탑재 스마트폰을 출시했거나 출시할 예정이어서 급속한 시장 성장이 예상되고는 있지만 비용, 즉 가격 측면에서의 단점도 제기되는 등 저해 요인도 공존하고 있는 상황이다.

스마트폰용 3D 카메라에 이처럼 성장 저해 요인과 기술적인 해결 과제가 남아 있는 가운데, 한동안은 이미 스마트폰에 탑재되고 있는 듀얼 카메라를 중심으로 초기 시장이 형성될 것으로 전망된다. 시장 성장성에 대해서는 기관별로 약간의 차이가 있지만 대체로 폭발적 성장성에 무게를 두고 있다.

삼성증권은 듀얼 카메라를 채택하는 스마트폰이 2015년 1,700만 대에서 올해 2억 5천만 대로 증가하고, 2020년이 되면 전체 스마트폰의 약 30%에 달할 것으로 전망했다. 그리고 SK증권은 애플 아이폰 7의 듀얼 카메라 채택, 삼성전기의 본격적인 듀얼 모듈 판매 확대, LG전자의 광각 카메라 모듈 채용 확대 전략 등이 듀얼 카메라의 폭발적인 성장을 이끌 것으로 분석했다.

▲ 듀얼 카메라 모듈 출하량 전망

적극적인 투자 및 개발로 기술 주도권 확보해야

3D 카메라는 스마트폰에 적용할 수 있는 다양한 기능 및 서비스 개발에 유용할 것으로 예상된다. 예를 들어 3D 카메라를 탑재한 스마트폰을 활용하면 다양한 각도에서의 인물 사진을 간편하게 확보할 수 있다. 이 사진은 같은 인물을 360도로 볼 수 있는 3D 이미지로 변환하여 미니어처 모델을 제작하는 3D 프린터용 데이터로 활용 가능하다. 

또한 이 사진을 활용하면 고객의 3D 이미지에 가상으로 화장해 보거나 의상을 피팅해 보는 서비스, 특정 애플리케이션 또는 웹사이트에서 가상으로 가구와 실내 디자인을 조합해 보는 서비스도 예상할 수 있고, 실제 세계와 가상 세계가 결합된 게임도 실현할 수 있다.

3D 카메라는 스마트폰 사용자들의 VR 콘텐츠 생성 및 관련 신산업의 탄생과 성장으로 자연스럽게 연결 가능하다는 장점을 갖고 있다. 최근 구글의 카드보드를 비롯해 중저가 제품들이 속속 등장하면서 VR 기기 시장이 급격히 성장할 것으로 전망되고 있는데, 이는 이 기기들을 통해 낮은 가격으로 간편하게 실감 미디어의 세계를 체험할 수 있기 때문이다.

3D 카메라가 탑재된 스마트폰이 본격적으로 보급될 경우, 스마트폰에 최적화된 VR 기기들과 연계되어 스마트폰 사용자들이 생성해 내는 VR 콘텐츠가 폭발적으로 증가할 것으로 보이며, 이는 VR 및 관련 산업의 성장은 물론 새로운 먹거리 산업의 창출과도 연계될 것으로 보인다.

카메라 폰이 등장한 이후 사용자들은 셀프 촬영한 사진, 동영상 등 수많은 UCC(User Created Contents)를 생성했고, 이러한 콘텐츠를 기반으로 SNS 등과 같은 신산업이 생겨났으며, 이들 신산업 분야에서 많은 기업들이 글로벌 기업으로 성장하기도 했다.

앞에서 살펴본 바와 같이 현재 많은 기업에서 듀얼 카메라를 탑재하고 있으며 애플, 삼성, 레노버(Lenovo) 등의 가세가 예상되고 있는 상황이다.

SK증권에서는 3D 카메라의 해결 과제로 보다 정교한 이미지 합성을 위한 AP의 데이터 처리 능력 및 발열제어 개선, 두 카메라의 광축(촬영 각도)을 특정 오차범위 이내로 유지한 가운데 수율 확보, 단순 이미지 합성을 넘어 영상 합성 솔루션 개발 등을 꼽았다.

이처럼 아직 해결해야 할 과제는 남아 있지만, 초기에는 모듈 크기가 작고 가격 경쟁력이 있는 듀얼 카메라가 새로운 기술 패러다임의 보편화를 이끌 것으로 전망된다. 심도 인식에서 우월한 센서 카메라가 모듈 사이즈의 크기나 높은 가격 등과 같은 기술적 난제들을 해결한다면 듀얼 카메라 등과의 경쟁을 통해 스마트폰용 3D 카메라 시장이 본격화될 것으로 예상된다.

듀얼 카메라로 시작되고 있는 3D 카메라는 향후 스마트폰 시장의 지속 성장과 시장 내 경쟁 구도에 큰 변화를 가져올 수 있는 중요 변수라고 할 수 있다. 당초 LG전자 등에서 채택했던 듀얼 카메라는 시장의 주목을 받지 못했지만, 최근 애플의 참여 및 가상현실과의 연계 등이 맞물리면서 주목받기 시작했고, 초기 시장은 중국이 주도할 것이라는 전망이 우세한 상황이다. 이는 스마트폰 시장에서 국내 기업들을 압박하고 있는 중국 및 중국 기업들의 영향력이 지금보다 더 커질 수 있다는 점에서 우려할 만한 대목이다.

이제는 기술적인 측면에서 주도권을 확보하기 위해 활발한 투자와 기술 개발을 추진해야 할 때가 됐다. 바꿔 말하면, 가까운 미래에 3D 카메라 탑재라는 새로운 기술 패러다임이 보편화될 것으로 예측되는 가운데, HW 시장을 선도하는 것도 중요하지만 애플, 인텔 등의 구도로 흘러가고 있는 기술적 측면의 주도권 흐름을 가져올 수 있는 기술 개발과 투자가 요구되고 있는 것이다. 

김희성 기자 (npnted@hellot.net)