RSS BOX: [번역] 아이폰 7 플러스의 놀라운 '피사계 심도 효과' 기능 써봤어요

2016년 9월 23일 금요일

[번역] 아이폰 7 플러스의 놀라운 '피사계 심도 효과' 기능 써봤어요 - TechCrunch

본문은 테크크런치의 'Hands on with the iPhone 7 Plus crazy new Portrait mode' 전문을 번역한 것입니다.
본문에 포함된 모든 사진은 기사 본문에 포함된 사진입니다.

아이폰 7의 출시 때 가장 많은 논란이 있었던 기능이 바로 새로운 '피사계 심도 효과' 였습니다.

이 기능은 흔히 전문가용 카메라의 '인물 모드' 느낌의 사진을 아이폰 7 플러스에 있는 광각, 망원 카메라를 이용해 소프트웨어적으로 구현하는 기능입니다. 간단히 말해서 피사체와 배경을 분리한 후 배경에 블러를 먹여주는 기능이지요. 저는 이 기능이 아직 완벽해 보이지는 않습니다. 물론 흥미로운 구석도 많긴 하지만요. 만약 공원이나 결혼식장에서 이 기능을 잘 쓴다면 멋진 사진을 얻을 수 있을 것입니다. 이 기능이 멋지게 동작하려면 다음 세 가지 조건이 만족되어야 합니다.

1. 상대적으로 느슨한 조리개값이 필요합니다(역자 주 : f/1.8 등으로 표시되는 조리개 수치가 작은 것을 의미). 느슨한 조리개값은 피사계심도 효과를 일으키는데, 사진의 일부 부분에만 초점이 맞아 날카롭게 보입니다. 예를 들어 얼굴에는 초점이 맞고 나머지 부분은 초점이 나간 상태로 보이는 거죠.

2. 항상 그런건 아니지만 이런 사진은 보통 망원 렌즈로 찍힙니다. 망원 렌즈는 '망원 원근 왜곡' 효과를 일으켜 원근감을 왜곡시켜 결과적으로 우리가 말하는 '보케' 사진을 찍을 수 있게 해 줍니다. 이것이 적절한 인물 모드로 찍힌 사진에 비해서 광각 렌즈로 찍었을 때 코가 크게 보이는 이유입니다.

3. 다만 무엇보다 가장 큰 요소는, 피사체와 배경과 적절한 거리를 유지하는 등 사진사의 기술에 달렸습니다(금손이어야 합니다).

애플이 당신의 손을 금손으로 만들어줄 순 없습니다. 그건 당신이 해야 할 일이지요. 다만 첫 번째와 두 번째 조건을 만족시키는 건 애플이 할 수 있는 일이고, 실제로 '피사계 심도 효과'에서 애플이 한 일이 바로 그것입니다. 정확히 이 기능이 어떻게 작동하는지를 알아보기 전에 먼저 아이폰이 이런 사진들을 만들어내기 위해 어떤 기술들을 사용하고 있는지 알아봅시다.

어떻게 동작하는가?

필자의 아이폰 리뷰(링크)로 돌아가면, 애플이 '피사계 심도 효과'를 만들기 위해 어떤 일을 했는지를 간단하게 언급한 적이 있습니다. 아이폰 7 플러스의 두 개의 카메라는 깊이 맵을 생성할 수 있습니다. 이는 애플이 인수했던 회사인 LiNx의 기술로, 두 개의 센서로부터 온 이미지를 이미지 시그널 프로세서(ISP)를 이용해 합성함으로써 깊이 맵을 만들어냅니다.

이는 애플이 2013년에 인수한 Primesense의 모든 기능이 구현된 것은 아니지만, 아마 곧 될 겁니다.

이제 우리는 두 개의 카메라가 주는 이득을 하나 더 얻을 수 있습니다. 일반 카메라 모드에서 두 카메라 영상을 합성하여 가장 좋은 이미지를 뽑아내는 그 기술과 바로 지금 소개하는 '피사계 심도 효과'가 바로 그것입니다.

'피사계 심도 효과'는 iOS 10.1 개발자 베타 버전에서 사용해볼 수 있으며, 곧 공개 베타로도 만나보실 수 있을 것입니다.

카메라 앱에 들어가서 기본 사진에서 한 칸 오른쪽에 있는 모드인 '피사계 심도 효과'로 전환하면 가장 먼저 이 기능이 베타라는 것이 큼지막하게 뜹니다. 일반 사진에서 보이던 줌 기능이 사라진 것을 볼 수 있을 것입니다. 이 모드에서는 디지털 줌도 사용할 수 없습니다. 대신에 '피사계 심도 효과'는 기본적으로 56mm 렌즈(애플이 망원 렌즈라고 일컫는)를 이용해 사진을 찍게 되고 광각 렌즈는 깊이 데이터를 모아 9개 층의 3D 맵을 만드는 데 이용됩니다.

어떻게 이런 것이 가능한지 원리를 체험해보고 싶다면 얼굴 앞에 손을 올려놓은 다음 한쪽 눈을 감았다 뜨는 것을 반복해 보세요. 손 주위로 그 뒤의 풍경이 비쳐보이는 현상을 경험할 수 있을 것입니다.

이것이 애플이 3D 맵을 형성할 수 있는 가장 기본적인 원리입니다. 아이폰 7 플러스에 장착된 광각, 망원 카메라는 서로 약간씩 다른 각도에서 이미지를 촬영하게 되는데요, 시스템은 이 둘 사이의 미세한 차이를 인지해 센서로부터 온 정보를 9개의 다른 층으로 구분해낼 수 있습니다.

이렇게 이미지를 9개 층으로 구분해낸 뒤에는 가장 핀이 잘 맞을 부분을 선택하게 되고, 나머지 층위에 애플이 직접 개발한 디스크 블러를 걸어주게 됩니다. 디스크 블러는 흔히들 사용하는 가우시안 블러에 비해 더 정제되고, 원형으로 이미지를 흐려주게 됩니다. 프리뷰의 블러 이미지는 애플의 '코어 이미지' API에서 따온 것을 이용합니다.

망원 렌즈가 자동 초점 기능이나 사용자가 직접 지정하는 등의 방식으로 피사체를 지정하게 되면, 아이폰 7에 들어 있는 이미지 시그널 프로세서는 핀이 맞은 부분에서 멀리 떨어진 층위로 갈 수록 점점 더 블러를 세게 먹여줍니다.

예를 들어, 카메라가 8피트 거리에 있는 물체에 초점을 맞췄다고 가정합니다. 듀얼 카메라는 이미지를 깊이 맵으로 쪼갤 것입니다. 핀이 맞은 층에는 아무런 블러효과가 들어가지 않을 것이고 가장 쨍하게 보일 것입니다. 그 바로 다음 층에는 매우 약한 블러 효과가 들어갑니다. 그 다음층에는 조금 더 강한 블러효과가 들어갑니다. 이런 식으로 점점 더 강한 블러 효과가 걸리게 되고, 결국 피사체와 배경은 극명한 대비를 이루게 됩니다.

다시 말해서, 이 효과는 피사체와 배경을 구분해서 일어납니다. 만약 당신이 중간쯤 거리에 있는 물체에 핀을 맞췄다고 하더라도 이런 효과가 일어납니다(피사체보다 더 가까이 있는 물체일지라도 블러효과가 들어감).

깊은 피사계심도 효과를 구현하기 위해서 당신이 피사체로부터 얼마나 떨어져 있어야 하고, 또 배경과의 거리가 얼마 정도 되어야 한다는 것을 정확히 말씀드릴 수는 없습니다.

다만, 제가 테스트 해본 결과 평균적으로 피사체로부터 1.8m나 그것보다 조금 더 떨어진 거리가 최대의 블러 효과를 얻어낼 수 있는 거리였습니다. 그보다 더 가까운 거리에서는 블러 효과가 약해지는 것을 확인할 수 있을 것입니다. 이런 효과들은 카메라 프리뷰에서 리얼타임으로 확인할 수 있습니다. 이 화면은 꽤 부드러운데, 제 생각에는 대략 24프레임 정도로 고정되어 있는 듯 합니다. 60프레임의 물 흐르는듯한 느낌은 아니지만 피사체를 정확하게 보고 사진을 찍기에 충분한 정도입니다.

사진을 찍으면 600에서 650밀리초(0.6~0.65초) 정도의 지연이 발생하는데, 이는 HDR 사진을 찍을 때보다는 짧은 것이고, 일반적인 사진을 찍을 때보다는 긴 것이라고 생각하면 대충 그 느낌을 알 수 있을 것입니다.

피사계 심도 효과에서 피사체를 인지하고 피사체를 배경과 깔끔하게 분리하기 위해서, 애플은 ISP가 수행하는 얼굴 인식기능을 보조적으로 사용하게 됩니다.

또, 당신은 스크린에서 실시간으로 애플의 코치를 받을 수 있습니다. 제대로 된 피사계 심도 효과를 구현하기 위해 광량은 충분한지, 또 피사체로부터 너무 가깝거나 멀리 떨어져 있지 않은지 등에 대한 사항들을 알려줍니다. 이 소프트웨어 피사계 심도 효과는 제대로 동작하기 위해 많은 빛을 필요로 합니다. 저조도나 주변 대비가 확실하지 않은 상황에서는 이 기능이 동작하지 않습니다. 거기에 이 기능은 아이폰 7 플러스에 들어간 망원렌즈의 최소 초점거리인 50cm보다 피사체와 가까운 상황에서도 동작하지 않습니다.

이 모드를 사용해 사진을 찍게 되면, 카메라 롤에 일반 이미지와 피사계 심도 효과가 적용된 이미지가 동시에 저장됩니다. 피사계 심도 효과가 들어간 사진에는 '깊이 효과' 딱지가 달리게 됩니다(역자 주 : 6s 시리즈의 라이브 포토 딱지를 생각하시면 될 듯). 이 이미지는 일반적인 JPEG 이미지로 변환되어 저장되고, '깊이 효과'로 태그되는 것을 제외하면 아이폰 7 플러스에서 찍은 나머지 사진들과 동일하게 처리됩니다.

그래서 왜 망원 렌즈를 쓰나요?

먼저, 환산 56mm 렌즈를 애플이 '망원 렌즈'라고 부르긴 하지만 사실 이 화각은 일반적인 사진에 가깝습니다. 다만 애플은 원래 탑재되어있던 환산 28mm 광각 렌즈에 비해서 상대적으로 망원이라고 부르는 것입니다. 어쨌든, 이견이 있을 수는 있겠지만 현재까지 우리가 다룬 스마트폰의 텔레렌즈 중에서는 가장 좋았습니다.

망원 렌즈는 위에서 말한 것처럼 원근 왜곡 효과 등을 일으켜 피사체와 배경을 분리하며, 광각 렌즈의 경우 더 넓은 시야각을 가졌고, 원근 왜곡 효과가 발생하지 않기 때문에 이를 이용해 깊이 데이터를 만들어낼 수 있습니다. 즉, 이 효과를 만들어내는 중심은 망원 렌즈이며 광각 렌즈는 추가적인 정보를 제공하는 역할을 합니다. 사실 이 효과를 사용하지 않더라도 망원렌즈로 전환한 후 피사체를 가까이, 배경을 멀리 두면 자연스러운 블러 효과가 일어나는 것을 볼 수 있는데, 이것이 망원 렌즈가 추가된 이유입니다.

결과물의 품질은 어떨까?

당신이 이 기능이 어떤 방식으로 동작하는지에 대한 부분을 안 읽고 죽 넘겼다고 하더라도 비난하지는 않겠습니다. 간단히 말하자면, 많은 상황에서 정말 놀랍고, 마법같이 잘 동작합니다. 하지만 몇몇 상황에서는 처리가 제대로 안 될 때도 있어요. 애플은 이 기능이 베타라고 말하고 있고, 실제로도 그렇습니다. 여전히 잎이나 철로 된 망, 그리고 패턴이나 모션 등에서 약한 모습을 보여줍니다. 다만 제가 처리하기 힘들 것이라 생각했던 아이들의 머리나 강아지의 털 등 미세한 부분이나, 꼭 사람이 아닌 물체에 대해서도 꽤나 훌륭한 퍼포먼스를 보여주고 있습니다.

지금 문제가 있는 부분이 어디냐 하면, 얇은 선이나 전선, 철조망이나 유리, 잎 같은 부분들입니다. 이들은 그 경계와 뒷쪽의 배경을 쉽게 구분하기 힘들다는 공통점이 있습니다. 배경이 피사체와 더 가까울수록 이 둘 사이의 구분이 어렵습니다. 모션 역시 아쉽습니다. 피사체가 사진을 찍는 동안 조금 움직이는 것 정도는 괜찮습니다. 다만 피사체가 너무 많이 움직여버릴 경우 HDR 모드에서 볼 수 있는 고스팅 현상이 일어납니다. 여러 장의 사진을 합성해서 만들어내는 것이기 때문이지요.

자 그럼 이제 예시를 보면서, 이 모드가 어떻게 실제 사진에서 보여지는지를 살펴봅시다. 각각의 케이스에서 피사계 심도 효과가 적용된 사진과 일반 사진을 나란히 놓고 보여드리겠습니다.

이 사진은 대표적인 인물 사진이지요. 피사체와 배경이 매우 잘 분리된 것을 확인하실 수 있습니다. 정말 잘 처리됬습니다. 애플의 피사계 심도 효과가 멋지게 적용된 사진이라고 보시면 되겠습니다. 배경이 아름답게 블러 처리가 되었습니다.

주목하셔야 할 점은 나무가 뒷쪽 배경보다는 덜 흐리지만, 피사체보단 확실히 더 흐리다는 것입니다. 이것이 아까 말씀드린 깊이 효과의 점진적인 적용입니다. 단지 날카롭게 핀이 맞은 부분과 그렇지 않은 부분으로 나누는 이분법적인 처리가 아니라는 것이지요. 이런 단계가 있음으로써 사진이 더 자연스럽게 보입니다.

비슷한 사진을 하나 더 보여주는 이유는 시스템의 작은 실수를 찾아냈기 때문입니다. 아기 팔이 만들어내는 삼각형 부분을 주목하세요. 배경이 제대로 분리되지 않았습니다. 앞으로 있을 소프트웨어 수정은 이런 예외적인 상황을 잡아내어 수정하게 될 것입니다. 베타 기간에 수집된 데이터들은 틀림없이 많은 도움이 될 것입니다.

뒷모습을 찍은 사진은 피사계 심도 효과가 얼굴 인식 없이도 동작한다는 것을 보여줍니다. 다만 이 기능이 몸통 모양을 인식해서 일어나는 것인지, 아니면 애플이 키노트에서 언급했던 것보다 훨씬 더 유연하게 작동하는 것인지를 지금 시점에서 딱 잘라 말할수는 없겠습니다. 이 사진에서는 철조망이 매우 잘 처리되었다는 점에서 가산점을 줄 수 있겠습니다. 미세한 머리카락 역시 잘 처리되긴 했습니다만, 앞으로 개선해야될 부분 역시 보입니다.

이번 사진은 꽤 잘 나온 정면 인물 사진입니다. 뒷 쪽의 펜스 역시 꽤 잘 처리되었구요. 다만 아이의 팔 윤곽쪽을 자세히 보시면 끄트머리가 조금 부자연스러운 걸 볼 수 있을 것입니다. 꽤나 거슬리는 문제입니다.

이 사진은 물체가 렌즈에서 멀어질수록 블러 효과가 어떻게 점점 증가하는지를 잘 보여줍니다.

그렇습니다! 이 효과는 꼭 사람이 아닌 물체에도 적용됩니다. 애플이 이 기능이 얼굴 인식을 기반으로 이뤄진다고 말 했지만, 거기에 이 기능이 인물 모드라고 강조했지만, 보시는 것처럼 딸기와 손에도 적용이 됩니다. 꼭 인물이 아니더라도 배경과 피사체가 극명한 대비를 보여줄 때 이 기능은 제대로 작동합니다(배경이 얼마나 어둡고, 반대로 피사체가 얼마나 밝게 나왔는지에 주목하십시오).

이 효과가 강아지 사진에서도 잘 동작하는 것을 확인하실 수 있습니다. 이 사진에서 주목할 점은 강아지 두 마리가 한 묶음으로 처리되어 효과가 적용되었다는 점입니다. 피사계 심도 효과를 구현하는 소프트웨어는 여러 피사체가 동시에 등장할 때, 각각의 피사체가 렌즈로부터의 거리가 조금 다르더라도, 뒷쪽에 있는 피사체를 배경이라고 인지하고 날려버리는 것이 아니라 뒷쪽의 피사체까지도 깔끔하게 찍어줄만큼 똑똑합니다. 이 사진에서는 두 마리의 강아지에게 적용됬지만, 사람일 경우에도 당연히 이 효과가 적용됩니다. 단체 사진을 찍을 때 좀 더 카메라에 가까운 사람이 있을 것이고, 먼 사람이 있겠지만 소프트웨어는 이들 모두에게 핀을 맞춰주고, 그 다음 레이어부터 블러를 걸기 시작합니다.

다른 경우를 한번 봅시다. 이번에도 초점이 잘 맞았고, 블러 효과 역시 아름답게 걸렸습니다. 간단하게 보이지만 정말로 인상적인 장면입니다. 이 사진을 보면서 저는 이 기능이 발전한 미래에서는 정말 이런 식의 렌즈와 깊이 데이터를 통해 여러 개의 렌즈를 동시에 가지고 다니는 듯한 효과를 만들어낼 수 있을것이라고 흥분했습니다.

역시 사진에 사람은 없지만, 잘 동작합니다.

다른 일반적인 사용례입니다. 상체의 3/4정도와 얼굴이 한 화면에 담겨 있습니다. 이런 식의 사진을 찍을 때 당신은 이 모드의 진가를 느낄 수 있을 것입니다.

마지막 사진입니다. 이 사진에서 피사체인 아기와 배경이 깔끔하게 분리되어 뒷쪽에 얕은 수준의 블러가 들어간 것을 확인할 수 있습니다. 이런 것들은 모두 ISP에서 처리되는데, 정말 멋지게 처리되었습니다. 이 기능에서 각 레이어 사이의 거리는 고정된 것이 아닙니다. 사진의 크기와 상황에 따라 그 값이 커질수도, 작아질 수도 있습니다.

종합하자면, 이 기능은 아직 실험적인 모드입니다. 작은 결함들이 여기저기서 보입니다. 하지만 모든 걸 종합할 때 이 친구는 물건입니다. 애플이 각 잡고 카메라와 반도체 팀을 갈궜을 때 무엇을 할 수 있는지를 제대로 보여준 것입니다. 애플의 카메라 팀이 아이폰 7에 들어간 칩을 그 한계까지 밀어붙이고 있다는 것은 분명합니다. 이 기능이 동작할 때 기기를 만져보면 따듯한 것을 느낄 수 있는데, 특히 A10 프로세서가 있는 부분에 발열이 집중됩니다.

이 모드가 완전히 지원되는 시점이 되면, 애플이 사진가들에게 좀 더 직접적으로 어느 부분을 피사체로 할지, 배경을 얼마나 흐리게 할 지에 대해 조절할 수 있는 기능을 제공하는 것을 보고싶습니다. 아직은 걸음마 단계기 때문에 그렇게 될 때까지는 일년 혹은 그 이상이 걸리겠지만, 지금만 해도 이 정도로 좋은데 그런 기능이 제공된다면 얼마나 더 나아질지가 기대됩니다.