메타, 가상현실 속 배경·사람 구분 기능 개선

메타, 가상현실 속 배경·사람 구분 기능 개선..."실감 나네"

 

메타, AR 배경·인물 경계성 높이는 모델 소개
물체에 가린 사람뿐만 아니라 사람 사이도 구분
다양한 환경·경계성·효율성이 가장 중요 관건

메타는 AR 효과나 가상 배경 품질을 개선하는 컴퓨터 비전 이미지 분할 모델을 8일 공식 블로그에서 소개했다. (사진=메타블로그)

메타(Meta, 구 페이스북) 연구진이 자사 플랫폼에서 영상회의나 증강현실(AR) 체험할 때 배경·인물 구분을 뚜렷하게 하는 분할 모델을 개선했다. 인물이 자유자재로 움직여도 배경과 명확한 구별이 가능해졌다. 물체에 가려진 사람뿐만 아니라 사람과 사람 사이 구분도 가능하도록 성능이 개선됐다. 

메타가 AR 효과나 가상 배경 품질을 개선하는 컴퓨터 비전 이미지 분할 모델을 8일(현지시간) 공식 블로그에서 소개했다. 지금까지는 메타버스나 AR 체험 시 조명·움직임·피부 톤에 따라 인물이 배경 속에 묻혀 실감도가 떨어지는 한계가 있었다. 영상통화·회의 중 가상 배경에서 살짝만 움직여도 인물이 배경에 묻혔다. 기존 분할 모델 품질이 좋지 않은 영향이다.

연구진은 세 단계를 1년 반 동안 페이스북 앱과 다양한 기기를 통해 개인 세분화 모델을 성공적으로 개선했다. (사진=메타블로그)

연구진은 분할 모델 개선을 위해 세 가지에 초점을 맞췄다. ▲환경 적용도 ▲배경과 인물 사이 경계성 ▲기기 효율성이다. 연구진은 사람이 AR이나 메타버스, 영상통화 등에서 자유롭게 움직여도 배경에 묻히지 않게 해야 하는 과제가 있었다. 배경이나 피부 톤, 자세 같은 다양한 조건에서도 AI 모델이 제대로 작동할 수 있게 해야 했다.

이를 위해 연구진은 자체 제작한 ‘클러스터핏(‘ClusterFit)’ 모델을 사용했다. 성별, 피부, 나이, 신체 자세, 움직임, 배경 복잡성, 사람 수 등에 걸친 광범위한 예를 데이터 셋에서 검색할 수 있는 플랫폼이다.

연구팀은 배경과 인물 사이 경계성도 개선했다. 연구진은 "특히 해당 기능은 관련 연구 문헌에서 잘 다뤄지지 않았다"고 밝혔다. 이어 "우리가 연구한 결과 사용자가 메타버스나 AR, 영상통화를 이용할 때 배경 사용이 이용 만족도에 큰 영향을 미친다는 점을 발견했다"고 설명했다. 예를 들어, 영상통화 가상 배경을 설정했을 때 얼굴이 묻히거나 배경이 갑자기 흐릿해지는 경우, 사용자는 해당 서비스에 만족감이 덜하다는 것이다.

메타 연구진은 경계 품질을 측정할 수 있는 새로운 분할 평가 '바운더리 IoU(Boundary IoU)'로 프레임워크를 강화했다. 메타 블로그에 따르면, 바운더리 IoU는 일반 IoU가 포화상태에 근접할 때 더 큰 효과를 발휘한다. IoU가 90% 이상일 때 배경과 인물 사이에 일어나는 일시적 불일치를 줄일 수 있다는 의미다.

해당 기술은 가로·세로 화면 모두 잘 작동해야 한다. 전 세계 사용자가 다양한 기기로 AR이나 영상통화를 이용해서다. 이때 사용하는 노트북, 스마트폰, 패드 크기도 각양각색이다. 연구진은 유사한 가로·세로 비율을 가진 이미지를 그룹화해 모두 동일한 크기로 재샘플링했다. 여기에 메타에서 자체 개발한 '디텍트론2(Detectron 2)'을 탑재했다. 가로·세로 비율 종속 재샘플링 방법으로 진행했다.

이 방법은 기존 딥러닝 모델이 이미지를 네트워크에 입력하는 방식과 다르다. 기존에는 이미지를 네트워크에 넣으면서 작은 정사각형으로 재샘플링한다. 이 방법은 이미지 왜곡이 발생하는 단점이 있었다. 이미지 가로·세로 비율도 달라서 왜곡도 제각각 나타났다.

연구진은 “해당 모델이 단순한 가상 배경뿐만 아니라 복잡한 상황에서도 객체 사이 경계성을 더 분명히 할 수 있도록 추가적 기술 방법이 필요하다”고 말했다. (사진=메타블로그)

연구진은 1년 반 동안 세 단계를 통해 개인 세분화 모델을 성공적으로 개선했다. 연구에 참여한 조지 마레로(George Marero) 메타 소프트웨어엔지니어는 "해당 모델이 단순한 가상 배경뿐만 아니라 복잡한 상황에서도 객체 사이 경계성을 더 분명히 할 수 있도록 추가적 기술 방법이 필요하다"고 말했다. 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(출처:http://www.aitimes.com/news/articleView.html?idxno)