전 세계적으로 성형 시장은 매년 성장하고 있습니다.
안면부를 진단할 때, 인력기반으로 안면부 구조를 측정하는 방식에서 보다 정확하게 분석 하기 위한 AI 기반 진단 장비의 도입과 수요가 증가하고 있습니다.
진단 장비에 인공지능이 탑재된다면 더욱 빠르고 정확한 측정이 가능하지 않을까요?

 

고객사의 Problem

기존의 안면부 진단 방식은 의료진이 직접 환자의 안면부를 자로 측정하고 촬영한 사진을 육안으로 판단하는 방식이었습니다.
이는 시간이 오래 걸리고, 의료진의 경험과 숙련도에 따라 측정 결과의 정확도가 떨어질 수 있는 문제가 발생하였습니다.
이를 해소하고자 안면 분석 장비를 이용하고 있지만, 이는 안면부의 움직임에 대한정확한 특성과 눈 주변부의 정밀 분석이 어려운 한계점이 있습니다.

이를 보완하기 위해 안면 진단 장비에 안면부에 대한 동적 분석 기능을 탑재하여 눈과 안면 데이터를 정밀하게 분석하고,
질병 진단 알고리즘을 통해 초기 진단과 치료 후 평가에 유용하게 활용할 수 있도록 AI 솔루션을 개발 하고자 했습니다.
그러나 고객사의 특성 상 AI 모델 개발 및 지속적인 고도화에 있어 전문 인력 부족으로 관리가 쉽지 않아 데이터메이커를 찾아주셨습니다.

 

데이터메이커의 Solution

데이터메이커는 전문 의료 데이터 가공 및 진단 보조 AI 솔루션 개발 경험을 보유하고 있습니다.
이러한 경험을 토대로 고객사의 니즈를 정확히 파악하고 안면부 진단에 최적화된 진단 보조 AI 모델 개발에 착수하였습니다.
 

1. 데이터 수집

• 데이터 확보 경로
  고객사 특성 상 실제 환자의 눈/안면 RGB 데이터 및 동공과 홍채를 명확하게 구분하는 적외선 카메라로 촬영된 IR 데이터를 이미 보유하고 있어
  확보는 어렵지 않았습니다.
  기 확보된 RGB 데이터와 IR 데이터는 두부의 움직임이나 떨림 문제가 해결된 동적 분석 측정 방법으로 수집하여 학습용 데이터로 사용하기 아주 적합했습니다.
  추가적인 데이터는 AI허브 등 공공 데이터를 활용하여 수집하였으며, 추후 신규 데이터가 필요할 경우 병원 내 자체 개발 장비를 활용하여 추가 데이터를 지속적으로 구축하였습니다.

• 개인정보 이슈
  데이터 자체가 개인정보가 포함된 안면 이미지이기 때문에 반출이 불가능하도록 보안 서버를 연동하여 접속 하였으며, 개별로 개인정보보호 수집 동의서를 작성해 환자와 작업자 간의 보안을 유지하였습니다.

 

2. 데이터 가공

• Keypoint 가공 : 환자의 안면이 촬영된 RGB 이미지와 AI 허브의 공공데이터를 활용한 안면 이미지 데이터는 눈 주요 7곳, 눈썹 주요 5곳, 입술 주요 6곳 등에 대하여 keypoint 라벨링을 수행하였습니다.

• Semactic Segmentation 가공 : 동공 중심의 영역 인식이 요구되는 눈 부위에 대해서는 적외선 카메라로 촬영된 IR 이미지 데이터를 통해 흰자, 홍채, 동공 영역 등에 Semantic Segmentation 라벨링을 수행하였습니다.

 

3. AI 솔루션 개발

• 안면 RGB 이미지를 활용하여 안면마비 등 진단에 필요한 수치 자동 측정 AI 솔루션

  AI 솔루션 개발 시 활용된 첫번째 모델은 FaRL로 Face-Landmark Detection 모델 중 가장 최신 성능을 보유하고 있고, 공개 데이터셋(AFLW-19) 기준 가장 낮은 NME(0.94) 수치로 현재까지 1위를 차지하고 있습니다.

  또한 LAION-FACE 데이터셋으로 pre-train 된 transformer 구조를 백본으로 사용하여 빠르고 정확하게 얼굴을 분할 할 수 있고, MIT에서 발표한 RetinaFace를
  얼굴 검출기로 활용하여 다양한 환경에서도 얼굴을 정확하게 감지할 수 있습니다.

  해당 모델을 활용하여 개발된 AI 솔루션은 고객사의 환자 안면 RGB 이미지에서 분할된 얼굴들의 주요 영역과 키포인트 검출 좌표값들을 추출하여 동적 분석을 통해
  가장 일관되고 평균적인 안면 포인트를 얻도록 하여 안면마비 진단에 필요한 각도, 거리, 비대칭 정도를 자동으로 계산 할 수 있습니다.

• 눈 IR 이미지를 활용하여 안검하수 등 진단에 필요한 수치 자동 측정 AI 솔루션

  두번째 모델은 디테일 세분화에 특화된 객체 Segementation 모델로 픽셀 단위 상세한 결과값으로 영역별 분류 정확도를 높인 PointRend를 활용하였습니다.
  기존 Msck R-CNN / UNet 모델 성능을 업그레이드하여 안구 진단 항목에 필요한 영역을 세밀한 경계를 통해 진단 보조 솔루션의 역할을 수행하도록 하였습니다.

  해당 모델을 활용하여 개발된 AI 솔루션은 환자 동공 IR 이미지로부터 주요 진단 영역을 추출하여 안검하수 진단에 필요한 눈 영역들의 분포 비율, 길이 등을 자동으로 계산할 수 있습니다.

 

4. 데이커메이커의 구축 노하우

의료 데이터는 정확한 수치가 매우 중요하기 때문에 정밀한 라벨링 작업이 필수적이며, 전문 지식이 필요하고 가공에 시간이 많이 소요됩니다.
그러나 의료 전문 데이터를 가공한 다수의 경험으로 쌓은 정밀 가공 노하우를 바탕으로 저희 데이터메이커는 정확도 높은 데이터셋을 구축할 수 있었습니다.

제일 먼저 의료 데이터의 특성을 이해하고, 안면 분석에 있어 가장 적절한 가공 방식을 통해 라벨링 하였고, 데이터의 품질을 평가하기 위한 다양한 기준 및 숙련된
의료 전문 라벨러를 확보하고 있어 새로운 의료 분야 지식을 빠르게 습득하여 정밀한 가공을 할 수 있었습니다.

이러한 노하우를 바탕으로 가공된 고품질의 데이터를 활용하여 의료 전문 자동 라벨링 엔진을 개발하였는데, 이는 기존 인력 기반의 라벨링을 자동화 함으로써 수작업
라벨링 방식보다 정확도를 높이고 전문 지식에 대한 피로도를 감소 시킬 수 있었습니다.

 

 

실제 진료 현장에서 즉시 활용가능한 수준의 정확도를 가진 솔루션을 구축하였고 정교한 라벨링이 필요하면서

보안이 중요한 안면데이터도 경험이 많은 전문 인력분들을 통해 양질의 데이터로 잘 구축할 수 있었습니다.

충남대학교병원 ㅣ 송승한 교수님 (인터뷰 https://www.youtube.com/watch?v=rYaM5OewHDE)

 

프로젝트를 마치며

본 프로젝트는 일반 RGB 이미지와 적외선 카메라로 촬영된 IR 이미지를 함께 다루는 프로젝트였습니다.
데이터 가공 방식은 키포인트와 세그멘테이션 두 가지 방식으로 진행하였고 의학적 지식과 교육, 가이드 등의 합이 중요한 프로젝트였습니다. 그리고 개인정보의 보안
문제도 이중 체크 하여 가공하였다는 점이 높이 평가 받았습니다.
우수한 작업 인력분들과 함께 할 수 있어 성공적인 수행이 되었고, 의료 장비의 모니터링 시스템 영역이 더욱 확장되어 다양간 가공 작업에 참여하고 싶습니다.