사용자의 촬영 영상을 통한 피부 질환 진단 앱 개발을 위한 피부 병변 영역 시맨틱 세그멘테이션 가공기
세상에는 수없이 많은 종류의 병이 있습니다. 그 중 피부병은 하루만 지나면 자연스레 사라지는 여드름과 같은 작은 병부터 심하면 피부 암 과 같은 큰 병 까지 매우 범주가 넓은 만큼 구분하기도 쉽지 않은데요.
갑자기 얼굴에 두드러기가 나거나 없던 점들이 생겼는데 그냥 두면 금방 사라질까? 하고 불안해 하신 적은 없으신 가요? 병원에 가지 않고도 사진만으로 어떤 병인지를 알 수 있다면 얼마나 좋을까요? 프로젝트를 의뢰한 a사에서는 알레르기성 접촉 피부질환 환자들이 모바일 상에서 촬영한 영상 데이터를 바탕으로 가장 가능성이 높은 피부질환을 진단하여 이에 대한 정보를 제공하는 어플리케이션을 개발 중에 있습니다.
고객사는 가공이 필요한 데이터는 보유하고 있었지만, 피부과 전문의가 질환 영상을 직접 분할 및 가공을 진행하기에는 시간이 너무나도 촉박한 상황에 놓여있음과 동시에 전문의가 직접 가공하는 것처럼 높은 품질의 데이터 가공을 필요로 하였기에 저희 데이터메이커를 찾아 주셨습니다.
안면 피부질환 이미지를 가공작업을 할 시 중요했던 점은,
눈/눈썹/입 , 머리카락 , 배경 , 병변 영역 , 정상피부, 기타피부 까지 총 6가지로 분류가 이루어져야 했으며, 작업 이미지가 모두 제각각의 인물이 아닌 한 인물의 여러 각도의 이미지들이 적게는 1장에서 많게는 6장까지 이어져 있었습니다.
그래서 한 인물에서 발생한 병변 영역은 다른 각도 이미지들과 통일되게끔 작업이 되어야 했기에 한 인물의 다각도 이미지를 모두 확인할 수 있도록 작업과 검수에 크게 중점을 두어 프로젝트를 진행하였습니다.
* <시멘틱 세그멘테이션을 진행한 이미지>
프로젝트를 진행한 초반에는 위 사항들을 모두 적용시켜 작업을 진행할 경우 사람에 따라서 1장당 작업속도가 최대 30분씩 진행되는 등 작업의 어려움이 있어 위 문제를 해결하고자 하였습니다.
그 결과 인공지능을 학습 시켜 기초적인 부분들을 자동으로 인식하여 베이스 작업을 해주는 전처리를 개발을 고안하게 되었는데
전처리에 필요한 모델은 오픈되어있는 소스가 있었기에 전처리는 바로 적용할 수 있었으나 작업 이미지마다 얼굴로 인식하기 힘든 옆모습이나 다른 배경, 그림자, 조명 색 등의 여러 문제들로 원만히 전처리가 적용되지 않는 예상치 못한 오류들이 있어 전처리 개발 과정이 쉽지만은 않았습니다. 하지만 이와 같은 시행착오를 고치고 개선해 나가며 현재는 완성도 높은 전처리 기능을 개발하여 작업에 활용 할 수 있었습니다.
작업 이미지에 전처리가 적용되는 과정으로는 1차적으로는 얼굴, 배경, 머리카락의 베이스만 자동적으로 작업이 진행되어 나오는 1차 전처리 후 1차 전처리 데이터 위에 눈썹/눈/입이 2차 전처리로 작업이 되게끔 하여 총 두 단계의 전처리를 거쳐서 1장당 작업 시간을 평균 3~5분가량으로 줄이는 등 작업의 고도화를 이루어 내었습니다.
실질적으로 최종 전처리가 되어서 나오는 작업물이 굉장히 높은 정확도를 가지고 있었고 오류가 많지 않아 만일 오류 사항이 있더라도 작업자가 빠르고 간단히 수정할 수 있는 범주였기에 대부분의 작업자들이 작업할 부분은 병변 영역만 작업하면 되었고, 전처리 시 빈 픽셀 없이 모든 픽셀이 채색 되어 나오기 때문에 작업자가 수작업으로 진행할 때보다 누락된 픽셀에 의한 오류 발생도는 0%가 되었습니다
일반인인 작업자분들이 전문의의 주관을 가지고 작업을 하기까지 교육 시간이 꽤 길었습니다. 작업 시 발견하게 되는 오류들을 바로 반영하여 가이드를 수정하고, 병변 종류가 많아 구분이 어려웠던 만큼 그 어떤 프로젝트보다 꼼꼼하고 까다롭게 진행되며 PM과 작업자 모두 성장할 수 있는 큰 한 걸음이 되었던 프로젝트였던 것 같습니다.
