프로젝트 소개

추론 영역은 오랫동안 인간의 고유 영역으로 여겨져 왔지만, 인공지능 기술의 발전으로 이제는 기계적으로도 구현이 가능해지고 있습니다.

과거에는 정보 검색이나 추천 시스템처럼 단순히 정보를 조합하는 수준에 머물렀던 인공지능 기술은 이제 추론 능력까지 갖추어 인간의 복합적인 지적 영역까지 기계적으로 구현할 수 있게 되었습니다.

그렇다면 인간 수준의 추론 영역을 인공지능이 구현하기 위해서는 어떤 종류의 이미지 데이터와 학습이 필요할까요?

 

 

고객사의 Problem

이미지 데이터 내 객체 간 관계 라벨링은 인공지능 모델의 장면 이해, 복합 추론 및 지식 추출 능력을 크게 향상시킬 수 있습니다.
객체 간의 관계를 이해함으로써 이미지에서 무엇이 일어나고 있는지 추론하고, 상황 정보를 파악하며, 맥락에 맞는 지식을 추출할 수 있습니다.

고객사는 인공지능 모델의 시각적 이해 기능을 강화하여 이미지를 보다 전체적으로 이해하고 상황 정보를 추론하며 시각적 콘텐츠의 미묘한 차이를 파악하기 위한
다양한 작업을 수행하기 위해 이미지 데이터의 관계 속성 라벨링이 필요하였습니다.

데이터메이커의 Solution

이미지 객체의 속성과 타 객체 간 관계 파악은 컴퓨터 비전, 자연어 처리, 지식 그래프 구축 등 다양한 분야에서 중요한 역할을 합니다.
정확한 파악을 위해서는 객체 수 증가에 따른 기하급수적인 관계 증가를 효율적으로 처리할 수 있는 툴과 충분한 인력이 필요합니다.

데이터메이커 시냅스 툴은 비전문가도 쉽게 의미 정확성을 파악할 수 있도록 설계되어 관계 속성의 개별 관계와 객체 속성을 한눈에 파악할 수 있습니다.
이는 라벨링 작업의 효율성을 크게 향상시키고 인공지능의 추론 성능 향상에 기여합니다.

인공지능의 추론 성능 향상을 위한 이미지 데이터 관계 속성 라벨링

데이터 가공

바운딩 박스로 지정된 모든 객체에 대한 서로 간의 상호작용 유형을 선택 후 제출하도록 하여 데이터를 가공했습니다.

• 바운딩 박스 생성

  이미지 내 존재하는 인물에 대하여 바운딩박스를 생성하였습니다.

• 객체 속성 라벨링

  객체 시점을 기준으로 객체 간에 서로 위치한 방향(상, 하, 좌, 우)을 지정하고 객체 간의 상호 작용 종류를 속성으로 구분하여 라벨링 하였습니다.

  

• 관계 라벨링 정보 관리

  이미지 내 객체가 많아질수록, 객체 간 정의되는 관계 라벨링 데이터의 수는 기하급수적으로 증가하여 작업자와 검수자가 한눈에 보고 관리하기 어려운 문제가 있었습니다.

  이를 해결하기 위하여 특정 객체를 지정할 때 종속되는 객체 간 관계들을 한눈에 파악할 수 있도록 하는 별도 view 패널을 추가하였으며,
  특정 관계들을 별도로 목록화하여 볼 수 있도록 하는 기능을 통해 검수의 정확도도 향상시켰습니다.

작업자 교육

객체를 기준으로 태깅하는 여러 관계(방향, 상호작용)는 작업자의 시선을 기준으로 할 경우 반대가 되어버리는 경우가 많아 휴먼 에러가 자주 발생할 수 있는 리스크가 있습니다.

따라서 작업자에게 실제 라벨링된 결과 이미지를 다수 보여주면서 교육을 진행, 정답 데이터에 대한 익숙함을 가지고 작업에 참여할 수 있도록 하였으며,
주기적으로 작업자 모니터링을 위한 검수를 별도로 진행하면서 전체적인 데이터의 퀄리티를 향상시켰습니다.

프로젝트를 마치며

이미지 내 객체에 대한 관계이해 및 복합 분석은, 다양한 산업 분야에서 적용할 수 있을 것으로 예상됩니다.

시각적인 정보로 이미지 내에 객체의 영역, 종류를 인지하는 수준을 넘어 객체간의 상호작용을 이해할 수 있게 되면서
CCTV 관제센터 영상 콘텐츠 요약 등 다양한 분야의 기술 고도화에 적용이 가능할 것입니다.

데이터메이커에서는 이에 따른 다수의 관계 지정 및 라벨링을 위한 툴 개발과 작업자 교육 등의 노하우를 거듭하면서 양질의 데이터를 구축할 수 있을 것으로 기대됩니다.