프로젝트 소개

자율주행 기술은 불법 운전, 피로, 노화, 음주 등 운전자의 취약점을 보완할 수 있는 잠재력을 지니고 있습니다. 그러나 자율주행 기술을 구현하기 위해서는 넘어야 할 기술적 과제들이 많습니다.
특히 주변 환경을 정확하게 인식하고, 실시간으로 상황을 판단하여 안전하게 주행하기 위한 다양한 시스템이 필요합니다. 그중에서도 정확한 신호등 인식은 자율주행 기술의 핵심 요소입니다.
자율주행 차량이 도심의 복잡한 교차로에서 안전하게 주행하기 위해서는 신호등의 상태를 정확하게 인식하고 이에 따라 적절한 조치를 취해야 합니다.
자율주행차가 사람처럼 신호등을 정확하게 인식하고 판단하여 안전한 미래 교통 시스템을 구축하기 위해서는 어떤 종류의 데이터를 얼마나 많이 확보해야 할까요?

고객사의 Problem

고객사는 자율주행 기술의 혁신을 위해 실제 도로 환경에서 수집된 고품질 데이터, 특히 다양한 상황에서의 신호등 정보를 필요로 했습니다.
모빌리티 시장을 선도하는 글로벌 기업으로서 더욱 안전하고 정확한 자율주행 모델을 개발하여 고객에게 최고의 서비스를 제공하고자 하는 목표를 가지고 있었습니다.
실제 도로 환경에서 다양한 날씨, 시간대, 복잡한 도심 상황을 고려한 신호등 정보가 담긴 이미지 데이터 확보는 자율주행 모델의 성능을 향상시키는 데 필수적이었습니다.
고객사는 자율주행 데이터 구축 분야에서 풍부한 경험과 노하우를 보유한 데이터메이커의 맞춤형 솔루션을 통해 이러한 니즈를 해결하고자 의뢰하였습니다.

데이터메이커의 Solution

데이터 수집 데이터를 구축하기 위한 이미지들은 다양한 조건과 위치의 신호등, 조명 조건(낮, 밤, 석양역광, 새벽) 및 날씨 시나리오(비, 눈, 안개)가 반영되도록 수집하였습니다. 뿐만 아니라 다양한 각도와 거리에서 촬영된 이미지를 활용하여 실제 운전 조건을 반영하였습니다.
데이터 전처리

• 비식별화 처리 : 개인정보 보호를 위해 이미지 내 차량 번호판을 가리는 비식별화 처리를 수행했습니다.
• 다양한 환경 : 다양한 도로 환경(야간, 눈, 비)에서 촬영된 도심 이미지 데이터를 선별하여 각 신호에 다른 결과 인식이 용이하도록 하였습니다.
• 이미지 품질 향상 : 이미지의 명암비를 조절한 뒤 노이즈 제거 과정을 거쳐 신호등의 색 인식률을 높였습니다. 이는 신호등 원을 기준으로 신호등 바운딩박스 생성을 용이하게 하였습니다.
  

각 이미지에 대한 정확한 어노테이션을 수행하여 신호등의 위치, 크기, 상태 등을 정밀하게 표현하였습니다.

• 다양한 신호등 유형 : 3구, 4구, 5구로 구성된 형태의 신호등에 대한 어노테이션 라벨링을 진행하여 모델의 신호등 인식(추적) 성능을 향상시켰습니다.

• 바운딩 박스 영역 : 신호등 주변에 정확한 경계 상자를 그리도록하여 각 이미지의 신호등에 대한 어노테이션을 생성하였습니다. 특히, 야간 촬영 이미지의 경우 전구의 개수를 정확히 식별하기 어려운 점을 고려하여 작업자에게 B-box 크기에 대한 가이드라인을 제공하고 신호등의 면적을 기준으로 라벨링 하도록 하였습니다.
• 신호 상태 분류 : 빨간색, 노란색, 녹색, 좌회전 신호, 꺼짐 등 다양한 신호 상태를 정확하게 분류하고, 밤과 낮, 신호등 불빛의 방향, 불빛의 확인 여부 등 다양한 속성을 함께 기록하여 데이터의 정확도를 높였습니다.
• 신호가 두 개 이상 켜져있을 때에는 어노테이션 속성에서 카테고리를 중복으로 선택하여 정확한 정보를 기록하도록 하였습니다.
• 신호가 두 개 이상 켜져 있을 때는 색상 카테고리를 중복으로 선택할 수 있도록 하여 유연성을 확보하였습니다.
• 메타데이터 폴더 관리 : 타임스탬프, GPS 좌표, 카메라 설정 등 다양한 메타데이터를 포함하여 데이터의 신뢰성을 높이고, 추후 분석에 활용할 수 있도록 하였습니다.

이미지 가시성 확보

• 조건별 데이터 수집 : 백라이트, 물체 가림 등 다양한 조건에서 촬영된 신호등 이미지는 실제 도로 환경에서 발생할 수 있는 모든 상황을 고려할 수 있었습니다.
• 이미지 가시성 향상 : 데이터메이커 플랫폼 내에서 라벨링을 할 때 이미지 회전, 크기 조정, 밝기 조정, 뒤집기 등 다양한 기능을 활용하여 이미지의 품질을 개선하고 신호등을 명확하게 식별할 수 있도록 하였습니다.
• 코너케이스 : 코너케이스를 대비하여 작업자에게 바운딩박스 조건에 대한 가이드라인을 충분히 교육하고, 품질이 낮거나 장애물에 의해 신호등이 가려진 이미지의 경우 “알 수 없음” 카테고리를 추가하여 불필요한 오류를 방지하였습니다.
• 신호등 카운트 : 이미지에서 전구 개수를 정확히 식별하기 어려운 경우에는 카테고리를 지정할 때 식별 여부에 ‘no’로 지정하여 신호등 전구 갯수를 ‘0’으로 카운트하고, 식별하기 어려운 상태 유형(신호 없음, 자연광, 장애물, 날씨 등)을 분류합니다.
  

• 신호등 면적 구분 : 야간 촬영 이미지나 장애물이 있어 신호등의 식별이 모호한 경우에는 신호등의 불빛이 나타내는 원의 면적을 계산하여 시작점은 빨간불이 위치하고 끝점은 초록불이 위치하도록을 판단하여 적절한 바운딩박스를 생성합니다.
  

• 엄격한 품질 관리 기준을 적용하여 데이터의 정확성과 일관성을 확보하였습니다. 특히, 어노테이션 작업자에 대한 체계적인 교육과 정기적인 품질 검수를 통해 고품질 데이터를 구축하였습니다.
• 작업자가 라벨링 한 데이터에 대해 재검수를 진행하여 오류를 최소화하였습니다.
• 정확도, 정밀도, 재현율 등 다양한 품질 지표를 활용하여 데이터 품질을 수치를 평가하였습니다.
• 오류가 발생한 데이터를 분석하여 오류 원인을 파악하고 개선 방안을 마련하여 작업자와 소통을 하며 진행하였습니다.

프로젝트를 마치며

신호등 인식 시스템 데이터세트를 구축하는 것은 자율주행 기술 개발에 있어 복잡하지만 필수적인 작업입니다. 데이터메이커 시냅스의 데이터 처리 플랫폼을 활용하면 데이터 수집부터 검증까지 전체 프로세스를 간소화하여 데이터 세트가 최첨단 기계 학습 모델을 학습할 수 있도록 준비할 수 있습니다.
데이터메이커의 저비용 고품질 데이터 구축이 가능한 이유로는 가나 현지 인력풀 보유와 긴밀한 협업을 꼽을 수 있습니다. 해외 인력풀을 활용하여 비용 효율성을 확보하고, 해외 전담 PM팀과의 원활한 소통을 통해 이번 신호등 B-Box 정보 데이터셋 구축 프로젝트를 성공적으로 마칠 수 있었습니다. 또 가나 현지 데이터메이커들의 숙련된 작업 능력과 노하우가 더해져 고품질 데이터셋을 확보하고 자율주행 기술 발전에 기여할 수 있었습니다.