열화상 카메라 융합 자율주행 데이터

열화상 카메라 PCD 세그멘테이션

프로젝트 소개

오랫동안 무인차량 개발을 위한 자율주행 기술 연구가 다양한 기업에서 이루어지고 있습니다.

하지만 현재 사용되는 자율주행 데이터는 실제 주행 환경의 다양성을 완벽하게 반영하지 못하는 문제는 여전히 풀어야 할 과제로 남아있습니다.

특히, 예측하지 못한 상황에 대한 대처 능력 저하와 안전 문제로 이어질 수 있기 때문에, 강우, 안개, 폭설 등 시야 제한 상황을 포함하는 데이터셋 구축은 필수적입니다.
시야 제한 상황을 담은 데이터셋은 안전하고 신뢰할 수 있는 자율주행 기술 개발에 필수적인 요소이며, 자율주행 알고리즘 개발, 안전성 평가 등 다양한 방안으로 활용될 수 있습니다.

고객사의 Problem

고객사는 기존 일반 영상 데이터의 한계를 넘어 악천후 및 열악한 도로 환경까지 고려한 자율 주행 데이터 구축을 통해 성능 향상을 목표로 했습니다.

이를 위해 열화상 카메라로 촬영된 이미지 수집과 더불어 3D Point Cloud Data(PCD) 데이터 가공을 동시에 진행하였습니다.

데이터메이커는 이미지 라벨링에 대한 다수의 경험을 보유한 장점과 PCD 3D 라벨링이 가능한 자체 개발 툴을 활용하여 다양한 날씨 조건 및 조도에 따른 환경 변화를 반영한 효율적인 데이터 구축을 설계하였습니다.

데이터메이커의 Solution

데이터메이커는 시냅스 어노테이션을 활용하여 열화상 카메라로 촬영된 이미지에 PCD Cuboid 라벨링을 진행하였습니다.

진행 과정에서 직면한 여러 과제들을 기술적으로, 인적 역량으로 해결한 내용을 아래와 같이 정리해 보았습니다.

데이터 수집

시야 제한 환경에서 열화상 카메라가 온도로 물체를 식별 및 추적이 활용될 수 있도록, 주간과 야간, 다양한 악천후 조건(강우, 강설, 야간, 안개 등)에서 데이터를 수집을 위한 방안을 설계하였습니다.

또한, 고속도로, 도심, 교외 등 다양한 도로 환경을 포함하여 주행 속도, 방향, 핸들 각도 등 운행 로그도 함께 기록되었습니다. 또한, 교차로 통과, 차선 변경, 위험 상황 회피 등 다양한 시나리오를 포함하여 자율주행 시스템 개발에 필요한 실제 상황을
반영했습니다.

데이터 취득 방법

자율주행 차량 플랫폼 및 정밀 측정 장비를 활용하여 실제 도로 환경과 인공 환경에서 데이터를 수집했습니다. 데이터는 20초 미만의 짧은 영상 단위로 큐레이션되었으며, 초당 2fps 이하의 프레임 속도로 추출하여 구축하였습니다.

센서 구성

열화상 카메라: 저조도 및 악천후 환경에서도 적외선을 감지하여 물체 인식 및 추적을 가능하게 합니다.
Lidar: 주변 환경의 3D 정보를 획득하여 정확한 위치 인식 및 주행 경로 계획을 수립하는데 활용됩니다.
HFD급 카메라: 고해상도 영상 촬영을 통해 도로 상황 및 주변 사물을 명확하게 인식할 수 있도록 합니다.
GNSS/INS: 정확한 위치 및 자세 정보를 제공하여 자율주행 시스템의 안전성을 향상시킵니다.

주행 환경에서 포착된 동적 및 정적 객체를 고려하여, 센서 동기화 및 캘리브레이션을 통해 각 센서로부터 얻은 정보를 정확하게 결합하여 자율주행 시스템의 인식 능력을
극대화하였습니다.

데이터 가공

자율주행 알고리즘 개발을 위한 PCD 데이터의 Cuboid 라벨링은 3D 바운딩박스 도구를 활용하여 객체에 해당되는 점군을 정확하게 라벨링하였습니다.

생성된 어노테이션은 평면도, 측면도, 정면도에서 객체의 사이즈 및 방향 각도를 조절할 수 있으며 주행 환경에서 식별되는 사람 및 이동수단과 같은 동적 객체를
라벨링할 수 있습니다.

데이터메이커 PCD 데이터 가공 바로가기

데이터메이커는 데이터 가공 과정에서 데이터 정확도를 향상시키고 작업의 효율화를 위한 어노테이터 기능 개선 방안을 지속적으로 고민하였습니다.

PCD 어노테이터 기능 개선

PCD 데이터 Cuboid 라벨링을 위한 화각 설정

PCD 가공 과정에서 라벨링 대상이 멀어질수록 점군의 밀도값 감소로 인해 포인트 식별이 어려워지는 문제가 발생하였습니다.
이를 해결하기 위해 데이터메이커 시냅스의 어노테이터 기능 개선을 진행하였습니다.

PCD 데이터 가공 기능 개선 (화각 표시 화면)

a. 데이터에 특정 범위 시각화

PCD 중심점을 기준으로 40m 이내에 존재하는 객체만 라벨링 할 수 있도록 직선 거리와 각도를 자동으로 계산하여 ROI 영역을 작업자들에게 표시해줍니다.

b. 화각 일치 범위 표시

열화상 이미지 화각은 센서의 기본값을 활용하여 2D 열화상 이미지 화각과 일치하는 범위를 PCD 데이터에 표시하여 어노테이터 작업 효율을 높입니다.

c. RGB/열화상 이미지 활용

RGB 이미지는 주간 데이터의 객체 확인, 열화상 이미지는 야간 데이터의 객체 확인에 활용하기 위해 사용하였습니다.

d. 2D 이미지 확인 기능

라이다, RGB 이미지, 열화상 이미지 데이터의 화각을 기준으로 동기화하여, 작업 화면에서 라이다와 매칭되는 2D 이미지를 라벨링 시 곧바로 참고할 수
있도록 하였습니다. 작업자는 이를 통해 라벨링 효율성과 정확성을 높일 수 있었습니다.
작업자 편의 개선
인공지능 모델 개발 시 밀도가 낮은 객체를 학습에서 제외하기 위해 Cuboid 박스 내 포인트의 수가 30개 미만인 경우에는 라벨링을 진행하지 않고자 하였습니다.
작업자들이 일일이 점을 카운트하며 작업하는 것은 비효율적이므로 아래와 같이 기능을 추가하였습니다.

a. 포인트 개수 집계
시냅스 패널 옵션에서 생성된 Cuboid 박스 내 포인트 개수를 자동으로 확인할 수 있는 기능을 추가하여 작업자가 포인트 밀도를 쉽게 파악할 수 있도록 합니다.

b. 최소 포인트 수 제한

혹시라도 작업자가 객체가 30개 미만의 객체에도 라벨링 한 경우, 3D Bounding Box 생성 자체를 제한하여 데이터의 정확도도 높였습니다.

위와 같이 데이터메이커 시냅스 기능 개선으로 작업 편의성과 가공 시간을 단축시켜 고효율 데이터 추출이 가능하였습니다.