열화상 이미지에 PCD Cuboid 라벨링 수행기
오랫동안 무인차량 개발을 위한 자율주행 기술 연구가 다양한 기업에서 이루어지고 있습니다. 하지만 현재 사용되는 자율주행 데이터는 실제 주행 환경의 다양성을 완벽하게 반영하지 못하는 문제는 여전히 풀어야 할 과제로 남아있습니다.
특히, 예측하지 못한 상황에 대한 대처 능력 저하와 안전 문제로 이어질 수 있기 때문에, 강우, 안개, 폭설 등 시야 제한 상황을 포함하는 데이터셋 구축은 필수적입니다. 시야 제한 상황을 담은 데이터셋은 안전하고 신뢰할 수 있는 자율주행 기술 개발에 필수적인 요소이며, 자율주행 알고리즘 개발, 안전성 평가 등 다양한 방안으로 활용될 수 있습니다.
고객사는 기존 일반 영상 데이터의 한계를 넘어 악천후 및 열악한 도로 환경까지 고려한 자율 주행 데이터 구축을 통해 성능 향상을 목표로 했습니다. 이를 위해 열화상 카메라로 촬영된 이미지 수집과 더불어 3D Point Cloud Data(PCD) 데이터 가공을 동시에 진행하였습니다.
데이터메이커는 이미지 라벨링에 대한 다수의 경험을 보유한 장점과 PCD 3D 라벨링이 가능한 자체 개발 툴을 활용하여 다양한 날씨 조건 및 조도에 따른 환경 변화를 반영한 효율적인 데이터 구축을 설계하였습니다.
데이터메이커는 시냅스 어노테이션을 활용하여 열화상 카메라로 촬영된 이미지에 PCD Cuboid 라벨링을 진행하였습니다. 진행 과정에서 직면한 여러 과제들을 기술적으로, 인적 역량으로 해결한 내용을 아래와 같이 정리해 보았습니다.
시야 제한 환경에서 열화상 카메라가 온도로 물체를 식별 및 추적이 활용될 수 있도록, 주간과 야간, 다양한 악천후 조건(강우, 강설, 야간, 안개 등)에서 데이터를 수집을 위한 방안을 설계하였습니다.
또한, 고속도로, 도심, 교외 등 다양한 도로 환경을 포함하여 주행 속도, 방향, 핸들 각도 등 운행 로그도 함께 기록되었습니다. 또한, 교차로 통과, 차선 변경, 위험 상황 회피 등 다양한 시나리오를 포함하여 자율주행 시스템 개발에 필요한 실제 상황을 반영했습니다.
자율주행 차량 플랫폼 및 정밀 측정 장비를 활용하여 실제 도로 환경과 인공 환경에서 데이터를 수집했습니다. 데이터는 20초 미만의 짧은 영상 단위로 큐레이션되었으며, 초당 2fps 이하의 프레임 속도로 추출하여 구축하였습니다.
자율주행 알고리즘 개발을 위한 PCD 데이터의 Cuboid 라벨링은 3D 바운딩박스 도구를 활용하여 객체에 해당되는 점군을 정확하게 라벨링하였습니다.
생성된 어노테이션은 평면도, 측면도, 정면도에서 객체의 사이즈 및 방향 각도를 조절할 수 있으며 주행 환경에서 식별되는 사람 및 이동수단과 같은 동적 객체를 라벨링할 수 있습니다.
* 데이터메이커 PCD 데이터 가공 바로가기(https://www.youtube.com/watch?v=usHidc_hKSg)
PCD 데이터 Cuboid 라벨링을 위한 화각 설정
PCD 가공 과정에서 라벨링 대상이 멀어질수록 점군의 밀도값 감소로 인해 포인트 식별이 어려워지는 문제가 발생하였습니다. 이를 해결하기 위해 데이터메이커 시냅스의 어노테이터 기능 개선을 진행하였습니다.
a. 데이터에 특정 범위 시각화
PCD 중심점을 기준으로 40m 이내에 존재하는 객체만 라벨링 할 수 있도록 직선 거리와 각도를 자동으로 계산하여 ROI 영역을 작업자들에게 표시 해줍니다.
b. 화각 일치 범위 표시
열화상 이미지 화각은 센서의 기본값을 활용하여 2D 열화상 이미지 화각과 일치하는 범위를 PCD 데이터에 표시하여 어노테이터 작업 효율을 높입니다.
c. RGB/열화상 이미지 활용
RGB 이미지는 주간 데이터의 객체 확인, 열화상 이미지는 야간 데이터의 객체 확인에 활용하기 위해 사용하였습니다.
d. 2D 이미지 확인 기능
라이다, RGB 이미지, 열화상 이미지 데이터의 화각을 기준으로 동기화하여, 작업 화면에서 라이다와 매칭되는 2D 이미지를 라벨링 시 곧바로 참고할 수 있도록 하였습니다. 작업자는 이를 통해 라벨링 효율성과 정확성을 높일 수 있었습니다.
인공지능 모델 개발 시 밀도가 낮은 객체를 학습에서 제외하기 위해 Cuboid 박스 내 포인트의 수가 30개 미만인 경우에는 라벨링을 진행하지 않고자 하였습니다. 작업자들이 일일이 점을 카운트하며 작업하는 것은 비효율적이므로 아래와 같이 기능을 추가하였습니다.
a. 포인트 개수 집계
시냅스 패널 옵션에서 생성된 Cuboid 박스 내 포인트 개수를 자동으로 확인할 수 있는 기능을 추가하여 작업자가 포인트 밀도를 쉽게 파악할 수 있도록 합니다.
b. 최소 포인트 수 제한
혹시라도 작업자가 객체가 30개 미만의 객체에도 라벨링 한 경우, 3D Bounding Box 생성 자체를 제한하여 데이터의 정확도도 높였습니다. 위와 같이 데이터메이커 시냅스 기능 개선으로 작업 편의성과 가공 시간을 단축시켜 고효율 데이터 추출이 가능하였습니다.
자율주행 기술의 안전성과 신뢰성을 확보하기 위해서는 다양한 악천후 환경에서 정확한 물체 인식 및 주행가능영역 판단이 필수적입니다.
이번 프로젝트에서는 일반 환경에서 구축된 데이터셋으로 학습된 모델의 열악한 환경에서 발생되는 성능 저하 문제를 해결하기 위해서 다양한 조건에서 얻어진 악천후 환경 데이터셋을 구축하여 모델의 물체 인식 성능을 향상시켰습니다.
또한, 라이다 데이터 가공 툴의 연구・개발을 통해 데이터메이커 시냅스 어노테이터의 기능을 개선하고 2D 뿐만 아니라 3D 데이터 가공의 정교함과 정확성을 향상시켰습니다.
앞으로도 데이터메이커의 데이터 가공 노하우와 플랫폼의 지속적인 연구 개발을 통하여 자율주행 관련 기술뿐만 아니라 여러 분야의 구축 사업에 활용되어 높은 시너지 효과를 창출할 것으로 기대됩니다.
