프로젝트 소개

코로나19 팬데믹으로 인해 가속화된 VR(Virtual Reality) 기술은 단순한 즐길거리를 넘어 원격 작업과 협업을 위한 도구로서 활용 가능성이 높아짐에 따라 다양한 산업 분야에 영향을 미치고 있습니다.

특히 건축 산업 분야에서는 생산성, 경제성, 안전성을 향상시키고자 VR 기술을 적극 활용하고 있습니다.

 

 

고객사의 Problem

대규모 실내 공간 3D 데이터 구축은 실내 공간의 3D 객체 인식 및 인공지능 로봇 시스템 학습, 게임용 가상공간, 건축 및 인테리어 3D 조감도 렌더링,

환경, 안전 시뮬레이션 등 다양한 분야에서 활용이 가능합니다.

고객사에서는 가상 환경 기반의 실내 공간 2D/3D 데이터 구축이 필요하였습니다. 이를 활용하여 가상 모델링이 가능할 뿐만 아니라 이를 기반으로

실내 공간 객체 인식 및 분할 인공지능 모델을 개발하고자 하였습니다.

데이터메이커는 2D/3D 가상 공간 산출물 데이터를 효율적으로 구축하여 가상 현실에 실제 응용하여 다양한 환경 및 구조를 관리 시스템에 적용할 수 있도록 하였습니다.

데이터메이커의 Solution

원천데이터는 3D 오브젝트(.fbx), 2D 오브젝트(.jpg), 3D 공간 데이터(.fbx)를 가공하였습니다.

메타정보들은 건축법 및 산업 현장의 실제 데이터를 기반으로 3D/2D 오브젝트와 공간 구성 비율을 세밀하게 구성하여 현실감 넘치는 가상 실내 공간을 구축했습니다.

오브젝트 구성 및 공간 구성

3D/2D 오브젝트 구성 비율은 건축법 및 산업 분야 현황을 기반으로 오브젝트 구성 비율을 세분화하였습니다.

3D 공간 모델에 활용될 오브젝트는 제품 분류와 용도에 따라 공간 제작 기준에 맞춰 쓰임새에 맞는 공간에 배치되도록 정제되었습니다.

공간 구성은 주거, 상업, 기타(종교, 교육, 의료, 사무 공간)로 분류하여 다양한 용도의 공간 제작을 위한 비중을 조정했습니다. 특히 상업 및 기타 시설은 용도에 따라

비중이 높은 건축 공간이 존재하기 때문에 10%로 분포도를 조정하여 공간 구성의 균형을 맞추었습니다.

이를 통해 현실 세계에서 볼 수 있는 공간 비율을 반영하여 더욱 사실적인 가상 실내 공간을 구축할 수 있었습니다.

3D 오브젝트 분류

3D 공간 모델에 활용되는 오브젝트는 제품 분류와 용도에 따라 공간 제작 기준에 맞춰 정제되었습니다. 단순히 외형만을 갖춘 가상 오브젝트가 아닌, 실제 제품의

치수, 재질, 기능 등을 반영하여 현실감을 높였습니다.

• 일반 가구: 책장, 거실장, 옷장, 서랍장, 소파, 의자, 책상, 거울 등
• 주방 가구: 주방 세트, 후드, 식탁, 가스레인지 등
• 욕실 가구: 세면대, 양변기, 욕조, 욕실장, 욕실 거울, 샤워기 등
• 일반 가전: 냉난방기, 공기 청정기, TV, 오디오, 컴퓨터, 세탁기, 냉장고 등
• 인테리어 가구: 시계, 액자, 쿠션 등
• 조명: 벽 조명, 바닥 조명
• 커튼: 커튼
• 개구부: 문, 창문

AI 학습을 위한 가상 실내 공간 합성 데이터 구축

3D/2D 오브젝트과 공간 데이터

사실적인 3D 공간 모델링을 위해 실내 환경 분석을 철저히 진행하고, 공간, 실내 소품, 오브젝트 등을 카테고리별로 정밀하게 구성했습니다.

이를 통해 다양하고 풍부한 3D 가상 실내 공간 데이터를 구축할 수 있었습니다.

실내 환경 분석 - 실내 환경을 면밀하게 분석하여 공간 구조, 조명, 색감 등을 파악했습니다.

공간 분류 - 주거, 상업, 기타(종교, 교육, 의료, 사무 공간) 등 공간 용도별로 분류하여 각 공간의 특징을 반영했습니다.

실내 소품 및 오브젝트 카테고리화 - 다양한 실내 소품과 오브젝트를 용도, 디자인, 크기 등을 기준으로 카테고리화하여 관리했습니다.

2D 마감재 추가 - 벽, 바닥, 천정 등 공간 용도별 마감재를 2D 오브젝트로 추가하여 현실감을 높였습니다.

현실 공간 재현 - 실내 디자이너 및 설계 및 시공 전문가들과 협력하여 공간 저작 툴을 활용하여 현실 공간의 모습을 최대한 재현했습니다. 특히 조도, 해상도, 이미지 촬영

위치와 각도 등을 다양하게 조절하여 사실적인 가상 공간을 구축했습니다.

저작권 문제 해결 - 각 오브젝트 디자인의 저작권 관련 법률 자문을 통해 획득 및 수집하여 제작과정에서 저작권 문제가 발생하지 않도록 확인하였습니다.

데이터 검수

2D 공간 이미지 렌더링 및 설명문 라벨링

2D 이미지 촬영 및 실사 렌더링과 동시에 다음 순서의 렌더링 Script를 실시하여 이미지 파일로 구축하였습니다.

다양한 3D 공간 모델 내 구도에 해당하는 2D 이미지를 한 구도 당 7종류(색상 및 반사광 하이라이트 등 조건)의 이미지를 생성(렌더링)하였습니다.

• Depth 이미지 - 이미지 화면에서 각 픽셀 위치의 3D 좌표와 카메라 거리를 기준으로 색상을 변경하여 렌더링
• 노멀 이미지 - 화면에서 각 오브젝트 모델링의 노멀맵을 수치화하여 색상을 변경하여 렌더링
• 디퓨즈 렌더링 - 모든 오브젝트의 디퓨즈만 나타나는 렌더링
• 난반사관이 있는 렌더링 - **정반사 없이 난반사 광만 있는 RGB 렌더링
• 정반사광이 있는 렌더링 - **난반사 없이 정반사 광만 있는 렌더링

Panoptic Segmentation 라벨링 - 2D 공간 이미지의 각 2D/3D 오브젝트에 대해 구분하고 위치하는 픽셀을 지정된 색상으로 라벨링했습니다.

RGB 이미지 캡션 라벨링 - 이미지를 보고 객관적인 사실에 대한 설명문을 작성하고, 촬영된 이미지에 존재하는 최소 2개 이상의 객체에 대한 묘사를 진행했습니다.

객체를 적절하게 설명할 수 있도록 5개 단어 이상을 적절하게 사용하여 문장을 작성했습니다.

3D 데이터 생성 및 수정

공간 내 배치된 모든 오브젝트에 대한 외곽 기준에 맞춰 3D Cuboid Bounding Box를 생성 및 클래스를 구분하였습니다.

하지만, 하지만 기존 데이터메이커 시냅스는 PCD 형식만 지원하여 3D 파일 형식인 .fbx 포맷을 유지한 채 작업, 검수 및 모델 학습에 어려움을 겪었습니다.

PCD로 검수 시 공간 내 객체와 포인트 수가 많기 때문에 영역 오류나 오브젝트 누락이 발생할 수 있고, 검수에도 많은 시간이 소요될 것을 요구되었기 때문에

데이터메이커 시냅스 내 프로그램 개선이 필요하였습니다.

 

데이터 메이커 시냅스 멀티 뷰어 FBX → PCD

데이터메이커는 시냅스에 .fbx 파일을 .PCD 포맷으로 변환하는 멀티 뷰어 기능을 개발하였습니다.

이를 통해 모델 학습 시 사용할 수 있는 PCD 변환 코드를 개발하고, 시냅스를 통한 데이터 검수 시 품질 확보를 위한 멀티 뷰어 기능을 제공했습니다.

이 기능은 시냅스 내에서 더욱 정밀한 공간 실사화가 가능하고, 작업자의 어노테이션 작업 효율성 향상 및 향상된 라벨링 작업 시야 확보로 데이터의 정확도 향상과 시냅스의 사용성이 확보되었습니다.

데이터메이커 시냅스는 [평면도, 측면도, 정면도 패널]을 제공하여 작업자가 오브젝트의 영역 외곽을 상세하게 확인하고 정확하게 라벨링할 수 있도록 지원했습니다.
또한, 검수 단계에서는 영역 오류를 빠르고 쉽게 발견하고 수정할 수 있도록 [어노테이션 속성 패널]을 통해 어노테이션이 올바른 클래스 정보로 태깅되어 있는지

편리하게 확인할 수 있도록 기능을 구축했습니다.

구축된 3D Cuboid 정보는 Unity3D에서 추출 시 csv로, 최종 라벨링 데이터 json 형태로 변환하여 추출이 가능하였습니다.
최종데이터의 품질은 의미정확성 평가를 진행하여 정밀도와 재현율 평균 95%를 달성을 확인하였습니다.

프로젝트를 마치며

데이터메이커 시냅스는 지속적인 업데이트를 통해 작업자의 편의성을 높이고 데이터 구축의 효율성을 향상시키고 있습니다.

이번 프로젝트에 경우에도 사실적인 3D 공간 모델과 다각적인 정보를 담은 데이터 구축과 최종 데이터 품질 검증을 입증하였고, 향후 실측 데이터에서도

자동으로 객체 및 공간 정보를 추출하여
디지털 트윈 기술을 활용한 시스템 구축 비용을 절감하고 자동화하는데 기여할 것으로 기대됩니다.