프로젝트 소개

스포츠 테크 시장의 성장으로 첨단 기술 도입 광범위하게 도입되고 있습니다.
그 중 정밀한 영상 기술을 활용한 비디오 판독 시스템은 경기의 공정성과 정확성을 개선하였습니다.

이러한 기술 혁신은 단순한 판정 개선을 넘어 선수들의 경기력을 과학적으로 분석하고 향상시키며, 동시에 관중들의 경기 몰입도를 크게 높이는 데 기여하고 있습니다.

앞으로 인공지능과의 융합을 통해 스포츠 경기의 질적 향상과 국제적 보급 등 큰 시너지 효과가 기대됩니다.

 

고객사의 Problem

고객사는 씨름 선수의 경기력 향상을 위한 기술 분석 및 평가, 훈련 지원 프로그램 개발, 프로 선수들의 기술 노하우 전수 및 후임 양성 등 민족 스포츠 종목인 씨름의 발전에 기여하도록 하기 위해서 기술 장비를 도입하고자 하였습니다.

장비 도입을 위해서는 동작을 인식하고 자동으로 기술의 성공 여부를 확인하는 자동화 시스템이 필요하였습니다. 이를 위해서는 경기 상황에 대한 전략적인 이해와 명확한 동작 구분이 가능한 데이터가 필요하였습니다.

이는 신체 구조를 잘 이해할 뿐만 아니라 동작 구분에 대한 일관적인 라벨링 작업 수행 능력이 요구되어 데이터메이커에 의뢰를 하였습니다.

 

데이터메이커의 Solution

영상 구간 분할 및 데이터 전처리

• 구간 분할 기준 : 고객사에서 전달된 훈련 영상은 카메라 번호, 경기 영상은 대회 정보를 기준으로 구간별로 분할하였습니다.
• 메타데이터 정리 : 각 구간별로 촬영 일자, 소속, 체급, 성별, 연령 등의 기본 정보와 함께 훈련 영상의 경우 체중, 신장, 허벅지 둘레 등의 상세한 신체 정보를 정리하였습니다.
• 편집점 분할 : 영상 파일명에 명시된 선수의 인사 시점부터 심판의 휘슬 또는 경기 종료 시점까지를 정확하게 구분하여 스포츠 동작의 시작과 끝을 명확히 하였습니다.
• 선수 정보 : 파일명에 있는 선수명과 대회 정보들은 메타데이터와 크로스 체크하였습니다.

메타 정보와 함께 각 영상의 편집점 정보를 초기 분석하여 라벨링이 필요한 특정 영역을 식별하였습니다.
이 과정을 통해 식별된 구간은 편집점을 기준으로 포인트를 분리하여 더욱 정밀한 데이터 처리가 가능하였습니다.

영상 데이터 가공 - 세그멘테이션

• 구간 세그멘테이션 : 영상 내 주요 기술이 사용되는 구간을 정확하게 식별하기 위해 구간 세그멘테이션 기법을 적용했습니다.
• 동작 정의서 기반 라벨링 : 동작 정의서를 참고하여 각 어노테이션을 특정 동작, 기술, 경기 상황 등으로 정확하게 라벨링하였습니다.
• 연결 동작 그룹화 : 연속적인 동작들을 하나의 그룹으로 묶어 기술의 진행 과정을 파악하고, 각 구간별로 기술명, 공격 선수, 승리 선수, 기술 성공 여부 등을 상세하게 태스크를 지정하였습니다.

이미지 데이터 가공 - 키포인트, 바운딩 박스, 캡션

• 키포인트 라벨링 : 선수의 신체 26곳에 키포인트를 라벨링하고, 관절이 가려진 경우와 같은 예외 상황을 고려하여 가시 유무를 체크하였습니다.
• 바운딩 박스 생성 : 키포인트 정보를 바탕으로 선수의 외곽에 맞춰 바운딩 박스를 생성하고, 심판을 제외한 선수만을 대상으로 하였습니다.
• 캡션 생성 : 전처리 된 선수의 메타정보를 활용하여 훈련 영상(대회명), 경기 영상(카메라 번호)의 상황을 간결하고 명확하게 정보를 담아 문장을 작성하였습니다.
  이때 중복되는 내용이 없도록 모니터링하고 영상 유형에 따라 영상 내 정보와 다양한 문장을 활용하도록 하였습니다.
  캡션 데이터는 최종 추출 후 중복 데이터를 제거하여 양질의 데이터를 구축하였습니다.

데이터 보안

• SSD 손상 및 분실 방지: NAS를 활용하여 영상 데이터를 중앙 집중 관리함으로써 SSD의 물리적 손상이나 분실로 인한 데이터 유실 위험을 최소화했습니다.
• 영상 유출 방지: NAS 기반의 재생 플레이어를 통해 데이터 공유를 안전하게 진행하고, 영상 유출 위험을 낮췄습니다.

개인정보 보호

• 개인정보 비식별화: 선수의 얼굴, 신체 특징 등 개인을 특정할 수 있는 정보는 노출하지 않음
• 고유 ID 부여: 선수를 식별하기 위해 개인정보와 무관한 고유 ID를 부여
• 민감 정보 처리 주의: 선수의 나이, 체급 등 민감한 정보는 최소한으로만 사용하고, 필요한 경우 범위화하여 처리

가이드라인 구축

작업자의 효율적인 라벨링 수행을 위하여 가이드라인을 학습시켜 딥러닝 모델 학습에 활용할 고품질 데이터 구축을 목표하였습니다.
라벨링 된 데이터는 씨름 동작 인식, 선수 분석, 경기 분석 등 다양한 연구 및 개발에 활용될 것입니다.

• 이미지 내 등장하는 선수(2인)를 구별할 수 있도록 라벨링, 영상 및 추출된 이미지에 기술 동작 및 경기 관련 정보를 포함
• 영상에서 추출한 이미지에 동작 및 기술 유형,
• 동작 정의서 교육을 통한 기술이 시작되는 시점, 기술이 들어가는 시점, 기술이 끝나는 시점에 대한 정보 포함
• 씨름 동작(기술)의 유형 구분 및 연결 동작의 명확한 구분
• 라벨링 가이드라인을 수시로 업데이트하여 정확성을 높였습니다.

 

프로젝트를 마치며

스포츠 경기 분석을 위한 데이터 활용이 증가하면서, 효과적인 영상 데이터 구축 방법에 대한 관심도 높아지고 있습니다.

본 프로젝트를 통해 한국 전통의 스포츠 종목의 영상 데이터를 구축하고, 정교한 라벨링 가이드라인을 수립하여 데이터 품질을 획기적으로 향상시켰습니다.
특히, 선수의 움직임을 정밀하게 분석하기 위해 키포인트 추출 기술을 적용하고, 경기 상황별 특징을 반영한 세분화된 라벨링 체계를 구축했습니다.

이를 바탕으로 개발된 스포츠 분석 모델은 선수의 경기력 향상, 전략 수립, 국제화 보급의 고도화 등 다양한 분야에 활용될 수 있는 잠재력을 입증했습니다.
더 나아가, 구축된 데이터셋은 스포츠 과학 분야의 연구 개발에도 기여하여 스포츠 산업 전반의 경쟁력 강화에 기여할 것으로 기대됩니다.