Few-Shot Learning(FSL)의 접근 방법 중 Data Augmentation-based 방식
샘플 간의 유사성을 학습하고 샘플을 통해 추출한 feature들 간의 거리를 비교하는 Metric-based 알고리즘 중 MatchingNet, PrototypicalNet 그리고 RelationNet을 베이스라인으로 활용함. 이 방식들은 Many-shot 방식들에 비해 성능이 낮으며 이런 점을 개선하고자 Data Augmentation Candidate Pool에서 최적의 데이터 증강 전략을 자동으로 찾는 방식을 적용함.
Classification Phase의 증강 데이터셋 활용 및 Metric-based FSL 모델 성능 평가
FSL 알고리즘에 자동 증감 기법을 최초로 적용 및 증강 기반 FSL에 대한 검색 매커니즘 자동화. 사람의 개임없이 최적의 증강 규칙을 자동으로 검색하는 EDANet 제안. 실험결과 EDANet이 매트릭 기반 FSL에 대한 후보 보강 기법 풀에서 최적의 데이터 보강 전략을 탐색하며 기존 베이스라인 보다 성능 향상.
EDANet : Augmentation Phase와 Classification Phase로 구성
건설현장용 학습데이터 구축 기술 개발
시각 지능으로 작업자의 규정 미준수, 위험/불안전 행동을 판별하기 위해서는 학습 데이터의 수집이 요구되나, 실제 건설 현장에서 데이터를 직접 수집하거나 연출을 통해 데이터를 수집하는 것은 매우 제한적임. 따라서, 가상공간에서 작업자와 작업 현장을 모델링하고 연출하도록 하여 시간과 공간의 제약 없이 다수의 학습 자료를 수집하고자 함.
게임 개발 엔진 기반 가상환경 구축 및 학습데이터 생성
게임 개발 엔진인 Unity를 활용해 실제 작업환경과 높은 유사도를 가진 가상 작업환경을 구성하고, 데이터 자동 레이블링, 데이터 증강 및 학습 알고리즘을 결합하여 작업자의 규정 미준수, 위험/불안전 행동을 높은 정확도로 판별할 수 있는 심층신경망(DNN) 모델을 학습시켰음.
실제 건설현장을 촬영하여 3D Mesh파일을 Unity에 삽입한 후, 인간 모델링(걷기, 서기 등의 애니메이션), 안전고리 모델링을 통해 위험/불안전 행동을 가상공간에서 연출할 수 있도록 함.
라벨링 데이터 생성
Unity에서 제공하는 머신러닝 학습 툴인 Unity Computer Vision에서 제공하는 Perception Camera 기능을 이용해 사람, 안전고리가 자동으로 라벨링(2D Bounding Box 및 Semantic Segmentation) 된 데이터를 생성하고 데이터 라벨링과 증강을 수행하도록 개발함.
가상 작업환경 기반 데이터 생성, 증강 및 학습 프로세스