[데이터 셋 구축 및 모델 실험을 통해 분류 기준 성능 최대 3배 이상 향상]
customer 시각장애인들이 지하철을 사용하는데 있어서 겪는 어려움을 해결하고자 객체탐지 기반의 지하철 내 길 안내 앱을 제작하였습니다.
company 지하철에서 길안내를 하는데 필요한 표지판 사진같은 데이터셋이 없었습니다. 이로 인해 30%도 안나오는 성능때문에 데이터셋을 직접 구축 해야했고, 실시간성이 보장되어야 하여 하나의 프레임에 대해 2초 내로 실행하게 하는 작업들을 해야했습니다.
competitor SOTA 모델을 비롯하여 3개의 모델에 대해 학습 시간, 모델 크기 등을 기준으로 논문과 공식 문서를 통해 조사하였습니다. 그리고 최소한의 성능을 내기 위해선 데이터를 어떤 식으로 구축해야하는지를 분석했습니다.
place 모델의 지표를 분석한 결과 최종적으로 YOLOv8 모델을 선정하였습니다. 또한, 1달간 직접 수집한 이미지 1000여장에다가 인터넷에서 수집한 이미지를 추가한 후 Roboflow를 이용해 데이터셋을 구축하였습니다. 하나의 데이터셋에 포함된 클래스가 많았기에 사용자 상황에 따라 데이터셋을 3개로 나누어 총 3개의 가중치를 만들어 사용했습니다. 또한 각 데이터 셋에 맞는 최적의 데이터 증강 기법 조합을 찾는 실험을 진행하였습니다.
그리고 세 개의 가중치 파일을 안드로이드에서 처리하는데 속도가 너무 느렸기에 멀티 쓰레딩 방법을 도입하여 해결하였습니다.
product, price 그 결과 평균적인 정확도가 3배 가량 향상되었으며, 특정 클래스의 경우 정확도를 90%까지 향상시켰습니다. 또한 하나의 프레임에 대한 전체 플로우 실행 시간을 4초대에서 2초대로 50% 감소시켰습니다. 최종적으로 안대는 낀 상태에서 이 프로그램을 통해 지하철 이용을 성공하였고 해당 프로젝트에 대하여 교내 대회에서 수상하였습니다.
promotion 그리고 해당 내용을 한국 시각장애인협회에 공유하면서 마무리를 지었습니다.