EYEWAY: 시각장애인을 위한 지하철 길 안내 서비스
2023.09 ~ 2023.12 | 세종대학교 캡스톤 디자인 팀 프로젝트
프로젝트 소개
•
시각장애인들이 지하철 역을 이용하면서 겪는 불편함을 해소하고자 스마트폰 카메라를 바탕으로 동작하는 어플 개발
•
기능으로는 출발지-목적지에 따른 지하철 내의 길안내, 화장실 찾기, 출구 찾기, 장애물 안내 제공
프로젝트 목표
•
지하철 역내의 이미지 데이터 셋을 구축하여 사용가능한 수준의 YOLOv8 성능 향상
•
안대 착용 후 어플을 이용하여 어린이대공원역 입구 ~ 아차산역 출구까지 이동 성공
담당 업무
데이터셋 구축
지하철 역 내부 이미지 데이터의 부재로 직접 1달간 1000여장의 이미지를 촬영 후, Roboflow를 통해 데이터셋을 구축하였습니다.
상세 내용
Detection(YOLOv8) 모델의 성능 향상에 100% 기여
•
데이터셋 분할 및 Augmentation 조합 실험
총 탐지해야 할 객체가 11개로 데이터 수에 비해 많았기에 사용자의 상황에 따라 데이터셋을 3개로 나누었습니다. 그리고 각 데이터 셋에 맞는 Augmentation 조합 실험을 총 50회 가량 진행 하였습니다.
상세 내용
Detection 결과 후처리 및 기능 개발에 100% 기여(단어 보정 제외)
YOLOv8 output [bbox, class] → ‘장암행 방면은 왼쪽으로 이동하세요’
1.
안내판 클래스의 bbox 좌표를 이용해 Crop
2.
Crop된 부분에 대해 OCR 진행 → 역 이름 bbox 좌표 얻기
3.
화살표와 역이름을 맵핑
4.
‘장암행 방면은 왼쪽으로 이동하세요’
상세 내용
결과
•
어린이대공원 -> 군자(환승) -> 아차산(2번출구) 까지의 경로로 테스트를 진행하였습니다.
•
사용자는 팀원 한명이 안대를 끼고 지팡이와 해당 앱만 사용하여 어린이대공원 역에서 지하철 탑승 및 화장실 이용, 아차산역 2번 출구까지 나가는데 성공하였습니다.
•
2023 세종대학교 창의설계 경진대회에서 수상을 하였습니다.
환경
•
학습 환경
◦
M1 Pro 14 (AMP 사용에 시간이 더 걸리는 이슈가 있어서 CPU 사용,,)
◦
Elice A100 서버
•
Pytorch, Ultralytics
기여도
•
Detection 결과를 통해 음성 안내를 하기까지의 플로우 개발과 데이터 제작, 학습 과정에 100% 기여