HEY-I (HElp Your Interview)
2023.01 ~ 2023.02 | Naver connect boostcamp ai tech 4th 팀 프로젝트
프로젝트 개요
•
면접을 준비하는데 있어서 녹음 후 다시 듣기를 통해서 수정이 가능한 언어적 표현들과 달리, 비언어적, 반언어적 표현들은 연습하기가 어렵습니다.
•
기존 서비스들은 유료 서비스이거나 사용하는데 시간이 오래 걸려 접근이 어렵고, 결과 분석 과정을 사용자가 알 수 없어 결과에 대한 신뢰도가 떨어집니다.
•
이를 보완하여 면접자의 행동을 분석하여 객관적인 정보를 영상과 함께 전달하는 프로젝트를 기획하였습니다.
•
HEY-I는 면접자의 표정, 자세, 시선을 분석하여 사실 기반의 피드백을 제공합니다.
프로젝트 결과
•
Streamlit을 통해 면접자의 영상을 받아 GCS에 영상을 저장하고 해당 영상들은 Multi-Threading을 통해 3개의 서버에서 표정, 자세, 시선에 대해 각각 inference됩니다. 그 결과들은 DB에 저장되고 HEY-I가 문제가 있다고 판단한 부분에 대해 타임라인 형식으로 결과를 제공하고, 면접자는 해당 결과에 대해 만족/불만족 피드백을 저희에게 주게 됩니다.
배운 점
프로젝트를 하는동안 MongoDB에 대해 학습한 내용입니다.
•
MongoDB를 활용하여 데이터베이스를 구축했습니다.
그 과정에서 RDBMS와 NoSQL의 차이에 대해 알게 되었고 어떤 이유로 어떤 툴을 사용하는 가에 대해 고민을 하게 되었습니다.
저희가 구상하는 프로젝트 특성상 Pose estimation과 face emotion의 경우 I/O 데이터의 구조가 이미지 좌표를 많이 포함하기도 했기에 json 형식으로 다루는 것이 좀 더 용이하다고 판단했습니다.
또한 MVP형식으로 프로젝트를 진행하다보니 앞으로 발전 시킬 모델과 기능에 대해 어떤 식으로 데이터 구조가 변할지 모르기 때문에 스키마를 변경하기 어려운 RDBMS보다는 MongoDB가 낫다고 생각했습니다.
그리고 데이터를 저장하는데 있어서 MongoDB Atlas라는 서버를 활용하는 법을 알게 되었습니다.
•
FastAPI를 활용하여 간단하지만 백엔드 단에서의 흐름을 알 수 있게 되었습니다.
•
많은 부분을 커스텀 하지는 못했지만 Eye tracking 오픈소스를 활용해서 시선 추적 기능을 구현하였습니다.
Data Flow
파이프라인
사용 환경
Python, FastAPI, Streamlit, MongoDB, GCP, Docker, Github Action, Airflow
기여도
MongoDB - 100
FastAPI - DB관련 기능에 대한 부분만 기여
Streamlit - DB관련 기능에 대한 부분만 기여