Plank Hyundong
2022.07 ~ 2022.10 | 세종대학교 인공지능 동아리 팀 프로젝트
프로젝트 개요
•
테슬라의 3D reconstruction 기술에 기인해서 주변에서 할 수 있는 간단한 3D reconstruction 프로젝트를 하게 되었습니다.
•
NeRF를 통해 2D이미지를 3D 모델링하는 프로젝트입니다. 엎드려 뻗친 친구의 모습이 담긴 영상으로 부터 3D 프린팅을 해보았습니다.
담당 업무 및 성과
•
데이터 구축 & 가설 설정
◦
성능에 영향을 끼치는 요인을 분석해서 촬영 장소, 데이터의 개수, 옷의 종류 등에 대한 데이터를 구축하여 실험을 진행하였습니다.
◦
동영상으로 수집한 데이터를 샘플링하는 코드를 구현하여 팀원들에게 공유했습니다.
•
NeRF 모델 학습
◦
여러 하이퍼 파라미터에 대해 변인 통제를 하여 데이터 실험과 더불어 총 771건의 학습에 WandB를 활용하여 실험을 관리했습니다. (lr, network…)
•
3D 모델 후처리
◦
Blender를 활용하여 객체 이외의 노이즈를 제거하였습니다.
◦
3D 프린팅 교육을 이수하고 만든 객체를 프린팅하였습니다.
•
결과
◦
◦
최종적으로 만든 출력물에 대한 설문 조사를 진행한 결과 50% 정도의 정성평가 결과가 나왔습니다. (결과물에 해당하는 인물과 옷)
배운 점
•
마일스톤으로 프로젝트 관리를 했습니다. 매 단계 문제 정의를 하고, 해당 문제 정의에 대해 서로 피드백하는 과정을 통해 팀프로젝트의 정체성과 방향성에 대해 생각해보게 되었습니다.
•
파라미터 실험에 앞서 어떤 식으로 실험 계획을 짜야하고 관리(Wandb)를 해야하는지 알았습니다.
•
blender를 통한 3D 모델 후처리 방법에 대해 알게 되었습니다.
•
3D 프린팅 구조물의 구조에 대해서 알게 되었습니다.
간단한 파이프라인
결과물에 대한 설문
WandB 실험