← Work
Experiment2026 · Solo Builder· Started(First Commit date)
Lecturenote AI
강의 슬라이드 + 녹음 한 쌍으로 슬라이드별 학습 노트를 만들어주는 도구 - Whisper STT + Claude.
- React
- FastAPI
- Whisper
- Claude
Build
- What I did
- 슬라이드를 이미지로 렌더링하고 음성 트랜스크립트와 슬라이드 단위로 매칭
- Claude가 슬라이드 아래에 줄 노트 초안 작성
- QA considerations
- STT 트랜스크립트를 슬라이드 경계에 매칭할 때 어긋남(오프셋 밀림)이 노트를 엉뚱한 슬라이드에 붙이지 않는가
- Whisper 인식 오류·긴 무음·화자 겹침 같은 오디오 엣지 케이스에서 매칭이 견고한가
- Claude 노트 초안이 트랜스크립트에 없는 내용을 지어내지 않는가(초안이지 사실이 아님을 보장)
- 발화 없이 넘어간 슬라이드(빈 트랜스크립트 구간)에서 억지 노트를 만들지 않고 비워두는가
- 슬라이드별 노트 정확도를 무엇으로 측정하고 회귀를 막을지 - 지표 없이는 "만들기만 계속"이 되는 이 프로젝트의 미해결 관문
- Tech stack
- React
- TypeScript
- Vite
- FastAPI
- Python
- Whisper
- Claude