[AI Crew][3회차] 음성 기반 주문 키오스크 해커톤 발표기 – 최종 발표와 느낀 점 및 확장 가능성

 

해커톤의 마지막 날은 그동안의 고민과 시행착오 그리고 밤새 만든 결과물을 모두 정리해 발표하는 중요한 날이었습니다. 개발 과정에서 발견한 오류들을 해결하고 사용자 흐름을 다듬어 갔던 2일차까지의 시간이 어느 정도 안정되면서 3일차가 오기 전 새벽에는 서비스 스토리와 시연 구조를 어떻게 보여줄지에 집중했습니다. 이번 글에서는 최종 발표 준비 과정, 심사위원 피드백, 현장에서 느꼈던 점, 그리고 프로젝트의 확장 가능성을 차분히 정리해 보았습니다.

최종 아키텍처

발표 준비 – 기술보다 ‘사용자 경험’을 중심에 두다

3일차 새벽 저희 팀은 발표 자료를 마무리하는 것부터 시작했습니다. 해커톤의 심사 기준을 다시 확인해 보며 어떤 부분을 강조해야 하는지 하나하나 점검했습니다.

평가 기준은 다음 다섯 가지였습니다.

1. 주제 적합성 – 실제 사회적 문제를 해결하는가
2. 창의성·독창성 – 기존 키오스크 대비 차별화된 방식인가
3. 기술 구현 가능성 – 해커톤 기간 내 구현된 기능의 완성도
4. 지속성과 확장성 – 향후 발전 가능성
5. 사회적 파급효과 – 고령층·취약 계층 등에게 실질적인 도움을 주는가

이 기준에 따라 발표는 “기술 중심 설명”이 아니라 “왜 이 서비스가 필요한지”에 더 집중해야 한다는 결론에 도달했습니다.

따라서 발표 자료의 구조는 다음 순서로 구성했습니다.

• 키오스크 사용에 어려움을 겪는 고령층의 실제 문제
• 음성 사용자 인터페이스(VUI)가 해결할 수 있는 이유
• 저희 팀의 서비스 구조와 설계 흐름
• 시연 영상 및 실사용 시나리오
• 기술 구현 방식 및 핵심 코드
• 확장 방향과 기대 효과

이렇게 구성하니 메시지가 보다 명확해지고 심사위원이 서비스의 흐름을 자연스럽게 이해할 수 있었습니다.

 

출처 :화면 구성도 / 참고 자료 : 서브웨이

시연 영상 구성 – “말하기 → 주문 생성 → 결과 확인” 흐름을 명확히 보여주다

프로토타입 시연은 음성 서비스의 핵심이었기 때문에 단순히 화면만 보여주는 방식으로는 부족했습니다.
그래서 시연 영상은 다음과 같은 단계를 한눈에 보이도록 구성했습니다.

1. 사용자가 말하기 버튼을 누름
2. “에그마요 샌드위치 15로 주세요”라고 말함
3. Whisper 기반 STT가 텍스트로 변환
4. 메뉴 분류 엔진이 “에그마요/15” 자동 인식
5. 옵션이 정확하면 주문 확인 화면으로 이동
6. 결제 단계로 넘어가는 UI 표시

이 흐름이 명확하게 보일수록 “기술이 단순히 돌아가는 것”이 아니라 “실제 사용자가 사용했을 때의 편리함”이 강조된다는 점을 깨달았습니다.

녹음 기능이 한 번에 성공하지 않는 경우를 대비해 STT 실패 시 “잘 듣지 못했습니다. 다시 말씀해 주세요.” 라는 안내가 화면에 띄워지고 다시 음성을 듣는 화면으로 전환 되도록 했습니다.  

출처: 개발 과정 코드

발표 – 팀 전체가 준비한 내용을 하나의 이야기로 엮다

발표는 영역을 나누어 설명하는 방식으로 진행했습니다.

• 기획 : 문제 정의, 사용자 페르소나, 시나리오 소개
• 프론트엔드: UI 설계, 녹음 인터페이스 구현 과정
• 백엔드 : STT 연동, 분류 로직 구조, API 흐름 설명
• 전체: 시연 영상 소개

제가 발표한 부분은 STT → 메뉴 분류 → 주문 생성까지의 흐름이었는데 이를 단순 기술 설명이 아니라 사용자 여정(User Journey)을 기준으로 스토리텔링 방식으로 전달했습니다.

“고령층은 작은 버튼을 누르는 데 어려움을 느낍니다.
하지만 이 서비스는 말하는 순간 주문이 자동으로 완성됩니다.
이 흐름을 가능하게 하는 기술 구조는 다음과 같습니다.”

이런 방식으로 설명하니 심사위원도 고개를 끄덕이며 흐름을 이해하고 있음을 느낄 수 있었습니다.

피드백 – 실사용 가능성과 확장성에 높은 평가

발표 후 심사위원분들과 추가적으로 다른 팀이 했던 질문들이 있었습니다.

특히 기억에 남는 질문들은 다음과 같습니다.

• 고령층이 명확한 발음으로 주문하지 않는 경우 어떻게 대응할 것인가
• 매장마다 메뉴 구성이 다른데 확장 시 어떻게 대응할 수 있는가
• 음성 인식 실패율을 낮추기 위한 전략이 있는가
• 결제 단계까지 자동화가 가능한가

이 질문은 서비스의 실제 적용 가능성에 대한 관심이 높다는 것을 의미했습니다.

이에 대해 다음과 같이 답변했습니다.

• STT가 인식하지 못하는 단어는 “유사 메뉴 추천 모델”을 활용해 후보를 제공
• 매장별 메뉴는 JSON 기반으로 업데이트할 수 있어 확장성 확보
• Whisper의 성능과 후처리 규칙 기반 정제 로직으로 인식률 개선
• 결제 모듈까지는 시간이 부족했지만 추후 PG 연동이나 QR 결제 등 다양한 방법으로 확장 가능함

개발을 하고 발표를 하면 느끼는 점은 아무리 여러 관점으로 생각해 보아도 타인과 공유 했을 때 받을 수 있는 생각들이 다양하다는 점이었습니다. 그래서 항상 아이디어나 생각을 나만이 가지고 있지 않고 공유해서 놓치는 부분을 생각해보고 수정해 나가는 과정이 반드시 필요하다고 생각했습니다.

느낀 점 – 기술보다 중요한 것은 ‘사용자’라는 사실

이번 해커톤에서 가장 크게 느낀 점은 기술도 중요하지만 사용자가 어떻게 느끼고 사용할 수 있는 서비스인가라는 부분이었습니다.

특히 아래 3가지가 인상 깊었습니다.

1. 문제 정의가 가장 중요한 단계였다

“왜 이 서비스가 필요한가?”에 대한 답이 명확하면
기술 선택, 구조 설계, UI 디자인 모두 자연스럽게 정해졌습니다.

2. 팀워크는 결과물 완성도를 결정한다

각자 맡은 역할이 분명했고 문제가 발생했을 때 빠르게 도와주는 분위기 덕분에 짧은 시간에도 높은 완성도를 만들 수 있었습니다.

3. 음성 사용자 인터페이스의 가능성

VUI는 고령층뿐만 아니라 외국인, 장애인, 어린이 등 다양한 사용자에게 새로운 접근성을 제공합니다.
이번 프로젝트를 통해 그 가능성을 직접 체감했습니다.

 

확장 가능성 – 이 서비스는 해커톤에서 끝나지 않는다

발표가 끝난 후 저희 팀은 이 프로젝트가 단순한 해커톤 산출물로 끝나기에는 아깝다고 느꼈습니다. 실제로 확장 가능한 부분이 많았습니다.

• 카페·패스트푸드 매장용 커스텀 메뉴 모델
• 병원·공공기관 대기 키오스크용 음성 안내 UX
• 다국어 음성 주문 시스템
• QR 결제·카드 결제 흐름 자동화
• 추천 시스템 기반 자동 주문

특히 고령층 시설이나 복지 센터와 연계해 실제 파일럿 테스트를 진행할 수도 있겠다는 생각이 들었습니다.

 

마무리 – 해커톤을 통해 얻은 가장 큰 정답

3일간의 해커톤은 고되었지만 그보다 더 많은 성장을 가져다준 경험이었습니다.

이번 프로젝트를 통해 기술, 협업, 사용자 경험, 문제 해결력 모든 측면에서 실전 경험을 쌓을 수 있었습니다.
특히 음성 기반 인터페이스가 가진 가능성과 실제 문제 해결의 연결점을 직접 체감할 수 있었던 시간이었습니다.

이번 해커톤은 끝났지만, 이 프로젝트는 여기에서 멈추지 않을 것이라고 확신합니다.
앞으로도 팀과 함께 더 발전된 버전의 서비스를 만들어 보고 싶습니다.

 

마지막날 바다