[AI Crew][1회차] 광주 인공지능 사관학교 해커톤 준비기 – 음성 기반 주문 키오스크 주제 선택

 

광주 인공지능 사관학교 해커톤은 단순히 결과물을 만들어 발표하는 행사가 아니라 문제를 정의하고 아이디어를 구체화하며 팀 단위로 협업해 해결해 나가는 전 과정을 평가하는 형태로 운영되었습니다. 특히 이번 해커톤은 주제 적합성, 창의성, 기술 구현 가능성, 사회적 파급력, 과정 평가까지 함께 반영되는 구조였기 때문에 해커톤의 첫 단계인 “주제 선정”이 그 어느 때보다 중요하다고 느꼈습니다.

이번 글에서는 저희 팀이 해커톤을 준비하면서 팀 구성, 문제 발굴, 사용자 분석, VUI(음성 사용자 인터페이스) 연구, 그리고 최종적으로 ‘음성 기반 주문 키오스크’라는 주제를 선택하기까지의 전체 과정을 기록했습니다.

출처 : 제공된 노

소개 – 해커톤에 참여한 이유

광주 인공지능 사관학교 교육 과정에서 다양한 프로젝트를 수행해 왔지만 해커톤은 그중에서도 가장 밀도 있는 경험이라고 생각했습니다. 제한된 시간 안에서 기획·설계·개발·발표를 모두 수행해야 했기 때문에 실제 서비스 개발 과정이 그대로 압축되어 있는 형태였습니다.
또한 이번 해커톤은 이스트소프트, 네이버클라우드, AWS, 솔트룩스 등 여러 기업이 참여해 심사하는 규모였고 팀워크·문제 해결 태도·기술 완성도까지 종합적으로 평가되는 체계였습니다. 단순히 상을 받기 위한 참여가 아니라 실제 현업에 가까운 환경에서 협업 능력과 기술을 검증할 수 있는 기회라는 점에서 도전해 보고 싶었습니다.

무엇보다 음성 기술, AI 기반 분류 모델, 사용자 경험 설계 등 제가 배워온 내용을 실전에서 시험해 보고 싶었습니다. 이 목표가 해커톤의 성격과 정확히 맞아떨어졌습니다.

출처 : 노션 / 행사장 배치도

팀빌딩 – 해커톤의 절반을 결정하는 과정

해커톤은 짧은 시간 안에 높은 밀도로 작업을 수행해야 하기 때문에 팀 구성 과정이 무엇보다 중요했습니다.
저희 팀은 이전 프로젝트 경험을 바탕으로 이미 협업 호흡이 잘 맞았던 구성원이었고 역할 분담이 명확한 팀이었습니다.

팀 구성 기준은 다음과 같았습니다.

• 백엔드·프론트엔드·AI·기획·디자인의 균형
• 빠르게 의견을 정리하고 의사결정을 내릴 수 있는지
• 해커톤 기간 내 구현 가능한 기술적 능력을 보유했는지
• 사용자 경험을 고려해 실제 작동하는 프로토타입을 만들 수 있는지

저는 백엔드를 맡아 음성 인식(STT) 연동, 주문 문장 분석 로직, API 개발을 주로 담당했습니다. 프론트엔드 담당은 주문 화면·녹음 인터페이스·결제 흐름 UI를 설계했으며 기획 담당은 사용자 흐름 및 메뉴 구조를 만들고 디자인 담당은 고령층을 고려해 버튼 크기·색 대비·텍스트 가독성을 설계했습니다.

역할이 명확해지자 서비스 방향성과 구현의 범위도 자연스럽게 정리되었습니다.

주제 선정 과정 – 문제 정의에서 시작한 고민

1. 심사 기준 분석을 통한 방향성 설정

해커톤 심사 기준을 처음부터 꼼꼼히 분석했습니다.
평가 항목은 다음과 같았습니다.

• 주제 적합성
• 창의성·독창성
• 기술 구현 가능성
• 사회적 파급효과
• 지속성 및 확장성

이 기준은 단순히 시연 가능한 기능을 만드는 것이 아니라 실제 문제 해결에 기여하는 서비스를 개발해야 한다는 것을 의미했습니다.
따라서 기술적으로 흥미롭다는 이유만으로 선택할 수 있는 아이디어는 배제하고 사회적 문제·사용자 불편·기술적 타당성 등을 중심으로 주제를 검토했습니다.

 

2. 문제 발굴 – 실제 불편이 어디에서 발생하는가

여러 아이디어가 논의되었지만 대부분의 팀원이 공감한 문제는 “디지털 취약계층의 키오스크 사용 어려움”이었습니다.
고령층이 실제로 겪고 있는 문제는 다음과 같았습니다.

• 화면 구조가 복잡하고 글씨가 작아 읽기 어려움
• 단계가 많아 방향을 잃기 쉬움
• 터치가 잘못되면 처음부터 다시 진행해야 하는 불편
• 주변 시선이 부담되어 조작 자체를 꺼림
• 원하는 메뉴를 찾는 데 시간이 오래 걸림

이 문제는 단순한 불편을 넘어, 매장 이용 자체를 포기하는 경우까지 발생하고 있었습니다.
사회적으로 이미 널리 지적되고 있는 문제이며 해커톤 취지에도 부합하는 실질적 문제였습니다.

 

음성 사용자 인터페이스(VUI)를 검토한 이유

문제를 분석하며 저희 팀이 집중한 부분은 “어떻게 하면 고령층이나 디지털 취약계층이 기존 키오스크보다 쉽게 주문할 수 있을까”였습니다.
이때 참고한 기술이 바로 음성 사용자 인터페이스(Voice User Interface, VUI)였습니다.

위키백과에 따르면 VUI는 사용자가 기계와 상호작용할 때 음성을 주요 입력 수단으로 사용하는 인터페이스입니다.
VUI의 주요 장점은 다음과 같이 정리되어 있습니다.

• 학습 비용이 거의 들지 않음
• 자연어 기반 상호작용이 가능함
• 시력·손 조작이 불편한 사용자도 동일하게 이용할 수 있음
• 복잡한 조작이 필요 없는 직관적인 인터페이스
• 사용자 경험을 크게 향상시키며 접근성을 높임

저희 팀은 이 특성이 고령층이 겪는 키오스크 문제와 정확히 맞닿아 있다고 판단했습니다.

기존 키오스크는 시각 중심의 복잡한 UI 구조로 되어 있어 사용자가 많은 단계를 스스로 이해해야 합니다. 반면 음성 기반 인터페이스는 사용자가 익숙하게 사용해온 방식인 “말하기”만으로 주문이 가능하기 때문에 진입장벽이 크게 낮아집니다. 또한 떨리는 손, 흐릿한 시력 등 신체적 제약이 있어도 동일한 수준으로 서비스를 이용할 수 있습니다.

기술적 측면(VUI의 장점) + 사회적 문제(키오스크 접근성 문제)가 자연스럽게 연결되는 지점이 바로 음성 기반 키오스크였습니다.
이 판단은 주제를 최종 선정하는 데 결정적 역할을 했습니다.

 

최종 주제 확정 – 음성 기반 주문 키오스크

위 과정을 거쳐 저희 팀은 결국 음성 기반 주문 키오스크를 해커톤 주제로 확정했습니다.

선택 배경은 다음과 같습니다.

• 고령층의 실질적인 불편을 해결하는 주제
• 음성 인식(STT)과 메뉴 분류 모델을 적용하면 실현 가능함
• 해커톤 기간 내 구현이 가능한 적절한 난이도
• 매장·공공기관·병원 등 다양한 분야로 확장 가능
• 사회적 파급효과가 크다는 점에서 심사 기준에 부합
• VUI 기반 접근성을 갖춘 서비스라는 명확한 기술적 타당성

무엇보다 사용자가 자연스럽게 말하는 것만으로 주문할 수 있다는 점은 기존 키오스크가 가지고 있던 문제를 근본적으로 개선할 수 있는 해결책이라고 판단했습니다.

 

사전 준비 과정 – 개발 이전에 정리해 두었던 내용들

1. 기술 스택 선정

• 백엔드: FastAPI
• 프론트엔드: React (녹음 기능 중심 UI)
• 음성 인식: Whisper 기반 STT
• 메뉴 분류: 규칙 기반 또는 간단한 ML 모델
• DB: SQLite
• 배포: 로컬 → 필요 시 간단한 서버로 확장 가능

기능을 완벽히 만드는 것보다 프로토타입을 안정적으로 구현할 수 있는 구성을 우선했습니다.

2. 사용자 흐름 설계

사용자의 실제 행동을 기준으로 흐름을 구성했습니다.

1. 말하기 버튼 누름
2. 자연스럽게 주문 문장 발화
3. STT를 통해 문장 → 텍스트 변환
4. 텍스트에서 메뉴 인식
5. 옵션 여부 자동 질문
6. 최종 주문 확인
7. 결제 흐름으로 이동

이 흐름은 복잡한 터치 과정을 최소화하고 사용자 오류를 크게 줄여줄 수 있다고 판단했습니다. 또한 복잡한 주문과정도 이전의 레거시방식에 익숙한 음성으로 주문한다는 점에서 디지털에 대한 반감을 줄일 수 있는 부분이라고 생각했습니다. 

3. 역할 분담 문서화

• 백엔드: 음성 처리·메뉴 분류 로직·API 구축
• 프론트엔드: 녹음 기능·주문 화면 구현
• 기획: 전체 시나리오 및 메뉴 구조 설계
• 디자인: 접근성 고려 UI 설계

명확한 역할 분담은 해커톤 당일 작업 속도를 크게 향상시켜 주었습니다.

 

마무리 – 다음 글 안내

1회차에서는 해커톤 주제를 찾아가는 과정 전체를 정리했습니다.
특히 문제 정의, 사용자 분석, VUI 기반 기술 검토를 통해 왜 음성 기반 주문 키오스크가 적합한지를 명확하게 확인하는 과정이 가장 중요한 시간이었습니다.
이 방향 설정이 이후 개발 단계에서 혼란 없이 빠르게 움직일 수 있는 기반이 되었습니다.

2회차에서는 개발 과정, 음성 인식 기능 구현, API 설계, 멘토링 과정에서의 수정 사항, UI/UX 개선 과정을 중심으로 실제 해커톤 현장에서의 작업 과정을 상세히 기록하겠습니다.