[AI Crew]AI 음성 기반 민원 안내 시스템 | 프로젝트 방향 전환과 개발 과정 정리

소개 — 프로젝트를 전면 수정하게 된 이유

프로젝트를 진행하면서 가장 크게 느꼈던 점은 사용자 환경을 정확히 이해하는 것이 개발보다 우선되어야 한다는 사실이었습니다.
초기에는 텍스트 기반 AI 챗봇을 중심으로 한 민원 답변 시스템을 설계했으나 실제 설치 장소인 마을 회관과 주 사용자층인 고령층 주민의 특성을 분석하면서 기획 방향을 대폭 수정하게 되었습니다.

특히 스마트폰 조작의 어려움, 텍스트 서비스에 대한 낮은 접근성, 복잡한 입력 과정에 대한 부담 등의 이유로 기존 접근 방식은 현장의 요구와 맞지 않았습니다.
이러한 문제를 해결하기 위해 음성 중심의 간편 민원 접수 시스템으로 프로젝트를 재설계했습니다.

 

동기와 배경 — 왜 ‘음성 기반 민원 키오스크’였는가

사관학교에서 다양한 프로젝트를 경험하면서 기술 그 자체도 중요하지만 기술을 사용할 사람의 맥락을 읽어내는 능력이 더 중요하다는 점을 깨달았습니다. 또한 개발된 다양한 기술들을 어떻게 엮어서 '서비스'로 제공할 수 있는지 고려하는 것이 중요한 시점이라는 걸 배웠습니다. 
이를 바탕으로 농촌 지역에서 발생하는 민원들은 대부분 도로 파손, 위험 시설물, 쓰레기 투기, 가로등 고장 등 생활과 직결된 문제였습니다.
그러나 고령층 주민은 이러한 문제를 신고하거나 문의하는 과정에서 많은 어려움을 겪고 있었습니다.
문자 입력이 어렵고 스마트폰 앱 설치도 익숙하지 않아 대부분 이장님이나 주변 주민에게 의존해 왔습니다.

이러한 상황을 해결하려면 기술보다 접근성이 우선이었습니다.
그래서 다음과 같은 질문을 중심으로 기획이 다시 시작되었습니다.

“그냥 말만 하면 시스템이 알아서 이해하고 안내까지 할 수 있을까?”

이 질문이 음성 기반 민원 키오스크 개발의 핵심 동기가 되었습니다.

 

개발 과정 / 활동 내용 — 기획 재정립부터 실제 배포까지

1) 프로젝트 구조 재설계

기존에는 단순 텍스트 분류 엔진 중심이었으나, 음성 중심 UX로 전환하면서 시스템 구조를 아래처럼 확장했습니다.

• STT(Whisper)를 이용해 음성을 텍스트로 변환
• LLM 기반 민원 분류 엔진으로 내용을 분석
• TTS 엔진을 통해 안내 음성 제공
• React 기반 프론트엔드 구성
• FastAPI 백엔드 + Docker 배포 환경 구축

이 구조는 설치형 키오스크처럼 동작하면서도 클라우드 수준의 AI 성능을 유지할 수 있도록 설계했습니다.

FastAPI

2) 음성 처리 엔진 고도화

Whisper 기반 STT 모델을 적용하면서 고령층 음성 특성에 맞춘 후처리를 추가했습니다.

• 주변 잡음 보정
• 띄어쓰기 자동 보정
• 사투리·구어체 처리 로직
• 최소 1회 재확인 질문 설계

여러 테스트를 거치며 고령층의 발화 패턴은 예측하기 어렵고 문장 단위 분류가 불완전하다는 점을 확인했습니다.
이 때문에 공감 → 재확인 → 분류 결과의 3단계 구조를 채택했습니다.

 

3) 민원 분류 엔진 재정비

프로젝트 후반에 가장 많은 시간과 논의가 집중된 부분이 바로 민원 분류 로직이었습니다.

실제 현장 요구에 따라 다음 요소를 반영해 엔진을 다시 설계했습니다.

• 대화 하나 안에서 여러 민원이 분리될 수 있음
• 위치 정보 확보가 필수적임
• 단순 안내 / 방문 필요 / 담당자 전달을 명확히 구분해야 함
• 담당자에게는 보고서 형태의 요약이 더 효율적임

최종적으로 다음과 같은 흐름을 정리했습니다.

1. 민원 접수 후 공감 메시지 제공
2. 필요한 경우 1회 재확인 질문
3. 카테고리 및 위험도 분류
4. 단순 안내 / 전화 연결 / 방문 필요 여부 판단
5. 담당자용 요약 리포트 생성

이 로직을 구현하면서 실제 현장의 운영 프로세스를 끌어와 적용할 수 있었습니다.

데모 개발 과정

4) Docker 기반 배포 환경 구축

마을 회관 배포 특성상 “한 번 설치하면 안정적으로 계속 운영되어야 한다”는 조건이 있었습니다.
이를 충족하기 위해 다음 환경을 구성했습니다.

• docker-compose 기반 서비스 관리
• .env를 이용한 민감 값 분리
• 자동 재시작 및 에러 로그 확인 기능
• FastAPI 서비스 자동 빌드·배포

설치형 환경에서 직접 장애를 해결한 경험은 운영 측면에서 큰 학습이 되었습니다.

네이버클라우드 배포

배운 점 / 느낀 점 — 기술보다 ‘사용 경험’이 더 중요했습니다

프로젝트를 진행하면서 가장 크게 배운 점은 AI 프로젝트의 핵심은 기술이 아니라 사용자 경험이라는 사실이었습니다.
LLM이나 Whisper의 기술적 완성도도 중요했지만 실제로 고령층이 사용하기 쉽도록 만드는 과정이 훨씬 더 복잡하고 중요한 일이었습니다.

또한 팀 내부에서 어떤 흐름이 실제 행정 처리 방식과 맞는지, 어떤 질문은 반드시 해야 하는지, 어느 지점에서 담당자에게 전달해야 하는지와 같은 운영 관점의 논의가 많았습니다.
이 과정은 단순 개발을 넘어 정책 로직을 설계하는 과정에 가까웠습니다.

아키텍처 다이어그램

마무리 및 확장성 — 다음 단계로 나아가기 위해

이번 프로젝트를 정리하면서 “이 서비스는 실제 현장에서도 충분히 효과가 있을 것”이라는 확신을 얻었습니다.
앞으로은 다음과 같은 확장 방향도 기대하고 있습니다.

• 행정복지센터 버전
• 농촌·도서관·관공서 등 각 지역 맞춤형 버전
• 관광 안내 음성 키오스크 확장
• 복지·연금 분야의 전문 안내 모델 추가
• 긴급 신고 연계 기능

고령층 친화형 음성 UX를 표준화하는 데 기여할 수 있다면, 이 프로젝트가 가진 사회적 의미는 더욱 커질 것이라 생각했습니다.

마지막으로, 프로젝트를 준비하거나 유사한 서비스를 설계하는 분들께 작은 조언을 드리고 싶습니다.

“AI 프로젝트는 데이터를 다루는 것이 아니라, 사람의 문제를 해결하는 과정에서 시작됩니다.”

앞으로도 더 나은 방향으로 발전시키며 다양한 현장에 적용해 보고자 합니다.