「2025년도 확장형 캡스톤디자인 성과보고회:STaRISE」 AIShield 장려상 수상 후기 + 프로젝트 회고 (텍스트 기반 보이스피싱 탐지)

안녕하세요

 
서울과학기술대학교 RISE사업단에서 진행한 캡스톤 성과보고회에서 팀 AIShield의 프로젝트「텍스트 기반 보이스피싱 탐지 시스템 개발」로 장려상을 수상했습니다.
개인적으로는 “정리해서 보여주는 것”까지가 프로젝트의 마무리라고 생각하는 편이라,
이번 글에서는 무엇을 만들었는지, 어떤 방식으로 접근했는지, 그리고 진행하면서 배운 점을 간단히 기록해보려고 합니다!
 
우선, 프로젝트 이야기를 하고 당일 성과보고회 회고를 해보겠습니다..

---

 

프로젝트의 시작

저희 프로젝트는 처음부터 보이스피싱을 타겟으로 했던 것은 아니었습니다. 초기에는 LLM Jailbreak와 같은 최신 AI 보안 이슈를 검토했었습니다. 하지만 학부 수준에서의 데이터 접근성 한계와 검증된 레퍼런스 부족이라는 현실적인 벽에 부딪혔습니다.
이때 지도교수님과의 깊이 있는 상담을 통해 Security for AI(AI를 위한 보안)에서 AI for Security로 방향을 선회하게 되었습니다. 사회적 파급력이 더 크고, 실제 사용자들에게 실질적인 도움을 줄 수 있는 주제를 찾다 보니 '보이스피싱'이 보였습니다.
사전 조사를 하며 마주한 통계는 충격적이었습니다. 2025년 1분기 피해액만 3,116억 원에 달하며, 특히 피해자의 53%가 IT 기술에 취약한 50대 이상이라는 점은 기술을 통한 사회적 약자 보호가 얼마나 시급한 과제인지를 절감하게 했습니다. 저희는 개인정보 보호와 실시간 탐지라는 두 마리 토끼를 잡기 위해 온디바이스(On-Device) AI 솔루션을 기획했습니다.
 

시스템 구성 (전체 흐름)

저희가 설계한 전체 파이프라인은 다음과 같은 과정을 거쳐 실시간으로 사용자를 보호합니다.

1. 음성 입력: 실시간 통화 혹은 녹음된 음성 데이터를 입력받습니다.
2. STT 변환: 사용자의 기기 내부에서 음성을 즉시 텍스트로 변환합니다.
3. 텍스트 전처리: 분석의 정확도를 높이기 위해 불필요한 기호를 제거하고 문장을 분리하는 정제 과정을 거칩니다.
4. 탐지 로직:
   1. 다중 작업 학습(MTL) 기반 분석: 단순히 피싱 여부만 판별하는 것이 아니라, 기관 사칭이나 송금 유도 같은 위험 키워드를 추출하고 대화의 맥락을 분석합니다.
   2. 스코어링: 분석된 데이터를 바탕으로 위험도를 1단계에서 3단계로 정밀하게 산출합니다.
5. 결과 제공: "왜 위험한지"에 대한 설명과 함께, 해당 유형(기관 사칭, 대출 사기 등)에 최적화된 예방 조언을 사용자에게 즉시 표시합니다.

 핵심 기술

단순한 스팸 차단을 넘어 대화의 문맥을 이해하기 위해 저희는 다음과 같은 기술적 도전을 시도했습니다.

• 다중 작업 학습(MTL) Teacher 모델: 피싱 판별은 물론, 맞춤형 예방 조언까지 생성하는 고성능 모델을 설계했습니다.
• 지식 증류(Knowledge Distillation): 복잡한 판단 로직을 모바일 기기에서도 빠르게 구동할 수 있도록 가벼운 Student 모델로 지식 증류 과정을 진행했습니다.
• 온디바이스 시스템: STT(Speech-to-Text)를 거친 텍스트가 외부 서버로 전송되지 않고 기기 내부에서 즉시 분석됩니다. 이를 통해 민감한 통화 내용이 유출될 걱정 없이 실시간 위험도를 산출하는 아키텍처를 완성했습니다.

---

STaRISE 성과보고회

2026년 2월 11일, 워커힐 호텔 그랜드홀에서 열린「2025년도 확장형 캡스톤디자인 성과보고회: STaRISE」에 저희 AIShield 팀이 당당히 판넬 전시 대상 팀으로 선발되어 참여했습니다.
현장에서는 많은 분이 저희의 웹 프로토타입과 경량화 모델에 관심을 가져주셨습니다. 
그 결과, 치열한 경쟁을 뚫고 장려상을 수상하는 쾌거를 이루었습니다! 한학기 동안의 노력이 상장과 상품이라는 가시적인 성과로 돌아와 팀원 모두에게 잊지 못할 순간이 되었습니다.

---

앞으로의 계획 

이번 수상은 결과도 기쁘지만, “우리가 만든 기술이 어떤 가치로 전달될 수 있는지”를 확인한 소중한 계기였습니다.
남은 한 학기 동안은 다음을 목표로 시스템을 더 고도화하려고 합니다.

• 데이터/패턴 확장: 최신 범죄 트렌드를 반영한 더 다양한 보이스피싱 시나리오 학습
• 견고한 로직 개선: 실제 통화 환경에서 발생할 수 있는 STT 오류를 고려한 탐지 정확도 향상
• UX/실시간성 최적화: 긴급한 상황에서 사용자가 더 직관적으로 위험을 인지할 수 있도록 UX 개선
• 성과 리포트화: 객관적인 탐지 성능 평가 지표를 정리하여 기술적 신뢰도 확보

 

프로젝트를 마치며

자료 조사부터 모델 아키텍처 연구, 그리고 최종 시각화 리포팅까지
각자의 역할을 묵묵히 수행해 준 우리 팀원들 덕분에 이 자리에 올 수 있었습니다.
기술이 사람을 향할 때 가장 큰 빛을 발한다는 것을 다시 한번 느꼈습니다.
이번 장려상 수상을 발판 삼아,
앞으로도 보이스피싱과 같은 진화하는 범죄에 대응할 수 있는 고도화된 보안 기술 연구를 이어가겠습니다.
 
프로젝트가 마무리되면 좀 더 기술적인 부분을 정리하여 구체적으로 다시 한번 포스팅하겠습니다. 감사합니다!