KAIST 연구진이 대형언어모델(LLM) 기반 인공지능(AI) 에이전트가 개인정보 수집과 피싱 공격 등에 악용될 수 있음을 실험적으로 규명했다.
LLM이 단순 챗봇을 넘어 자율적 에이전트로 발전하면서 보안 위협도 증가하고 있다는 분석이다.
KAIST 전기 및 전자공학부 신승원 교수, 김재철 AI 대학원 이기민 교수 공동 연구팀은 24일, LLM이 사이버 공격에 활용될 가능성을 검증한 연구 결과를 발표했다.
연구팀은 실제 환경에서 LLM이 기존의 방어 기법을 우회하고 악의적인 공격을 수행할 수 있음을 입증했다.
현재 오픈AI, 구글 AI 등의 상용 LLM 서비스는 사이버 공격 방지를 위한 방어 기법을 탑재하고 있다.
그러나 연구팀의 실험 결과, LLM 에이전트는 이러한 기법을 회피하고 자동화된 공격을 수행할 수 있는 것으로 나타났다.
기존 해커들은 개인정보 탈취 등에 많은 시간과 노력을 들여야 했지만, LLM 에이전트는 평균 520초 내에 3060원(2~4센트) 수준의 비용만으로 개인정보를 자동 수집할 수 있었다.
실험 결과, LLM 에이전트는 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집할 수 있었으며, 저명한 교수를 사칭한 허위 게시글이 93.9%의 신뢰도를 얻었다.
또한, 피해자의 이메일 주소만을 이용해 최적화된 피싱 이메일을 자동 생성할 수 있었다.
실험 참가자들이 해당 피싱 이메일 내 링크를 클릭할 확률은 46.67%까지 증가해, AI 기반 피싱 공격의 효과가 기존 방식보다 훨씬 뛰어남을 입증했다.
이번 연구를 주도한 KAIST 김한나 연구원은 “LLM에게 주어지는 능력이 많아질수록 사이버 공격의 위협이 기하급수적으로 커진다는 것이 확인됐다”고 언급했다.
이어 “LLM 에이전트의 능력을 고려한 확장 가능한 보안 장치가 필요하다”고 강조했다.
신승원 교수는 “이번 연구는 정보 보안 및 AI 정책 개선에 중요한 기초 자료로 활용될 것으로 기대되며, 연구팀은 LLM 서비스 제공업체 및 연구기관과 협력해 보안 대책을 논의할 계획”이라고 밝혔다.
이번 연구는 정보통신기획평가원, 과학기술정보통신부 및 광주광역시의 지원을 받아 수행되었으며, 컴퓨터 보안 분야 최고 학회 중 하나인 ‘USENIX Security Symposium 2025’에 게재될 예정이다.
배동현 ([email protected]) 기사제보
댓글을 남기려면 로그인 해주세요.