-
AI가 여론 조작? 한국어 'AI 생성 댓글' 탐지 기술 개발
생성형 AI 기술이 발전하면서 이를 악용한 온라인 여론 조작 우려가 커지고 있다. 이에 따른 AI 생성글 탐지 기술도 개발되었는데 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발돼, 짧고(평균 51자), 구어체 표현이 많은 한국어 뉴스 댓글에는 적용이 어려웠다. 우리 연구진이 한국어 AI 생성 댓글을 탐지하는 기술을 개발해서 화제다.
우리 대학 전기및전자공학부 김용대 교수 연구팀이 국가보안기술연구소(국보연)와 협력해, 한국어 AI 생성 댓글을 탐지하는 기술 'XDAC'를 세계 최초로 개발했다고 23일 밝혔다.
최근 생성형 AI는 뉴스 기사 맥락에 맞춰 감정과 논조까지 조절할 수 있으며, 몇 시간 만에 수십만 개의 댓글을 자동 생성할 수 있어 여론 조작에 악용될 수 있다. OpenAI의 GPT-4o API를 기준으로 하면 댓글 1개 생성 비용은 약 1원 수준이며, 국내 주요 뉴스 플랫폼의 하루 평균 댓글 수인 20만 개를 생성하는 데 단 20만 원이면 가능할 정도다. 공개 LLM은 자체 GPU 인프라만 갖추면 사실상 무상으로도 대량의 댓글 생성을 수행할 수 있다.
연구팀은 AI 생성 댓글과 사람 작성 댓글을 사람이 구별할 수 있는지 실험했다. 총 210개의 댓글을 평가한 결과, AI 생성 댓글의 67%를 사람이 작성한 것으로 착각했고, 실제 사람 작성 댓글도 73%만 정확히 구분해냈다. 즉, 사람조차 AI 생성 댓글을 정확히 구별하기 어려운 수준에 이르렀다는 의미다. AI 생성 댓글은 오히려 기사 맥락 관련성(95% vs 87%), 문장 유창성(71% vs 45%), 편향성 인식(33% vs 50%)에서 사람 작성 댓글보다 높은 평가를 받았다.
그동안 AI 생성글 탐지 기술은 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발되어 한국어의 짧은 댓글에는 적용이 어려웠다. 짧은 댓글은 통계적 특징이 불충분하고, 이모지·비속어·반복 문자 등 비정형 구어 표현이 많아 기존 탐지 모델이 효과적으로 작동하지 않는다. 또한, 현실적인 한국어 AI 생성 댓글 데이터셋이 부족하고, 기존의 단순한 프롬프팅 방식으로는 다양하고 실제적인 댓글을 생성하는 데 한계가 있었다.
이에 연구팀은 ▲14종의 다양한 LLM 활용 ▲자연스러움 강화 ▲세밀한 감정 제어 ▲참조자료를 통한 증강 생성의 네 가지 전략을 적용한 AI 댓글 생성 프레임워크를 개발해, 실제 이용자 스타일을 모방한 한국어 AI 생성 댓글 데이터셋을 구축하고 이 중 일부를 벤치마크 데이터셋으로 공개했다. 또 설명 가능한 AI(XAI) 기법을 적용해 언어 표현을 정밀 분석한 결과, AI 생성 댓글에는 사람과 다른 고유한 말투 패턴이 있음을 확인했다.
예를 들어, AI는 "것 같다", "에 대해" 등 형식적 표현과 높은 접속어 사용률을 보였고, 사람은 반복 문자(ㅋㅋㅋㅋ), 감정 표현, 줄바꿈, 특수기호 등 자유로운 구어체 표현을 즐겨 사용했다.
특수문자 사용에서도 AI는 전 세계적으로 통용되는 표준화된 이모지를 주로 사용하는 반면, 사람은 한국어 자음(ㅋ, ㅠ, ㅜ 등)이나 특수 기호(ㆍ, ♡, ★, • 등) 등 문화적 특수성이 담긴 다양한 문자를 활용했다.
특히, 서식 문자(줄바꿈, 여러 칸 띄어쓰기 등) 사용에서 사람 작성 댓글의 26%는 이런 서식 문자를 포함했지만, AI 생성 댓글은 단 1%만 사용했다. 반복 문자(예: ㅋㅋㅋㅋ, ㅎㅎㅎㅎ 등) 사용 비율도 사람 작성 댓글이 52%로, AI 생성 댓글(12%)보다 훨씬 높았다.
XDAC는 이러한 차이를 정교하게 반영해 탐지 성능을 높였다. 줄바꿈, 공백 등 서식 문자를 변환하고, 반복 문자 패턴을 기계가 이해할 수 있도록 변환하는 방식이 적용됐다. 또 각 LLM의 고유 말투 특징을 파악해 어떤 AI 모델이 댓글을 생성했는지도 식별 가능하게 설계됐다.
이러한 최적화로 XDAC는 AI 생성 댓글 탐지에서 98.5% F1 점수로 기존 연구 대비 68% 성능을 향상시켰으며, 댓글 생성 LLM 식별에서도 84.3% F1 성능을 기록했다.
고우영 선임연구원은 "이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고, 생성 모델까지 식별할 수 있는 세계 최초 기술"이라며 "AI 기반 여론 조작 대응의 기술적 기반을 마련한 데 큰 의의가 있다"고 강조했다.
연구팀은 XDAC의 탐지 기술이 단순 판별을 넘어 심리적 억제 장치로도 작용할 수 있다고 설명했다. 마치 음주단속, 마약 검사, CCTV 설치 등이 범죄 억제 효과를 가지듯, 정밀 탐지 기술의 존재 자체가 AI 악용 시도를 줄일 수 있다는 것이다.
XDAC는 플랫폼 사업자가 의심스러운 계정이나 조직적 여론 조작 시도를 정밀 감시·대응하는 데 활용될 수 있으며, 향후 실시간 감시 시스템이나 자동 대응 알고리즘으로 확장 가능성이 크다.
이번 연구는 설명가능 인공지능(XAI) 기반 탐지 프레임워크를 제안한 것이 핵심이며, 인공지능 자연어처리 분야 최고 권위 학술대회인 7월 27일부터 개최되는 'ACL 2025' 메인 콘퍼런스에 채택되며 기술력을 인정받았다.
※논문 제목: XDAC: XAI-Driven Detection and Attribution of LLM-Generated News Comments in Korean
※논문원본: https://github.com/airobotlab/XDAC/blob/main/paper/250611_XDAC_ACL2025_camera_ready.pdf
이번 연구는 우리 대학 김용대 교수의 지도 아래 국보연 소속이자 우리 대학 박사과정인 고우영 선임연구원이 제1 저자로 참여했으며, 성균관대학교 김형식 교수와 우리 대학 오혜연 교수가 공동 연구자로 참여했다.
2025.06.24
조회수 12204
-
전산학부 김현준 학부생, AI 보안분야 최고 권위 학술대회 ACL 2025 논문채택
우리 대학 전산학부 김현준 학부생이 자연어처리(NLP) 분야 세계 최고 권위 학술대회인 'ACL 2025' 메인 컨퍼런스에 제1저자 논문이 채택되는 쾌거를 달성했다고 26일 밝혔다.
ACL(Association for Computational Linguistics)은 자연어처리 및 전산언어학 분야에서 가장 권위 있는 국제 학술대회로, 전 세계 AI 연구자들이 가장 주목하는 학술 행사 중 하나다. 학부생이 메인 컨퍼런스에서 제1 저자로 논문을 발표하는 것은 매우 이례적인 성과로 평가된다.
혁신적인 'M2S 프레임워크'로 AI 보안의 새로운 지평을 열다
김현준 학부생이 에임인텔리전스(대표 유상윤)에서 연구 인턴으로 활동하며 개발한 연구 성과는 'One-Shot is Enough: Consolidating Multi-Turn Attacks into Efficient Single-Turn Prompts for LLMs(한 번이면 충분하다: 다중 턴 공격을 효율적인 단일 턴 프롬프트로 통합하기)'라는 제목의 논문이다.
이 연구에서 제시한 핵심 기술인 'M2S(Multi-turn-to-Single-turn) 프레임워크'는 기존에 여러 번의 대화를 통해 수행되던 AI 공격을 단 한 번의 입력으로 압축하는 혁신적인 방법론이다. 마치 복잡한 요리 레시피를 간단한 원스톱 조리법으로 바꾸는 것처럼, 번거로운 다단계 과정을 효율적인 단일 과정으로 변환한 것이다.
복잡한 다중 턴 대화를 하이픈화, 숫자화, 파이썬화 전략을 통해 효율적인 단일 턴 프롬프트로 변환하는 과정을 보여준다.
95.9% 성공률 달성, 기존 방식보다 토큰 사용량 80% 절약
연구팀이 개발한 M2S 프레임워크는 '하이픈화(Hyphenize)', '숫자화(Numberize)', '파이썬화(Pythonize)'라는 세 가지 전략을 활용한다. 이는 복잡한 대화 형태의 공격을 체계적으로 정리된 단일 입력으로 변환하는 방법론이다.
실험 결과는 놀라웠다. 미스트랄-7B 모델에서 최대 95.9%의 공격 성공률을 달성했으며, GPT-4o에서는 기존 다중 턴 공격 방식보다 17.5% 더 높은 효과를 보였다. 특히 주목할 점은 토큰 사용량을 70-80% 절약하면서도 더 높은 성능을 기록했다는 것이다.
이는 마치 동일한 목적지에 도달하면서도 연료 소비는 5분의 1로 줄인 것과 같은 효과다. 연구팀은 "이번 발견을 통해 현재 대화형 AI의 보안 시스템이 예상보다 취약할 수 있음을 확인했다"고 설명했다.
6개월 만에 AI 안전성 분야 전문가로 성장
김현준 학부생은 "6개월 전만 해도 AI 안전성 분야에 대해 전혀 몰랐지만, 에임인텔리전스에서의 연구 인턴십을 통해 세계적 수준의 연구 성과를 달성할 수 있었다"며 소감을 밝혔다.
그는 또한 "주 5-6시간의 대전-강남 통학에도 불구하고 실제 연구에 기여할 수 있는 기회를 놓칠 수 없었다"며 "아이디어 구상부터 실험, 논문 심사 과정에서의 추가 실험과 반박까지 전 과정을 공동 제1 저자인 하준우와 함께 수행했다"고 연구 과정을 설명했다.
AI 안전성 강화를 위한 중요한 이정표
이번 연구는 현재 대화형 AI 시스템의 보안 취약점을 명확히 드러내며, 더 안전한 AI 개발을 위한 중요한 기초 자료를 제공한다. 연구 결과는 AI 개발자들이 보안 시스템을 강화하고, 안전장치를 더욱 정교하게 설계하는 데 중요한 지침이 될 것으로 기대된다.
에임인텔리전스의 하준우 연구원은 "이번 연구는 현재 LLM 방어 시스템의 취약점을 명확히 보여주며, 레드팀과 안전장치 설계에 중요한 시사점을 제공한다"고 연구의 의의를 평가했다.
국제적 연구 역량 인정받으며 KAIST 위상 제고
이번 성과는 KAIST 전산학부의 세계적 수준의 교육과 연구 환경을 보여주는 사례로 평가된다. 학부생이 국제 최고 권위 학술대회에서 제1 저자로 논문을 발표하는 것은 KAIST의 우수한 인재 양성 시스템과 연구 역량을 국제적으로 인정받는 계기가 되고 있다.
김현준 학부생은 현재 우리 대학 AI 대학원에서도 연구 인턴으로 활동하며 RAG(Retrieval-Augmented Generation) 기반 AI 신약 개발 연구를 진행하고 있어, 향후 AI 안전성과 응용 분야에서의 지속적인 연구 성과가 기대된다.
paper: https://arxiv.org/abs/2503.04856
GitHub：https://github.com/Junuha/M2S_DATA
2025.05.27
조회수 5596