-
AI가 여론 조작? 한국어 'AI 생성 댓글' 탐지 기술 개발
생성형 AI 기술이 발전하면서 이를 악용한 온라인 여론 조작 우려가 커지고 있다. 이에 따른 AI 생성글 탐지 기술도 개발되었는데 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발돼, 짧고(평균 51자), 구어체 표현이 많은 한국어 뉴스 댓글에는 적용이 어려웠다. 우리 연구진이 한국어 AI 생성 댓글을 탐지하는 기술을 개발해서 화제다.
우리 대학 전기및전자공학부 김용대 교수 연구팀이 국가보안기술연구소(국보연)와 협력해, 한국어 AI 생성 댓글을 탐지하는 기술 'XDAC'를 세계 최초로 개발했다고 23일 밝혔다.
최근 생성형 AI는 뉴스 기사 맥락에 맞춰 감정과 논조까지 조절할 수 있으며, 몇 시간 만에 수십만 개의 댓글을 자동 생성할 수 있어 여론 조작에 악용될 수 있다. OpenAI의 GPT-4o API를 기준으로 하면 댓글 1개 생성 비용은 약 1원 수준이며, 국내 주요 뉴스 플랫폼의 하루 평균 댓글 수인 20만 개를 생성하는 데 단 20만 원이면 가능할 정도다. 공개 LLM은 자체 GPU 인프라만 갖추면 사실상 무상으로도 대량의 댓글 생성을 수행할 수 있다.
연구팀은 AI 생성 댓글과 사람 작성 댓글을 사람이 구별할 수 있는지 실험했다. 총 210개의 댓글을 평가한 결과, AI 생성 댓글의 67%를 사람이 작성한 것으로 착각했고, 실제 사람 작성 댓글도 73%만 정확히 구분해냈다. 즉, 사람조차 AI 생성 댓글을 정확히 구별하기 어려운 수준에 이르렀다는 의미다. AI 생성 댓글은 오히려 기사 맥락 관련성(95% vs 87%), 문장 유창성(71% vs 45%), 편향성 인식(33% vs 50%)에서 사람 작성 댓글보다 높은 평가를 받았다.
그동안 AI 생성글 탐지 기술은 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발되어 한국어의 짧은 댓글에는 적용이 어려웠다. 짧은 댓글은 통계적 특징이 불충분하고, 이모지·비속어·반복 문자 등 비정형 구어 표현이 많아 기존 탐지 모델이 효과적으로 작동하지 않는다. 또한, 현실적인 한국어 AI 생성 댓글 데이터셋이 부족하고, 기존의 단순한 프롬프팅 방식으로는 다양하고 실제적인 댓글을 생성하는 데 한계가 있었다.
이에 연구팀은 ▲14종의 다양한 LLM 활용 ▲자연스러움 강화 ▲세밀한 감정 제어 ▲참조자료를 통한 증강 생성의 네 가지 전략을 적용한 AI 댓글 생성 프레임워크를 개발해, 실제 이용자 스타일을 모방한 한국어 AI 생성 댓글 데이터셋을 구축하고 이 중 일부를 벤치마크 데이터셋으로 공개했다. 또 설명 가능한 AI(XAI) 기법을 적용해 언어 표현을 정밀 분석한 결과, AI 생성 댓글에는 사람과 다른 고유한 말투 패턴이 있음을 확인했다.
예를 들어, AI는 "것 같다", "에 대해" 등 형식적 표현과 높은 접속어 사용률을 보였고, 사람은 반복 문자(ㅋㅋㅋㅋ), 감정 표현, 줄바꿈, 특수기호 등 자유로운 구어체 표현을 즐겨 사용했다.
특수문자 사용에서도 AI는 전 세계적으로 통용되는 표준화된 이모지를 주로 사용하는 반면, 사람은 한국어 자음(ㅋ, ㅠ, ㅜ 등)이나 특수 기호(ㆍ, ♡, ★, • 등) 등 문화적 특수성이 담긴 다양한 문자를 활용했다.
특히, 서식 문자(줄바꿈, 여러 칸 띄어쓰기 등) 사용에서 사람 작성 댓글의 26%는 이런 서식 문자를 포함했지만, AI 생성 댓글은 단 1%만 사용했다. 반복 문자(예: ㅋㅋㅋㅋ, ㅎㅎㅎㅎ 등) 사용 비율도 사람 작성 댓글이 52%로, AI 생성 댓글(12%)보다 훨씬 높았다.
XDAC는 이러한 차이를 정교하게 반영해 탐지 성능을 높였다. 줄바꿈, 공백 등 서식 문자를 변환하고, 반복 문자 패턴을 기계가 이해할 수 있도록 변환하는 방식이 적용됐다. 또 각 LLM의 고유 말투 특징을 파악해 어떤 AI 모델이 댓글을 생성했는지도 식별 가능하게 설계됐다.
이러한 최적화로 XDAC는 AI 생성 댓글 탐지에서 98.5% F1 점수로 기존 연구 대비 68% 성능을 향상시켰으며, 댓글 생성 LLM 식별에서도 84.3% F1 성능을 기록했다.
고우영 선임연구원은 "이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고, 생성 모델까지 식별할 수 있는 세계 최초 기술"이라며 "AI 기반 여론 조작 대응의 기술적 기반을 마련한 데 큰 의의가 있다"고 강조했다.
연구팀은 XDAC의 탐지 기술이 단순 판별을 넘어 심리적 억제 장치로도 작용할 수 있다고 설명했다. 마치 음주단속, 마약 검사, CCTV 설치 등이 범죄 억제 효과를 가지듯, 정밀 탐지 기술의 존재 자체가 AI 악용 시도를 줄일 수 있다는 것이다.
XDAC는 플랫폼 사업자가 의심스러운 계정이나 조직적 여론 조작 시도를 정밀 감시·대응하는 데 활용될 수 있으며, 향후 실시간 감시 시스템이나 자동 대응 알고리즘으로 확장 가능성이 크다.
이번 연구는 설명가능 인공지능(XAI) 기반 탐지 프레임워크를 제안한 것이 핵심이며, 인공지능 자연어처리 분야 최고 권위 학술대회인 7월 27일부터 개최되는 'ACL 2025' 메인 콘퍼런스에 채택되며 기술력을 인정받았다.
※논문 제목: XDAC: XAI-Driven Detection and Attribution of LLM-Generated News Comments in Korean
※논문원본: https://github.com/airobotlab/XDAC/blob/main/paper/250611_XDAC_ACL2025_camera_ready.pdf
이번 연구는 우리 대학 김용대 교수의 지도 아래 국보연 소속이자 우리 대학 박사과정인 고우영 선임연구원이 제1 저자로 참여했으며, 성균관대학교 김형식 교수와 우리 대학 오혜연 교수가 공동 연구자로 참여했다.
2025.06.24
조회수 1376
-
2017년 올해의 KAIST인에 물리학과 박용근 교수 선정
우리대학은 물리학과 박용근(사진·37세)교수를 ‘2017년 올해의 KAIST인’으로 선정, 2일 오전 대강당에서 열린 시무식 자리에서 시상했다. ‘올해의 KAIST인 상’은 한 해 동안 국내외에서 KAIST 발전을 위해 노력하고 교육과 연구 실적이 탁월한 인물에게 수여하는 상으로 지난 2001년에 처음 제정됐다.
17번째 수상의 영예를 거머쥔 박용근 교수는 홀로그래픽 측정과 제어기술을 개발하고 새로운 응용분야 정립을 통해 KAIST의 위상을 높였다는 평가를 받았다. 박 교수는 특히 작년 국제학술지인 네이처 포토닉스(Nature Photonics)지에 ‘3차원 디스플레이’를, 네이처 커뮤니케이션즈(Nature Communications)지에는 ‘세포 광조작’을, 그리고 사이언스 어드밴시스(Science Advances)지에 ‘탄저균 진단’과 관련한 연구 성과를 각각 게재함으로써 뉴스위크(NewsWeek)와 포브스(Forbes) 등 다수의 해외 유명 언론으로부터 주목을 받았다.
박 교수는 또 이 같은 기초연구 성과를 바탕으로 벤처기업인 ‘Tomocube’사를 설립해 차세대 세포현미경인 3차원 홀로그래픽 현미경을 출시하는데 성공, 작년 말 현재 미국·일본을 비롯한 여러 국가에 수출하고 있다. 이밖에 박테리아 신속 진단 기술을 보유한 스타트업 ‘더웨이브톡(THE WAVE TALK)’의 공동창업자로서 신성장 동력 기반을 확보하는 등 KAIST의 위상을 높인 공로를 인정받았다.
박용근 교수는 “KAIST인이라면 누구나 최고의 명예로 생각하는 이 상을 받게 돼 개인적으로는 매우 큰 영광이며 동시에 무거운 책임감을 느낀다”며“앞으로도 연구와 교육에 매진하여 국내외에서 KAIST의 위상을 높이는데 기여 하겠다”고 소감을 밝혔다.
2018.01.02
조회수 20637
-
디지털 이미지 위조, 변조 식별 기술 개발
이 흥 규 교수
우리 대학 전산학부 이흥규 교수 연구팀이 육안으로 판단이 어려운 디지털 이미지의 위조 및 변조를 식별할 수 있는 웹 서비스를 개발했다.
이 서비스는 국내에서 처음 시행되는 디지털 이미지 조작탐지 웹 서비스이며, 11일부터 http://forensic.kaist.ac.kr 도메인을 통해 시범 운영된다.
이번 연구는 이미지의 무결성 확인이 필요한 법원, 의료, 군사 등 다양한 분야에서 활용될 전망이다. 논문 사진, 의료 영상, 법적 증거자료 등에서 조작으로 인해 발생할 사회적 문제를 예방할 수 있을 것으로 기대된다.
기존의 이미지 조작 식별 서비스는 포맷 기반의 조작 탐지 방식에 근거해 위조 가능성 여부만을 알 수 있는 수준이었다. 포토샵 등 이미지 수정 프로그램의 다양한 수정 방식을 현재의 탐지 기술로 모두 잡아내기엔 어려움이 있었다.
연구팀은 국제 저명 논문 및 연구 결과들을 기반으로 해당 서비스를 구축했다. 복사-붙여넣기, 리터칭, 전체 변형, 스플라이싱 등 다양한 조작 방식을 식별하기 위해 탐지 방식 역시 여러 방향으로 구축했다.
연구팀은 ▲이미지 픽셀의 통계적 특성의 변화를 탐지하는 픽셀 기반 방식▲이미지 손실 압축 기업에 의한 무결성 검증을 통한 포맷 기반 방식▲카메라의 촬영 프로세스가 남기는 특성에 기반한 카메라 기반 방식을 이용해 조작을 탐지했다.
디지털 이미지에 가해지는 변형은 눈에 보이지 않아도 이미지 내부의 통계적 특성을 변화시킨다. 또한 변형의 종류에 따라 통계적 특성이 다르게 나타나는데 위의 방식들을 통해 조작의 영역 및 방식까지 측정이 가능해진다.
이번 웹 서비스는 논문 발표 수준에서만 진행되던 기술들을 다년간의 연구개발을 통해 일반에 제공함으로써 상용화의 발판이 될 것으로 기대된다. 연구팀은 개발된 기술 중 상당수는 이미 상용화 가능한 수준의 탐지율 및 기술 신뢰도를 보인다고 말했다.
이흥규 교수는 “전문 이미지 편집 툴의 발전에 비해 위변조 탐지 기술은 그 중요도에 비해 관심과 연구가 많이 부족하다”며 “다양한 위, 변조 탐지의 과학적 기법들이 실용화가 가능하도록 연구하겠다”고 말했다.
이번 연구는 미래창조과학부와 한국연구재단이 추진하는 중견연구자지원사업의 지원으로 수행됐다.
□ 사진 설명
그림 1. 2008년 이란의 미사일 발사 사진 조작 탐지 결과(복사-붙여넣기)
(左 : 원본, 中 : 이란에서 발표한 조작 사진, 右 : 연구팀이 탐지한 조작 영역이 픽셀로 표시된 화면)
그림 2. 탐지 기법 중 ‘색상 변환 탐지 기법’에 의해서 탐지된 결과 (左 : 원본, 中 : 색상 변형 조작 사진 右 : 조작 영역이 색깔로 표시된 화면)
그림 3. 복사-붙여넣기한 사진 조작 탐지 결과 (左 : 원본, 中 : 조작 사진, 右 : 조작 영역이 표시된 화면)
2015.06.11
조회수 16984
-
바이러스를 이용한 친환경 나노발전기 개발
- 자연계의 생체 합성 능력을 모방해 만든 신물질로 나노발전기 개발 -
우리 학교 신소재공학과 이건재(38)·남윤성(40) 교수 공동연구팀은 유전자 조작 바이러스를 이용해 유연한 압전 나노발전기를 만드는데 성공했다.
연구결과는 나노 및 에너지 분야의 세계적 학술지 ‘ACS Nano’ 온라인판(11월 14일자)에 게재됐으며, 대면적 저비용 제작에도 성공해 ‘어드밴스드 에너지 머티리얼스(Advanced Energy Materials)’ 12월호 표지논문으로 선정되기도 했다.
조개껍질, 해면, 뼈 등에서 볼 수 있듯이 자연계는 인간이 만들기 어려운 여러 가지 물질이나 구조를 스스로 합성하고 조립하는 능력을 가지고 있다. 예를 들어, 자연계의 조개껍질은 매우 단단한 반면 같은 물질이지만 인공 합성물인 분필은 쉽게 부서진다.
게다가 기존의 여러 인공 합성법들은 독성이 많고 극한적인 환경에서 이뤄진다는 것에 비해 이러한 자연적인 합성은 매우 신비하고 주목할 만한 현상이다. 이처럼 생물들이 가지고 있는 자연적 물질 합성을 모방하면 과학기술 분야에서 효율적으로 환경문제를 해결하거나 신물질을 개발할 수 있다.
연구팀은 자연계에 대량으로 존재하면서 인체에는 무해한 M13이라는 바이러스 유전자를 조작하고, 이 바이러스의 특징을 이용해 압전 효과가 우수한 티탄산바륨(BaTiO3)을 합성함으로써 유연한 압전 나노발전기를 만드는데 성공했다.
나노발전기란 기계적인 힘을 가하면 전기가 생성되는 압전(piezoelectricity) 현상을 응용해 만든 에너지를 얻는 소자다. 연구팀은 이번에 손가락의 움직임으로도 전기에너지를 생산해 LED를 구동하는데 성공했다.
남윤성 교수는 “이번에 개발된 나노발전기는 DNA 조작이 생명체의 변형을 뛰어넘어 전자소자까지 제어할 수 있다는 새로운 발상의 전환을 보여주는 것”이라며 “뛰어난 압전특성과 친환경적인 제조공정은 이러한 접근법이 얼마나 매력적인지를 잘 보여준다”고 연구의 의의를 설명했다.
ㅁ 그림설명
바이러스 구조를 이용한 티탄산바륨 합성 및 나노발전기 모식도(첫째 줄), 바이러스와 이를 이용한 티탄산바륨 나노물질의 전자현미경 사진 및 구현된 유연한 나노발전기와 소자 (LED) 구동 모습(둘째 줄)
2013.12.10
조회수 23949