-
AI가 여론 조작? 한국어 'AI 생성 댓글' 탐지 기술 개발
생성형 AI 기술이 발전하면서 이를 악용한 온라인 여론 조작 우려가 커지고 있다. 이에 따른 AI 생성글 탐지 기술도 개발되었는데 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발돼, 짧고(평균 51자), 구어체 표현이 많은 한국어 뉴스 댓글에는 적용이 어려웠다. 우리 연구진이 한국어 AI 생성 댓글을 탐지하는 기술을 개발해서 화제다.
우리 대학 전기및전자공학부 김용대 교수 연구팀이 국가보안기술연구소(국보연)와 협력해, 한국어 AI 생성 댓글을 탐지하는 기술 'XDAC'를 세계 최초로 개발했다고 23일 밝혔다.
최근 생성형 AI는 뉴스 기사 맥락에 맞춰 감정과 논조까지 조절할 수 있으며, 몇 시간 만에 수십만 개의 댓글을 자동 생성할 수 있어 여론 조작에 악용될 수 있다. OpenAI의 GPT-4o API를 기준으로 하면 댓글 1개 생성 비용은 약 1원 수준이며, 국내 주요 뉴스 플랫폼의 하루 평균 댓글 수인 20만 개를 생성하는 데 단 20만 원이면 가능할 정도다. 공개 LLM은 자체 GPU 인프라만 갖추면 사실상 무상으로도 대량의 댓글 생성을 수행할 수 있다.
연구팀은 AI 생성 댓글과 사람 작성 댓글을 사람이 구별할 수 있는지 실험했다. 총 210개의 댓글을 평가한 결과, AI 생성 댓글의 67%를 사람이 작성한 것으로 착각했고, 실제 사람 작성 댓글도 73%만 정확히 구분해냈다. 즉, 사람조차 AI 생성 댓글을 정확히 구별하기 어려운 수준에 이르렀다는 의미다. AI 생성 댓글은 오히려 기사 맥락 관련성(95% vs 87%), 문장 유창성(71% vs 45%), 편향성 인식(33% vs 50%)에서 사람 작성 댓글보다 높은 평가를 받았다.
그동안 AI 생성글 탐지 기술은 대부분 영어로 된 장문의 정형화된 글을 기반으로 개발되어 한국어의 짧은 댓글에는 적용이 어려웠다. 짧은 댓글은 통계적 특징이 불충분하고, 이모지·비속어·반복 문자 등 비정형 구어 표현이 많아 기존 탐지 모델이 효과적으로 작동하지 않는다. 또한, 현실적인 한국어 AI 생성 댓글 데이터셋이 부족하고, 기존의 단순한 프롬프팅 방식으로는 다양하고 실제적인 댓글을 생성하는 데 한계가 있었다.
이에 연구팀은 ▲14종의 다양한 LLM 활용 ▲자연스러움 강화 ▲세밀한 감정 제어 ▲참조자료를 통한 증강 생성의 네 가지 전략을 적용한 AI 댓글 생성 프레임워크를 개발해, 실제 이용자 스타일을 모방한 한국어 AI 생성 댓글 데이터셋을 구축하고 이 중 일부를 벤치마크 데이터셋으로 공개했다. 또 설명 가능한 AI(XAI) 기법을 적용해 언어 표현을 정밀 분석한 결과, AI 생성 댓글에는 사람과 다른 고유한 말투 패턴이 있음을 확인했다.
예를 들어, AI는 "것 같다", "에 대해" 등 형식적 표현과 높은 접속어 사용률을 보였고, 사람은 반복 문자(ㅋㅋㅋㅋ), 감정 표현, 줄바꿈, 특수기호 등 자유로운 구어체 표현을 즐겨 사용했다.
특수문자 사용에서도 AI는 전 세계적으로 통용되는 표준화된 이모지를 주로 사용하는 반면, 사람은 한국어 자음(ㅋ, ㅠ, ㅜ 등)이나 특수 기호(ㆍ, ♡, ★, • 등) 등 문화적 특수성이 담긴 다양한 문자를 활용했다.
특히, 서식 문자(줄바꿈, 여러 칸 띄어쓰기 등) 사용에서 사람 작성 댓글의 26%는 이런 서식 문자를 포함했지만, AI 생성 댓글은 단 1%만 사용했다. 반복 문자(예: ㅋㅋㅋㅋ, ㅎㅎㅎㅎ 등) 사용 비율도 사람 작성 댓글이 52%로, AI 생성 댓글(12%)보다 훨씬 높았다.
XDAC는 이러한 차이를 정교하게 반영해 탐지 성능을 높였다. 줄바꿈, 공백 등 서식 문자를 변환하고, 반복 문자 패턴을 기계가 이해할 수 있도록 변환하는 방식이 적용됐다. 또 각 LLM의 고유 말투 특징을 파악해 어떤 AI 모델이 댓글을 생성했는지도 식별 가능하게 설계됐다.
이러한 최적화로 XDAC는 AI 생성 댓글 탐지에서 98.5% F1 점수로 기존 연구 대비 68% 성능을 향상시켰으며, 댓글 생성 LLM 식별에서도 84.3% F1 성능을 기록했다.
고우영 선임연구원은 "이번 연구는 생성형 AI가 작성한 짧은 댓글을 높은 정확도로 탐지하고, 생성 모델까지 식별할 수 있는 세계 최초 기술"이라며 "AI 기반 여론 조작 대응의 기술적 기반을 마련한 데 큰 의의가 있다"고 강조했다.
연구팀은 XDAC의 탐지 기술이 단순 판별을 넘어 심리적 억제 장치로도 작용할 수 있다고 설명했다. 마치 음주단속, 마약 검사, CCTV 설치 등이 범죄 억제 효과를 가지듯, 정밀 탐지 기술의 존재 자체가 AI 악용 시도를 줄일 수 있다는 것이다.
XDAC는 플랫폼 사업자가 의심스러운 계정이나 조직적 여론 조작 시도를 정밀 감시·대응하는 데 활용될 수 있으며, 향후 실시간 감시 시스템이나 자동 대응 알고리즘으로 확장 가능성이 크다.
이번 연구는 설명가능 인공지능(XAI) 기반 탐지 프레임워크를 제안한 것이 핵심이며, 인공지능 자연어처리 분야 최고 권위 학술대회인 7월 27일부터 개최되는 'ACL 2025' 메인 콘퍼런스에 채택되며 기술력을 인정받았다.
※논문 제목: XDAC: XAI-Driven Detection and Attribution of LLM-Generated News Comments in Korean
※논문원본: https://github.com/airobotlab/XDAC/blob/main/paper/250611_XDAC_ACL2025_camera_ready.pdf
이번 연구는 우리 대학 김용대 교수의 지도 아래 국보연 소속이자 우리 대학 박사과정인 고우영 선임연구원이 제1 저자로 참여했으며, 성균관대학교 김형식 교수와 우리 대학 오혜연 교수가 공동 연구자로 참여했다.
2025.06.24
조회수 1588
-
논문 경험 없는 학부 1·2학년 4인 팀, ICLR 2025 금융 AI 워크숍에 논문 채택
학부 1, 2학년으로만 구성된 4인 학생 팀의 논문이 인공지능 분야 국제 학술대회인 ‘International Conference on Learning Representations (ICLR) 2025’의 ‘Advances in Financial AI Workshop’에 채택됐다.
이번에 채택된 논문 “Optimizing Retrieval Strategies for Financial Question Answering Documents in Retrieval-Augmented Generation Systems”은 김현준, 김세종, 송현서, 서현우 학생(모두 공동 1저자)이 함께 작성했으며, 김현준 학생이 교신저자를 겸했다. 특히 모든 팀원이 논문 작성 경험이 전혀 없는 학부 저학년 학생들로만 구성되어 그 의미가 더욱 크다.
이 연구는 대규모 언어 모델(LLM)이 금융 질의응답 시스템에서 활용될 때 필요한 정보를 더 정확하게 검색하고 활용하는 방법을 개선했다. 연구팀은 기존 검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템의 한계를 극복하기 위해 ‘사전 검색(pre-retrieval)’, ‘검색(retrieval)’, ‘사후 검색(post-retrieval)’ 3단계 접근법을 도입했다.
사전 검색 단계에서는 질의어와 문서 데이터를 효과적으로 전처리하는 기술을 개발했고, 검색 단계에서는 금융 도메인에 특화된 임베딩 모델을 미세 조정하여 검색 정확도를 높였다. 특히 의미 기반 검색과 키워드 기반 검색을 결합한 하이브리드 접근법을 통해 검색 성능을 크게 향상시켰다. 사후 검색 단계에서는 검색된 문서의 순위를 재조정하고 최적의 문서만을 선별하는 기술을 적용했다.
이 연구 결과는 7개의 금융 질의응답 데이터셋에서 평가되었으며, 기존 방법 대비 눈에 띄는 성능 향상을 보였다.
연구팀은 교내에서 진행된 “KB증권과 함께하는 제4회 UNIST – KAIST - POSTECH AI & 데이터사이언스 경진대회”에서 금상(상금 200만 원)을 수상한 프로젝트를 더욱 발전시켜 논문으로 완성했다.
김현준 학생은 “2024 가을학기 내내 팀원들과 밤부터 새벽까지 대회 작업을 했고, 수상 후에도 겨울 방학 동안 교양 분관 스터디룸에서 밤을 새가며 논문을 작성했다”라며 “전혀 경험이 없는 상태에서 시작했지만, 팀원들과 함께 끊임없이 토론하고 연구한 결과 국제 학술대회 워크숍에 논문이 채택되는 값진 성과를 얻을 수 있었다”라고 소감을 밝혔다.
이번 연구의 의의는 대규모 언어 모델이 금융 정보를 더 정확하게 처리할 수 있게 함으로써, 복잡한 금융 문서에서 필요한 정보를 빠르고 정확하게 찾아내는 데 기여한다는 점이다.
송현서 학생은 “투자자들이 기업 재무제표나 공시 자료를 분석할 때 더 정확한 정보를 얻을 수 있게 돕고, 금융 기관들의 의사결정 과정에서 중요한 도구로 활용될 수 있다.”라며 연구의 활용성을 강조했다.
김세종 학생은 “우리 연구가 실제 금융 환경에서 투자자들과 애널리스트들이 더 정확한 정보에 기반한 의사결정을 내리는 데 도움이 되길 바란다”라며 “학부생으로서 국제 학술대회에 논문을 발표하게 되어 매우 기쁘고, 앞으로도 계속해서 AI와 금융의 융합 연구에 매진하겠다”라고 말했다.
서현우 학생은 “학교의 지원으로 학회 참가비 및 여행 경비 부담을 덜었다”라며 학회 참가비 및 여행 경비를 지원해준 KAIST에 감사한 마음을 전했다.
관계자는 "학부 저학년 학생들이 국제 학술대회급 연구 성과를 낸 것은 매우 의미 있는 일"이라며 "앞으로도 KAIST는 학생들의 창의적인 연구와 도전을 적극 지원할 것"이라고 밝혔다.
<논문 정보>
- 논문 링크: https://arxiv.org/abs/2503.15191
- 프로젝트 웹사이트: https://github.com/seohyunwoo-0407/GAR
2025.04.01
조회수 3565
-
챗GPT를 이용한 개인정보 악용 가능성 규명
최근 인공지능 기술의 발전으로 챗GPT와 같은 대형 언어 모델(이하 LLM)은 단순한 챗봇을 넘어 자율적인 에이전트로 발전하고 있다. 구글(Google)은 최근 인공지능 기술을 무기나 감시에 활용하지 않겠다는 기존의 약속을 철회해 인공지능 악용 가능성에 대한 논란이 불거진 점을 상기시키며, 연구진이 LLM 에이전트가 개인정보 수집 및 피싱 공격 등에 활용될 수 있음을 입증했다.
우리 대학 전기및전자공학부 신승원 교수, 김재철 AI 대학원 이기민 교수 공동연구팀이 실제 환경에서 LLM이 사이버 공격에 악용될 가능성을 실험적으로 규명했다고 25일 밝혔다.
현재 OpenAI, 구글 AI 등과 같은 상용 LLM 서비스는 LLM이 사이버 공격에 사용되는 것을 막기 위한 방어 기법을 자체적으로 탑재하고 있다. 그러나 연구팀의 실험 결과, 이러한 방어 기법이 존재함에도 불구하고 쉽게 우회해 악의적인 사이버 공격을 수행할 수 있음이 확인됐다.
기존의 공격자들이 시간과 노력이 많이 필요한 공격을 수행했던 것과는 달리, LLM 에이전트는 이를 평균 5~20초 내에 30~60원(2~4센트) 수준의 비용으로 개인정보 탈취 등이 자동으로 가능하다는 점에서 새로운 위협 요소로 부각되고 있다.
연구 결과에 따르면, LLM 에이전트는 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집할 수 있었다. 또한, 저명한 교수를 사칭한 허위 게시글 생성 실험에서는 최대 93.9%의 게시글이 진짜로 인식됐다.
뿐만 아니라, 피해자의 이메일 주소만을 이용해 피해자에게 최적화된 정교한 피싱 이메일을 생성할 수 있었으며, 실험 참가자들이 이러한 피싱 이메일 내의 링크를 클릭할 확률이 46.67%까지 증가하는 것으로 나타났다. 이는 인공지능 기반 자동화 공격의 심각성을 시사한다.
제1 저자인 김한나 연구원은 "LLM에게 주어지는 능력이 많아질수록 사이버 공격의 위협이 기하급수적으로 커진다는 것이 확인됐다”며, "LLM 에이전트의 능력을 고려한 확장 가능한 보안 장치가 필요하다”고 말했다.
신승원 교수는 “이번 연구는 정보 보안 및 AI 정책 개선에 중요한 기초 자료로 활용될 것으로 기대되며, 연구팀은 LLM 서비스 제공업체 및 연구기관과 협력하여 보안 대책을 논의할 계획이다”라고 밝혔다.
전기및전자공학부 김한나 박사과정이 제1 저자로 참여한 이번 연구는 컴퓨터 보안 분야의 최고 학회 중 하나인 국제 학술대회 USENIX Security Symposium 2025에 게재될 예정이다. (논문명: "When LLMs Go Online: The Emerging Threat of Web-Enabled LLMs") DOI: 10.48550/arXiv.2410.14569
한편 이번 연구는 정보통신기획평가원, 과학기술정보통신부 및 광주광역시의 지원을 받아 수행됐다.
2025.02.24
조회수 3732
-
김재철AI대학원, AI 기술설명회 2024 개최
우리 대학 김재철AI대학원(원장 정송)은 지난 5월 2일(목) 서울 COEX에서 ‘KAIST 김재철AI대학원 AI기술설명회 2024’(공동주최: 성남산업진흥원, 서울특별시)를 열었다. 본 행사는 KAIST 김재철AI대학원에서 연구개발 중인 최신 AI기술을 일반 참관객 및 산업계 종사자에게 홍보하여 AI기술 확산에 기여하기 위해 마련됐다. 이번 설명회에는 약 650여명이 참석하여 KAIST에서 연구 중인 AI기술에 대한 큰 관심을 확인할 수 있었다.
오전 프로그램으로는 최근 관심이 높은 AI기술 분야에 대한 초청 강연을 진행했다. 최근 산업계의 주요 관심사인 ‘기업용 대형언어모델(LLM) 도입과 활용 전략’을 주제로 장동인 교수(KAIST 김재철AI대학원)가 강연했고, ‘AI와 로봇의 만남: 로봇러닝의 현재와 미래’라는 제목으로 임재환 교수(KAIST 김재철AI대학원)가 로봇러닝 분야의 연구동향과 성과를 설명했다. 이어서 문성은 리더(네이버 클라우드)가 헬스케어AI 기술동향에 대해 발표했으며, 해당 강연에는 카이스트-네이버 초창의 AI 연구센터(Hyper-Creative AI Research Center)에서 수행한 헬스케어AI 관련 공동연구 내용도 소개됐다.
오후 세션에서는 김재철AI대학원의 각 연구실이 보유한 다양한 AI 분야 기술과 최신 연구성과 발표가 이어졌다. 보유기술 소개 1부에서는 LLM, 딥러닝 알고리즘, 로봇 분야에 대한 기술발표가 있었다. ▲생성형 AI 평가 기술(서민준 교수, KAIST 김재철AI대학원, 이하 발표자 소속 동일) ▲데이터/자원 효율적 언어모델 선호 최적화 알고리즘(홍지우 연구원, James Thorne 교수) ▲생성형 언어모델을 사용한 정형 데이터 오버샘플링 기법(양준용 연구원, 양은호 교수) ▲대규모 딥러닝 모델을 위한 베이지안 딥러닝 기법(김현수 연구원, 이주호 교수) ▲로봇에게 물체 조작과 인지 능력 부여하기(김범준 교수) ▲병렬 디코딩을 활용한 자기회귀 언어모델의 빠르고 강건한 조기 추론 프레임워크(배상민 연구원, 윤세영 교수) 등이 소개되었다.
보유기술 소개 2부에서는 ▲실제 환경에서 사실적인 가상 착용을 위한 디퓨전 모델 개선(최이솔 연구원, 신진우 교수) ▲컴퓨터 비전 분야 영상 합성 및 변환 기술(황성원 연구원, 주재걸 교수) ▲전자건강기록 및 흉부 엑스레이 데이터베이스에 대한 멀티모달 질의응답 기술(배성수 연구원, 최윤재 교수) ▲딥러닝 모델이 학습한 특징 이해를 통한 AI 의사결정 설명기술(권다희 연구원, 최재식 교수) ▲안드로이드 모바일 기기 제어 에이전트의 다양한 기기 환경에서의 벤치마킹 연구(이주용 연구원, 이기민 교수) 등 컴퓨터 비전, 헬스케어 AI, 설명가능 인공지능(XAI) 및 에이전트 분야에 대한 최신 기술 소개 및 시연이 있었다.
본 기술설명회를 주관한 김재철AI대학원 정송 원장은 “AI엑스포에 참가한 일반대중과 산업계 종사자들에게 우리 대학원이 보유한 글로벌 수준의 최신 AI기술을 널리 알려 국내 기업들이 AI 기반 혁신을 추진하는 데에 앞장서겠다.”고 밝혔다.
행사 종료 후 김재철AI대학원이 보유한 기술에 대한 기술이전이나 공동연구에 관심이 있는 기업들은 KAIST 성남연구센터를 통해 기술상담 신청을 할 수 있다.
2024.05.10
조회수 6899
-
미국 노스웨스턴 로스쿨과 MOU 체결
-미국 최고 로스쿨 중 하나인 노스웨스턴 로스쿨과 글로벌 지식재산역량을 갖춘 인재양성
지식재산의 전략적 경영이 중요해지고 국제적 지식재산 분쟁에 대한 대응역량 강화요구가 날로 증대되는 가운데, KAIST 지식재산 실무과정(Master of Intellectual Property, 이하 MIP)이 미국 최고 로스쿨 중 하나인 노스웨스턴 로스쿨과 협력하기로 했다.
서 총장과 밴잰트(Van Zandt) 노스웨스턴 로스쿨 학장은 11일 오전 10시 KAIST 총장실에서 글로벌 지식재산역량 강화를 위해 미국법 인증과정 및 학위과정 설치에 관한 MOU를 체결했다.
이번 MOU는 양 학교가 이미 KAIST-Northwestern Executive LLM (미국 법학석사과정)을 8년간 성공적으로 운영했고, 2010년부터는 KAIST MBA-Northwestern LLM 복수학위과정을 개설하는 등의 공고한 협력을 바탕으로, 새로 출범하는 KAIST-MIP 과정에까지 교류를 확대한 것이다.
특히 미국 노스웨스턴 로스쿨은 2009년 U. S. News & World Report 가 선정한 미국 로스쿨 랭킹 종합 9위에 오른 최우수 명문대학이다. 본 대학은 특히 국제세법, 지적재산권법 등에서 높은 명성을 얻고 있다. 또한 역시 미국 최우수 MBA 중 10위권 이내에 손꼽히는 노스웨스턴 켈로그(Kellogg) 비즈니스 스쿨과 함께 JD-MBA과정을 개설하여 지식자본경영 (Intellectual Capital Management) 이라는 새로운 분야를 개척해 나아가는 등, 법과 경영의 융·복합학문을 선도하고 있다.
이번 협약에서 KAIST-MIP 과정을 통해 노스웨스턴 로스쿨이 인정하는 미국법 및 지식재산권법 인증과정을 제공하고 장차 미국법학석사(LLM), 박사(JD)학위와 미국 변호사 또는 변리사 자격을 취득할 수 있도록 협력하기로 함에 따라, KAIST-MIP 과정을 통해 양성되는 지식재산 인재의 글로벌역량이 더욱 강화될 것으로 예상된다.
이를 토대로 장차 노스웨스턴 로스쿨 및 비즈니스 스쿨과의 협력을 더욱 강화하여 KAIST-MIP 과정이 지식자본 경영전략, 창의펀드의 운용 등 지식재산 최정예 인재양성 과정으로 자리매김할 것으로 기대된다.
특허청 지원으로 KAIST에 새롭게 개설되는 KAIST-MIP(Master of Intellectual Property)는 기존 기업의 지재권 담당자와 변호사, 변리사 등 지식재산권 실무자를 대상으로 법과 기술 그리고 경영의 마인드를 갖춘 지식재산권 실무 전문가 양성을 목표로 하는 지식재산권 실무인재 양성 프로그램으로 2년 6학기과정이다.
턱없이 부족한 지식재산권 관련 실무인력을 양성하고, 대한민국을 세계 지재권 강국으로 만들기 위해 특허청과 KAIST가 심혈을 기울여 내년 2월 처음 문을 연다. 이번 과정은 현장실무경험 평균 15년 이상인 37명의 전문교수진이 교육하며 국내 굴지의 특허·법률 관련 12개 기관이 협력한다.
자세한 사항는 지식재산 실무석사 홈페이지(http://mip.kaist.ac.kr)를 참고하면 된다.
붙임: 가. 노스웨스턴 로스쿨 간략소개, 나. 사진설명
<노스웨스턴 로스쿨 간략 소개>
참고 : http://www.law.northwestern.edu
○ 150년의 오랜 역사와 전통을 가진 로스쿨
○ 1923년 최초로 ABA 승인을 받은 40개 로스쿨 중 하나
○ 법학 교육의 선구자인 John H. Wigmore 교수가 재직
○ U. S. News & World Report America’s Best Graduate Schools 2009 Top Law School 중 9위
○ 교수와 학생들간의 1 : 1 교육체제와 세계적 수준의 교육시설, 훌륭한 교수진
○ 학생들이 실제 사건을 다룰 수 있는 Clinical Program (임상법학교육) 등과 같이 실무 적용력이 높고 체계화된 교육 프로그램
○ 노스웨스턴 대학의 Kellogg Graduate School of Management 와 로스쿨이 공동으로 제공하는 LLM / Kellogg 프로그램 운영 중 (JD-MBA)
○ 전세계 각계에서 Northwestern 출신의 교수진, 졸업생들의 커뮤니티 형성을 통해 졸업 후에도 협조와 협력을 통한 네트워크 형성
○ KAIST 경영대학과 Executive LLM 과정을 8년간 성공적으로 운영○ 2010년부터 KAIST MBA-Northwestern LLM 복수학위과정 개설
2009.11.11
조회수 17806
-
황규영 교수, ACM SIGMOD학회의 Distinguished Database Profile에 선정
전산학과 황규영 교수가 데이터베이스 분야에서 세계적으로 권위있는 학회인 ACM SIGMOD(Association Computing For machinery Special Interest Group On Management Of Data)의 Distinguished Database Profile에 선정됐다.
이는 데이터베이스 분야에서 세계적으로 공헌이 많은 연구자를 발굴하여 ACM SIGMOD Record에 소개하는 프로그램이다.
현재 데이터베이스분야에서 새로운 이론 정립과 기술로 인정받고 있는 Jeff Ullman 교수, Jim Gray 박사를 포함하여 전 세계적으로 20여명의 석학들이 선정되어 있으며 아시아∙태평양 지역에서는 황교수가 처음이다.
인터뷰 비디오는 ACM SIGMOD 홈페이지 http://www.sigmod.org/interviews 에서 볼 수 있으며 (인터뷰 진행자: UIUC의 Marianne Winslett 교수 및 Netscape 공동 창업자 Eric Bina) 인터뷰 내용은 2008년 ACM SIGMOD Record에 소개될 예정이다.
2007.06.05
조회수 20265