AI 해킹

AI를 표적으로 삼는 공격과 AI를 공격 도구로 악용하는 행위를 아우르는 사이버 보안 분야

AI 해킹

개요

AI 해킹은 크게 두 방향으로 정의된다. 첫째는 인공지능 모델 자체를 표적으로 삼아 오작동, 정보 유출, 안전장치 우회(탈옥)를 유도하는 공격이고, 둘째는 생성형 AI를 공격 도구로 악용해 기존 사이버 공격의 규모와 정교함을 끌어올리는 행위다. 2022년 챗GPT 등장 이후 대규모 언어 모델(LLM)이 산업 전반에 침투하면서, 보안 업계는 AI를 '보호해야 할 자산'이자 '새로운 공격 무기'로 동시에 취급하게 되었다.

주요 내용

1. AI를 대상으로 하는 공격

프롬프트 인젝션(Prompt Injection)

가장 대표적인 LLM 취약점이다. 사용자 입력이나 외부 문서, 웹페이지 안에 악의적 지시문을 숨겨 모델이 원래의 시스템 지시를 무시하도록 만든다. 직접 인젝션은 사용자가 직접 명령을 주입하는 방식이고, 간접 인젝션은 모델이 읽는 웹페이지·이메일·PDF에 명령을 심어 두는 방식이다. 2023년 이후 OWASP의 LLM 애플리케이션 Top 10에서 1위를 차지했으며, 에이전트형 AI가 도구를 호출하는 구조에서는 실제 시스템 권한 탈취로 이어질 수 있어 위험도가 급격히 높아졌다.

탈옥(Jailbreak)

역할극, 가상 시나리오, 다국어 우회, 인코딩 변환 등의 기법으로 모델의 안전 정렬(Safety Alignment)을 무력화해 금지된 정보를 출력하게 만든다. 'DAN' 프롬프트가 초기 대표 사례이며, 이후 자동화된 공격 프롬프트 탐색 연구가 등장했다.

적대적 예제(Adversarial Examples)

이미지·음성·텍스트에 사람이 인지하기 어려운 미세한 교란을 추가해 모델의 판단을 오도한다. 자율주행 인식 오류, 얼굴 인식 우회, 악성코드 탐지 회피 등에 활용될 수 있다.

데이터 포이즈닝과 백도어

학습 데이터나 파인튜닝 데이터에 악성 샘플을 섞어 특정 트리거 입력에 대해 의도된 오답을 내도록 만든다. 오픈소스 모델 배포 생태계가 커지면서 공급망 공격 경로로 부상했다.

모델 추출·역공학(Model Stealing) 및 멤버십 추론

API 질의를 대량으로 수행해 모델의 동작을 복제하거나, 학습 데이터에 특정 개인정보가 포함되었는지 판별해 프라이버시를 침해한다.

2. AI를 이용한 공격

  • 딥페이크·보이스 클로닝 사기: 임원 음성이나 영상통화를 위조해 송금을 유도하는 수법. 2024년 홍콩에서는 위조 화상회의를 이용해 약 2,500만 달러 규모의 사기가 발생했다.
  • 자동화 피싱: 생성형 AI로 문법 오류 없는 맞춤형 스피어 피싱 메일을 대량 생산한다.
  • 취약점 탐색 가속: 코드 생성 모델이 퍼저(Fuzzer)·익스플로잇 초안을 빠르게 만들어 취약점 발견 주기를 단축시킨다.
  • 악성코드 변형: 난독화와 폴리모픽 코드 생성으로 백신 탐지를 회피한다.
  • AI 에이전트 악용: 자율 에이전트에 부여된 파일·결제·메일 권한을 탈취해 자동으로 공격을 수행하게 만든다.

3. 방어 기법

대표적으로 입력·출력 필터링과 가드레일, 시스템 프롬프트 격리, 최소 권한 원칙, 도구 호출 승인 절차, RLHF·헌법적 AI 같은 정렬 기법, 차분 프라이버시와 연합학습, 워터마킹과 출처 표시(C2PA), 그리고 지속적 레드팀 평가가 있다. 최근에는 AI 기반 탐지 모델을 함께 배치하는 'AI 대 AI' 구도가 일반화되고 있다.

최신 동향

2024~2025년의 핵심 변화는 공격 대상이 '챗봇'에서 '에이전트'로 이동했다는 점이다. LLM이 파일 시스템, 브라우저, 결제 API, MCP(Model Context Protocol) 서버 같은 외부 도구를 직접 호출하면서 프롬프트 인젝션 한 건이 실제 데이터 유출이나 자금 이체로 이어지는 사고가 보고되었다. 2025년에는 주요 AI 기업들이 자율 에이전트의 도구 권한을 제한하고 휴먼 인 더 루프(Human-in-the-Loop) 승인을 의무화하는 가이드를 잇달아 발표했다.

규제 측면에서는 EU AI Act가 2024년 발효되어 2025~2026년 단계적 시행에 들어갔고, 미국은 NIST AI Risk Management Framework를 중심으로 자율 규제와 연방 조달 요건을 병행하고 있다. 한국은 2025년 AI 기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법)이 국회를 통과해 2026년 시행을 앞두고 있으며, 생성형 AI 결과물 표시 의무와 고영향 AI 안전성 확보 조치가 핵심 쟁점이다. 또한 각국 CERT와 보안 기업은 LLM 취약점 신고 체계와 AI 전용 버그바운티를 확대하고 있다.

기술적으로는 다중 모달 공격(이미지에 숨긴 지시문, 오디오 인젝션)과 장기 기억(Memory) 오염 공격이 새로운 연구 주제로 떠올랐고, 방어 측에서는 형식 검증과 샌드박싱을 결합한 에이전트 격리 아키텍처가 주목받고 있다.

관련 주제

  • [[프롬프트 인젝션]]
  • [[적대적 공격]]
  • [[생성형 AI]]
  • [[사이버 보안]]
  • [[딥페이크]]
  • [[AI 규제]]