AI 뉴스 해설 · 규제·보안

증류 공격: 복제된 AI 모델이 여러분에게 의미하는 것

미국 기관들이 증류 관련 권고문에서 중국 AI 기업 6곳을 지목했고, Anthropic은 자사 방어 체계로 수집된 데이터를 90~99% 줄였다고 밝혔습니다. AI 구매자에게 주는 의미.

뉴스: CISA, NSA, FBI가 미국 AI 모델에 대한 산업적 규모의 증류에 관한 권고문을 발표하고, Anthropic이 새로운 증류 방어 체계를 공개()

“증류(distillation)”는 원래 머신러닝에서 점잖은 단어였습니다. 큰 모델을 모방하도록 작은 모델을 훈련하는 것을 가리켰고, 표준적이고 유용한 기법이었습니다. 2026년 9월과 10월, 이 단어는 보안과 무역의 이야기가 되었습니다. 마케팅용 AI를 구매하거나 구축한다면 두 가지 의미를 모두 이해해야 합니다.

무슨 일이 있었나

9월 초 CISA, NSA, FBI는 중국 기반 AI 기업들의 이른바 산업적 규모의 지식 증류에 관한 공동 권고문을 발표했습니다. 이 권고문에 관한 Help Net Security의 보도에 따르면, 기관들은 DeepSeek, Moonshot AI, Alibaba Group, MiniMax, StepFun, Z.AI를 지목하며 이들이 적어도 2024년 말부터 미국 프런티어 모델에 수백만 건의 요청을 보내 수십억 개의 토큰을 추출했다고 밝혔습니다. 권고문은 사람이 쉬는 시간 없이 24시간 이어지는 사용, 협조적으로 움직이는 계정 풀 같은 탐지 신호를 제시하고, 더 강력한 신원 확인, 모니터링, AI 제공업체 간 정보 공유를 권고합니다. 보도에는 지목된 기업들의 입장은 포함되지 않았습니다.

10월 12일 Anthropic은 자체 대응을 설명했습니다. Strengthening our defenses against distillation attacks에서 Anthropic은 초기 증거상 자사 방법이 증류 시도자가 수집한 데이터를 약 90~99% 줄인 것으로 보인다고 밝혔습니다. 조치에는 새로 만든 API 계정이 Claude의 이전 추론을 편집하지 못하게 하는 것, 추출 시도로 학습시킨 오탐률 0.1% 미만의 2단계 분류기, 반복 시도에 대한 더 엄격한 제한과 차단, 안전장치에 막힌 요청에 대한 과금이 포함됩니다. Anthropic은 증류와 연관된 계정 수만 개를 차단했으며 “쫓고 쫓기는 게임”이 계속될 것으로 예상한다고 말합니다.

왜 중요한가

마케터가 AI 연구소 간의 싸움에 관심을 가져야 할 이유는 두 가지입니다.

첫째는 공급망 리스크입니다. 어떤 모델이 다른 모델의 동작을 허락 없이 복제해 만들어졌다면, 거기에 어떤 안전장치가 따라왔는지 알 수 없습니다. Anthropic의 게시글은 증류된 모델이 프런티어 수준의 성능에 근접하면서도 더 약한 보호 장치를 갖춘 채 배포될 수 있다고 주장합니다. 고객 서비스를 운영하거나 광고를 생성할 모델을 고를 때, 출처는 품질의 일부입니다.

둘째는 정당한 사용자가 겪는 마찰입니다. 방어에는 비용이 따릅니다. Anthropic은 일부 개발자가 연동을 업데이트해야 했고, 정상 요청의 일부가 차단될 수 있으며, 이제 차단된 요청에도 과금될 수 있다는 점을 인정합니다. 여러분의 마케팅 스택이 프런티어 API를 대량으로 자동 호출한다면, 그 트래픽 일부가 추출 캠페인처럼 보일 수 있습니다. 파이프라인이 멈춘 뒤가 아니라 지금 제공업체의 정책을 읽어 두십시오.

제 연구가 말하는 것

여기서 증류가 악당은 아닙니다. 정당하게 이루어진다면 증류는 AI를 저렴하게 만드는 방법입니다. 큰 모델이 작은 모델을 가르치고, 작은 모델은 대규모로 저렴하게 돌아갑니다. 저는 Forbes에서 마케팅에서는 모델 크기보다 기법이 더 중요하다고 주장했는데, 증류도 그런 기법 중 하나입니다.

그림을 바꾸는 것은 동의와 투명성입니다. 설명 가능한 AI에 관한 제 연구는 단순한 원칙에서 출발합니다. 마케터는 시스템이 왜 무언가를 추천하는지 볼 수 있어야 한다는 것입니다. Against Opacity(ACM Multimedia 2023)에서 저희는 클릭률 예측을 그 요인을 설명하는 LLM 어시스턴트와 결합했습니다. SOMONITOR(2024년 프리프린트)에서는 설명 가능한 성과 모델과 LLM을 결합한 경쟁사 분석을 소개했습니다. 설명은 모델이 무엇이고 어디서 왔는지 알 때에만 의미가 있습니다.

주목할 만한 아이러니도 있습니다. Anthropic이 설명하는 방어 방식, 즉 모델의 전체 추론을 요약하거나 접근을 제한하는 방식은 모두에게 시스템을 조금 덜 투명하게 만듭니다. 복제하려는 쪽이 원하는 것이 바로 그 추론이기 때문입니다. 이 트레이드오프는 AI 벤더가 얼마나 많은 설명을 공개할지를 좌우할 것입니다. 구매자는 원시 추론 기록보다는 자신의 데이터와 의사결정에 관해 자신을 위해 설계된 설명을 요구해야 합니다.

마케팅 AI 구매자가 지금 해야 할 일

  • 모든 벤더에게 제품 밑에 어떤 모델이 있고 그 모델이 어디서 왔는지 물어보십시오.
  • 호출하는 API의 약관을 확인하십시오. 마케팅에서 자동화된 대량 사용은 흔한 일입니다. 여러분의 사용이 명백히 정당하고, 신원이 확인되며, 한도 안에 있는지 확인하십시오.
  • 모델 교체에 대비하십시오. 정책, 가격, 접근 권한은 빠르게 바뀔 수 있습니다. 프롬프트, 절차, 평가 세트를 이식 가능하게 유지하십시오.
  • 자체 모델은 정당하게 증류하십시오. 좁은 작업을 위한 저렴한 모델이 필요하다면 자사 데이터나 사용 허가를 받은 출력물로 훈련하십시오.
  • 내부 구조의 노출보다 의사결정에 대한 설명을 우선하십시오. 여러분이 감사해야 할 것은 캠페인에 대해 왜 그런 추천이 나왔는가입니다.

증류를 둘러싼 싸움은 누가 누구를 베낄 수 있느냐의 문제입니다. 마케터에게 이것은 “어떤 모델인가?”가 이제 기술적 질문만이 아니라 거버넌스의 질문이라는 점을 일깨워 줍니다.

FAQ

AI 증류 공격이란 무엇인가요?

모델에 질의를 보내 그 능력을 추출하는 은밀하고 대규모적인 캠페인으로, 종종 사기 계정 네트워크를 이용하며, 그 출력물로 원 개발자의 허락 없이 다른 모델을 훈련합니다.

미국 권고문은 어떤 기업들을 지목했나요?

Help Net Security의 보도에 따르면 CISA, NSA, FBI의 권고문은 DeepSeek, Moonshot AI, Alibaba Group, MiniMax, StepFun, Z.AI를 지목했습니다. 보도에는 해당 기업들의 답변이 포함되지 않았습니다.

모델 증류는 항상 나쁜 것인가요?

아닙니다. 증류는 큰 모델로부터 더 작고 저렴한 모델을 훈련하는 표준 기법입니다. 문제는 다른 사람의 모델에서 무단으로 추출하는 것이며, 이는 동의, 안전장치, 출처에 관한 의문을 낳습니다.

출처

  1. Chinese AI firms are siphoning capabilities from American models, CISA warns — Help Net Security, 9 September 2026
  2. Strengthening our defenses against distillation attacks — Anthropic, 12 October 2026

Aleks Farseev 교수는 SOMIN.ai 창업자 겸 CEO이자 NUS와 INSEAD의 AI 초빙교수입니다. 동료심사를 거친 그의 연구는 다중 출처 사용자 프로파일링, 성격 인식 추천, 마케팅을 위한 설명 가능한 AI를 다룹니다.