AI 규칙, 가짜 상업적 입소문을 선거 조작처럼 다루다

수년간 AI와 조작에 관한 논의는 선거에 집중되어 왔습니다. 그럴 만한 이유가 있습니다. 하지만 정치 운동을 조작하는 바로 그 기법으로 제품의 인기도 조작할 수 있습니다. 10월 Anthropic은 규칙에서 이 연결 고리를 명시했고, 마케터는 이것을 자신들을 향해서도 그어진 선으로 읽어야 합니다.

무슨 일이 있었나

10월 8일 Anthropic은 11월 12일부터 시행되는 2026년 이용 정책 개정안을 발표했습니다. 여기에는 “Do Not Engage in Deceptive Campaigns or Artificial Activity(기만적 캠페인이나 인위적 활동에 관여하지 말 것)”라는 조항이 추가되었는데, 이전에 선거, 사기, 개인정보, 허위정보 조항에 흩어져 있던 규칙을 하나로 모은 것입니다. 새 조항은 “(정치적이든 상업적이든) 모든 종류의 기만적 활동에 적용”됩니다. 메시지의 배후를 숨기는 것, 가짜 계정이나 게시물로 콘텐츠를 증폭하는 것, 영향력 공작을 위한 도구나 인프라를 구축하는 것이 포함됩니다.

개정안은 또한 개인화된 투표 및 선거 캠페인 타기팅에 대한 전면 금지를 없앴습니다. 기만이나 유권자 개인정보 오용에 의존하는 타기팅은 기만적 캠페인, 감시, 개인정보 조항에 따라 계속 금지됩니다.

일주일 뒤 Anthropic은 Preparing for the 2026 US midterms에서 실제로 관찰한 내용을 설명했습니다. 여러 사례 가운데, 일부 행위자가 광고 수익을 위해 Claude로 조작된 뉴스를 만들었고 관련 계정을 차단했다고 보고합니다. 또한 안전장치를 테스트한 파트너들이 Claude가 단일한 유해 요청은 안정적으로 거부하지만 개별적으로는 무해한 작업들로 쪼갠 캠페인은 놓칠 수 있다는 점을 발견했고, 이에 가짜 소셜 미디어 계정이나 뉴스 사이트 같은 다단계 오용을 잡는 분류기를 추가했다고 밝혔습니다.

왜 중요한가

마케팅에 종사하는 사람이라면 주목해야 할 세부 사항이 두 가지 있습니다.

“또는 상업적”이라는 표현은 가짜 리뷰, 차명 계정, 봇으로 증폭한 출시, 조작된 “풀뿌리” 입소문을 정치적 영향력 공작과 같은 범주에 넣습니다. 이 중 어느 것에도 Claude를 사용할 수 없지만, 업계 전반의 흐름은 분명합니다. AI 제공업체들은 조직적인 비진정성 활동을 감시하고 있으며, 후보를 파는 것과 제품을 파는 것을 구분하지 않습니다.

두 번째 세부 사항은 일부 남용의 배후에 있는 비즈니스 모델, 즉 광고 수익을 노리고 만든 조작된 뉴스입니다. 이것은 콘텐츠 문제일 뿐 아니라 광고 자금의 문제입니다. 브랜드 예산이 자동화된 프로그래매틱 구매를 거쳐 조작된 사이트로 흘러가면, 광고주는 대개 모르는 사이에 기만의 비용을 대게 됩니다.

타기팅 관련 변경도 눈여겨볼 만합니다. 개인화 자체는 해악으로 취급되지 않습니다. 해악은 기만과 개인정보의 오용입니다. 저는 이것이 올바른 구분이라고 생각합니다.

제 연구가 말하는 것

저는 커리어의 상당 부분을 오디언스를 프로파일링하는 시스템을 만드는 데 보냈습니다. 여러 소셜 네트워크에서 사용자 프로필을 학습하는 것, 네트워크 전반에서 성격을 추론하는 것, 성격을 활용해 콘텐츠를 추천하는 것이었습니다. 이 기법들이 얼마나 강력한지 알기에, 저는 WSDM 2023에서 광고 타기팅과 크리에이티브 평가에 AI를 책임 있게 활용하는 방법에 대해 강연했습니다.

제가 Forbes에서 구속적 마케팅이라는 이름으로 제시한 견해는, 투명성과 성과가 서로 맞바꿔야 하는 관계가 아니라는 것입니다. 오디언스를 더 잘 섬기기 위해 이해하는 것은 정당합니다. 가짜 계정과 가짜 목소리로 오디언스인 척하는 것은 그렇지 않습니다. 새 정책은 대체로 같은 곳에 선을 긋습니다.

측정의 관점도 있습니다. 가짜 참여는 현대 마케팅 AI가 학습하는 바로 그 데이터를 오염시킵니다. 경쟁사의 입소문이 일부 합성된 것이라면, “이 카테고리에서 무엇이 통하는가”를 읽는 모든 모델은 잘못된 교훈을 배우게 됩니다. 소셜 데이터에서 비진정성 신호를 걸러 내는 일은 이제 좋은 분석의 일부가 되었습니다.

마케터가 지금 해야 할 일

• 에이전시 및 인플루언서 계약서에 명시하십시오. AI로 제작한 경우를 포함해 가짜 계정, 구매한 참여, 공개되지 않은 협찬 콘텐츠를 금지하십시오.
• 누가 말하는지 밝히십시오. AI가 브랜드나 개인을 대신해 글을 쓴다면, 계정과 협찬 여부가 분명히 드러나게 하십시오.
• 프로그래매틱 예산이 어디로 가는지 감사하십시오. 사이트 단위 보고를 요청하고, 식별 가능한 퍼블리셔가 없는 사이트의 게재 위치는 차단하십시오.
• 자체 정책에서 개인화와 기만을 구분하십시오. 동의를 받은 퍼스트파티 데이터로 메시지를 맞춤화하는 것과 그 배후를 숨기는 것은 별개의 일입니다.
• 모니터링을 예상하십시오. 대규모 게시를 자동화하는 워크플로가 있다면, 정당한 사용임을 쉽게 입증할 수 있도록 문서화해 두십시오.

선거가 문제를 드러냈습니다. 하지만 돈이 가장 많이 몰린 곳은 상거래입니다. AI 제공업체들은 이미 알아차렸습니다. 마케터도 먼저 대비해야 합니다.

FAQ