필즈상 수상자 대 AI 벤치마크: 마케터를 위한 교훈

수학자들이 마케팅에 관한 공개서한을 쓰는 일은 흔치 않습니다. 하지만 9월 필즈상 수상자들이 펼친 주장은 우리 업계가 AI를 측정하는 방식에 거의 그대로 적용됩니다. 그들의 요점은 이렇습니다. 문제를 푸는 것은 대리 지표이고, 진짜 목표는 이해입니다. 둘을 혼동하면 개선하려던 바로 그것을 망가뜨릴 수 있습니다.

무슨 일이 있었나

The Next Web에 따르면 9월 11일 mathandai.org에 A Severe Misalignment of AI in Mathematics라는 제목의 선언문이 게시되었습니다. 사이트에는 Terence Tao, Peter Scholze, Maryna Viazovska, Cédric Villani, Pierre Deligne, Manjul Bhargava, Martin Hairer를 포함한 25명의 서명자가 올라 있습니다. 선언문은 문제 풀이는 도구이자 대리 지표이며, 수학의 일차적 목표는 개념적 이해와 통찰이라고 주장합니다. 그리고 참이거나 거짓인 명제를 점점 더 빠른 속도로 대량 생산하는 것이 “비옥한 토양을 파괴할 수 있다”고 경고합니다. TNW는 이를 벤치마크에 관한 성명으로 설명하며, 선언문은 특정 사건을 지목하지 않습니다.

같은 주에 별도의 공개서한은 Caltech에서 학생들이 운영하는 AI “Mathathon(매서톤)”을 비판하며, 그 형식을 “찌꺼기 수학(slop mathematics)”이라 부르고 AI 결과를 검증하고 수정하는 노동이 “보상도, 공로 인정도, 인정도 받지 못한다”고 주장했습니다. TNW에 따르면 OpenAI는 9월 10일 이 행사에 제공하기로 한 100만 US$ 상당의 크레딧을 철회했고 Anthropic은 기여를 유지했으며, 주최 측은 요건을 추가했지만 행사를 취소하지는 않았습니다.

왜 중요한가

수학자들의 불만은 익숙한 함정에 관한 것입니다. 어렵고 유명한 문제가 벤치마크가 되면, 연구소들은 그 문제의 답을 내는 데 최적화합니다. 답은 측정할 수 있습니다. 이해는 그렇지 않습니다. 시간이 지나면 측정 가능한 것이 가치 있는 것을 밀어내고, 출력을 확인하는 일은 다른 누군가에게 남겨집니다.

마케팅 AI에도 정확히 이 문제가 있습니다. 우리는 생성된 자산 수, 절약된 시간, 클릭률, 브랜드를 언급하는 AI 답변의 비율처럼 세기 쉬운 것으로 도구를 벤치마크합니다. 이 숫자들은 중요합니다. 하지만 마케팅의 목표는 산출물이 아니라, 고객을 잘 섬길 만큼 충분히 이해하고 사람들이 신뢰하는 브랜드를 세우는 것입니다. 채널을 콘텐츠로 뒤덮고 대리 지표에서 이기는 시스템은 조용히 그 둘을 모두 잠식할 수 있습니다.

보상받지 못하는 검증에 관한 지적도 정곡을 찌릅니다. 생성된 콘텐츠는 만들기는 싸고 확인하기는 비쌉니다. 확인 작업이 지표에 드러나지 않는다면 여러분의 “생산성 향상”은 일부 회계상의 착시입니다.

제 연구가 말하는 것

제 최근 연구는 이 구분을 중심으로 이루어져 있습니다. SIGIR 2026 논문 SOMIN: Agentic AI for Automating Professional Visibility and Countering Content Homogenization에서 저희가 다루는 문제가 바로 AI가 쓴 콘텐츠의 수렴입니다. 모두의 어시스턴트가 똑같이 유능하고 일반적인 게시물을 만들어 냅니다. 저희의 접근법은 글을 쓰기 전에 실제 맥락 데이터를 검색해 결과물이 독창성을 유지하도록 하는 것입니다. 차별성 없는 물량은 마케팅판 “찌꺼기(slop)”입니다.

측정에 관해 저는 e27에서 모든 대시보드가 초록색인데도 무엇이 효과가 있었는지 아무도 말하지 못한다고 주장했습니다. 모두 위를 가리키는 대리 지표는 무엇이 결과를 낳았는지 아는 것과 같지 않습니다. 그리고 Against Opacity부터 MindFuse까지 저희의 설명 가능한 AI 연구가 목표로 하는 것은 더 나은 예측만이 아니라 마케터가 배울 수 있는 설명입니다. 그것이 수학자들이 말하는 “개념적 이해”의 마케팅판입니다.

마케팅 팀이 여기서 얻을 수 있는 것

• 각 지표 뒤의 목표에 이름을 붙이십시오. 모든 AI KPI마다 그것이 대변해야 할 실제 결과를 한 문장으로 적고, 그 연결이 여전히 유효한지 주기적으로 확인하십시오.
• 검증 비용을 계산하십시오. AI 출력을 검토하고 수정하는 데 드는 사람의 시간을 추적해 ROI에 포함하십시오.
• 차별성을 측정하십시오. AI의 도움을 받은 콘텐츠를 경쟁사의 것과 비교하십시오. 구별하기 어려워지고 있다면, 대리 지표에서 이기고 브랜드는 잃고 있는 것입니다.
• 점수보다 설명을 택하십시오. 무언가가 왜 효과가 있었는지 알려 주는 도구는 팀의 지식을 쌓아 주고, 효과가 있었다는 사실만 알려 주는 도구는 의존을 쌓습니다.
• 사람의 공로를 인정하십시오. 사람들이 AI 출력을 정리하고 있다면, 그 일을 당연시하지 말고 눈에 보이게 하고 가치 있게 대우하십시오.

수학자들은 답을 이해로 착각하는 벤치마크 문화로부터 자신의 분야를 지키고 있습니다. 마케팅도 같은 실수로부터 스스로를 지켜야 합니다.

FAQ