Лауреаты Филдсовской премии против ИИ-бенчмарков: урок для маркетологов

Математики обычно не пишут открытых писем о маркетинге. Но аргумент, который группа лауреатов Филдсовской премии выдвинула в сентябре, почти дословно применим к тому, как наша отрасль измеряет ИИ. Их мысль: решение задач — это прокси-показатель, а настоящая цель — понимание. Спутайте одно с другим — и можно повредить именно то, что пытались улучшить.

Что произошло

По данным The Next Web, 11 сентября на mathandai.org была опубликована декларация A Severe Misalignment of AI in Mathematics. На сайте перечислены 25 подписантов, в том числе Terence Tao, Peter Scholze, Maryna Viazovska, Cédric Villani, Pierre Deligne, Manjul Bhargava и Martin Hairer. Декларация утверждает, что решение задач — инструмент и прокси-показатель, тогда как главная цель математики — концептуальное понимание и прозрение. Она предупреждает, что массовое производство истинных или ложных утверждений во всё возрастающем темпе «может уничтожить плодородную почву». TNW описывает её как заявление о бенчмарках; конкретных событий она не называет.

На той же неделе отдельное открытое письмо раскритиковало студенческий ИИ-«математон» в Caltech, назвав формат «slop-математикой» и заявив, что труд по проверке и исправлению результатов ИИ остаётся «неоплаченным, неупомянутым и непризнанным». TNW сообщает, что 10 сентября OpenAI отозвала свои кредиты на US$1 млн для мероприятия, тогда как Anthropic сохранила свой вклад, а организаторы добавили требования, но не отменили его.

Почему это важно

Жалоба математиков касается знакомой ловушки. Когда трудная знаменитая задача становится бенчмарком, лаборатории оптимизируют производство ответов на неё. Ответы измеримы. Понимание — нет. Со временем измеримое вытесняет ценное, а проверять результат приходится кому-то другому.

У маркетингового ИИ ровно та же проблема. Мы оцениваем инструменты по тому, что легко посчитать: числу созданных материалов, сэкономленному времени, CTR, доле ИИ-ответов, упоминающих бренд. Эти цифры важны. Но цель маркетинга — не объём выдачи; это понимание клиентов, достаточное, чтобы им служить, и бренд, которому доверяют. Система, заваливающая каналы контентом и выигрывающая по прокси-метрикам, может незаметно подтачивать и то и другое.

Точно попадает и аргумент о неоплачиваемой проверке. Сгенерированный контент дёшево производить и дорого проверять. Если проверка в ваших метриках не видна, ваш «рост производительности» отчасти бухгалтерский трюк.

Что говорят мои исследования

Мои недавние исследования построены вокруг этого различия. В нашей статье на SIGIR 2026 SOMIN: Agentic AI for Automating Professional Visibility and Countering Content Homogenization мы решаем именно ту проблему, что написанный ИИ контент сходится к одному: у всех ассистенты выдают одинаковые грамотные шаблонные посты. Наш подход — извлекать реальные контекстные данные до написания, чтобы результат оставался самобытным. Объём без самобытности — это маркетинговая версия «slop».

Что касается измерений, на e27 я писал, что все дашборды зелёные, но никто не может сказать, что сработало. Прокси-метрики, которые все смотрят вверх, — не то же самое, что знание причин результатов. А в нашей работе по объяснимому ИИ, от Against Opacity до MindFuse, цель — не просто лучший прогноз, а объяснение, на котором маркетолог может учиться. Это маркетинговый эквивалент «концептуального понимания» математиков.

Что маркетинговым командам из этого вынести

• Назовите цель за каждой метрикой. Для каждого ИИ-KPI напишите одно предложение о том, какой реальный результат он должен отражать, и периодически проверяйте, что эта связь сохраняется.
• Учитывайте стоимость проверки. Отслеживайте время людей на проверку и исправление результатов ИИ и включайте его в расчёт ROI.
• Измеряйте самобытность. Сравнивайте свой контент, созданный с помощью ИИ, с контентом конкурентов. Если он становится неотличимым, вы выигрываете по прокси-показателю и теряете бренд.
• Предпочитайте объяснения оценкам. Инструмент, который говорит, почему что-то сработало, накапливает знания команды; инструмент, который говорит лишь, что сработало, создаёт зависимость.
• Отдавайте должное людям. Если люди подчищают за ИИ, делайте эту работу видимой и ценимой, а не само собой разумеющейся.

Математики защищают свою область от культуры бенчмарков, которая путает ответы с пониманием. Маркетингу стоит защитить себя от той же ошибки.

Частые вопросы