Mga Fields Medallist vs AI Benchmark: Isang Aral para sa mga Marketer

Hindi karaniwang sumusulat ng open letter tungkol sa marketing ang mga mathematician. Ngunit ang argumentong inilahad ng isang grupo ng mga Fields Medallist noong Setyembre ay halos salita por salitang naaangkop sa kung paano sinusukat ng ating industriya ang AI. Ang punto nila: proxy ang paglutas ng mga problema, at ang tunay na layunin ay pag-unawa. Kapag pinagkamalan ang dalawa, maaari mong sirain ang mismong bagay na sinusubukan mong pagbutihin.

Ano ang nangyari

Ayon sa The Next Web, noong 11 Setyembre ay inilathala sa mathandai.org ang isang deklarasyong pinamagatang A Severe Misalignment of AI in Mathematics. Naglilista ang site ng 25 lumagda, kabilang sina Terence Tao, Peter Scholze, Maryna Viazovska, Cédric Villani, Pierre Deligne, Manjul Bhargava at Martin Hairer. Iginigiit ng deklarasyon na kasangkapan at proxy ang paglutas ng mga problema, habang ang pangunahing layunin ng matematika ay konseptwal na pag-unawa at insight. Nagbababala ito na ang maramihang paggawa ng tama o maling pahayag sa pabilis nang pabilis na takbo ay "maaaring sumira sa matabang lupa". Inilalarawan ito ng TNW bilang pahayag tungkol sa mga benchmark; wala itong pinangangalanang partikular na pangyayari.

Sa parehong linggo, isang hiwalay na open letter ang pumuna sa isang AI "Mathathon" na pinapatakbo ng mga estudyante sa Caltech, tinawag ang format na "slop mathematics" at iginiit na ang paggawa ng pagberipika at pagwawasto sa mga resulta ng AI ay "hindi binabayaran, hindi kinikilala, at hindi pinapansin". Iniulat ng TNW na binawi ng OpenAI ang US$1 milyon nitong credits mula sa event noong 10 Setyembre, habang pinanatili ng Anthropic ang kontribusyon nito, at na nagdagdag ng mga kinakailangan ang mga organizer ngunit hindi kinansela ang event.

Bakit ito mahalaga

Ang reklamo ng mga mathematician ay tungkol sa isang pamilyar na bitag. Kapag naging benchmark ang isang mahirap at sikat na problema, nag-o-optimise ang mga lab para makagawa ng mga sagot dito. Nasusukat ang mga sagot. Hindi nasusukat ang pag-unawa. Sa paglipas ng panahon, itinutulak palabas ng nasusukat na bagay ang mahalagang bagay, at iba ang naiiwang sumuri sa output.

Eksaktong ganito ang problema ng marketing AI. Bine-benchmark natin ang mga tool sa kung ano ang madaling bilangin: dami ng asset na nalikha, oras na natipid, click-through rate, bahagi ng mga sagot ng AI na bumabanggit sa brand. Mahalaga ang mga numerong iyon. Ngunit ang layunin ng marketing ay hindi output; ito ay ang pag-unawa sa mga customer nang sapat upang mapagsilbihan sila, at ang pagbuo ng brand na pinagkakatiwalaan ng mga tao. Ang system na bumabaha ng content sa mga channel at nananalo sa mga proxy metric ay tahimik na makasisira sa dalawa.

Tumatama rin ang punto tungkol sa hindi binabayarang pagberipika. Mura ang paggawa ng nalikhang content at mahal ang pagsusuri nito. Kung hindi nakikita sa iyong mga metric ang pagsusuri, bahagyang panlilinlang sa accounting ang iyong "productivity gains".

Ang sinasabi ng aking pananaliksik

Nakabatay ang aking kamakailang pananaliksik sa pagkakaibang ito. Sa aming papel sa SIGIR 2026, SOMIN: Agentic AI for Automating Professional Visibility and Countering Content Homogenization, ang problemang tinutugunan namin ay mismong nagkakapareho ang AI-written na content: ang assistant ng lahat ay lumilikha ng parehong mahusay ngunit generic na mga post. Ang aming pamamaraan ay kumuha ng totoong context data bago sumulat, upang manatiling natatangi ang output. Ang volume nang walang pagiging natatangi ay ang bersyon ng marketing ng "slop".

Sa pagsukat, iginiit ko sa e27 na berde ang bawat dashboard, ngunit walang makapagsabi kung ano ang gumana. Ang mga proxy metric na lahat ay pataas ay hindi katulad ng pagkaalam kung ano ang nagdulot ng mga resulta. At sa aming gawain sa explainable AI, mula Against Opacity hanggang MindFuse, ang layunin ay hindi lamang mas mahusay na prediksyon kundi isang paliwanag na mapag-aaralan ng marketer. Iyan ang katumbas sa marketing ng "konseptwal na pag-unawa" ng mga mathematician.

Ang mapupulot dito ng mga marketing team

• Pangalanan ang layunin sa likod ng bawat metric. Para sa bawat AI KPI, sumulat ng isang pangungusap tungkol sa kung anong tunay na resulta ang dapat nitong kinakatawan, at pana-panahong suriin kung totoo pa rin ang ugnayan.
• Bilangin ang gastos ng pagberipika. Subaybayan ang oras ng tao na ginugugol sa pagsusuri at pagwawasto ng output ng AI at isama ito sa iyong ROI.
• Sukatin ang pagiging natatangi. Ihambing ang iyong AI-assisted na content sa sa mga kakumpitensya. Kung nagiging hindi na makilala ang pagkakaiba, nananalo ka sa proxy at natatalo sa brand.
• Mas piliin ang mga paliwanag kaysa sa mga score. Ang tool na nagsasabi kung bakit gumana ang isang bagay ay bumubuo ng kaalaman ng team; ang tool na nagsasabi lamang na gumana ito ay bumubuo ng pagdepende.
• Kilalanin ang mga tao. Kung may mga taong naglilinis ng output ng AI, gawing nakikita at pinahahalagahan ang trabahong iyon, hindi ipinagpapalagay lamang.

Pinoprotektahan ng mga mathematician ang kanilang larangan mula sa isang benchmark culture na napagkakamalang pag-unawa ang mga sagot. Dapat protektahan ng marketing ang sarili nito mula sa parehong pagkakamali.

FAQ