“Ik gebruikte AI en kreeg een rekening van $47.000”

Leestijd: 2 minuten

Waarom zou je nog een adviesbureau, softwarebouwer of reclamebureau inhuren? Je creëert gewoon een aantal agents met AI. De ene wordt een onderzoeker, de andere een analyticus, schrijver, et cetera. Dan koppel je ze aan elkaar. En hoppa, je knabbelt een uitje en het werk wordt automatisch gedaan.

Geïnspireerd door het voorbeeld van Alexander Klöpping bij Eva Jinek zijn allerlei mensen zo aan de slag gegaan.

Maar “als het te mooi klinkt om waar te zijn, is het waarschijnlijk ook te mooi om waar te zijn”.

Deze case kwam ik zojuist tegen. Een groepje programmeurs wilde hetzelfde doen met vier van dit soort agents. Ze bleven met een onverwachte rekening van $ 47.000 zitten.

Dit is wat ze dachten dat er zou gebeuren.

Hier is wat er achter de schermen gebeurde.

Wat ging er fout? Hier een aantal voorbeelden.

# Agent A asks Agent B for help
# Agent B asks Agent A for clarification  
# Agent A asks Agent B for help
# Agent B asks Agent A for clarification
# [11 days later]
# Your AWS bill arrives
Agent A: "User wants to book a flight to Paris on May 15th, 
          returning May 22nd, business class, window seat..."

[MCP context hits token limit]
Agent B receives: "User wants to book a flight to"
Agent B: "Book a flight to... where?"
Expected: 1,000 tokens per request
Reality: 45,000 tokens per request

Reason: Agent keeps loading entire documentation 
        into context every single time
Cost: $1,350/day instead of $30/day

Uiteindelijk deden ze er 6 weken over om een werkend systeem te bouwen, met 3.500 regels code.

De moraal van het verhaal: de mogelijkheden van AI zijn geweldig. De wereld verandert erdoor en spring er gerust in om mee te doen.

Maar laat je niet gektikken door claims als “Ik bouwde een app / campagne / commercial / reclamebureau met drie drukken op de knop. Jij kunt dat ook”.

Zoals ik eerder schreef: het gaat er nog steeds om wat je erin stopt. En hoe goed je kunt cureren wat eruit komt. Dat is meestal nog een specialisme.

adidas: zoekaandeel wereldwijd voorspeller van succes

Leestijd: 2 minuten

Je krijgt veel data en allerlei KPI’s op je bord. En die sturen je niet altijd dezelfde kant op. De hamvraag is daarmee: is er een overkoepelende KPI die alles bij elkaar brengt, simpel en overzichtelijk?

Een paar jaar geleden kwam het zoekaandeel (Share of Search) naar boven als veelbelovende kandidaat. Onder meer Les Binet en Mark Ritson waren aanjagers. Zelf schreef en doceerde ik er ook over.

De gedachte is eenvoudig: dat waar mensen naar zoeken, geeft een goede indicatie van wat hun gedrag gaat zijn (nu of straks).

En hetgeen waar mensen naar zoeken wordt enerzijds beïnvloed door de kracht van het merk. Een bekend merk wordt eerder opgezocht, bijvoorbeeld omdat mensen er eerder aan denken. Anderzijds is performancemarketing van invloed. Merken met sterke triggers worden ook eerder opgezocht, bijvoorbeeld omdat iemand zich een interessante aanbieding herinnert.

Het zoekaandeel creëert daarmee een brug tussen de lange en korte termijn. Plus: het telt allerlei invloeden op, van verschillende media, campagnes en uitingen.

Het zoekaandeel is dus een verleidelijk overzichtelijke methodiek, in de lijn van NPS. Maar zoals we inmiddels allemaal weten: de werkelijkheid is weerbarstig en simpele metrics verhullen nogal eens de achterliggende complexiteit.

Daarom vond ik het interessant om te lezen dat adidas de KPI heeft omarmd. Het sportmerk zegt met het zoekaandeel een groot succes te hebben geboekt voor merktracking.

adidas gebruikt organische zoekdata als belangrijkste KPI in 38 landen, met 1,3 miljoen zoekwoorden in 20 talen. Daarmee werden traditionele onderzoeken vervangen, zoals de Net Promoter Score.

Het merk kreeg bevestigd dat het zoekaandeel een sterke voorspeller van succes is. De metric correleert sterk met de verkoop en het marktaandeel in verschillende regio’s en productcategorieën. De nauwkeurigheid van de voorspelling was cruciaal om het bestuur te overtuigen een testprogramma van zes maanden wereldwijd op te schalen.

adidas concludeert daarmee dat zoekdata ‘de grootste consumentenpeiling ter wereld’ is. Met een concreet, prikkelend resultaat: 60% lagere kosten en een extra waarde van tientallen miljoenen euro’s. Ook in een tijd waarin ons zoekgedrag flink wordt beïnvloed door AI.

Zelf aan de slag met het zoekaandeel? Hier een aantal tips:

1. Bouw een schaalbaar systeem door te investeren in de automatisering van de verzameling, verwerking en rapportage van de benodigde data.

2. Train een breed aantal teams in je organisatie om met het zoekaandeel om te gaan.

3. Maak zoekdata een officiële KPI. Voeg context toe door zoekdata te koppelen aan influencertrends, productreviews, lanceringen en rumoer op sociale media.

Wil je ook weten hoe je met het zoekaandeel aan de slag kunt? Laat het me weten.

Bron: WARC

Onderzoek: AI die wil winnen, gaat vaker liegen

Leestijd: 2 minuten

Een nieuw Stanford-onderzoek laat iets ongemakkelijks zien. Als je AI optimaliseert om te winnen, liegen LLM’s vaker. Kleine stijgingen in resultaat leveren significant meer misleiding op. Zelfs met de expliciete instructies om de waarheid te spreken. 

In simulaties lieten de onderzoekers AI’s strijden rond drie uitdagingen: meer verkoop, betere verkiezingsresultaten en meer tractie op sociale media.

In verkoop steeg de omzet met 6,3% terwijl misleidende claims met 14,0% toenamen. In verkiezingen leverde 4,9% stemwinst 22,3% meer desinformatie en 12,5% meer populistische retoriek op. Op sociale media betekende een 7,5% verbetering in betrokkenheid een stijging van 188,6% in desinformatie en een verhoging van 16,3% in de aanmoediging van schadelijk gedrag.

Opmerkelijk is de sterke correlatie: in acht van de tien gevallen was er een duidelijk verband tussen de prestatieverbetering en een toename in normvervaging. En hoe beter een model zijn publiek begreep, hoe slimmer de manipulaties werden.

De onderzoekers noemen dit patroon Moloch’s Bargain: succes dat ten koste gaat van integriteit. Meditations on Moloch is een essay van Scott Alexander. Hij betoogt dat de wereld wordt geregeerd door een race-to-the-bottom-benadering, waarbij alles wat het leven waardevol maakt wordt opgeofferd.

De waarschuwing voor marketeers is duidelijk: winst kan snel ten koste gaan van de waarheid. Dus train je AI om de respons op je uiting te vergroten, dan is de kans groot dat desinformatie, misleidende claims en polariserende taal worden ontdekt.

De onderzoekers stellen dan ook dat overkoepelend toezicht op AI belangrijk is. En dat we met z’n allen goed moeten kijken welke instructies we aan AI geven.

Lees hier zelf het onderzoek

lululemon: ons merk wordt om zeep gebracht!

Leestijd: < 1 minuut

Een tijdje geleden schreef ik hoe Nike $150 miljard verloor door een hysterische focus op ROI (lees: kortetermijnmetrics). Naar aanleiding hiervan stond ik op het podium bij Digital Marketing Live. Ter voorbereiding van deze Keynote sprak ik met conculega’s van Nike. Het geluid was eenduidig: “Dit is zo herkenbaar. En het gebeurt bij ons nog steeds”.

Deze noodkreet van lululemon is een nieuw voorbeeld. De meeste CEO’s / CMO’s / digitale experts begrijpen niets van merken. Ze focussen zich op makkelijk meetbare KPI’s die er nauwelijks toe doen. En ze negeren langzamere, maar structurele effecten.

Herken je dit? En wil je wil je dit oplossen? Laat het weten.