Wie is er bang voor de veelarmige bandiet?

De multi-armed bandit test is een van de primaire methoden die groeiteams gebruiken wanneer ze een experiment opzetten. Hieronder laat ik deze ingewikkelde methode eenvoudig lijken en beschrijf ik enkele inspirerende casestudies.

Groeiteams hebben in hun toolkits verschillende methoden om te experimenteren. Een van de meer complexe "smaken" van testen is de meerarmige bandiet. Enkele lezers van deze blog (met een shout-out naar Christina en Henk) vertelden me dat het moeilijk is om een eenvoudig te begrijpen uitleg van deze methode te vinden. Dit artikel moet de leemtes opvullen.

Voordat ik inga op de details van meerarmige banditests, maak ik eerst een korte omweg. Omdat meerarmige banditests complexere versies van A/B-tests zijn, moet je eerst goed begrijpen wat A/B-tests zijn.

Ook bekend als een "split-run test", een A/B-test is een gecontroleerd experiment waarin twee versies van één variabele worden vergeleken door de reactie van een proefpersoon op variabele A te vergelijken met variabele B. Zo wordt bepaald welke van de twee variabelen effectiever is.

Deze methode is een van de sleutels tot het succesverhaal van Netflix. Bijna al hun beslissingen zijn gebaseerd op gegevensanalyse en A/B-testen. Door middel van split-run tests selecteert Netflix het beste artwork voor zijn content, wat soms resulteert in 20% tot 30% meer kijkers voor die titel.

Growth hackers kunnen hetzelfde doen. Een eenvoudig voorbeeld: door middel van split-runs testen ze de effectiviteit van je prijs door verschillende tarieven te tonen aan verschillende groepen websitebezoekers (gesegmenteerd in klanttype). Voor elke groep wordt een tarief berekend dat voor de hoogste winst zorgt. Elke groep ziet nu de prijs die voor hen is berekend. Variaties in prijzen op basis van tijd van de dag zijn ook mogelijk.

Meerarmige banditests zijn "slimmere", complexere versies van A/B-tests. Hoe werkt het? Machine-algoritmes worden gebruikt om dynamisch verkeer toe te wijzen aan variaties van een website die goed presteren en minder verkeer toe te wijzen aan varianten die slechter presteren.

Deze tests werken sneller dan A/B-tests omdat ze binnen een bepaalde periode meer verkeer naar de "winnende" alternatieven sturen. Op deze manier wordt er minder tijd verspild aan het testen van een slecht presterende optie (zoals gebeurt bij A/B-tests).

Meerarmige bandit algoritmen worden niet alleen gebruikt in testen, maar ook in dagelijkse toepassingen. Neem bijvoorbeeld deze inspirerende cases:

• De beroemde persoonlijke aanbevelingen van Netflix zijn gebaseerd op een algoritme met meerdere armen.
• De website van De Washington Post toont combinaties van artikelen met de grootste kans dat je erop klikt.
• Draadloze netwerken gebruiken een algoritme met meerdere armen om te bepalen welke route optimaal en het meest energie-efficiënt is.

Je wilt misschien weten wanneer je in je bedrijf een veelarmige bandiet tegenkomt. Welnu, vanwege hun snelheid zijn deze tests bijzonder geschikt voor situaties waarin snelle resultaten nodig zijn, bijvoorbeeld variaties op nieuwskoppen. Je groeiteam zal deze methode mogelijk inzetten om kortlopende campagnes te testen.

Growth hacking kan het verschil betekenen tussen bedrijven die falen, overleven of gedijen. Via onze ervaren partners en medewerkers combineert RevelX de wijsheid van meer dan 100 jaar growth hacking. Als je meer wilt weten over dit inspirerende onderwerp, aarzel dan niet om contact met me op te nemen. Je bent altijd welkom voor een kopje koffie op ons kantoor.