Een hit voorspellen: Intuïtie vs gegevenswetenschap

Er is een eenvoudige reden waarom intuïtie verkeerd kan zijn. In plaats van een indicatie te zijn van goed beoordelingsvermogen, kan het nauwkeurig voorspellen van een zeldzame gebeurtenis zoals een nieuwe hit een indicatie zijn van slecht beoordelingsvermogen. Anders gezegd: slechte voorspellers doen vaker extreme voorspellingen. Omdat extreme uitkomsten schaars zijn, zullen managers die rekening houden met alle beschikbare informatie minder snel zulke extreme voorspellingen doen. Managers daarentegen die vertrouwen op heuristiek en intuïtie zullen eerder extreme voorspellingen doen.¹

Om te illustreren hoe dit effect werkt, kijken we naar de Wall Street Journal. Elke zes maanden vraagt de Wall Street Journal ongeveer 50 economen en analisten om een aantal macro-economische statistieken voor de komende zes maanden te voorspellen. Dr. Sung Won Sohn, CEO van Hamni Financial Group, behaalde de eerste plaats door als een van de weinigen correct een hoog inflatiecijfer te voorspellen terwijl de consensusvoorspelling laag was. Dr. Sohn schreef zijn ongewoon hoge maar accurate inflatievoorspelling toe aan een intuïtie die hij ontwikkelde na een bezoek aan een jeansfabrikant in Californië. De producent kon de vraag naar zijn $250 spijkerbroeken niet bijhouden. Volgens de Wall Street Journal "dacht hij dat er geld moest zijn als mensen bereid waren zoveel te betalen voor blauwe jeans. Zulke methodes werken niet altijd; in de twee voorgaande onderzoeken stond Dr. Sohn op plaats 43 en 49 van de 55.

De misvatting van de nauwkeurigheid van voorspellingen kan diepgaande gevolgen hebben voor innovatie. Denk aan de discussies over het falen van gevestigde bedrijven om nieuwe "ontwrichtende" technologieën te voorspellen en erop te reageren. Weinig opkomende technologieën of bedrijfsmodellen zijn ontwrichtend en zijn niet gemakkelijk te detecteren.²

Omdat het basispercentage, de frequentie van verstorende innovaties, laag is, zullen rationele voorspellers er zelden op gokken dat nieuwe technologie verstorend is. Irrationele voorspellers, die de basisfrequentie negeren en signalen op een andere manier evalueren, zullen eerder dergelijke voorspellingen doen.

Deze redenering suggereert dat het onvermogen om te voorspellen welke technologieën ontwrichtend zullen worden niet noodzakelijk een teken is van slecht beoordelingsvermogen, gebrekkige mentale modellen of inertie. In plaats daarvan kan het een indicatie zijn van een gezond beoordelingsvermogen. In dergelijke situaties zullen rationele individuen overkomen als inert en niet reagerend, terwijl irrationele individuen beweeglijk en reagerend overkomen.

In plaats van te vertrouwen op menselijke intuïtie, kunnen gegevens helpen om betere beslissingen te nemen en overmatige reacties op zwakke signalen te verminderen. Om te illustreren hoe datawetenschap kan helpen, kunnen we proberen de volgende grote muziekhit te voorspellen.

We hebben een dataset van 3000 duizend nummers verzameld. Sommige van deze nummers hebben de Billboard Top 100 gehaald, andere niet. Waarom niet? We hebben de eigenschappen van een nummer zelf en van de artiesten nader bekeken om te zien of ze ons zouden kunnen helpen bij het voorspellen van wat de volgende hit in de Billboard Top 100 wordt. We gebruikten de eigenschappen van een liedje zoals verstrekt door Spotify.

Met een aantal modellen en analyses hebben we getest welke variabelen belangrijk zijn om een hit te voorspellen. De methoden boden ons een robuuste manier om het belang van elke variabele in ons model te beoordelen. De plot hieronder geeft het belang van elke variabele weer. We hebben ook getest of een variabele een significante en relevante bijdrage had of niet.³

Het lijkt misschien voor de hand liggend en vanzelfsprekend, maar als je een eerdere Billboard-hit hebt gescoord, vergroot dat de kans dat je nog een hit scoort (de artiestenscore). Succes creëert succes! Gelukkig is eerder succes niet alles. Want het zou de kans voor elke nieuwe muzikant of band beperken om in de toekomst succesvol te worden. Instrumentaliteit, dansbaarheid, akoestiek en luidheid zijn ook goede eigenschappen om toekomstig succes te verklaren. Misschien in tegenstelling tot wat je zou denken, hebben de toonsoort en modus van een nummer geen significante voorspellende waarde.

De eigenschappen zijn niet statisch. Bij de top vier zagen we bijvoorbeeld dat meer instrumentaliteit de kans om een hit te scoren aanzienlijk verkleinde. Terwijl meer dansbaarheid de hitlijsten deed exploderen;-)

Om te zien of ons model goed presteert, hebben we de testgegevens gebruikt om onze voorspellingen van het model te vergelijken met de werkelijke resultaten. Met behulp van deze statistieken kunnen we berekenen hoe nauwkeurig ons model is. Onze zogenaamde F1-score4) is 0,81. Dat is veel beter dan willekeurig toeval ( 50 / 50 ). Uiteraard zou een score van 0,98 nog beter zijn geweest. Maar een hit voorspellen is nooit eenvoudig, zelfs niet voor data science. We werken er nog aan;-)

Onze analyse geeft echter wel inzicht in welke factoren belangrijk zijn, waardoor een deel van de onzekerheid wordt weggenomen. Het geeft zelfs richtlijnen die muzikanten (of machines) kunnen gebruiken om grote hits te componeren. Of in managementtaal, betere beslissingen.

Innovatie heeft veel te maken met het nemen van beslissingen onder onzekerheid. Hoewel sommige goeroe's en vernieuwers een ongewoon goed zakelijk inzicht lijken te hebben, is het waarschijnlijker dat dit op lange termijn niet houdbaar is. Er zijn maar heel weinig mensen die het elke keer bij het juiste eind hebben.

Een gegevensgestuurde aanpak kan helpen om op een systematische manier te bepalen welke signalen belangrijk zijn en welke niet. Voorspellers die vaak gedurfde voorspellingen doen op basis van intuïtie, zijn waarschijnlijk degenen die te sterk reageren op zwakke signalen. Luister de volgende keer niet alleen naar zelfingenomen innovatiegoeroe's, maar pas datawetenschap toe om onzekerheid te verminderen en weddenschappen af te sluiten die gebaseerd zijn op gegevens in plaats van op de luidste stem in de kamer.

Denrell, Jerker en Christina Fang. 2010. "Predicting the Next Big Thing: Success as a Signal of Poor Judgment." Management Science 56 (10). INFORMS: 1653-67.

Kursa, Miron, en Witold Rudnicki. 2010. "Eigenschapsselectie met het Boruta-pakket." Tijdschrift voor statistische software, artikelen 36 (11): 1-13.

Sood, A, en G J Tellis. 2011. "Demystificatie van ontwrichting: Een nieuw model voor het begrijpen en voorspellen van disruptieve technologieën." Marketing Science. pubsonline.informs.org.

1. Zie (Denrell en Fang 2010) voor een volledige beschrijving van dit fenomeen.
2. Zie (Sood en Tellis 2011) over ontwrichtende technologieën.
3. We gebruiken een methode genaamd Random Forest Analysis (RA) om een hit te voorspellen. Om te begrijpen welke variabelen belangrijk zijn en welke niet voor het model gebruiken we de Boruta-methode (Kursa en Rudnicki 2010), we hebben getest welke variabelen belangrijk zijn om een hit te voorspellen. De methode bood ons een robuuste manier om het belang van elke variabele in ons model te beoordelen.