The Signal and the Noise

Auteur: Nate Silver
Publicatie: 2015

Teveel geloven in zekerheden, zelfoverschatting, patronen zien die er niet zijn en de afleiding van ruis niet kunnen weerstaan. Dit zijn in een notendop de valkuilen waar de meesten in stappen als het gaat om voorspellen. Toch is het belang van goed voorspellen groot. Zo kunnen voorspellingen van levensbelang zijn – denk aan betrouwbare waarschuwingssystemen voor aardbevingen of orkanen – en ze drukken steeds meer een stempel op marketingmodellen en dus bedrijfsvoering. Hoog tijd dus dat we weten hoe we accurate voorspellingen moeten maken. Nate Silver leert het ons in zijn veelgeprezen boek The Signal and the Noise: Why so Many Predictions Fail – But Some Don’t.

In 2012 werd statisticus Silver in één klap wereldberoemd toen hij met een wiskundig model de Amerikaanse presidentsverkiezingen goed voorspelde en daarmee gerenommeerde peiling bureaus aftroefde. We hebben het hier niet over de 50/50 voorspelling of Barack Obama herkozen zou worden of niet. Silver voorspelde juist de uitkomst per zogenaamde swing state, waar de uitslag van tevoren nog alle kanten op kon. De response die Silver kreeg op zijn voorspellingen was aanleiding voor het schrijven van 500-pagina’s dik een boek over de craft van voorspellen.

“The irony is that by being less focused on your results, you may achieve better ones.”

Naar alle waarschijnlijkheid

Silver is groot voorstander van Bayes’ theorie, officieel het theorema van Bayes. Dit is een statistische methode, gebaseerd op het werk van de Engelse wiskundige Thomas Bayes (1701-1761), waarin waarschijnlijkheid centraal staat. Bij Bayesiaanse statistiek wordt eerst berekend wat de waarschijnlijkheid van iets is voorafgaand aan een event. Vervolgens wordt deze waarschijnlijkheid telkens verfijnd door het meenemen van nieuwe ontwikkelingen. De waarschijnlijkheid verandert dus elke keer nadat er iets nieuws is gebeurd.

Een voorbeeld: de waarschijnlijkheid dat terroristen een vliegtuig in een wolkenkrabber in New York zouden vliegen was tot 11 september 2001 0,005%. Toen het eerste vliegtuig in het World Trade Center vloog, was de waarschijnlijkheid van een terroristische aanslag volgens Bayes’ formule 38% (het kon tenslotte ook een ongeluk zijn). Als de kansberekening opnieuw gedaan wordt nadat het tweede vliegtuig zich in de torens heeft geboord, schiet de waarschijnlijkheid van een terroristische aanslag omhoog naar 99,99%.

Het belang van de Bayesiaanse methode zit hem in de progressie van de voorspelling. Naarmate de tijd vordert wordt de kansberekening betrouwbaarder. Maar nog belangrijker is dat Bayes er vanuit ging dat er geen zekerheden zijn – iets waar Silver en Nassim Nicholas Taleb (The Black Swan) ook van overtuigd zijn. Desondanks laat Silver uitgebreid zien dat andere, minder accurate, statistische methodes veel populairder zijn.

Nederige voorspellingen

Silver gebruikt dit boek om te laten zien hoe ingewikkeld voorspellen is en toont tegelijkertijd het belang ervan door te omschrijven hoe desastreus het missen van de juiste signalen kan zijn. Eén van de lessen is dan ook om de kunst van het voorspellen niet te onderschatten: er zitten grenzen aan de maakbaarheid (lees: voorspelbaarheid) van de wereld om ons heen.

Herhaaldelijk wijst Silver op het belang van het testen en bestuderen van statistische modellen: hoe complexer het model, des te slechter de voorspelling. Predictive models moeten zoveel mogelijk signaal oppikken en zoveel mogelijk ruis uitsluiten, en dat is makkelijker gezegd dan gedaan.

Bij elke voorspelling spelen complexiteit, onzekerheid en overwaardering van – of juist een tekort aan – consensus een grote rol. Dit besef moet volgens Silver veel groter worden. Hij roept op om eerlijker en duidelijker te zijn over de onzekerheden die aan kansberekeningen zitten.

Predictive marketing

‘Interessant verhaal maar vooral leuk voor wiskundigen,’ denk je misschien. Want wat hebben marcom-professionals aan dit boek? Nou, veel. Zoals gezegd neemt ook de vraag naar voorspellende modellen in de marketing toe. Dit boek weerhoud je ervan om zonder kritische kijk meteen op de rijdende trein van predictive marketing te springen.

Zeker, voorspellende data-analyses kunnen waardevol zijn voor marketingdoeleinden. Maar Silver laat zien dat de waarde van voorspellingen het grootst is wanneer er realistisch gekeken wordt naar de onderzekerheden van de uitkomst. Er zit een groot verschil tussen wat we daadwerkelijk weten en wat we denken te weten, concludeert Silver. Dat besef is voor elk vakgebied waardevol.

Of je nu een doorgewinterde predictive analyticus bent of je staat op het punt je in deze materie te verdiepen: dit boek laat je zien waar je op moet letten en vooral waar je voor moet waken. 

En als relatie van Factor Tachtig mag je dit boek uiteraard ook bij ons lenen, want het staat hier in de boekenkast.