Modeller av verkligheten

Modeller av verkligheten

Hur granskar man modeller av verkligheten?

VetenskapPosted by PC 2017-02-19 15:58:20
En av mina uppgifter som finansinspektör är att granska modeller av verkligheten. Granskningen görs av ett team med olika expertkompetenser: marknadsrisk, försäkringsrisk, styrning och kontroll, operativa risker och data. Mitt bidrag i granskningen är styrning och kontroll och operativa risker kring datahanteringen. Ofta är jag även ansvarig handläggare i tillståndsärendet, vilket innebär att det är mitt ansvar att se till att alla granskningsmoment genomförs.

Jag tillämpar samma metodik när jag granskar modeller av verkligheten i mitt arbete som när jag granskar modeller av verkligheten privat.

Modellens beståndsdelar

En modell av verkligheten består av fyra delar:


1. Den principiella beskrivningen av modellen
, till exempel den neo-darwinistiska beskrivningen av evolutionsteorin: "Arternas uppkomst beror på ackumulerade stegvisa förändringar som beror på tillfälliga (random) mutationer i organismernas DNA och icke-tillfälligt (non-random) naturligt urval där de individer som är bäst anpassade till miljön överlever och därmed kan överföra sin genuppsättning till sin avkomma, alltså survival of the fittest." Grundprincipen i en modell av verkligheten motsvarar ofta det man kallar The Elevator Pitch, alltså det man hinner förklara i hissen från första till sjunde våningen.

Modellens grundprincip fungerar som en referenspunkt och hjälper granskaren att ta ställning till helheten efterhand som detaljerna i modellen presenteras. I enstaka fall kan en modell förkastas redan vid bedömning av grundprincipen.

2. Den grundliga beskrivningen av modellen, också kallad modellens narrativ. Modellens narrativ tar granskaren (eller läsaren) genom insamlingen, bearbetningen och tillämpningen av data. Den beskriver observationerna som ligger till grund för modellen och förklarar varför den matematiska representationen av observationerna utgör en korrekt bild av verkligheten. Här får granskaren också ta del av eventuella svagheter i modellen och hur svagheterna har tagits om hand genom att göra antaganden och expertbedömningar.

Antaganden görs när observationer saknas.

Expertbedömningar görs när dataunderlaget är bristfälligt och när det finns alternativa metoder att behandla underliggande data.

En narrativ består ofta av bilder för att illustrera berättelsen, som till exempel:

Chris King, Tracing the genetic pathway from the Last Universal Common Ancestor to Homo sapiens

Både den principiella grunden för modellen och modellens narrativ är (eller borde vara) utformade så att en relativt insatt publik kan förstå dem. Orsaken är att icke-experter ska kunna ta ställning till om de tror på modellen eller inte och om de kan använda den och lita på den när de fattar beslut. I ett försäkringsbolag är till exempel inte alla matematiker men väldigt många är beroende av bolagets modell av verkligheten när de fattar beslut.

Såhär långt i granskningen måste det också tydligt framgå om modellen är empirisk eller teoretisk, annars kan det lätt uppstå förvirring om vad man vet och vad man tror. Eftersom en modell av verkligheten i normalfallet är en kombination av vad man vet och vad man tror är det extra viktigt att vara tydlig mad vad som är vad i modellen.


Många försäkringsbolag tror att de kan få en modell av verkligheten godkänd bara genom att beskriva modellens grundprincip och presentera en snygg beskrivning, gärna i form av väääääldigt många PowerPoint-bilder med färggranna figurer och fyndiga rubriker. Den kräsne granskaren - och särskilt en finansinspektör - kräver dock mycket mer för att godkänna en modell. Dels ska dokumentationen som beskriver modellen vara så detaljerad att en rimligt insatt person både ska kunna förstå den och kunna återskapa resultaten, och dels ska den rimligt insatta granskaren hålla med om att de antaganden och expertbedömningar som gjorts faktiskt är relevanta och rimliga i förhållande till den verklighet man avser att beskriva.

Vilket leder oss till de två viktigaste delarna av en modell av verkligheten.

3. Den matematiska modellen är hjärtat i en modell av verkligheten. I praktiken handlar det om att skapa en matematisk representation av verkligheten som ligger så nära de faktiska observationerna som möjligt, en så kallad sannolikhetsfördelning. Och i takt med att man samlar på sig nya observationer från verkligheten justerar man den matematiska modellen så att den blir mer och mer träffsäker (kalibrering av modellen).

I denna delen av granskningen finns det ett antal frågor som blir extra viktiga. Och svaren ska vara tydligt dokumenterade.

Bland annat ska man kunna redogöra för:

- Modellens tekniska specifikationer, inklusive en detaljerad beskrivning av modellens struktur, tillsammans med en förteckning över och motivering av underliggande antaganden i de fall då en ändring av dessa antaganden skulle leda till en betydande påverkan på resultatet;

- Kompetens och objektivitet hos de personer som ansvarar för utveckling och validering av modellen;

- Processen för att garantera att metoderna för att beräkna sannolikhetsfördelningen är förenliga med metoderna som används i jämförbara uträkningar;

- Uppgifterna som används i modellen med angivande av källa, egenskaper och användning samt en beskrivning av processen för att säkerställa att uppgifterna är korrekta, fullständiga och ändamålsenliga;

- Den oberoende valideringen av modellen och en rapport med resultaten från den senaste valideringen;

- Handlingarna som ingår i dokumentationen av modellen.

Vad gäller antaganden och expertbedömningar är ribban särskilt hög eftersom allvarliga brister eller missförstånd fundamentalt kan påverka modellens utfall:

- Allt fastställande av antaganden och, i synnerhet, användning av expertbedömningar bör följa en validerad och dokumenterad process;

- Man bör säkerställa att antagandena härleds och används på ett konsekvent sätt över tid och i alla delar av modellen, samt att de lämpar sig för den avsedda användningen;

- Man bör säkerställa att processerna för fastställande av antaganden, och i synnerhet användningen av expertbedömningar vid val av antaganden, specifikt syftar till att minska risken för missförstånd eller brister i kommunikation mellan de olika funktionerna som berörs;

- Man bör skapa insyn i osäkerheten i antagandena och i tillhörande variation i slutresultaten;

- Man bör dokumentera processen för fastställande av antaganden, och i synnerhet användningen av expertbedömningar, på ett sådant sätt att det skapar insyn i processen;

- Man bör dokumentera motiveringen till antagandena, inklusive den information de baserar sig på, på en detaljnivå som tydligt beskriver både antaganden och den process och de beslutskriterier som har använts för att välja antagandena och förkasta andra alternativ;

- Man bör säkerställa att de som använder väsentliga antaganden får tydlig och heltäckande skriftlig information om dessa antaganden.

Plus ytterligare några krav. Men har man allt detta på det torra har man säkert en ganska bra modell - givet att det faktiskt finns observationer som stödjer den:

4. Observationerna. Man skulle kunna tro att kravet på observationer är relativt oproblematiskt. Antingen har man observerat något eller så har man inte det. Men faktum är att man ofta presenterar antaganden som observationer eftersom man är heligt övertygad om att modellen verkligen reflekterar verkligheten. Det är bland annat därför man ska vara så tydlig med vad som är vad, så att det inte uppstår missförstånd och så att den som är beroende av modellen i sitt beslutsfattande vet på vilka grunder beslutet fattas.

Följande fel och missuppfattningar kan inträffa:

- Man tror att modellen beskriver verkligheten, att den är empirisk istället för teoretisk, och att den bygger på jättemånga faktiska observationer;

- Man extrapolerar en trend baserat på data som egentligen inte kan tolkas så långt;

- Man har för få data för att uppnå den statistiska säkerhet som krävs för att kunna lita på modellen;

- Den som har tagit fram modellen saknar observationer och har använt expertbedömningar istället. Men expertbedömningar kan aldrig vara ett substitut för data i en modell av verkligheten. Om man gissar (oavsett om man är expert eller inte) rör det sig i bästa fall om antaganden - och då finns det alltså stränga kriterier för att sådana ska godkännas.


Så om du någon gång granskar en modell av verkligheten ska du kolla noga vad som är empiri, vad som är teori, vilka observationer och antaganden som faktiskt ligger till grund för modellen och vilka modellrisker det innebär. Då kommer du snabbt upptäcka att du inte behöver vara matematiker för att ta ställning till om modellen är sann eller ej.

Validering av modellen

Det är inte bara du som ska ifrågasätta en modell av verkligheten för att kolla om den är sann. Det tillhör en del av kvalitetssäkringen som alla som tillämpar en modell av verkligheten ska göra kontinuerligt. Det är bland annat så den vetenskapliga metoden fungerar: "Continuously questioning hypotheses, testing models against the facts, and abandoning theories that fail the test of reality."



En säker indikation på att inte allt står rätt till är bristande kontroll, särskilt vad gäller insamling, bearbetning och tillämpning av data. Om det blir fel i insamlingen och bearbetningen av observationerna spelar det ingen roll hur snygg eller vetenskaplig den matematisk modellen är.

Andra säkra indikatorer på att du står inför en modell som sannolikt inte är en korrekt beskrivning av verkligheten är retorik som syftar till att man ska sluta ställa frågor, motstånd mot transparens och cirkelresonemang.

En säker indikator på att modellen är fel eller innehåller graverande svagheter är förlöjligande av den som ifrågasätter den. (Vissa anser till och med att skeptiker borde fängslas).

(The British Psychological Society, A laughing crowd changes the way your brain processes insults)

Om en sådan situation uppstår är mitt råd att vända den presenterade modellen ryggen. Tyvärr ökar bedrägerier, metodfel och misstag bland de som påstår sig tillämpa den vetenskapliga metoden, så man gör klokt i att förhålla sig skeptisk om man inte får eller inte hittar de svar man behöver.

(Källa: New York Times)

(Källa: American Society for Microbiology)

Här är ett faktiskt exempel som visar brister som leder till att en modell av verkligheten inte får tillstånd att användas för kapitalkravsberäkning i ett försäkringsbolag. När du läser listan ska du komma ihåg att modellen tagits fram av experter, att den redan använts för beslutsfattande i verksamheten i många år men att modellen aldrig tidigare har granskats av tillsynsmyndigheten:

1. Rättvisande statistiska metoder saknas;

2. Beskrivning av modellen på granulär nivå saknas;

3. De övergripande effekterna av antaganden som har gjorts på låg nivå är inte redovisade;

4. Modellen är inte validerad av oberoende resurser, vilket har lett till att

a. Modellen anses vara bättre än den de facto är,

b. Vissa uträkningar och beräkningar är bevisligen fel,

c. Vissa antaganden är uppenbart orimliga,

d. Sambandet mellan sannolikheter på låg nivå och sannolikheter på hög nivå är otydligt,

e. Beroendet mellan olika typer av händelser är otydligt, och vissa av beroendena som antas är bevisligen fel,

f. Man har applicerat historiska händelser fel, vilket medför att modellens resultat faller utanför konfidensintervallet.

5. Konsistent och enhetlig dokumentation från låg till aggregerad nivå saknas;

6. Dokumentstrukturen är otydlig;

7. Dokumentationen är inte tillräckligt granulär;

8. Modellen saknar beskrivning av svagheter och osäkerhetsmoment som måste beaktas (modellen framställs med andra ord som en perfekt representation av verkligheten);

9. Känslighetsanalys saknas;

10. Beskrivning av datakällor saknas, det går inte att avgöra var data kommer ifrån;

11. Validering av antaganden är bristfällig. Bland annat saknas rationell motivering för hur olika händelser antingen är eller inte är beroende av varandra;

12. Man har inte bedömt om de data som ligger till grund för modellen är lämpliga eller ej.

Från granskarens synvinkel är det ärligt talat pinsamt att en modell med så många brister presenteras som en sann bild av verkligheten.


Men låt oss anta att man inte förlöjligats men har fått allt underlag (precis som om man vore finansinspektör)

Det sista man gör innan man bestämmer sig för att tro på en modell av verkligheten är att göra resan åt andra hållet. Ta modellen från observationer, antaganden, expertbedömningar och matematisk modell tillbaka till beskrivningen och modellens grundprincip. Om hela pusslet hänger ihop utan avgörande svagheter och brister har man all grund att tro på den.


Om det däremot visar sig att modellen har brister av typen som beskrivs i 1 - 12 ovan har man all grund i världen att inte tro på den. Observera dock att det inte alltid är så klokt att berätta det.





  • Comments(0)