Fem fejl i trendanalyser og hvordan du undgår dem

På mine workshops begynder det næsten altid samme sted. Nogen finder en stigning i søgninger, visninger eller omtaler og kalder den en tendens. Et enkelt udsving er en observation, ikke en bevægelse. Vi har ofte brug for flere uafhængige signaler, der peger i samme retning, og for et tidsrum, der er langt nok til at skelne mellem et kortvarigt udsving og noget, der holder.

Jeg beder deltagerne skrive observationen ned uden fortolkning først: hvad er målt, hvornår, hvor og hvor mange. Bagefter skriver de, hvad der ellers kunne forklare tallet. En kampagne, en nyhedshistorie eller en ændring i en platforms visning kan alene skabe et spring, som ikke siger noget om, hvad folk egentlig ønsker.

Når du har gjort det, ser du hurtigt, hvor tyndt grundlaget ofte er. Det er ikke et nederlag. Det er netop pointen med øvelsen: at du lærer at se forskel på det, du ved, og det, du håber at kunne sige.

• Skriv observationen ned uden fortolkning
• Led efter mindst to uafhængige signaler
• Notér, hvad der ellers kunne forklare udsvinget

En rapport, en graf på sociale medier eller et citat i et nyhedsbrev bliver gerne gengivet uden et eneste spørgsmål til, hvem der står bag. Kildekritik er ikke mistænksomhed for dens egen skyld. Det handler om at vide, hvem der har samlet data, hvorfor, med hvilken metode og hvem der ikke er med i tallene.

I kurset bruger vi et kort skema med få spørgsmål, som du kan køre igennem på få minutter: hvem har lavet det, hvad er formålet, hvor stor er stikprøven, og hvornår er det indsamlet. Mange kilder viser sig at have en interesse i en bestemt konklusion, og det betyder ikke, at de er ubrugelige, men at de skal vægtes derefter.

Særligt kilder, der gengiver andre kilder, kræver tålmodighed. Følg henvisningen tilbage til oprindelsen. Ofte er den smallere, ældre eller mere forbeholden, end gengivelsen lader ane.

• Find ud af, hvem der har samlet data, og hvorfor
• Se på stikprøvens størrelse og tidspunkt
• Følg henvisninger tilbage til oprindelsen

Mange vil gerne have en præsentation, der lyder sikker. Derfor bliver sætninger som vi ved ikke, hvor repræsentativt det er skåret væk. Resultatet er en analyse, der lover mere, end data kan bære, og som kolleger eller kunder læser som en konklusion, når den kun var en antagelse.

Jeg lærer deltagerne at formulere forbehold som en del af indholdet og ikke som en undskyldning. Et godt forbehold er konkret: hvad data dækker, hvad de ikke dækker, og hvad der ville ændre vurderingen. Det kan skrives i en enkelt sætning under hver pointe uden at gøre teksten tung.

Det overrasker flere, at en analyse med klare forbehold bliver brugt mere. Modtageren ved, hvad hun kan støtte sig til, og hvor hun selv skal være forsigtig, og det skaber tillid over tid.

• Skriv, hvad data dækker og ikke dækker
• Angiv, hvad der ville ændre vurderingen
• Placér forbeholdet ved pointen, ikke i en fodnote

Bekræftelsesbias er en af de mest hårdnakkede fejl, fordi den føles som flid. Du har en idé om, hvad der er på vej, og finder eksempler, der passer. De eksempler, der ikke passer, bliver aldrig set, fordi du ikke søgte efter dem.

I øvelserne beder jeg derfor holdet om at lede aktivt efter modbeviser. Hvilke formater eller fællesskaber ville du forvente at se, hvis din antagelse var rigtig, og findes de? Hvilke tegn på det modsatte kan du finde? Det tager ekstra tid, men det flytter analysen fra overbevisning til vurdering.

En praktisk vane er at lade en kollega, der ikke kender din hypotese, gennemgå materialet og skrive, hvad hun ser. Sammenlign bagefter. Forskellene er næsten altid lærerige og viser, hvor din egen læsning har trukket i én retning.

• Søg aktivt efter modbeviser
• Lad en kollega læse materialet uden din hypotese
• Sammenlign de to læsninger

Den fejl, jeg bliver mest nervøs for, er sætningen dette bliver stort. Ingen kan love, hvad et format eller en platform ender med at betyde, og en trendanalyse bør beskrive, hvad der sker nu, og hvad der kan tale for eller imod en fortsættelse. Det er forskellen på at kortlægge og at spå.

Jeg foreslår sproglige redskaber, der holder dig ærlig: tegn på, mulig udvikling, vi ser, men kan ikke sige. Det lyder måske mindre skarpt, men er langt lettere at stå ved, når man senere ser tilbage på sine vurderinger og skal forklare, hvad der holdt, og hvad der ikke gjorde.

Gem dine vurderinger med dato og begrundelse. Om et halvt år kan du læse dem igen og se, hvor din dømmekraft var god, og hvor den trængte til mere forsigtighed. Det er den hurtigste vej til at blive bedre.

• Beskriv nutiden og vægt tegn for og imod
• Brug formuleringer som tegn på og mulig udvikling
• Gem vurderinger med dato og begrundelse

I de her uger planlægger mange hold næste års indsatser, og trendafsnittene i planerne skrives ofte hurtigt. Brug tiden på at gennemgå dem med de fem fejl som tjekliste. Det tager en times tid pr. dokument og fanger det meste.

Start med den sætning, der lyder mest sikker, og spørg, hvad den bygger på. Bed derefter om kilden og se, om den kan bære det, der står. Hvis ikke, skriv sætningen om, så den matcher grundlaget, eller tag den ud.

Det er den træning, vi arbejder med i modulet om ansvarlig trendanalyse: små, konkrete øvelser, hvor du får lov at fejle på forhånd, så fejlene ikke først opstår i en præsentation for kunden. Du behøver ikke være perfekt, bare ærlig om, hvad din analyse hviler på.