To veje til forbehold i trendanalyse: kildelog eller fast tjekliste

Når jeg underviser i ansvarlig trendanalyse, støder jeg igen og igen på samme spørgsmål: hvordan sørger man for, at en analyse ikke lover mere, end data kan bære? I de her uger, hvor mange sætter sig til at skrive årets oplæg, er det værd at vælge sin arbejdsform bevidst. Jeg har set to metoder fungere i praksis hos kursister fra kommunikation, medier og marketing.

Den første er en kildelog, hvor du løbende noterer, hvor hvert signal kommer fra, hvornår du fandt det, og hvor meget du stoler på det. Den anden er en fast tjekliste med spørgsmål, du stiller til hver påstand, før den kommer ind i analysen. Begge kan træne kildekritik og forbehold, men de belaster arbejdet forskelligt.

I dette indlæg stiller jeg dem op ved siden af hinanden og slutter med en anbefaling. Den gælder for det, vi arbejder med i modulet Ansvarlig trendanalyse, ikke som en regel for alle situationer.

Kildelogben er et almindeligt dokument eller regneark med én linje pr. signal. Du skriver, hvad du så, hvor du så det, om kilden er førstehånds eller gengivet, og hvor sikker du er. Styrken er sporbarheden: når en kollega spørger, hvorfor du skriver, at korte lydformater vinder frem blandt en bestemt gruppe, kan du pege på præcis de tre observationer, påstanden hviler på.

Logben tvinger dig også til at se, hvor tyndt grundlaget nogle gange er. Kursister opdager ofte, at en tendens, de var sikre på, bygger på to nyhedsbreve og en samtale. Det er en nyttig erkendelse, og den kommer tidligt nok til at ændre formuleringen.

Til gengæld kræver den disciplin. Den virker kun, hvis du fører den i selve researchfasen og ikke bagefter. Gør du det i et hug lige før fremlæggelsen, bliver den en pæn dokumentation af konklusioner, du allerede havde truffet, og så mister den sin værdi.

• Giver sporbarhed fra påstand til kilde
• Afslører tynde grundlag tidligt
• Kræver daglig disciplin

Tjeklisten er kortere og hurtigere. Du har fem eller seks faste spørgsmål, du stiller til hver påstand: Hvem siger det, og hvad vil afsenderen opnå? Hvor mange uafhængige kilder peger samme vej? Handler det om adfærd eller kun om omtale? Hvilken gruppe gælder det, og hvilken ved vi intet om? Hvad ville få mig til at skifte mening?

Fordelen er ensartethed. Alle i et hold stiller de samme spørgsmål, så analyser fra forskellige personer bliver lettere at sammenligne. Den passer også godt til hold, der har travlt, fordi den kan bruges på et møde uden forberedelse. Det sidste spørgsmål er mit foretrukne, for det giver forbeholdet en konkret form i stedet for et løst ord som muligvis.

Svagheden er, at en tjekliste let bliver en rutine, man afkrydser uden at tænke. Svarer du ja til alle punkter på autopilot, har listen ikke gjort noget andet end at give dig en følelse af grundighed.

• Hurtig og let at dele i et hold
• Gør forbehold konkrete
• Kan ende som tom afkrydsning

Ser man på tidsforbruget, vinder tjeklisten klart. Den kræver minutter pr. påstand, mens logben kræver, at du gør en lille indsats ved hver ny kilde. Ser man på dybden, vinder logben, fordi den bevarer hele vejen fra observation til konklusion og kan genlæses uger senere, når nogen anfægter analysen.

Ved samarbejde er billedet blandet. En tjekliste gør det nemt at give hinanden feedback, men en delt logbog gør det nemt at overtage hinandens arbejde. Til korte opgaver med få kilder er logben overkill. Til længere forløb, hvor du samler signaler over flere måneder, er tjeklisten for overfladisk til at stå alene.

Begge metoder beskytter mod den mest almindelige fejl, jeg ser: at en enkelt flot observation vokser til en tendens, fordi den passer til fortællingen. Forskellen er, hvornår de griber ind. Tjeklisten bremser ved indgangen til analysen, logben ved udgangen, når du skal begrunde dig.

• Tid: tjeklisten er hurtigst
• Dybde: logben bevarer sporet
• Samarbejde: begge virker, på hver sin måde

Hvis du kun vælger én, så start med tjeklisten. Den er let at komme i gang med, den ændrer vanen med det samme, og den giver dig et sprog til forbehold, som du kan bruge på dine kolleger. De fleste fagfolk, jeg møder, mangler ikke viden, men et fast øjeblik, hvor de stopper op og spørger sig selv, hvad de egentlig ved.

Når tjeklisten sidder, så tilføj en let udgave af kildelogben: kun kilde, dato og din sikkerhed i tre trin. Så får du sporbarheden uden at drukne i dokumentation. Det er sådan, vi bygger det op i øvelserne, hvor kursister først arbejder med spørgsmålene og senere samler deres signaler i en fælles oversigt.

Husk, at ingen af metoderne kan sige noget om, hvad der kommer til at ske. De hjælper dig kun med at formulere, hvad data på dette tidspunkt kan bære, og hvad de ikke kan.

Vælg ét emne, du alligevel følger, for eksempel udviklingen i et bestemt digitalt format. Skriv de seks spørgsmål på et ark, og stil dem til tre påstande, du har læst i den seneste uge. Notér ærligt, hvilke spørgsmål du ikke kunne svare på. De huller er ikke nederlag, men præcis det, dit forbehold skal handle om.

Dag fire til syv fører du en minimal log over de signaler, der er tilbage. Til sidst skriver du tre sætninger om emnet, hvor hver sætning har et forbehold, der står i forhold til grundlaget. Læs dem højt for en kollega, og bed vedkommende pege på det, der lyder for sikkert.

De fleste opdager, at deres første udkast var mere skråsikkert, end de troede. Det er et godt udgangspunkt, og det er netop den øvelse, vi gentager på kurset, indtil formuleringerne føles naturlige.

• Dag 1-3: stil spørgsmålene til tre påstande
• Dag 4-7: før en kort log
• Afslut med tre sætninger med forbehold