5.7 Usikkerhedsanalyser

Usikkerhedsanalyser er nu standard i de fleste modeljob, men erfaringerne viser, at det er et vanskeligt emne at adressere i praksis. Udfordringen er generelt ikke relateret til selve udførelsen af analyserne (Trin 5 i modelleringsprocessen, Figur 2), men i højere grad til den forudgående opgave, hvor det besluttes hvilke usikkerhedskilder, der skal fokuseres på, og hvilken metode, der skal vælges til gennemførelse af usikkerhedsvurderingerne. Alle modelopgaver er unikke og vil generelt være associeret med forskellige usikkerhedskilder, hvis betydningen vil variere fra projekt til projekt. Der er derfor ikke én metode, der kan anvendes i alle opgaver.

Den optimale usikkerhedsanalyse er en integreret del af modelopgaven, der påbegyndes fra modelopgavens start og indeholder følgende elementer:

  • Specificering af formål for analysen
  • Identificering og karakterisering af usikkerhedskilder
  • Prioritering af usikkerhederne
  • Håndtering af usikkerhederne

De enkelte dele gennemgås kort herunder, mens der henvises til kapitel 19 i Sonnenborg og Henriksen (2005) for en mere detaljeret beskrivelse.

5.7.1 Specificering af formål for analysen

Formål og ambitionsniveauet for en usikkerhedsvurdering bør fastsættes allerede i udbudsfasen. Da de enkelte usikkerhedskilder samt deres betydning for modelresultaterne ikke er kendt fra start kan det imidlertid ikke specificeres i udbudsfasen, hvilke usikkerhedsanalyser der skal gennemføres. Som led i udarbejdelsen af udbudsmaterialet anbefales det, at ordregiveren får konkretiseret formål og vigtigheden af en usikkerhedsanalyse. Dette vil bl.a. indeholde en risikovurdering, hvor mulige udfald og deres konsekvens vurderes. Eksempler indenfor grundvandskortlægningen kan være en vurdering af, hvorvidt et indvindingsopland kan risikere at indeholde kendte punktkilder, eller om et grundvandsdannende opland kan risikere at være beliggende i et bebygget/industrielt område. Er dette tilfældet, skal det vurderes, hvor risikabelt dette vil være, og hvilke samfundsøkonomiske konsekvenser det vil kunne have. På basis af en sådan analyse bør ambitionsniveauet for usikkerhedsanalysen fastsættes, dvs. en afstemning mellem risiko og budget.

Ambitionsniveauet for usikkerhedsanalysen bør fremgå af udbudsmaterialet, ligesom de mulige problemstillinger beskrives (fx placering af forurenende virksomheder). Baseret på erfaringer fra tidligere projekter, afsættes der i udbudsfasen et beløb til usikkerhedsanalysen, der reflekterer ambitionsniveauet. Det endelige budget for usikkerhedsanalysen vil dog først kunne estimeres, når det er valgt hvilke usikkerhedskilder, der skal fokuseres på. Afsættes på forhånd et fast beløb til analysen, kan der modsat være behov for genforhandling af ambitionsniveauet.

5.7.2 Identificering og karakterisering af usikkerhedskilder

Dette går ud på at identificere de forskellige usikkerhedskilder, dvs. hvor i modellen optræder usikkerheden. Denne øvelse går således ud på at gennemtænke hvilke mulige usikkerhedskilder, der optræder i forbindelse med opstilling og kalibrering af modellen. Tabel 11 indeholder eksempler på typiske usikkerhedskilder, der kan optræde i forbindelse med kortlægningsmodeller.

Samtidigt med en identificering skal usikkerhederne karakteriseres. Det indebærer en vurdering af vores kendskab til usikkerheden. Yderpunkter her er usikkerheder, der kan beskrives statistisk ved en forventet værdi (middelværdi) og en varians, kontra usikkerheder, hvor vi ikke kan beskrive størrelsen af usikkerheden, men blot har erkendt, at en størrelse er usikker. Indenfor grundvandsmodellering er de største usikkerheder ofte forbundet med udvikling af den konceptuelle model (afsnit 5.2), hvor det kun i nogle tilfælde er muligt at karakterisere usikkerheden statistisk. For de øvrige usikkerheder kan de sandsynlige værdier af ukendt størrelse vurderes, som efterfølgende kan anvendes i en følsomhedsanalyse, se også afsnit 5.3 om behov for alternative konceptuelle modeller. Under karakterisering af usikkerheden afgøres endvidere, om det er muligt at reducere usikkerheden, eksempelvis ved indsamling af yderligere data.

5.7.3 Prioritering af usikkerhederne

Efter de forskellige usikkerhedskilder er identificeret, skal der ske en prioritering af hvilke kilder, der skal inddrages i det videre forløb. Dette vil være afhængig af såvel størrelsen af de enkelte kilder (hvor usikkert er det) samt effekten af usikkerheden på modelresultaterne, og hvor kritisk dette er for den videre beslutningsproces.

Til prioritering af usikkerhederne er følsomhedsanalyser et meget vigtigt redskab. En følsomhedsanalyse er standard forud for modelkalibreringen, hvor de mest følsomme størrelser udvælges til kalibreringen. Det kan imidlertid ikke garanteres, at de parametre, der er mest følsomme mht. kalibreringsdataene, ligeledes er de parametre, der er mest betydende overfor de variable, som modellen ønskes anvendt til at simulere. Den afgørende og meget vigtige forskel på de to følsomhedsanalyser er derfor, at følsomhedsanalysen, der udføres som del af usikkerhedsanalysen, skal vurderes på basis af de prædiktionsværdier, som modellen efterfølgende ønskes anvendt til at simulere og ikke på kalibreringsdataene. I forbindelse med kortlægningsmodeller, hvor en af de primære opgaver er en afgrænsning af indvindingsoplandene, skal den udførte usikkerhedsanalyse således vurderes på baggrund af, hvor meget en given ændring af en usikker størrelse ændrer ved oplandets størrelse og placering eller grundvandsdannelsen. Udførelsen af en følsomhedsanalyse er ikke begrænset til en vurdering af parameterfølsomhederne, men kan gennemføres for alle elementerne af en model. Eksempelvis bør der altid udføres en følsomhed af modelrandens betydning, hvilket kan gennemføres ved afprøvning af forskellige randbetingelser.

Følsomhedsanalysen bør udføres målrettet. Det betyder, at der i første omgang fokuseres på de faktorer, der forventes at have den største effekt på modelresultaterne. Herefter udvælges ”værdierne” for følsomhedsanalysen, så de repræsenterer ”yderpunkter” mht. effekten på de ønskedes modelresultater. I Tabel 11 er der sammen med typiske usikkerhedskilder angivet nogle eksempler på, hvorledes en usikkerhedsanalyse kan gennemføres (se også afsnit 5.3).

Tabel 11: Eksempler på usikkerhedskilder og mulige følsomhedsanalyser til vurdering af deres betydning.

5.7.4 Håndtering af usikkerhederne

Hvis det er muligt at reducere usikkerhederne, er dette optimalt. For den del af usikkerhederne, der ikke kan reduceres, skal effekten på modelresultaterne søges estimeret, hvilket oftest gøres ved afvikling af modelsimuleringer for derigennem at belyse, hvor stor effekt de enkelte usikkerhedskilder har på modelresultaterne. På grund af forskelligheden af de usikkerhedskilder, der optræder indenfor modellering, vil det ikke være muligt at kvantificere samtlige usikkerheder med én og samme metode. Der er derfor behov for en suite af forskellige metoder, hvorfra der kan vælges en egnet metode. Hvilken metode, der er egnet, afhænger af kendskabet til usikkerheden. I tilfælde, hvor det er muligt at karakterisere usikkerheden statistisk, er det muligt at anvende de statistiske/stokastiske metoder, hvor specielt Monte Carlo-metoden ofte har været anvendt i forbindelse med vurdering af parameterusikkerhederne. Ofte har man dog kun et meget begrænset kendskab til de usikkerheder, hvor en statistisk karakterisering ikke er mulig. For en gennemgang af hvilke metoder der kan anvendes ved vurdering af forskellige usikkerhedskilder henvises til kapitel 19 i Sonnenborg og Henriksen (2005) og Refsgaard et al. (2007).

Usikkerheder relateret til datagrundlaget kan ligeledes analyseres ved anvendelse af modelsimulering, men i praksis vurderes dette som regel i starten og vil derfor generelt være baseret på en ekspertvurdering. I nogle tilfælde vil det være muligt at indsamle ekstra data i projektets forløb, f.eks. synkron pejlerunde i eksisterende boringer. I andre tilfælde er dette ikke muligt, som hvis der eksempelvis først skal etableres en ny vandføringsstation. Her bør det overvejes, om der kan inddrages andre typer data, både i forhold til udvikling af den konceptuelle model og ved kalibreringen. Dette kan eksempelvis ”soft data”, der indeholder kvalitativ men ikke kvantitativ information. Et eksempel herpå er oversvømmelse, hvor der mange steder er information om hvor og hvornår, der er sket oversvømmelser, uden disse observationer nødvendigvis er kvantificeret mht. udbredelse, dybde og eksakt tidspunkt.

Selvom det i mange tilfælde ikke er muligt at indsamle ekstra data indenfor en igangsat modelopgave, bør der ved vurdering af modellens usikkerheder være fokus på, hvordan den kan reduceres ved indsamling af supplerende data. Denne vurdering bør ligeledes dokumenteres klart, så der kan tages udgangspunkt heri, forud for en eventuel opdatering af modellen.

5.7.5 Praktisk gennemførelse

Til en systematisk identificering, gennemgang og prioritering af usikkerhedskilderne anbefales det at anvende en usikkerhedsmatrice som eksemplet i Tabel 12 og 13.

Tabel 12: Eksempel på usikkerhedsmatrice

Tabel 13: Beskrivelse af kolonnerne i usikkerhedsmatricen i Tabel 12.

Matricen skal ikke benyttes slavisk, hvor alle felter nødvendigvis skal udfyldes og diskuteres, men skal benyttes som et værktøj til at få et samlet overblik og sikre en diskussion så der opnås enighed om hvilke usikkerhedskilder, der skal medtages i den videre analyse. Endvidere fastlægges håndteringen af usikkerhederne. Til dette kan der hentes inspiration i Sonnenborg og Henriksen (2005); Refsgaard et al. (2007) og Matott et al. (2009), men afhængig af de aktuelle forhold kan der være alternative metoder, der er mere optimale og som det besluttes at anvende.

Det anbefales, at usikkerhedsmatricen og fastlæggelse af usikkerhedsanalysen foretages i forbindelse med reviewet, der afslutter Trin 2 i modelleringsprocessen, Figur 2. På dette tidspunkt er datagrundlaget gennemgået og der er opnået en forståelse af systemet via udviklingen af den konceptuelle model. Planen for gennemførelsen bør dog efterses og evt. justeres når kalibreringen er overstået og der er opnået en større indsigt i hvor godt modellen er i stand til at repræsentere virkeligheden og hvordan den responderer til de enkelte variable og parametre inkluderet i kalibreringen.

5.7.6 Anbefalinger

  • Udbudsmaterialet bør ikke indeholde et prædefineret valg af hvilken usikkerhedsanalyse, der skal gennemføres.
  • Ambitionsniveauet for usikkerhedsanalysen vurderes i udbudsfasen, og der reserveres et beløb, der reflekterer dette. Størrelsen af beløbet må bero på erfaringer fra tidligere studier, men der kan være behov for revidering heraf når planen for gennemførelsen af usikkerhedsanalysen er fastlagt.
  • På review mødet der afslutter Trin 2 i modelleringsprocessen (Figur 2) anvendes usikkerhedsmatricen til en systematisk identificering og prioritering af usikkerhedskilderne. Baseret herpå udvælges 3-5 kilder, der inddrages i usikkerhedsvurderingen og det aftales hvordan usikkerhedsanalysen skal gennemføres.
  • Til vurdering af betydningen af de enkelte usikkerhedskilder gennemføres systematiske følsomhedsanalyser
  • Vurderes det, at modellens usikkerhed kan reduceres ved indhentning af supplerende data, udover det der har været muligt i den pågældende opgave, bør der være en klar anbefaling for indsamling af data forud for en fremtidig opdatering.

5.7.7 Referencer

Doherty JE, Hunt RJ, Tonkin MJ (2010) Approaches to highly parameterized inversion: A guide to using PEST for model-parameter and predictive-uncertainty analysis: U.S. Geological Survey Scientific Investigations Report 2010–5211, 71 p.

Matott LS, Babendreier JE, Purucker ST (2009), Evaluating uncertainty in integrated environmental models: A review of concepts and tools, Water Resources Research, 45, W06421, doi:10.1029/2008WR007301.

Refsgaard JC, van der Sluijs, Højberg AL, Vanrolleghem PA (2007) Uncertainty in the environmental modelling process – A framework and guidance. Environmental Modelling & Software, 22, 1543-1556.

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *