'Leer van het verleden, bereid je voor op de toekomst en speel in het moment' (Van Hoozer, 2008, p XIII)
De impact van gebeurtenissen op de mensheid zal toenemen. Een goede voorbereiding is daarom van vitaal belang. Deze activiteiten zorgen ervoor dat organisaties in staat zijn om efficiënt te reageren op een crisis en zowel huidige als toekomstige gebeurtenissen op alle niveaus van complexiteit kunnen beheren. Hoewel we de toekomst niet kunnen voorspellen, is het wel mogelijk om terug te kijken en te leren van het verleden.
Investeringen in paraatheid kunnen leiden tot een aanzienlijk rendement in de responsfase. Paraatheidsactiviteiten zijn een zeer belangrijk element in rampenbeheersing. Ondanks hun belang worden oefeningen vaak gezien als arbeidsintensief. Het is bovendien moeilijk om te weten of organisaties echt voorbereid zijn op de volgende, onvoorziene ongewenste gebeurtenis.
In deze context is evaluatie een belangrijk instrument, het maakt het mogelijk om niet alleen inzicht te krijgen in de effectiviteit van oefeningen, maar ook in de effectiviteit van paraatheids- en responsactiviteiten. Een evaluatie kan positief gedrag en processen identificeren die moeten worden voortgezet, en minder nuttige praktijken die moeten worden herzien of gestaakt.
Momenteel zijn er echter verschillende problemen die het gebruik van evaluatie in crisisbeheer beperken:
Evaluaties kunnen empirisch onderbouwde aanbevelingen opleveren die organisaties kunnen helpen hun methodologieën voor rampenbeheersing en -respons effectiever te maken. Dit vraagt echter om een gestructureerde aanpak. De evaluatie moet inzicht verschaffen in de functionaliteit van het systeem en aangeven welke lessen kunnen worden getrokken. Evaluaties moeten wel niet worden gezien als de heilige graal voor verbetering, wel als een van de vele instrumenten.
Risico kan op verschillende manieren worden gedefinieerd. Vaak worden drie belangrijke bouwstenen belicht acties/gebeurtenissen/scenario's, consequenties/gevolgen en onzekerheden.
Om deze gevolgen te beperken en te beschermen wat wordt gewaardeerd, treffen mensen voorbereidingen om effectief te kunnen reageren. Onzekerheden maken het moeilijk om te voorspellen wanneer, hoe en wat er zal of waarschijnlijk zal gebeuren. Daarom is het belangrijk om een reactie te leveren die flexibel is en kan worden geschaald om de dreiging het hoofd te bieden.
Gevolgen kunnen worden gezien als de nadelige effecten van een gebeurtenis of activiteit.
Het risico kan worden verminderd door te beperken hoe vaak ongewenste gebeurtenissen tot ongewenste gevolgen leiden, of door de gevolgen van gebeurtenissen te beperken.
DRM (disaster risk management) kan in grote lijnen worden omschreven als de implementatie van een proces of aanpak die gericht is op het beperken van risico's. Organisaties moeten anticiperen en zich voorbereiden om effectief en efficiënt te kunnen reageren op de gevolgen van rampzalige gebeurtenissen.
De typische functies of fases die in het proces van de DRM-cyclus worden aangetroffen:
DRM kan worden benaderd als een zogenaamd 'controleprobleem' waarbij dus een continue aanpak noodzakelijk is. Het algehele effect is dat het systeem beter in staat is om met gebeurtenissen om te gaan omdat de bekomen feedback leidt tot doelgericht gedrag te stimuleren waardoor regie verkregen wordt.
Bij gebrek aan gebeurtenissen of reacties uit het echte leven, worden goed ontworpen oefeningen vaak gebruikt om het noodhulpsysteem en zijn mogelijkheden te testen. Zowel oefeningen als simulaties moeten de werkelijkheid zo goed mogelijk nabootsen. Ze zijn echter inherent kunstmatig, met name wat betreft tijd en middelen. Deelnemers zijn zich bijvoorbeeld vaak bewust van zowel het doel van de oefening als van het onder observatie staan. Ondanks deze tekortkomingen moeten oefeningen toch worden geëvalueerd en de geleerde lessen geïmplementeerd.
Er is altijd onzekerheid over hoe succesvol een acteur zal zijn bij het reageren op een bepaald scenario of een bepaalde gebeurtenis. Oefeningen en evaluaties kunnen een deel van die onzekerheid verminderen.
Evaluatie ondersteunt DRM door het nut, de kwaliteit en de doeltreffendheid van de responsmogelijkheden rigoureus aan te tonen. Het evaluatieproces bestaat uit de volgende basisstappen:
Een belangrijk verschil heeft betrekking op de manier waarop ze worden uitgevoerd. Formele evaluaties zijn systematisch en rigoureus, terwijl informele evaluaties meer ad-hoc van aard zijn.
De formele evaluaties zijn gebaseerd op vijf gedefinieerde fundamentele concepten:
In de context van DRM-oefeningen zijn leren en verantwoording afleggen twee abstracte doelen. Het bestaan van organisaties die in staat zijn om te reageren op toekomstige crises is iets dat het publiek verwacht.
Formatieve evaluaties leveren informatie op die wordt gebruikt om een dienst te ontwikkelen en de kwaliteit ervan te waarborgen of te verbeteren terwijl summatieve evaluaties retrospectieve beoordelingen zijn van voltooide projecten, programma's, producten of geleverde diensten.
Stakeholders spelen een cruciale rol. Een gebruikelijke manier om gebruikers te identificeren is op basis van hun rol in het evaluatieproces: gebruiker, producent, evaluator.
Oefeningen kunnen hulpverleners of deelnemers helpen te begrijpen wat ze moeten doen en hen ondersteunen om de vaardigheden, het gedrag of de kennis (die eerder zijn opgedaan door training of opleiding) te oefenen. Het is belangrijk rekening te houden met de leerstijl van de gebruiker. Oefeningen kunnen vele doelen of voordelen hebben op voorwaarde dat de omvang, het niveau en de complexiteit nauw aansluiten bij de vaardigheden of kennis die worden getest.
De tijd, moeite en middelen die nodig zijn om een oefening te ontwerpen, uit te voeren en te evalueren, mogen niet worden onderschat. Echter, een goed geconstrueerde oefening met een goed beheerd evaluatieproces vormen de sleutel tot het verzamelen van evidence based feedback over prestaties over het volledige scala aan trainingsactiviteiten.
Enkelvoudige/op zichzelf staande gevallen missen systematische inspanningen om op elkaar voort te bouwen, waardoor geïdentificeerde lessen worden belemmerd in hun evolutie naar geleerde en geïmplementeerde lessen.
Evaluatiedocumentatie van oefeningen en real-life activiteiten bevatten vaak verschillende contexten, verschillende (hoofd)doelen en toepassingen. Dit maakt hen moeilijk onderling vergelijkbaar en/of uitwisselbaar.
Een gebrek aan details over de methoden voor het verzamelen en evalueren van gegevens maakt het moeilijk om de kwaliteit (geloofwaardigheid, waarde, nauwkeurigheid), het nut en de doeltreffendheid van evaluaties te beoordelen.
De analyse (A) is significant voor leerdoeleinden, de objectbeschrijving (O) geeft duidelijkheid vanuit praktisch oogpunt en de duidelijkheid van de conclusies (C) heeft een significant effect op het waargenomen nut voor zowel leer- als verantwoordingsdoeleinden.
Er zijn vijf hoofdthema's te onderscheiden met betrekking tot wat gebruikers verwachten te vinden in evaluatierapporten:
De analyse moet rigoureus zijn, rekening houden met de context en verder gaan dan het individu.
Individuen of deelnemers maken voortdurend hun eigen informele evaluaties. Informele evaluaties geven slechts een individuele momentopname van de werkelijkheid terwijl formele evaluaties de rigoureuze en systematische verzameling van gegevens ondersteunen.
Voorbereiding en reactie op rampen in een DRM-context is geen individuele inspanning. Formele evaluaties kunnen betrouwbare, op feiten gebaseerde uitspraken opleveren. Een systematische beoordeling moet leiden tot het creëren van betrouwbare kennis.
In veel gevallen wordt noch het proces, noch de methode systematisch getest. Dit kan gevolgen hebben voor de kwaliteit en het gebruik van de evaluatie. Toch kan een verzameling evaluaties die volgens een systematische, rigoureuze en vergelijkbare aanpak worden uitgevoerd, de basis vormen voor een meta-evaluatie. Dit zou helpen om risico's op verschillende niveaus te beheersen en bredere trends te identificeren.
De kwaliteit van de evaluatie is van invloed op het nut ervan. Maar in de praktijk missen de meeste huidige evaluaties een solide theoretische basis. Een voortdurende discussie gaat over welke methode het beste werkt voor een bepaald geval. Het proces van het verzamelen van gegevens, via analyse, naar het trekken van conclusies is van cruciaal belang, en eventuele zwakke punten zullen de resultaten devalueren.
Een evaluatiebeschrijving moet worden gezien als een manier om vier belangrijke aspecten van een evaluatie te conceptualiseren: het doel, de objectbeschrijving, de analyse en de conclusies (D, O, A, C).
Het evaluatie product moet worden gezien als een stap op een veel langere tijdlijn, die het einde van een periode van reflectie aangeeft. Het belangrijkste doel van evaluatie is niet om te bewijzen, maar om te verbeteren. Er moet een continue cyclus van evaluaties zijn die op elkaar voortbouwen. Het is niet de evaluatie zelf die tot verbetering leidt, het is het gebruik van evaluaties die tot verbetering kan leiden . Evaluatie moet worden gezien als een middel om een doel te bereiken.
Evaluaties van oefeningen en, indien beschikbaar, eerdere rampen, kunnen helpen om onzekerheid te verminderen. Gesimuleerde gebeurtenissen worden gezien als een kans om meer kennis op te doen over de mogelijkheden van het DRM-systeem. Een echte gebeurtenis is in de meeste gevallen ongepland en het reactievermogen is onbekend. Bij de evaluatie van de prestaties wordt rekening gehouden met wat er is gebeurd en de reactie.
De succesvolle overdracht van kennis is afhankelijk van de compatibiliteit van de producten die worden geproduceerd.
De twee lussen -in de paraatheidsfase (gesimuleerde gebeurtenissen) en de responsfase (gebeurtenissen uit het echte leven) - tonen de rol van de evaluatie. De twee lussen zijn met elkaar verbonden maar laten ook zien dat de twee fasen elk hun eigen processen hebben. Drie belangrijke aspecten van DRM spelen een cruciale rol: (1) het basisscenario of de triggergebeurtenis; (2) de beschikbare responscapaciteiten om de gevolgen op te vangen; en (3) de ernst van de gevolgen of het uiteindelijke resultaat.
Een belangrijk verschil tussen een gesimuleerde gebeurtenis en een echte gebeurtenis is de mate van controle.
Beerens, R. J. J. (2021). Improving disaster response evaluations: Supporting advances in disaster risk management through the enhancement of response evaluation usefulness. [Doctoral Thesis (compilation), Division of Risk Management and Societal Safety]. Division of Risk Management and Societal Safety, Faculty of Engineering, Lund University.
