Un self assessment sull’efficacia della gestione del rischio

Cosa sono il maturity model del rischio e gli indicatori migliori per valutare la capacità di una organizzazione a gestire il rischio

Pubblicato il 12 Lug 2022

Manuel Angelo Salvi

DPO & Standards consultant presso GRC Team S.r.l.

Numerosi standard e framework offrono utili indicazioni su come svolgere una corretta gestione del rischio. La maggior parte delle norme obbligatorie o facoltative prevedono che si svolga una qualche analisi dei rischi. Molte organizzazioni si affidano a consulenti esterni o a risorse interne dedicate per svolgere le proprie attività di risk assessment.

Tutti o quasi tutti sono fiduciosi di aver svolto un lavoro irreprensibile, solido e valido. Tutti o quasi tutti potrebbero purtroppo ingannarsi.

Gli studi fatti sul Confirmition Bias o sul Dunning Kruger Effect, ci avvertono dell’incapacità di ognuno di noi di auto-valutare le proprie performance. Siamo tutti infatti inconsciamente portati a dare maggiore fiducia a fatti o decisioni, che noi stessi abbiamo preso o che confermino le nostre precedenti opinioni. Siamo tutti inconsciamente propensi a discriminare o sottovalutare l’importanza di aspetti e informazioni che, al contrario, ci danno torto.

In breve, siamo tutti incapaci di svolgere un reale self assessment.

Un risk manager, dunque, potrebbe essere la persona più inadatta per valutare l’efficacia della propria gestione del rischio e rispondere alla domanda, cui cercheremo di dare una risposta in questo approfondimento: “la tua gestione del rischio funziona?”

Gestione del rischio: oltre la negazione

Si sa che la fase della negazione è la prima fase dell’elaborazione del lutto. Nel nostro caso, spero mi si concederà la licenza, noi risk manager sul piano emotivo siamo o dovremmo essere perfettamente consapevoli della fallacia delle nostre analisi dei rischi.

Nessuno ama dichiarare troppo apertamente i propri limiti, ma non possiamo certo nemmeno negarli, pena il rischio di cadere vittime di noi stessi. “La prima regola è che non devi ingannare te stesso e tu sei la persona più facile da ingannare” diceva il premio Nobel P. Feyman.

In un precedente articolo concludevo amaro: “Tra effetto placebo, mero adempimento formale, assenza di KPI, assenza di elementi oggettivi di misura dell’efficacia di una gestione del rischio, rispondere alla domanda se la nostra gestione del rischio funziona veramente è molto difficile”. Mi rincuora il fatto che questa mia opinione critica sia almeno in parte condivisa da AON[1].

Il Report di AON racconta che solo il 25% tiene traccia del grado di coinvolgimento all’interno dell’organizzazione della gestione del rischio, mentre il 31% non fa alcun tipo di misurazione dell’efficacia del rischio. Questi dati sono a mio avviso sconfortanti e mi suggeriscono una colpevole superficialità nel gestire il rischio da parte di tutti noi. Affermo questo alla luce del fatto che i 2.344 intervistati provengono per il 49% da aziende che fatturano oltre il miliardo di dollari. La domanda che leggendo questi report globali mi arrovella sempre il cervello è: “Se lo scenario non è così roseo in queste realtà con elevate risorse, quanto più critico potrà essere lo scenario nella polverizzata economia italiana?”

Fra gli intervistati con fatturato sotto il miliardo, il dipartimento di risk management è composto da 1 o 2 figure dedicate nel 55% dei casi e da team di 2–5 persone nel 31%.

E di nuovo mi chiedo: “Se un’azienda con un team dedicato anche di solo 2 persone non misura l’efficacia della propria analisi del rischio, lo potrà fare la realtà italiana, che si affida prevalentemente a consulenti esterni, che molto o tutto hanno da perdere da una misurazione oggettiva delle proprie valutazioni?”.

Senza perdere ulteriore tempo in queste considerazioni già discusse in un articolo dal titolo “La perdita di centralità del risk management”, proseguiamo nel nostro percorso verso un oggettivo self assessment delle nostre analisi del rischio.

Il primo passo dunque per giungere ad una piena e consapevole accettazione della fragilità del risk assessment è chiedersi: “La nostra analisi del rischio funziona?”

Ovviamente per rispondere a questa semplicissima domanda è necessario avere piena nozione di causa sul proprio modello di gestione del rischio e sulle valutazioni di volta in volta effettuate.

Spesso, soprattutto in quelle realtà dove non vi è una funzione dedicata, non solo non sappiamo se il nostro modello di rischio funziona ma non sappiamo nemmeno come è strutturato.

Durante un audit su un Information Security Management System (ISMS), curioso di capire quale fosse il metodo di calcolo del rischio, impostato di default sul software dedicato alla gestione del sistema, chiesi: “Come viene calcolato il rischio dal vostro tool?” Gli intervistati basiti e ammutoliti non hanno saputo rispondere.

Talvolta ci si limita a dare delle valutazioni soggettive. Le si carica all’interno di un qualche template o dashboard e il tool fa il resto, elaborando il dato caricato a sistema e restituendo un risultato, che viene preso per buono, senza che alcun test di verifica valuti il modello, le stime e le risultanze del processo di calcolo del rischio.

Mi chiedo: “Un sistema di gestione del rischio di questo tipo, meramente formale, quale utilità ha?”.

La maturity dell’analisi del rischio

Se non è familiare il concetto di maturità così com’è inteso dal Capability Maturity Model Integration (CMMI), suggerisco vivamente di approfondirlo, perché potrebbe essere davvero stimolante.

In estrema sintesi è andata così. Nel 1986 il Dipartimento della Difesa americano, per valutare la qualità e le capacità dei loro appaltatori di software, finanziò una ricerca; poi revisionata nel 2006 dalla Carnegie Mellon University. Nei ruggenti anni ’80 durante la spasmodica corsa all’adozione dei primi computer, divenuti finalmente accessibili a tutti, la domanda di sviluppo software crebbe in modo vertiginoso ma, come per ogni fase di prima adozione, l’informatica era in una fase, diciamo, adolescenziale con frequenti fallimenti e scarsa scalabilità, mentre la complessità dei progetti lato domanda superava la capacità del mercato di fornire prodotti adeguati entro un budget pianificato. La ricerca aveva come obiettivo la realizzazione di un modello, che potesse valutare la solidità dei fornitori di software o, come diremmo con il senno di poi, la loro maturity.

Quanto successo allora è ben rappresentato dalla Teoria della Diffusione delle Innovazioni di E. Rogers, che ben si può a mio avviso applicare a molte, se non tutte, le attitudini umane. Secondo Rogers ogni innovazione passa attraverso cinque fasi successive, descritte in forma di curva polinomiale disposta su un piano cartesiano.

La curva parte lenta, un po’ schiacciata a terra sull’asse delle ascisse, e questa sua pigrizia ben descrive la prima fase di ogni novità, caratterizzata da una certa diffidenza e inizialmente scarsamente adottata. I soli innovatori e gli appassionati della materia sperimentano con entusiasmo la novità, anche se con una certa difficoltà applicativa, dovuta dalla non maturità dei tempi. Gli sforzi iniziali danno i primi frutti e la curva prende forza e si impenna leggermente staccandosi dall’asse delle ascisse e puntando con coraggio verso l’alto. È la fase degli “early adopter”. La curva poi prende vigore e si impenna in una crescita sostenuta e convinta. È la fase della piena diffusione, che sale fino all’apice della curva per poi iniziare a discendere lentamente. Si chiude infine con la fase dei ritardatari, la curva è in caduta, l’elemento innovativo è svanito e quella che era un’innovazione sta divenendo obsoleta.

Non saprei dire il risk management in quale fase della curva dell’innovazione sia. Alcuni settori quali quello assicurativo o finanziario potrebbero essere fortemente maturi, altri al contrario potrebbero essere ancora inchiodati nel punto zero, dove gli assi cartesiani si incontrano. Le organizzazioni al punto zero vivono il risk assessment con un approccio alla Don Abbondio: “Risk assessment, chi è costui?”

Dovendo giudicare la tua organizzazione e la sua gestione del rischio, dove si posizionerebbe sulla curva descritta poc’anzi?

Il Maturity Model in modo diverso e con obiettivi differenti racconta lo stesso processo evolutivo attraverso un’istantanea del sistema. Il termine “maturità” introdotto dal CMMI descrive il grado di formalità e ottimizzazione dei processi, delle procedure, delle metriche, delle prestazioni.

Il Maturity model va da zero a cinque e io qui mi permetterò di rivisitarlo in chiave di rischio, per avere una prima comprensione della propria gestione del rischio.

Il livello 0 corrisponde a un sistema incompleto dove il rischio è qualcosa di nebuloso e non gestito, più vicino a concezioni nazional popolari, ove la memoria richiama programmi televisivi quali “Rischiatutto”, piuttosto che un sistema di gestione propriamente detto. La gestione del rischio in queste realtà semplicemente non esiste, ci si basa sul mero intuito, si aspira alla figura del capitano solo al comando senza rendersi conto che si è più prossimi a quella del giocatore d’azzardo alla Squid Game.

Il livello 1 si ha quando esiste una sorta di processo informale e non sufficientemente documentato. Le conoscenze di metodo, applicazione e risultato sono possedute dalle persone, che se ne occupano, e non sono facilmente trasferibili o confrontabili. L’obiettivo minimo è raggiunto, una matrice del rischio di tipo qualitativo è prodotta o a grandi linee si è consapevoli di quali siano i rischi più evidenti e probabili. La gestione del rischio, immaginando un continuum, è più vicina a fenomeni esperienziali e soggettivi piuttosto che a misurazioni e valutazioni oggettive.

Questo tipo di gestione del rischio è ancora inefficace ma inspiegabilmente chi si pone a questo livello nutre grande fiducia nei metodi (non rigorosi) e nei criteri (soft) utilizzati. Il rischio di queste analisi del rischio, mi si perdoni il gioco di parole, è di affidare eccessiva fiducia ad analisi incomplete aggravate da un elevata probabilità di errore o da stime incerte dei fattori in gioco.

Io credo, ma spero di sbagliarmi, che la maggioranza delle organizzazioni italiane che adottino un sistema di gestione del rischio, non per propria convinzione, ma per necessità di rispondere a un qualche punto norma, si trovi al livello uno.

Il livello 2 si ha quando la gestione del rischio raggiunge un qualche obiettivo preconfigurato. Se pur performante rispetto alle aspettative iniziale, la gestione del rischio non è ancora pienamente adottata come vorrebbe uno standard o un framework dedicato, come potrebbe essere ad esempio la ISO 31001. Gli aspetti minimi e necessari sono documentati, vi è una qualche ownership, le attività necessarie sono pianificate e monitorate, vengono utilizzati metodi prevalentemente qualitativi. Lo stesso management, consapevole della pochezza di tali analisi, non le utilizza nei processi di decision making.

Il livello 3 si ha quando la gestione del rischio è pienamente adottata, implementata e integrata nel sistema generale. Policy e procedure sono realizzate e pienamente attuate, responsabilità e risorse allocate, le interconnessioni con altri processi e sistemi vengono documentate, vengono create interfacce adeguate; serie storiche e analisi sono consolidate e confrontabili. Le categorie di rischio applicabili all’organizzazione sono state pienamente verificate e periodicamente revisionate.

A mio personalissimo e opinabile parere qualsivoglia organizzazione, che adotti un metodo qualitativo di misurazione del rischio, non può collocarsi oltre il livello 3.

Il livello 4 si ha quando la gestione del rischio è pienamente e perfettamente monitorata e misurata. Il rischio a questo livello è prossimo alla concezione, che ne può avere un attuario, ove la probabilità ha solide basi matematiche, si discute di distribuzioni e intervalli di confidenza mentre l’impatto ha correlabili imputazioni economiche. A questo livello grossolane e soggettive imputazioni, per vaghe etichette quale basso o medio basso, sono inaccettabili.

L’efficacia delle analisi è costantemente monitorata, attraverso la raccolta di indicatori predeterminati, per i quali sono stati definiti valori di soglia sotto i quali il sistema verrà ritenuto insufficiente e a questi verranno apposti specifici correttivi.

Il livello 5 si ha quando il sistema diviene predittivo. L’organizzazione persegue il miglioramento continuo, la modellazione dei dati è costantemente validata, vengono eseguite simulazioni attraverso modelli quantitativi. Tutti i valori sono convalidati con metodi statistici e vengono utilizzate misurazioni empiriche aggiuntive. Il sistema non è strutturato solo su librerie di rischio preconfigurate e mette in discussione le serie storiche, alla ricerca di anomalie e cigni neri.

Sintetizzando e sdrammatizzando potremmo così appellare i cinque livelli: la tua organizzazione è in modalità scommettitore? Oppure la gestione è informale? Avete raggiunto un grado di maturità consono a quella di un sistema di gestione dedicato al rischio? Sei già in modalità attuario e la tua gestione del rischio ha solide basi scientifiche? Hai un sistema così efficace da essere predittivo?

Dunque, dovendo giudicare la tua organizzazione e la sua gestione del rischio, in quale livello di maturità si posizionerebbe la tua organizzazione?

Self assessment: KRI – Key risk indicator, cosa sono

Il passo successivo per questo nostro self assessment sull’efficacia della propria gestione del rischio è misurare, tenendo sempre ben presente che “la misurazione è un processo, non un risultato. Non deve essere perfetta, solo migliore dell’attuale”.

Individuata la posizione della propria gestione del rischio all’interno del maturity model visto poc’anzi, sarà necessario ora procedere allo step successivo.

Così come un risk manager, avvezzo a stimare il proprio rischio su una scala a cinque valori che sfumino dal verde al rosso, qualora voglia progredire e rendere più precise le proprie analisi, deve restringere i campi dei propri valori attraverso puntuali misurazioni, così il nostro self assessment sull’efficacia della propria gestione del rischio, deve individuare metriche, selezionare soglie e raccogliere dati.

Le metriche sono i KRI o Key Risk Indicator, che poco hanno di diverso dai più comuni e conosciuti KPI Key Performance Indicator, salvo che i KRI sono specifici per la gestione del rischio.

La soglia è il parametro sotto il quale non può scendere il valore misurato senza che scattino alert e azioni di riconfigurazione.

Il raccogliere i dati è la misurazione periodica dei valori, è la messa in atto della fase di pianificazione, è il vero lavoro quotidiano del risk manager.

Gli indicatori possono essere molti ed ogni organizzazione dovrebbe individuarli a seconda del proprio settore d’attività, della metodologia adottata e della peculiarità della propria organizzazione.

Per evitare fraintendimenti, sottolineo che in questo momento non mi riferisco ai KRI interni alla propria gestione del rischio con i quali si monitorano i singoli rischi individuati, ma piuttosto, osservando dall’esterno il nostro sistema per la gestione del rischio, individuiamo dei rilevatori, che segnalino il corretto funzionamento del sistema stesso.

I parametri per controllare l’efficacia della nostra gestione del rischio possono essere associati a situazioni critiche tipiche.

L’assegnazione delle responsabilità è solitamente deficitaria e poco chiara, con la conseguenza che non è evidente chi sia responsabile della raccolta e del reporting delle diverse metriche utili per la gestione del rischio. Un KRI potrebbe verificare se tutti i rischi abbiano una ownership assegnata [(N° Owner/N° Rischi)*100], stabilendo soglie di accettabilità, dove ad esempio il 95% dovrebbe avere una ownership assegnata, affinché il parametro sia ritenuto soddisfacente.

Altro aspetto critico è l’assenza di dati. La più comune obiezione all’implementazione di un metodo quantitativo è la presunta scarsità di dati e ciò nell’era dei big data fa sorridere. Tutto è infatti misurabile, talvolta abbiamo la misurazione a portata di mano, altre volte si necessiterà di individuare lo strumento più adatto a misurarlo. “Si può comunque avviare un percorso di misurazione per iniziare a raccoglierli ed evitare il circolo vizioso per cui a fronte della scarsità di dati non si inizia a misurare e quindi non si avranno mai a disposizione dati”.

A mio avviso gli indubbi vantaggi di avere un consolidato sistema metrico / quantitativo a supporto delle proprie attività supera di gran lunga le ovvie difficoltà, legati a qualità dei dati, loro incoerenza, mancanza, ridondanza o costo. Un metodo quantitativo può apparire a prima vista oneroso per il consumo di risorse allocate, per svolgere una corretta misurazione dei parametri. L’investimento iniziale verrà però compensato in termini di migliore gestione del rischio e dei costi associati al verificarsi di eventi avversi.

Un semplice e veloce KRI per validare quanto il sistema di gestione sia misurato potrebbe essere la verifica del numero di rischi cui sia associata una metrica [(N° metriche/N° Rischi)*100]. La soglia di accettabilità dovrebbe essere molto stringente se l’organizzazione ha già adottato delle metodologie quantitative oppure più accomodante qualora si stia migrando da un metodo qualitativo ad uno più rigoroso. Il parametro della soglia ogni anno potrebbe essere incrementato.

Il timing di risposta al verificarsi di un incidente è un altro elemento che varrebbe la pena misurare. Il KRI indicator potrebbe misurare il tempo medio di risposta al verificarsi di un incidente o il tempo medio di presa in carico di una vulnerabilità una volta che questa è stata riscontrata o è divenuta pubblica.

Inoltre, sarà fondamentale avere una panoramica della propria organizzazione, tenendo traccia del numero totale di rischi identificati, la loro suddivisione e aggregazione all’interno dell’organizzazione per arre funzionali, tipologia, caratteristica; così che si abbia una visione olistica delle prestazioni dell’intero sistema di gestione del rischio, o di alcune sue parti. Un KRI potrebbe tenere traccia del numero di rischi identificati con il numero di rischi trattati, avendone una rappresentazione per tipologia di trattamento.

Queste sono solo alcuni dei KRI che ogni organizzazione potrebbe o meglio dovrebbe monitorare per verificare che il proprio risk management sia efficace.

Un’organizzazione in cui la gestione del rischio sia pienamente matura, che sia consapevolezza e abbia padronanza di metriche e misurazioni, sarà l’ambiente ideale affinché spontaneamente nuovi KRI più articolati e specifici vengano individuati.

Conclusioni

Attraverso i tre semplici passi visti all’interno di questo approfondimento, ora dovremmo essere pronti a svolgere un credibile self assessment della nostra gestione del rischio.

Presa consapevolezza della fallacia di qualsiasi analisi dei rischi, attraverso il maturity model del rischio, da me confezionato sulle basi logiche del Capability Maturity Model Integration, individueremo approssimativamente dove si collochi il risk management della tua organizzazione.

Infine, attraverso indicatori di rischio sempre più raffinati ambiremo ad una perfetta e congrua valutazione dell’efficacia della tua gestione del rischio.

Note

  1. Aon’s 2021 Global Risk Management Survey
@RIPRODUZIONE RISERVATA

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

S
Manuel Angelo Salvi
DPO & Standards consultant presso GRC Team S.r.l.

Articolo 1 di 2