Background
Negli ultimi anni la valutazione delle performance in sanità ha ricevuto un notevole impulso, in quanto strumento essenziale di programmazione, allocazione delle risorse e valutazione degli esiti assistenziali (1-13). A partire dagli anni Ottanta sono sorte diverse agenzie di valutazione con l’intento di proporre, validare e applicare indicatori di performance delle strutture che erogano prestazioni sanitarie. In questi anni si sono sviluppati numerosi filoni di ricerca in ambito di valutazione a diversi livelli del processo di erogazione delle prestazioni, favorendo il confronto e l’analisi di efficacia degli interventi sanitari: lo sviluppo dell’Health Technology Assessment (HTA) e il numero di relative pubblicazioni testimonia la rilevanza assunta dai metodi di valutazione.

Parallelamente alla valutazione della qualità delle prestazioni sanitarie, essenziale per garantire agli utenti interventi di eccellenza e allocare le risorse, si è diffuso l’utilizzo degli indicatori di esito. In Italia l’AGENAS ha lanciato il Programma Nazionale Esiti, che confronta gli esiti assistenziali tra tutte le strutture di ricovero nazionali (15,16).

Considerato che la valutazione degli esiti assistenziali necessita di adeguata percezione e conoscenza da parte dei professionisti sanitari, alla fine del 2010 l’Azienda Ospedaliera Universitaria Integrata (AOUI) di Verona ha iniziato un percorso per mettere a punto un cruscotto di indicatori di qualità per consentire ai professionisti di valutare le proprie prestazioni: il presente lavoro analizza la risposta degli operatori a questo programma di valutazione degli esiti.

L’AOUI di Verona si articola in due presidi, l’Ospedale Civile di Borgo Trento (con 44 UOC e l’Ospedale Policlinico di Borgo Roma, con 33 UOC, aggregate in 9 dipartimenti trasversali alle due sedi. L’AOUI registra circa 400 accessi/die al pronto soccorso e 45.572 ricoveri ordinari/anno, di cui circa 10.000 provengono da fuori regione e oltre 3.000 da fuori provincia. Ogni giorno sono presenti circa 1.150 ricoverati in degenza ordinaria e circa 280 ricoverati in day-hospital, circa 100 pazienti vengono sottoposti a intervento chirurgico (un terzo in regime di day surgery) e circa 3.000 cittadini usufruiscono dei servizi ambulatoriali. L’AOUI ha più di 6.000 dipendenti tra medici ospedalieri e universitari, infermieri, operatori sanitari, personale tecnico-professionale e addetti al settore amministrativo. In quanto struttura integrata ospedaliero-universitaria, nell’AOUI si svolgono anche lezioni e tirocini per gli studenti del corso di laurea in Medicina e Chirurgia, in Odontoiatria e Protesi Dentaria e per numerose altre professioni sanitarie (infermieri, ostetriche, tecnici di radiologia, tecnici di laboratorio biomedico, fisioterapisti, logopedisti, etc.), oltre alla formazione di 982 specializzandi iscritti a 40 scuole di specializzazione.

Nel dicembre 2002 l’AOUI ha conseguito la prima certificazione del proprio sistema qualità secondo la norma ISO 9001:2000 (poi ISO 9001:2008), mantenendola sino ad oggi con un’estensione ad oltre il 95% delle UOC. La certificazione attesta che l’Azienda sta applicando un modello di organizzazione del lavoro in grado di fornire ai pazienti le maggiori garanzie in termini di efficacia e appropriatezza delle prestazioni ricevute e, in generale, di rispondere adeguatamente a tutte le loro esigenze.

Obiettivi
Investigare interesse e conoscenze dei professionisti sanitari sugli indicatori di esito, valutando la loro capacità di identificarli nella propria UOC.

Metodi
Tra gli obiettivi di budget 2011 assegnati dalla direzione strategica alle singole UOC c’era la richiesta di tre indicatori di esito. Per facilitare e sostenere i professionisti nella loro selezione è stato realizzato e diffuso un manuale con i principali criteri per la selezione; parallelamente è stata elaborata e distribuita alle UOC una “scheda indicatore� strutturata in tre sezioni:

• identificazione dell’indicatore: nome, significato, documenti di riferimento, processo di riferimento, standard, attività ed eventuale indice di rischio, tipologia ed eventuale trasferibilità;
• caratteristiche: numeratore, denominatore, calcolo, fonte dati, periodicità di rilevazione:
• analisi e valutazione: risorse e responsabile, periodicità analisi, tipo di analisi, modalità di rappresentazione, valori di riferimento, validazione.

Il direttore della UOC e il referente qualità erano incaricati di selezionare gli indicatori da proporre. A inizio 2012 tutte le proposte pervenute dalle singole UOC sono state analizzate da un gruppo di lavoro costituito dal direttore sanitario, dal personale del Controllo di Gestione, del Servizio di Miglioramento Qualità e dell’Ufficio Supporto alla Ricerca e Biostatistica. Le proposte sono state validate o respinte in relazione ai seguenti criteri di validazione definiti nel manuale: indicatore di esito o di altra tipologia, aderenza ai criteri predefiniti presenti nel manuale, eventuale validazione da parte di agenzie nazionali (AGENAS, Istituto Mario Negri) o internazionali (AHRQ, OECD, Joint Commission), possibilità di calcolare l’indicatore con i flussi correnti aziendali.
I dati sono riportati come frequenze e percentuali e i confronti fra frequenze sono condotti con il test chi quadrato o con il test esatto di Fisher a seconda del numero minimo di risposte.

Risultati
Delle 77 UOC coinvolte, 59 (76,6%) hanno risposto proponendo complessivamente 151 indicatori. Di questi, (tabella 1), 100 erano indicatori di esito (66,2%), 46 (30.5%) di processo e 5 (3.3%) di altro tipo (struttura, qualità percepita, volume etc.). La distribuzione del tipo di indicatore per area di provenienza (tabella 2) dimostra la difficoltà dei servizi di proporre indicatori di esito rispetto alle UOC cliniche (41.3% vs 78.2%; p=0,003).

Frequentemente sono stati proposti come indicatori di esito tipici indicatori di processo, quali i tempi di attesa o la degenza media (1 UOC di Area Chirurgica), mentre poche UOC hanno proposto la misurazione e il controllo del dolore, a dispetto di una recente direttiva aziendale.

Dei 151 indicatori proposti, solo 19 (12,6%) risultavano validati da un’agenzia nazionale o internazionale: 15 erano di esito e 4 di processo (figura 1).

Tra gli indicatori di esito proposti con maggiore frequenza vi erano la mortalità intraospedaliera (proposta da 35 UOC), le infezioni correlate a pratiche assistenziali (19 UOC) e lo stato di autosufficienza secondo l’indice di Barthel (12 UOC), proposto per lo più da UOC di area medica (tabella 3). Per i servizi sono risultate di rilevante interesse le performance nei circuiti di controllo esterno della qualità dei risultati forniti.

Discussione
La valutazione degli esiti è uno strumento consolidato a livello di ricerca epidemiologica e in ambito di HTA; meno studiata la conoscenza e l’utilizzo di questo strumento da parte dei professionisti sanitari (17). Il nostro studio riporta i risultati di un percorso di introduzione di indicatori di esito in un’AOUI di grandi dimensioni, contesto di professionisti esperti e culturalmente all’avanguardia, nel quale vengono fornite prestazioni tecnologicamente avanzate ed è diffusa l’abitudine alla ricerca clinica. In questo contesto, le risposte alla richiesta di proporre indicatori da parte delle UOC sono state utilizzate come proxy della conoscenza, dell’interesse, della diffusione e dell’utilizzo di indicatori di esito tra gli operatori.

Nonostante la proposta di indicatori di esito fosse parte integrante degli obiettivi di budget, e quindi vincolante per il loro raggiungimento, diverse UOC non hanno fornito alcuna risposta. Questo atteggiamento refrattario, in presenza di un input aziendale importante, suggerisce che non tutti i responsabili delle UOC ritengono fondamentale misurare “oggettivamente� la propria attività e che gli obiettivi di budget non vengono sempre correlati alle pratiche professionali. Si tratta probabilmente di un atteggiamento autoreferenziale, retaggio di un approccio alla valutazione della propria attività legato al singolo caso trattato e non al complesso delle prestazioni eseguite (18).

La percentuale di risposta superiore al 70% garantisce un bias di selezione trascurabile (19): pertanto i risultati possono essere ragionevolmente estesi a tutta l’AOUI.

Obiettivo specifico erano gli indicatori di esito delle prestazioni assistenziali erogate: il 33.8% degli indicatori proposti non era di esito, ma di altra natura. Il dato, combinato con la mancata risposta, porta ad un errore di risposta pari a circa il 50% degli indicatori: questo dimostra come la definizione di indicatore di esito venga ancora confusa con altre tipologie di indicatori. Emerge dunque la necessità di percorsi formativi specifici per tutti i professionisti sanitari, sin dalla formazione di base, in quanto la scarsa conoscenza degli strumenti di valutazione degli esiti influenza sia l’organizzazione dell’attività assistenziale, che il riconoscimento delle prestazioni erogate. Ad esempio, la scarsa comprensione del significato degli indicatori può indurre a sottostimare l’importanza della qualità del dato riportato nei flussi correnti aziendali o regionali con ripercussioni sul sistema di finanziamento stesso delle Aziende (17,18,20).

La misclassificazione è più evidente nell’area dei servizi (laboratori, radiologie, anatomia patologica), per i quali le proposte corrette erano inferiori al 50%. Se può risultare complesso identificare indicatori di esito per l’assenza di meccanismi consolidati di feedback dai clinici sulla qualità dei referti, è tuttavia possibile valutare gli esiti utilizzando strumenti indiretti come i controlli di qualità esterni, oppure attraverso l’analisi delle richieste di ripetizione di esami entro breve periodo. In ogni caso, l’analisi delle cause del ridotto numero di indicatori di esito proposti dall’area dei servizi non è obiettivo di questo studio e richiede un approccio differente. Dalle UOC sono state prese in considerazione solo in minima parte le agenzie che propongono indicatori di esito già validati, verosimilmente non note ai clinici o considerate di interesse marginale.

L’indicatore di esito proposto con maggiore frequenza è la mortalità intraospedaliera per tutte le cause, segnalato prevalentemente dalle UOC di area medica, ma anche da quelle di area chirurgica e dell’emergenza (tabella 3). Le infezioni correlate alle pratiche assistenziali, che si collocano al secondo posto, proposte maggiormente in ambito chirurgico, in particolare da chirurgie specialistiche quali l’oculistica e la neurochirurgia nelle quali tali complicanze hanno un notevole impatto sulla qualità dell’assistenza. Proposto esclusivamente da UOC di area medica, geriatrica, neurologica e riabilitativa, è l’indicatore sullo stato di autosufficienza descritto dall’indice di Barthel: probabilmente questo è la conseguenza di un aspetto assistenziale particolarmente sentito in area medica in quanto l’autosufficienza condiziona la dimissione del paziente, soprattutto negli anziani.

Limiti
Innanzitutto, è stata fatta un’assunzione di ordine generale che la cultura sugli indicatori del direttore della UOC e del rispettivo referente qualità sia sovrapponibile a quella degli altri professionisti della stessa UOC. Questo potrebbe sovrastimare le conoscenze, il cui peso relativo non è possibile quantificare con questo studio.

In secondo luogo è possibile che l’interesse nei confronti di questo aspetto professionale sia enfatizzato dal fatto che esso costituiva obiettivo di budget, e quindi la risposta sia stata condizionata e quasi forzata. In ogni caso, nonostante le ripetute sollecitazioni, circa un quarto delle UOC non ha risposto.

Un terzo limite è considerare la qualità delle risposte come un proxy delle conoscenze degli operatori: è chiaro che vi possono essere importanti bias nella generalizzazione di queste informazioni; tuttavia è questo un metodo indiretto di valutazione che probabilmente sottende la reale attenzione, sintesi di conoscenza e interesse, da parte dei responsabili ai processi di valutazione delle perfomance assistenziali non soltanto dal punto di vista della efficienza, ma anche e soprattutto della efficacia (3,17,18,20,21,22).

Conclusioni
La maggior parte delle UOC ha aderito alla richiesta della direzione strategica di proporre tre indicatori. Tuttavia, la scelta di indicatori di esito si è rivelata appropriata solo in circa la metà dei casi, essendo stati proposti anche indicatori di processo e di altro tipo. Dallo studio emerge chiara la necessità di continuare e sostenere la formazione specifica in questo ambito tra i professionisti sanitari.