“Nonostante molti non la amino, personalmente trovo la statistica piena di fascino e d’interesse. Appena viene maneggiata con la dovuta delicatezza ed interpretata con cautela, il suo potere di affrontare fenomeni complessi appare straordinario. È il solo strumento che permetta di aprire un varco tra l’intrico di difficoltà che sbarra la strada di coloro che si dedicano alla Scienza”.
FRANCIS GALTON1
Nel 1949 fu trattato un caso di divorzio in cui la sola prova di adulterio era la nascita di un bambino quasi 50 settimane dopo la partenza del marito, militare all’estero. Per citare Bamett2: “I giudici d’appello si trovarono d’accordo che il limite credibile dovesse essere tracciato da qualche parte, ma che, dal punto di vista medico, 349 (giorni), per quanto improbabili, fossero scientificamente possibili”. Come conseguenza, l’accusa di adulterio fu respinta.
Figura 1. Distribuzione delle frequenze della durata della gestazione.
Guardando alla distribuzione della durata delle gravidanze
3, (figura 1) il che evidentemente i giudici trascurarono di fare, la maggioranza della gente probabilmente sarebbe convinta dell’avvenuto adulterio. Anche accettando come veritieri i valori massimi riportati, è chiaro che, per quanto “scientificamente possibile”, una gravidanza della durata di 51 settimane (*) eccede i limiti della credibilità. Che cosa sarebbe, tuttavia, successo se fosse stata di sole 48 o 45 settimane? Dove si traccerebbe oggi il limite, sulla base della figura 1?
Questo è un esempio di mancato uso di metodi statistici dove, invece erano necessari, il che è un’evenienza alquanto comune. Dichiarare un evento possibile è del tutto diverso che dire che esso ha una probabilità, ad esempio, di uno su 100.000. Per quanto non sia un esempio tratto dalla ricerca medica, esso presenta essenzialmente le stesse difficoltà di molti problemi quali la definizione dell’ipertensione o dell’obesità. Tutto è variabile, e tentare di tracciare una linea tra bene e male, molto o poco, verosimile o inverosimile, e così via non è facile. Per quanto la statistica non possa dare una risposta definitiva a quesiti specifici, può spesso illuminare notevolmente la natura dei problemi.
La statistica e l’etica medica
Qual è la relazione tra la statistica e l’etica medica?. Considerazioni etiche possono chiaramente influenzare il desegno di un esperimento. L’esempio forse più ovvio e la sperimentazione clinica (“clinical trial”) dove, ad esempio, non sarebbe possibile condurre una sperimentazione sul fumo di sigarette. Il fine di questa rassegna è discutere per quanto possibile nei dettagli le molte e spesso trascurate implicazioni della statistica sul piano etico.
In breve, non è etico condurre sperimentazioni scientifiche di cattiva qualità4. I metodi statistici ne costituiscono solo un aspetto, che è però essenziale. Infatti, per quanto pregevole uno studio possa essere da altri punti di vista, se viene condotto con metodi statistici scadenti, è destinato a non essere etico, per almeno due motivi.
In primo luogo, la ragione più ovvia per dichiarare uno studio non etico, sia sul piano statistico che ad altri livelli, è lo spreco di pazienti (o animali), o di altre risorse. Come affermava May5: “… uno dei problemi più seri della ricerca clinica è il sottoporre pazienti al rischio di lesioni, sofferenze od altri inconvenienti in sperimentazioni con troppo pochi individui per raggiungere conclusioni valide, con più soggetti di quanto richiesto dall’obiettivo proposto, o con modalità di randomizzazione o “doppio cieco” inadeguate”.
In secondo luogo, d’altra parte, fa statistica influenza l’etica in un modo molto più specifico: non è, infatti, etico pubblicare risultati scorretti o fuorvianti. Errori nell’uso della statistica possono verificarsi a tutti gli stadi di un’indagine e uno di essi può essere sufficiente a vanificare l’intero lavoro. Uno studio può essere concepito o eseguito perfettamente, ma se viene analizzato in maniera scorretta le sue conseguenze possono essere non meno gravi di quelle di uno studio sbagliato in partenza.
Il contenuto statistico di una ricerca può essere carente in molti modi. In un articolo di grande interesse, ma per molti aspetti allarmante, Sackett6 ha identificato 56 possibili errori sistematici (“bias”) che possono presentarsi in studi analitici, i due terzi dei quali collegati ad aspetti del disegno e dell’esecuzione della ricerca. La figura 2 mostra la distribuzione di questi possibili “bias” nelle varie fasi di uno studio. In generale, questa distribuzione riflette molto bene la gravità relativa degli errori statistici in ciascuna fase e indica dove vi è più bisogno di competenze statistiche. Gli errori nell’analisi o nell’interpretazione dei risultati si possono normalmente correggere se rilevati in tempo – cioè, prima della pubblicazione – ma le carenze del disegno sono quasi sempre irrimediabili.
Il fine di uno studio è di solito la sua pubblicazione. I veri problemi incominciano, però, quando quest’ultima viene considerata l’aspetto più importante dell’intero lavoro, il che succede non di rado.
La pubblicazione
Una volta pubblicata, una ricerca acquista rispettabilità e credibilità. È pertanto importante che le riviste scientifiche facciano ogni sforzo per individuare e bloccare prima della pubblicazione gli studi scadenti. Negli ultimi e anni parecchie rassegne del materiale pubblicato su riviste mediche hanno sostenuto la necessita di un miglioramento della qualità dei metodi statistici impiegati. Ad esempio, Schor e Karten7 hanno riportato che, tra 149 studi analitici in diverse riviste, solo il 28% poteva essere giudicato accettabile, mentre il 67% era carente ma migliorabile, ed il 5% inaccettabile.
Il responsabile della rivista così scriveva:
“Questo studio è un argomento indiretto a favore di una più estesa comprensione della statistica da parte degli autori medici. Gli esperti in questa materia non devono essere considerati giudici ostili, ma utili alleati, mentre la biostatistica non deve essere intesa come una scienza matematica astratta, ma una disciplina essenziale alla medicina moderna – un pilastro del suo edificio”8.
Studi più recenti9-11 hanno dimostrato che ancora troppi articoli vengono pubblicati con analisi statistiche scorrette, e che risultati contrastanti provenienti da studi analoghi sono spesso dovuti a vari gradi di incompetenza statistica12-14.
Le implicazioni etiche della pubblicazione di studi con risultati o conclusioni scorretti o infondati sono spesso indipendenti dalla natura degli errori commessi, e sono molto simili a quelle della pubblicazione di risultati falsi. Il costo in termini di tempo ed energia nel tentativo di riprodurre tali risultati può essere enorme15 o, in alternativa, possono trascorrere anni prima che si riesca a confutarli. Se, attraverso una sperimentazione clinica controllata e randomizzata, si giunge a concludere che un nuovo trattamento è significativamente migliore di quello precedentemente impiegato, la pubblicazione dei dati è destinata ad influenzare profondamente la pratica medica ed a far apparire non etico lo svolgimento di ulteriori studi, poiché ad un gruppo di pazienti si negherebbe la terapia riconosciuta come “migliore”. È chiaro che entrambe queste conseguenze sono relativamente indipendenti dalla qualità dello studio, a meno che vi si riscontrino “bias” clamorosi (e molti di quelli elencati da Sackett6 non lo sarebbero). Qualche isolata lettera critica, magari da parte di statistici, immersa in pagine di corrispondenza, avrebbe ben poco peso e lo stesso discorso varrebbe, con implicazioni diverse, nel caso di un trattamento erroneamente etichettato come non efficace.
Riassunto
Le implicazioni etiche di una ricerca carente dal punto di vista statistico possono venire così riassunte:
- il cattivo utilizzo dei pazienti, esposti a rischi ed inconvenienti ingiustificati;
- il cattivo uso delle risorse, compreso il tempo del ricercatore impiegabile in attività più utili;
- le conseguenze della pubblicazione di risultati erronei, implicanti spesso la necessità di intraprendere ulteriore lavoro, altrimenti non necessario.
Figura 2.
Non fare tutto il possibile per evitare questi gravi inconvenienti è altrettanto anetico che usare metodi sperimentali inaccettabili, quali il coinvolgimento di pazienti non consenzienti, ed è sorprendente che questi aspetti siano stati totalmente ignorati dai testi di etica medica.
Tutte le fasi di una ricerca illustrate dalla figura 2 possono venire mal svolte dal punto di vista statistico. Come esempio, basta considerare un aspetto della progettazione di un nuovo studio, la lettura dei lavori precedenti. Accettando acriticamente il materiale pubblicato, si rischia di trovarsi a verificare risultati falsi riportati da altri. La maggior parte degli autori, inoltre, tende a citare solo gli studi che concordano con la propria tesi e ad ignorare gli altri.
Nel seguito della rassegna verrà illustrato in che modo errori in fasi diverse possono compromettere le basi etiche di una ricerca e come fare ad evitare questo rischio. Non essendo possibile parlare di tutto, si forniranno solo alcuni esempi, cui farà seguito una discussione sul ruolo delle riviste mediche in questo contesto.
Nota
(*) Usando la convenzione di contare le settimane complete dal primo giorno dell’ultima mestruazione ed assumendo che il concepimento abbia avuto luogo 14 giorni dopo di essa.
Bibliografia
- Galton F. Natural inheritance. London: Macmillan, 1889.
- Barnett V. The study of outliers: purpose and model. Appied Statistics I 978; 27:242-50.
- Chamberlain R. Birth weight and length of gestation. In: British births 1970. Voi. I. The first week o/ /ife. National Birthday Trust Fund and Royal College of Obstetricians and Gynaecologists. London: Heinemann, 1975.
- Denham MJ, Foster A, Tyrrell DAJ. Work ofa district ethical committee. Br Med J 1979; ii:104-5.
- May WW. The composition and function of ethical committees. J Med Ethics 1975; 1: 23-9.
- Sackett DL. Bias in analytic research. J Chronic Dis 1979; 32:51-63.
- Schor S, Karten I. Statistica! evaluation of medicai journal manuscripts. JAMA 1966; 195: 1123-8.
- Anonymous. A pillar ofmedicine. JAMA 1966; 195: 1145.
- Gore SM, Jones IG, Rytter EC. Misuse of statistical methods: critical assessment of articiles in BMJ from January to March 1976. Br Med J 1977; i:85-7.
- Feinstein AR. A survey of the statistical procedures in generai medical journals. Clin Pharmacol Ther 1974;15:97-107.
- Ambroz A, Chalmers TC, Smith H, Schroeder B, Freiman Ja, Shareck EP. Deficiencies of randomized control trials. Clin Res 1978; 26: 280 A.
- Gifford RH, Feinstein AR. A critique of methodology in studies of anticoagulant therapy for acute myocardial infarction. N Engl J Med 1969; 280: 351-7.
- Peto R. Clinical trial methodology. Biomedicine Special lssue 1978; 28: 24-36.
- Horwitz RI, Feinstein AR. Methodologic standards and contradictory results in case-control research. Am J Med 1979; 66: 556-64.
- Muller M. Why scientists don’t cheat. New Scientist 1977; 74: 522-3.
Tratto da libro La statistica nella pratica medica, di Sheila M. Gore e Douglas G. Altman (Roma: Il Pensiero Scientifico Editore, 1990)
In primo piano
Un uso scorretto della statistica non è etico
“Nonostante molti non la amino, personalmente trovo la statistica piena di fascino e d’interesse. Appena viene maneggiata con la dovuta delicatezza ed interpretata con cautela, il suo potere di affrontare fenomeni complessi appare straordinario. È il solo strumento che permetta di aprire un varco tra l’intrico di difficoltà che sbarra la strada di coloro che si dedicano alla Scienza”.
FRANCIS GALTON1
Nel 1949 fu trattato un caso di divorzio in cui la sola prova di adulterio era la nascita di un bambino quasi 50 settimane dopo la partenza del marito, militare all’estero. Per citare Bamett2: “I giudici d’appello si trovarono d’accordo che il limite credibile dovesse essere tracciato da qualche parte, ma che, dal punto di vista medico, 349 (giorni), per quanto improbabili, fossero scientificamente possibili”. Come conseguenza, l’accusa di adulterio fu respinta.
Figura 1. Distribuzione delle frequenze della durata della gestazione.
Questo è un esempio di mancato uso di metodi statistici dove, invece erano necessari, il che è un’evenienza alquanto comune. Dichiarare un evento possibile è del tutto diverso che dire che esso ha una probabilità, ad esempio, di uno su 100.000. Per quanto non sia un esempio tratto dalla ricerca medica, esso presenta essenzialmente le stesse difficoltà di molti problemi quali la definizione dell’ipertensione o dell’obesità. Tutto è variabile, e tentare di tracciare una linea tra bene e male, molto o poco, verosimile o inverosimile, e così via non è facile. Per quanto la statistica non possa dare una risposta definitiva a quesiti specifici, può spesso illuminare notevolmente la natura dei problemi.
La statistica e l’etica medica
Qual è la relazione tra la statistica e l’etica medica?. Considerazioni etiche possono chiaramente influenzare il desegno di un esperimento. L’esempio forse più ovvio e la sperimentazione clinica (“clinical trial”) dove, ad esempio, non sarebbe possibile condurre una sperimentazione sul fumo di sigarette. Il fine di questa rassegna è discutere per quanto possibile nei dettagli le molte e spesso trascurate implicazioni della statistica sul piano etico.
In breve, non è etico condurre sperimentazioni scientifiche di cattiva qualità4. I metodi statistici ne costituiscono solo un aspetto, che è però essenziale. Infatti, per quanto pregevole uno studio possa essere da altri punti di vista, se viene condotto con metodi statistici scadenti, è destinato a non essere etico, per almeno due motivi.
In primo luogo, la ragione più ovvia per dichiarare uno studio non etico, sia sul piano statistico che ad altri livelli, è lo spreco di pazienti (o animali), o di altre risorse. Come affermava May5: “… uno dei problemi più seri della ricerca clinica è il sottoporre pazienti al rischio di lesioni, sofferenze od altri inconvenienti in sperimentazioni con troppo pochi individui per raggiungere conclusioni valide, con più soggetti di quanto richiesto dall’obiettivo proposto, o con modalità di randomizzazione o “doppio cieco” inadeguate”.
In secondo luogo, d’altra parte, fa statistica influenza l’etica in un modo molto più specifico: non è, infatti, etico pubblicare risultati scorretti o fuorvianti. Errori nell’uso della statistica possono verificarsi a tutti gli stadi di un’indagine e uno di essi può essere sufficiente a vanificare l’intero lavoro. Uno studio può essere concepito o eseguito perfettamente, ma se viene analizzato in maniera scorretta le sue conseguenze possono essere non meno gravi di quelle di uno studio sbagliato in partenza.
Il contenuto statistico di una ricerca può essere carente in molti modi. In un articolo di grande interesse, ma per molti aspetti allarmante, Sackett6 ha identificato 56 possibili errori sistematici (“bias”) che possono presentarsi in studi analitici, i due terzi dei quali collegati ad aspetti del disegno e dell’esecuzione della ricerca. La figura 2 mostra la distribuzione di questi possibili “bias” nelle varie fasi di uno studio. In generale, questa distribuzione riflette molto bene la gravità relativa degli errori statistici in ciascuna fase e indica dove vi è più bisogno di competenze statistiche. Gli errori nell’analisi o nell’interpretazione dei risultati si possono normalmente correggere se rilevati in tempo – cioè, prima della pubblicazione – ma le carenze del disegno sono quasi sempre irrimediabili.
Il fine di uno studio è di solito la sua pubblicazione. I veri problemi incominciano, però, quando quest’ultima viene considerata l’aspetto più importante dell’intero lavoro, il che succede non di rado.
La pubblicazione
Una volta pubblicata, una ricerca acquista rispettabilità e credibilità. È pertanto importante che le riviste scientifiche facciano ogni sforzo per individuare e bloccare prima della pubblicazione gli studi scadenti. Negli ultimi e anni parecchie rassegne del materiale pubblicato su riviste mediche hanno sostenuto la necessita di un miglioramento della qualità dei metodi statistici impiegati. Ad esempio, Schor e Karten7 hanno riportato che, tra 149 studi analitici in diverse riviste, solo il 28% poteva essere giudicato accettabile, mentre il 67% era carente ma migliorabile, ed il 5% inaccettabile.
Il responsabile della rivista così scriveva:
“Questo studio è un argomento indiretto a favore di una più estesa comprensione della statistica da parte degli autori medici. Gli esperti in questa materia non devono essere considerati giudici ostili, ma utili alleati, mentre la biostatistica non deve essere intesa come una scienza matematica astratta, ma una disciplina essenziale alla medicina moderna – un pilastro del suo edificio”8.
Studi più recenti9-11 hanno dimostrato che ancora troppi articoli vengono pubblicati con analisi statistiche scorrette, e che risultati contrastanti provenienti da studi analoghi sono spesso dovuti a vari gradi di incompetenza statistica12-14.
Le implicazioni etiche della pubblicazione di studi con risultati o conclusioni scorretti o infondati sono spesso indipendenti dalla natura degli errori commessi, e sono molto simili a quelle della pubblicazione di risultati falsi. Il costo in termini di tempo ed energia nel tentativo di riprodurre tali risultati può essere enorme15 o, in alternativa, possono trascorrere anni prima che si riesca a confutarli. Se, attraverso una sperimentazione clinica controllata e randomizzata, si giunge a concludere che un nuovo trattamento è significativamente migliore di quello precedentemente impiegato, la pubblicazione dei dati è destinata ad influenzare profondamente la pratica medica ed a far apparire non etico lo svolgimento di ulteriori studi, poiché ad un gruppo di pazienti si negherebbe la terapia riconosciuta come “migliore”. È chiaro che entrambe queste conseguenze sono relativamente indipendenti dalla qualità dello studio, a meno che vi si riscontrino “bias” clamorosi (e molti di quelli elencati da Sackett6 non lo sarebbero). Qualche isolata lettera critica, magari da parte di statistici, immersa in pagine di corrispondenza, avrebbe ben poco peso e lo stesso discorso varrebbe, con implicazioni diverse, nel caso di un trattamento erroneamente etichettato come non efficace.
Riassunto
Le implicazioni etiche di una ricerca carente dal punto di vista statistico possono venire così riassunte:
Figura 2.
Non fare tutto il possibile per evitare questi gravi inconvenienti è altrettanto anetico che usare metodi sperimentali inaccettabili, quali il coinvolgimento di pazienti non consenzienti, ed è sorprendente che questi aspetti siano stati totalmente ignorati dai testi di etica medica.
Tutte le fasi di una ricerca illustrate dalla figura 2 possono venire mal svolte dal punto di vista statistico. Come esempio, basta considerare un aspetto della progettazione di un nuovo studio, la lettura dei lavori precedenti. Accettando acriticamente il materiale pubblicato, si rischia di trovarsi a verificare risultati falsi riportati da altri. La maggior parte degli autori, inoltre, tende a citare solo gli studi che concordano con la propria tesi e ad ignorare gli altri.
Nel seguito della rassegna verrà illustrato in che modo errori in fasi diverse possono compromettere le basi etiche di una ricerca e come fare ad evitare questo rischio. Non essendo possibile parlare di tutto, si forniranno solo alcuni esempi, cui farà seguito una discussione sul ruolo delle riviste mediche in questo contesto.
Nota
(*) Usando la convenzione di contare le settimane complete dal primo giorno dell’ultima mestruazione ed assumendo che il concepimento abbia avuto luogo 14 giorni dopo di essa.
Bibliografia
Tratto da libro La statistica nella pratica medica, di Sheila M. Gore e Douglas G. Altman (Roma: Il Pensiero Scientifico Editore, 1990)