Partendo da un esempio di attualità, si possono formulare alcune considerazioni generali sulla relazione tra CdI di autori, presenza di sponsor commerciali e altre caratteristiche dei trial, e credibilità delle ricerche biomediche, anche di quelle con disegno formalmente più valido.

In un articolo su Scienza in Rete (1), gli autori indicano alcune delle critiche del vicedirettore del BMJ, Peter Doshi, allo studio randomizzato controllato (RCT) sul vaccino anti-Covid-19 di Pfizer (2), con cui concordano, e altre su cui invece non sono d’accordo. Personalmente condivido la maggior parte delle loro osservazioni, compreso il dissenso sull’ipotesi, molto improbabile, che l’efficacia del vaccino Pfizer dichiarata nel relativo RCT possa scendere tra il 19 e il 29% per i motivi citati da Doshi (3). C’è tuttavia un altro punto molto importante che tutti i commentatori non sembrano finora aver considerato, relativo alla credibilità dei risultati di efficacia e di sicurezza di una tecnologia sanitaria presentati in ricerche che la riguardano, credibilità che risulta complessivamente ridotta in presenza delle caratteristiche generali di seguito illustrate.

1. Studi con sponsor commerciali/industriali e sponsorship bias.

Una rassegna sistematica Cochrane ha incluso studi empirici che hanno confrontato in modo quantitativo studi primari su farmaci o dispositivi medici con sponsor commerciale rispetto a studi con altre fonti di finanziamento (4). I risultati di efficacia hanno favorito in modo significativo i prodotti di sponsor commerciali rispetto a studi senza sponsor commerciale (RR 1,27; 1,17-1,37); e ciò è accaduto anche nelle conclusioni (RR 1,34; 1,19-1,51). Inoltre, gli studi con sponsor commerciale hanno mostrato meno coerenza tra risultati riportati e conclusioni espresse. Infine hanno mostrato una tendenza (RR 1,37; 0,62-2,93) a mostrare una maggior sicurezza dei prodotti studiati; come si può osservare, questa non ha raggiunto la significatività statistica, ma va nella stessa direzione ed è di entità paragonabile agli altri sbilanciamenti. Tutto ciò, in assenza di chiari problemi metodologici che lo possano spiegare, ha fatto coniare ai revisori Cochrane il termine sponsorship bias.

2. Ricercatori principali con legami finanziari con i produttori del farmaco in studio.

Una ricerca su un campione random di 190 RCT sull’efficacia di farmaci, pubblicati nel 2013 su riviste cliniche “core”, ha mostrato che legami finanziari con il produttore del farmaco in studio da parte del primo e dell’ultimo (senior) autore di ciascun RCT si associavano con risultati positivi (OR 3,57; 17-7,7) (5). I risultati sistematicamente migliori (rispetto a RCT con autori senza le suddette relazioni finanziarie) si rilevavano in modo indipendente dallo sponsorship bias.

3. Troncatura rispetto ai tempi predefiniti.

Una ricerca meta-epidemiologica ha confrontato i risultati di 91 RCT interrotti precocemente “per benefici” rispetto al follow-up pre-specificato (ma secondo gli autori quanto segue vale anche per interruzioni per altri motivi) con quelli di 424 RCT appaiati non troncati che affrontavano gli stessi problemi (6). I RCT troncati presentavano sovrastime sistematiche dei benefici, e in quasi 2/3 dei casi questi ultimi non risultavano statisticamente significativi nei corrispondenti RCT non troncati. L’entità della sovrastima variava con il numero di eventi primari rilevati. In particolare era: molto ampia in RCT con meno di 200 eventi (rapporto tra rischi relativi [RR] 0,37; 0,31-0,44), grande con 200-500 eventi (rapporto tra RR 0,65; 0,56-0,77), moderata ma sempre significativa con più di 500 eventi (rapporto tra RR 0,88; 0,80-0,96).

4. RCT non in cieco e con esiti “soggettivi” o “misti”.

Un altro studio meta-epidemiologico aveva mostrato che, rispetto a un doppio cieco, un doppio cieco assente o poco chiaro si associava a un’esagerazione media del 13% di tutti gli esiti (rapporto di odds ratios [ROR] 0,87; intervalli di credibilità [CrI] 0,79-0,96), e del 22% per esiti soggettivi o misti (ROR 0,78; CrI 0,65-0,92) (7). In caso di esiti soggettivi o misti (cioè in parte discrezionali), anche generazioni di sequenze di randomizzazione inadeguate o non chiare (vs adeguate), o inadeguato o non chiaro mascheramento dell’allocazione (vs adeguato) si associavano ad esagerazioni significative degli esiti. In realtà, un successivo studio meta-epidemiologico non ha confermato gli effetti della cecità sopra descritti negli RCT, osservando che tale requisito potrebbe essere meno importante di quanto prima ritenuto, o che i nuovi risultati nulli possano esser dovuti a limiti nell’approccio meta-epidemiologico (come confondimento o misclassificazione) (8). Anche questi autori hanno comunque concluso che, in attesa di replica di studi analoghi, la cecità debba restare una salvaguardia metodologica nei RCT.

Discussione

Il RCT sul vaccino Pfizer, come pure quello relativo al vaccino Moderna (9), presentano multiple caratteristiche associate a esagerazione dei benefici (e in tendenza della sicurezza) dei prodotti in studio:

• Per quanto riguarda il punto 1, la sponsorship commerciale è esclusiva (Pfizer) o preminente (Moderna).
• Per il punto 2, il primo e l’ultimo ricercatore, e molti (Moderna) o la grande maggioranza (Pfizer) degli altri, dichiarano relazioni finanziarie con gli sponsor commerciali.
• Per il punto 3, RCT al momento troncati come quelli in esame, finora con meno di 200 eventi ciascuno, si assocerebbero a una sovrastima media molto importante dei benefici riscontrati, che si dovrebbero valutare in modo più corretto al termine del follow-up pianificato. Se però i partecipanti del gruppo placebo dovessero (a richiesta) ricevere i vaccini con corsia preferenziale come premio per la partecipazione ai RCT, si precluderebbe la possibilità di arrivare a confronti randomizzati alla scadenza naturale dei follow-up specificati nei protocolli. L’unica prospettiva di valutazione, meno rigorosa, di efficacia e sicurezza sarebbe affidata a ricerche di disegno meno valido, o alla farmacovigilanza, con i gravissimi limiti di una vigilanza che non fosse al tempo stesso attiva e con scrupolosa applicazione dell’algoritmo OMS di valutazione di causalità (10).
• Per il punto 4, la minor credibilità dei risultati per sintomi “soggettivi o misti” dovrebbe riguardare anche i sintomi suggestivi di Covid-19 che portavano all’esecuzione del tampone o all’aggiudicazione degli esiti, percorso soggetto a importanti gradi di discrezionalità.

Ciascuna delle suddette caratteristiche (quanto meno le prime tre) è in grado di ridurre la fiducia nei risultati e nelle conclusioni dei RCT, e la loro compresenza dovrebbe decisamente indebolire la credibilità complessiva dei trial. È singolare che finora non sia stato sollevato questo problema.

Allargando lo sguardo anche oltre ai RCT dedicati ai vaccini anti-Covid, poiché le caratteristiche descritte sono diventate frequenti nel mondo della ricerca biomedica e rischiano di comprometterne in modo grave la credibilità, si formulano alcune considerazioni e proposte di possibili contromisure.

1. La credibilità di risultati e conclusioni di RCT con le caratteristiche descritte non dovrebbe essere messa sullo stesso piano di quella di RCT che non le presentano, ma esplicitamente declassata.
2. Le criticità su esposte andrebbero ricercate in modo sistematico in qualsiasi articolo scientifico di interesse, senza riguardo per la fama/impact factor della rivista che lo ospita, tenendole in debito conto nella valutazione delle ricerche. Si ricordino in proposito le celebri analisi e dichiarazioni di Marcia Angell, dopo due decenni di direzione del New England Journal of Medicine (11).
3. Si condivide la richiesta già formulata da Tom Jefferson, storico revisore Cochrane, di rovesciare l’ordine di verifica previsto da classici strumenti di valutazione EBM (12). Si pensi ad esempio ad AGREE (13), strumento proposto per la valutazione di Linee Guida, che pone solo ai numeri 22 e 23 (Dimensione 6: Indipendenza Editoriale) di una lunga serie le voci “Ente finanziatore” e “Conflitti d’interesse”, con relativi criteri di reporting. La proposta di Jefferson era invece di verificarli subito e di cestinare uno studio quando non contiene una dichiarazione di CdI. La proposta andrebbe però completata con il declassamento della credibilità di studi che presentino una o più delle criticità sopra richiamate, anche quando sono dichiarati sponsor e CdI dei ricercatori, in termini di relazioni finanziarie con lo sponsor.
4. Tali valutazioni andrebbero espresse in chiaro nel commentare ricerche, magari mostrando anche come cambierebbero le stime se si applicasse il declassamento dei risultati mediamente desumibile dagli studi meta-epidemiologici. Tale prassi sarebbe, certo, non ortodossa, ma inizierebbe a disincentivare il comune ricorso a pratiche che hanno mostrato nelle indagini meta-epidemiologiche di poter condizionare pesantemente i risultati della ricerca.
5. Anche se primo e ultimo autore non dichiarano CdI, andrebbe attuata qualche verifica indipendente in proposito. Infatti, l’omessa dichiarazione di CdI è prassi frequente persino tra gli autori di linee guida, dove le verifiche preventive dovrebbero essere più rigorose, ed è risultata quasi quattro volte più comune con sponsor non governativi (30,6% vs 8,1%) (14).
6. Se si rilevano dichiarazioni non veritiere, le riviste che hanno ospitato l’articolo non dovrebbero pubblicare solo una “correzione”, ma assumere provvedimenti severi nei confronti dei dichiaranti, dandone ampia visibilità, per incidere su questo grave malcostume.
7. In attesa che le riviste scientifiche recepiscano questo suggerimento, bollettini indipendenti potrebbero iniziare a esplicitare queste omissioni, ove rilevate, a partire dalla Lettera periodica dei NoGrazie

Dott. Alberto Donzelli

 Membro del Comitato Scientifico della Fondazione Allineare Sanità e Salute

1) https://www.scienzainrete.it/articolo/peter-doshi-non-ha-tutti-torti-ma-qualcuno-forse-s%C3%AC/roberta-villa-roberto-buzzetti/2021-01

2) Polack F, Thomas SJ, Kitchin N et al. Safety and efficacy of the BNT162b2 mRNA Covid-19 vaccine. New Engl J Med 2020;383:2603-15. nejmoa2034577_disclosures.pdf

3) Doshi P. Pfizer and Moderna’s “95% effective” vaccines—we need more details and the raw data. January 4, 2021

4) Lundh A, Lexchin J, Mintzes B et al. Industry sponsorship and research outcome (Review). Cochrane Database of Systematic Reviews, 2017. Issue 2. Art. No.: MR000033

5) Ahn R, Woodbridge A, Abraham A et al. Financial ties of principal investigators and randomized controlled trial outcomes: cross sectional study. BMJ 2017;356:i6770

6) Bassler D, Briel M, Montori VM et al. Stopping randomized trials early for benefit and estimation of treatment effect: systematic review and meta-regression analysis. JAMA 2010; 303: 1180-7

7) Savovic J, Jones HE, Altman DG, et al. Influence of Reported Study Design Characteristics on Intervention Effect Estimates From Randomized, Controlled Trials. Ann Intern Med 2012 ;157 :429-38

(8) Moustgaard H, Clayton GL, Jones HE et al. Impact of blinding on estimated treatment effects in randomised clinical trials: meta-epidemiological study. BMJ 2020;368:l6802

9) Baden L, El Sahly HM, Essink B et al. Efficacy and safety of the mRNA-1273 SARS-CoV-2 vaccine. New Engl J Med 2021;384:403-16. nejmoa2035389_disclosures.pdf

10) Bellavite P, Donzelli A. Adverse events following measles-mumps-rubella-varicella vaccine: an independent perspective on Italian pharmacovigilance data [version 2; peer review: 2 approved]. F1000Res 2020; 9: 1176

11) Angell M. The truth about the drug companies. how they deceive us and what to do about it. Random House, 2005

12) Jefferson T. Attenti alle bufale… e ai mandriani. Il Pensiero Scientifico Editore, Roma 2008

13) AGREE Next Step Consortium. AGREE II. Checklist per valutare la qualità delle linee guida.

14) Moynihan R, Lai A, Jarvis H et al. Undisclosed financial ties between guideline writers and pharmaceutical companies: a cross-sectional study across 10 disease categories. BMJ Open 2018;2019;9:e025864

LEGGI LA LETTERA N. 90