In God we trust, all others must bring data. W. Edwards Deming
Nel settembre 2020 il Lancet ha pubblicato i primi dati sullo Sputnik V, due studi non randomizzati in aperto che non avevano rilevato eventi avversi a fronte di una immunità conferita soddisfacente. La pubblicazione avvenne a poche settimane dal trionfale annuncio del presidente Putin che affermò come fossero stati condotti tutti gli studi necessari. In realtà questi ultimi si basavano soltanto su 38 soggetti che avevano ricevuto il vaccino. Putin ha rischiato molto perché la fiducia nei vaccini è come il bonus/malus, si costruisce a fatica nel tempo ma decade rapidamente in caso di incidente.
Tre giorni dopo la pubblicazione, Enrico Bucci, professore associato di biologia alla Temple University di Philadelphia, scrisse al Lancet esprimendo sconcerto per alcuni dati che apparivano stranamente identici per gruppi di partecipanti differenti. Una quarantina di ricercatori si unirono a lui, con una richiesta formale di accesso ai dati completi. Gli autori russi risposero che si trattava di mera casualità, coincidenze dovute al piccolo numero di partecipanti. Promisero però pieno accesso a tutti i dati una volta ultimata la ricerca. Questa dichiarazione sembrò rassicurante, soprattutto per l’entusiasmo espresso dal Lancet in un editoriale, che confermava la politica editoriale di pubblicare solo autori trasparenti sui loro dati.
Silenzio fino al febbraio di quest’anno, quando Lancet pubblicò uno studio ad interim di fase III dove Sputnik V mostrò un’efficacia del 90% su oltre 14 mila adulti. In un primo editoriale, la rivista così commentava – sicuro ed efficace, un altro vaccino può unirsi alla battaglia – mentre in un secondo si plaudeva allo sforzo altruistico della Russia di fornire a tutto il mondo un vaccino a prezzi accessibili.
Non inaspettata giunse però una seconda lettera del prof. Bucci che evidenziava parecchi piccoli errori, davvero inaspettati in una rivista di alto livello, dati controversi che minavano le certezze sull’efficacia del vaccino. Da San Pietroburgo gli fece eco Vasily Vlassov, professore di economia, rimarcando come Sputnik V, diversamente dagli altri vaccini, fosse l’unico che non aveva depositato il protocollo completo presso nessuna agenzia regolatoria. Il Lancet provvide subito ad alcune correzioni che non fecero però che confermare l’immagine di un processo editoriale poco accurato.
Un episodio del genere, già preoccupante in condizioni normali, lo è ancora di più per il fatto che nessuno aveva ancora ricevuto il protocollo completo, giunto ad EMA solo un mese più tardi. Il Lancet si sarebbe prestato a conferire autorevolezza scientifica a un vaccino, facilitandone la pubblicità sui media da parte dello sponsor, il fondo d’investimento Russian Direct. Sputnik V è usato da più di 40 paesi che non hanno i mezzi per acquistare altri vaccini, ma possono confidare nella validità dei dati pubblicati dal Lancet.
Ma il processo di peer review equivale all’esame accurato di un’agenzia del farmaco? Quando Pfizer divulgò i risultati parziali del suo vaccino prima alla stampa che a una rivista scientifica, Richard Horton, direttore del Lancet, parlò di pratica scientificamente scorretta. Bene, ci si doveva aspettare altrettanto rigore riguardo a Sputnik V. Purtroppo si deve riconoscere che la peer review non è infallibile, nemmeno nelle riviste più prestigiose. Nel corso del 2020, infatti, sia Lancet che New England Journal of Medicine dovettero ricusare più di un articolo sulla Covid per contenuti fraudolenti. Qualche anno fa Richard Smith definì la peer review come un procedimento difettoso nel cuore delle riviste scientifiche. Il procedimento coinvolge in genere due o tre revisori esterni e uno statistico, ricercatori spesso molto occupati, che lo fanno gratuitamente dedicando poche ore o magari passando il fardello a qualche post-doc. Solo le riviste più importanti operano anche un passaggio con revisori interni, ma spesso la fretta di pubblicare ha il sopravvento. Nel nostro caso, i revisori del Lancet hanno potuto leggere solo la ventina di pagine del pdf inviato dai russi, non certo i dati completi. A maggior ragione il processo avrebbe dovuto essere più rigoroso. A differenza delle riviste scientifiche, la revisione operata dalle agenzie regolatorie è tutt’altra cosa. Innanzitutto per trasparenza, EMA ha pubblicato tutti i report di valutazione dei vaccini, più di 150 pagine di documenti che descrivono in dettaglio i passaggi logici che hanno portato all’autorizzazione, oltre a migliaia di pagine di intercorsi esplicativi con gli sponsor.
Sputnik V è stato sviluppato da un istituto appartenente a un paese senza significativa esperienza sull’argomento vaccini, per poi essere estesamente diffuso in numerosi paesi, senza autorizzazione da parte di alcuna agenzia regolatoria internazionale. Questo avrebbe dovuto mettere sull’avviso, in modo da procedere con maggiore scrupolo e oculatezza, evitando l’infelice scelta di ben due commenti editoriali favorevoli. In secondo luogo, Lancet è stato incapace di fornire ai lettori prima i chiarimenti richiesti e poi i dati completi, incautamente promessi. Abbiamo fede solo in Dio, tutti gli altri devono fornirci le prove, ha detto W. Edwards Deming. Non sappiamo ancora se EMA concederà l’autorizzazione, ma se lo farà la sanità in generale riceverà una nuova arma contro la pandemia e allora Richard Horton avrà ottenuto pieno successo. Il suo comportamento, però, ha posto alcuni dubbi sul reale sostegno del Lancet alla politica degli open data e sulla credibilità del suo motto “The best science for better lives”, la miglior scienza per vite migliori. Se SputnikV invece non fosse approvato, sarà stata gettata un’ombra sull’affidabilità del processo di revisione e sulla già fragile credibilità dei vaccini da parte del pubblico.
Libera traduzione di un articolo del BMJ (1), Giovanni Peronato
1. Van Tulleken C. Covid-19: Sputnik vaccine rockets, thanks to Lancet boost. BMJ 2021; 373: n1108.