Qualche anno fa l’epidemiologo J. Joannidis pubblicava un articolo dal titolo dirompente: Why Most Published Research Findings Are False.(1) Per dimostrare il suo assunto non affrontava il tema del conflitto di interessi, dei bias di pubblicazione e così via, ma procedeva in una rigorosa quanto complessa (almeno per i non addetti ai lavori come lo scrivente) disamina statistica. Ci arriva ora una conferma della validità dei suoi sospetti.
Il famoso studio PREDIMED, pubblicato nel 2013 nel NEJM,(2) che dimostrava come la dieta mediterranea riduca in rischio cardio-vascolare, è stato ritirato.(3) Nello stesso numero della rivista è stato poi ripubblicato, dopo il ricalcolo con l’eliminazione del 20% circa dei pazienti (1588 su un totale di 7447) perché non correttamente randomizzati (in molti casi la randomizzazione era avvenuta per gruppi familiari invece che per ogni singolo componente).(4) Fortunatamente i risultati sull’end point primario sono stati pienamente confermati. Tutti contenti allora? Nemmeno per sogno. Hilda Bastian, una delle fondatrici della Cochrane Collaboration, non è rimasta soddisfatta, poiché lo studio esce comunque mutilato; l’esclusione dei 1588 pazienti non correttamente randomizzati non ha permesso di valutare uno dei tre end point secondari, la riduzione del numero di stroke. Con una ripubblicazione corretta, non si può cancellare l’amara sensazione del lettore che confida nella validità dei grandi RCT pubblicati su altrettanto grandi riviste biomediche, e si domanda ora quanti di essi siano stati correttamente valutati dal punto di vista statistico.
Una risposta anche se parziale ci viene da John Carlisle,(6) un anestesista inglese che ha analizzato oltre 5000 RCT pubblicati su riviste mediche tra cui JAMA (518) e NEJM (935). Egli ha verificato se i dati demografici di ogni singolo studio (età, peso corporeo, etc.) siano confrontabili con quelli ottenuti con una randomizzazione casuale. Se i due dati (quello pubblicato e quello da lui ottenuto) si discostavano in modo estremamente marcato, tale da poter essere casuale in meno di 1 caso su 10.000, va sospettato l’errore.(7) Così ha scoperto che il 2% degli RCT non aveva avuto una randomizzazione corretta, tra questi una dozzina pubblicati su JAMA e nove nel NEJM, compreso lo studio PREDIMED 2013. Certo, potrebbe trattarsi di una svista, di un errore involontario, ma si tratta pur sempre di errore che rende inaffidabili i risultati. Se poi ciò accade nel 2% degli RCT pubblicati il fatto comincia a puzzare di bruciato. É sperabile, si chiede Nigel Hawkes sul BMJ, che il metodo usato da Carlisle non sia usato all’incontrario, per taroccare come corrette randomizzazioni che corrette non sono.(6)
A cura di Giovanni Peronato
- Ioannidis JPA. Why most published research findings are false. PLoS Med 2005;2(8):e124
- Estruch R et al. Primary prevention of cardiovascular disease with a Mediterranean diet. N Engl J Med 2013;368:1279-90
- Retraction and republication: Primary prevention of cardiovascular disease with a Mediterranean diet. N Engl J Med 2013;368:1279-90
- Estruch R et al. Primary prevention of cardiovascular disease with a Mediterranean diet supplemented with extra-virgin olive oil or nuts. N Engl J Med 2018;378:e34
- Mayor S. Sixty seconds on the Mediterranean diet. BMJ 2018;361:k2667
- Nigel Hawkes. Sixty seconds on the Carlisle method. BMJ 2017;357:j2942
- Carlisle JB. Data fabrication and other reasons for non-random sampling in 5077 randomised controlled trials in anaesthetic and general medical journals. Anaesthesia 2017;72:944-52