Indagare sulla "rotazione" nelle riviste scientifiche
Un recente studio ha esaminato la "rotazione" in articoli di ricerca in psichiatria e psicologia. Gli autori dello studio hanno trovato spin in più della metà degli abstract che hanno analizzato.Quale impatto potrebbe avere sulle decisioni dei medici?
Poiché le notizie e i media competono per le visualizzazioni, a volte possono esagerare i titoli e i contenuti per attirare il lettore.
Sebbene molti credano che le riviste scientifiche siano alcune delle fonti di informazione più affidabili, non sono immuni dal desiderio di essere lette e condivise.
Uno studio recente si proponeva di valutare quanto "spin" gli autori usassero negli abstract di articoli di ricerca pubblicati su riviste di psicologia e psichiatria.
Hanno scelto di guardare gli abstract perché riassumono l'intero documento e i medici spesso li usano per aiutare a informare le decisioni mediche.
Cos'è lo spin?
In questo studio, gli autori delineano la loro definizione di spin come segue:
"[L] uso di strategie di segnalazione specifiche, per qualsiasi motivo, per evidenziare che il trattamento sperimentale è benefico, nonostante una differenza statisticamente non significativa per l'esito primario, o per distrarre il lettore da risultati statisticamente non significativi."
Gli autori hanno pubblicato i loro risultati sulla rivista BMJ Evidence Based Medicine. Hanno esaminato i documenti delle sei principali riviste di psichiatria e psicologia dal 2012 al 2017.
Le riviste incluse JAMA Psychiatry, il American Journal of Psychiatry, e il British Journal of Psychiatry.
In particolare, i ricercatori si sono concentrati su studi randomizzati controllati con "endpoint primari non significativi". L'endpoint primario di uno studio è il risultato principale dello studio e "non significativo" in questo contesto significa che, statisticamente, il team non ha trovato prove sufficienti per sostenere la loro teoria.
Spin è disponibile in molte forme, tra cui:
- riportando selettivamente i risultati, in cui gli autori menzionano solo determinati risultati
- P-hacking, in cui i ricercatori eseguono una serie di test statistici ma pubblicano solo i dati dei test che producono risultati significativi
- uso inappropriato o fuorviante di misure statistiche
Quanto è comune lo spin?
In totale, hanno analizzato gli abstract di 116 articoli. Di questi, il 56% ha mostrato segni di rotazione. Ciò includeva la rotazione nel 2% dei titoli, nel 21% delle sezioni dei risultati dell'abstract e nel 49% nelle sezioni conclusive dell'abstract. Nel 15% degli articoli, lo spin era presente sia nei risultati che nelle sezioni conclusive degli abstract.
I ricercatori hanno anche studiato se il finanziamento del settore fosse associato allo spin. Forse sorprendentemente, non hanno trovato prove che il sostegno finanziario dell'industria aumentasse la probabilità di rotazione.
I risultati sono preoccupanti. Sebbene la diffusione dei media in generale sia preoccupante di per sé, i medici utilizzano documenti di ricerca per aiutare a guidare le decisioni cliniche. Come scrivono gli autori:
"I ricercatori hanno l'obbligo etico di riferire in modo onesto e chiaro i risultati della loro ricerca". Tuttavia, nella sezione dell'abstract, gli autori possono selezionare e scegliere i dettagli che includono. Gli autori dell'attuale studio hanno dubbi su cosa questo potrebbe significare per i medici:
“Aggiungere uno spin all'abstract di un articolo può fuorviare i medici che stanno tentando di trarre conclusioni su un trattamento per i pazienti. La maggior parte dei medici legge solo l'abstract dell'articolo per la maggior parte del tempo. "
Le implicazioni
Sebbene i ricercatori non abbiano studiato a fondo gli effetti dello spin, gli autori puntano a uno studio che conferma il loro punto di vista.
In esso, gli scienziati hanno raccolto abstract dal campo della ricerca sul cancro. Tutti erano studi randomizzati controllati con un esito primario statisticamente non significativo. Tutti gli abstract includevano spin.
I ricercatori hanno creato una seconda versione di questi abstract in cui hanno rimosso lo spin. Hanno reclutato 300 oncologi come partecipanti. I ricercatori hanno fornito a metà di loro un abstract originale con spin e l'altra metà senza spin.
In modo preoccupante, i medici che hanno letto gli abstract con lo spin hanno valutato l'intervento trattato nel documento come più vantaggioso.
Come scrivono gli autori del recente documento di studio: “Coloro che scrivono manoscritti di sperimentazioni cliniche sanno di avere una quantità limitata di tempo e spazio in cui catturare l'attenzione del lettore. È più probabile che i risultati positivi vengano pubblicati e molti autori di manoscritti si sono rivolti a pratiche di segnalazione discutibili per abbellire i loro risultati ".
Un altro studio, pubblicato nel 2016, estende la portata di questo problema. Hanno studiato in che modo i revisori tra pari - scienziati esperti che esaminano gli articoli prima della pubblicazione - hanno influenzato la rotazione. Hanno scoperto che nel 15% dei casi, il revisore tra pari ha chiesto agli autori di aggiungere spin.
L'attuale studio presenta alcune limitazioni. Ad esempio, questi risultati potrebbero non essere applicabili ad altre riviste o campi di ricerca. Notano anche che l'identificazione dello spin è uno sforzo soggettivo e, sebbene abbiano impiegato due estrattori di dati indipendenti, c'è spazio per l'errore.
Resta da vedere l'esatta dimensione del problema dello spin nella ricerca medica, ma gli autori concludono che "[a] autori, editori di riviste e revisori paritari dovrebbero continuare a vigilare sullo spin per ridurre il rischio di relazioni distorte dei risultati degli studi. "
