Jan Hendrik Schön e il problema della peer review

Sono rimasta sconcertata dalla vicenda di Jan Hendrik Schön che per anni ha pubblicato su prestigiose riviste internazionali dati di esperimenti che non aveva mai fatto o che aveva falsificato nel campo delle nanotecnologie. Come è possibile che il sistema di controllo scientifico abbia potuto fallire in modo così clamoroso (Schön ha pubblicato più di 70 articoli in due anni)?

Il mio sconcerto deriva soprattutto dal fatto che la frode riguarda un campo di ricerca sperimentale in cui sono necessari laboratori e apparati complessi, gruppi di lavoro relativamente grandi e finanziamenti sostanziosi. Mi stupirei di meno se la frode fosse avvenuta in un campo strettamente teorico. È chiaro che il sistema di controllo non può essere infallibile, e che sicuramente ogni anno vengono pubblicati lavori sbagliati, ma come è possibile che una frode di così ampia portata possa passare inosservata per anni?

Simona Cerrato
9 maggio 2003
La risposta alla sua prima domanda si trova meglio dopo aver considerato da vicino la sua sorpresa nel constatare che il fattaccio sia avvenuto nel campo sperimentale invece che in quello teorico.
Se lei ci pensa bene, una frode di quella grandezza non potrebbe proprio avvenire nel campo teorico, dove prima o poi un calcolo di verifica, anche parziale, può svelare la natura fraudolenta di alcuni dei lavori in questione.
Nel campo sperimentale invece, se i dati di un esperimento difficile da fare vengono inventati, è molto più difficile e lungo fare le verifiche necessarie per scoprire la frode.
Per esempio, di fronte all'accusa che alcuni dei suoi dati non potevano essere riprodotti in esperimenti di simile natura fatti da altri, il Dr. Schön si difese con successo per un po' di tempo, dicendo che la purezza dei suoi campioni (notoriamente difficile da misurare) era più elevata di quella dei campioni usati negli esperimenti di verifica.

Nel campo teorico la purezza della grafite delle matite usate per scrivere le equazioni del lavoro non è certo un fattore importante nella determinazione della validità delle stesse!
Rimane il fatto che la frode è stata macroscopica e che il sistema di verifiche in uso normalmente non solo non ha funzionato ma, dopo la scoperta della frode, ha anche rifiutato ogni responsabilità.
Mi riferisco con questo alle responsabilità degli editori delle riviste su cui i lavori fraudolenti sono apparsi e in particolare alle responsabilità della rivista Science che si vanta spesso di avere un sistema di verifica più rigoroso delle altre.
Dovuto alla scarsità di dettagli sperimentali presente nei lavori pubblicati di solito su Science (dovuti sia ai limiti di spazio che allo stile "pubblicitario" imposto dal team editoriale) i referee di ciascun lavoro non sono in buona posizione per scoprire una frode dove tutti i dati sono inventati.
Il team editoriale invece è in un'ottima posizione per capire che un giovane che sottomette una serie di lavori bellissimi uno dietro l'altro (a un ritmo umanamente insostenibile) sta chiaramente facendo cose che andrebbero messe sotto il microscopio di un esame accurato da parte di tutti.
Per far capire che il mio non è il così detto "senno di poi" (e solo per questo) posso far presente che 5 mesi prima che lo scandalo diventasse di pubblico dominio, dopo aver dato una breve occhiata al curriculum vitae della persona in questione, io scrissi un messaggio a un collega nel quale sostenevo che su quel giovane si sarebbe dovuta sviluppare un'indagine per verificare possibili infrazioni all'etica professionale.
L'editore di Science ha invece, secondo me a torto, rigettato con decisione ogni responsabilità nella faccenda, aiutato in questo da gran parte della comunità scientifica che continua, secondo me pure a torto, a considerare il riuscire a pubblicare un lavoro su quella rivista un grande successo scientifico.
Perché ciò stia succedendo, e dove questo stia portando la Scienza, intesa come il bagaglio di conoscenze in corrente sviluppo, merita una lunga discussione, che sarà bene però rimandare a un'altra occasione.
Giacinto Scoles Dipartimento di Chimica e Istituto dei Materiali, Università di Princeton (USA), e Settore di Teoria della Materia condensata, SISSA, Trieste
Per quanto possa sembrare controintuitivo, settori di ricerca sperimentali ad alta specializzazione tecnologica possono favorire frodi scientifiche come quella di Schön. Spiegare come funziona il meccanismo di verificazione scientifica di una scoperta, il cosiddetto peer review, è utile per capire meglio questa argomentazione.
Il sistema del peer review è relativamente giovane rispetto al metodo scientifico moderno: nacque, infatti, in modo occasionale a metà dell'Ottocento ma venne utilizzato stabilmente solo a partire dalla prima guerra mondiale negli Stati Uniti. La decisione di applicarlo fu legata alla necessità di assegnare finanziamenti statali alla ricerca attraverso il National Research Council, al fine di stabilire in maniera formale quali progetti avessero i requisiti per poter essere accettati dall'intera comunità scientifica.
Attualmente, il peer review è considerato il valore aggiunto di una rivista, grazie a una serie di funzioni come l'eliminazione di articoli palesemente errati, ridondanti o copiati, o l'attribuzione della priorità di una scoperta pubblicata.
Questa la dinamica: l'editore o il responsabile del comitato scientifico di una rivista chiede a due o tre scienziati (ma possono essere anche di più) di effettuare il controllo di un articolo. Gli scienziati interpellati lavorano a titolo gratuito e in maniera anonima, visto che di norma non conoscono il nome dell'autore dell'articolo che revisionano. In genere, tanto più la rivista è prestigiosa, più autorevoli sono gli scienziati a cui viene chiesto di collaborare.
Il sistema del peer review è considerato più o meno universalmente come una sorta di "migliore dei mondi possibili": infatti, nonostante abbia una serie di punti critici, è un sistema che funziona nella maggior parte dei casi. Il caso di Jan Hendrik Schön deve essere considerato proprio come un esempio dell'imperfezione del meccanismo. Il suo gruppo di lavoro dichiarò nel 2001 di aver creato chimicamente dei circuiti elettronici su scala molecolare nei quali le singole molecole erano in grado di commutare e amplificare i segnali elettrici.
La notizia venne considerata rivoluzionaria in quanto apriva una strada alternativa alla tradizionale elettronica basata sul silicio, limitata dalle dimensioni fisiche dei materiali stessi: i nuovi invertitori di tensione, un milione di volte più piccoli di un granello di sabbia, facevano sognare microchip e schede di memoria centinaia di volte più piccole delle attuali, caratterizzati da basso costo e semplicità di produzione.
In situazioni simili, quando si ha a che fare con laboratori che utilizzano tecnologie molto all'avanguardia, è possibile che nessuno (o pochissimi al mondo) sia in grado di verificare materialmente i risultati di un esperimento. È anche possibile che i referee interpellati non abbiano le competenze o le strumentazioni adatte a poter capire se un lavoro sia corretto o meno: questo è il caso di Schön. Da un punto di vista puramente formale la sua ricerca non creava particolari problemi, tanto da spingere i reviewers di Nature a sospettare della manomissione dei dati: la puzza di bruciato si è cominciata a sentire quando un gruppo di scienziati della IBM ha provato a replicare gli esperimenti, rendendosi conto che quei risultati mettevano in crisi alcuni principi fondamentali della fisica. Solo in quel momento venne istituita eccezionalmente una commissione d'inchiesta per indagare sull'operato del ricercatore tedesco che ha portato all'accusa e al suo licenziamento dai Laboratori Bell di Murray Hill nel New Jersey.
Gli entusiasti del sistema di peer review minimizzano la faccenda sostenendo che alla fine, comunque, la comunità è riuscita a dire che quelle ricerche andavano rifiutate, seppure con un certo ritardo. Al contrario, i suoi detrattori affermano che questo è solo uno dei tanti casi che mette in evidenza l'inadeguatezza del meccanismo di revisione.
Coloro che lo criticano, inoltre, pensano che il peer review spinga i referee a plagiare gli articoli revisionati, a ritardare gli articoli concorrenti e a rifiutare spesso lavori validi non compresi del tutto (esiste una lunga lista di articoli rifiutati a una prima lettura che hanno poi valso il premio Nobel ai propri autori).
All'interno della comunità scientifica è in corso un forte battito sul peer review. Nei prossimi anni sapremo se questo verrà sostituito da altre forme di verifica dei contenuti o, più semplicemente, adattato per far fronte alle nuove esigenze della produzione scientifica.
Mauro Scanu Comunicatore scientifico

© Copyright SISSA - Scuola Internazionale Superiore di Studi Avanzati - Trieste (Italy) - 2001-2011