Molte volte abbiamo ospitato i commenti e le considerazioni di alcuni amici di CM che sollevavano dubbi sulla correttezza del sistema di revisione paritaria in materia di pubblicazioni scientifiche (qui un intervento di Teodoro Georgiadis). Gli stessi Rapporti IPCC sono ovviamente soggetti a tale sistema, esendo in sostanza delle analisi dei lavori disponibili sugli argomenti trattati (qui un’analisi dettagliata della revisione del 4AR).
Qualche giorno fa Maurizio Morabito mi ha segnalato una storiella divertente scritta da un ricercatore che ha disperatamente tentato di sottomettere un commento ad un articolo pubblicato su una rivista scientifica. Non è stato molto fortunato ma, di sicuro, non gli manca il senso dell’umorismo.
La storia la trovate qui.
![Reblog this post [with Zemanta]](http://img.zemanta.com/reblog_e.png?x-id=c78e2846-e925-4ad4-938c-1cc141e3e2da)
@Gravina
Direi commento non lontano dalla realta’.
Tutta questa faccenda nasce un po’ come la frase alla fine delle e-mail “non stampare questo messaggio se non e’ indispensabile cosi’ risparmi la carta, gli alberi ecc. ecc.”.
Se una pubblicazione non e’ citata allora e’ carta da macero – e’ la chiara indicazione degli indici.
Se pero’ facciamo il percorso a ritroso forse ci troviamo di fronte a cose non del tutto lineari come principio filosofico.
Passo 1
Un ricercatore oggi fa carriera se ha un H-index elevato. L’H-index e’ quel numero N di propri lavori che hanno ricevuto almeno N citazioni.
Primo inghippo: 10 valori citati 7 volte H=7, 20 citati 7 Volte H=7, 40 lavori citati 7 volte H=7. Se i tre ricercatori hanno 40 anni di lavoro alle spalle questo vuole dire che il primo ha scritto un lavoro ogni 4 anni, il secondo ogni 2 ed il terzo un lavoro all’anno. Con buona pace del contribuente i tre ricercatori hanno una valutazione scientifica esattamente uguale uno all’altro. Strano non e’ vero?
Secondo inghippo: valgono le autocitazioni. E poi, a questo punto, puo’ anche nascere un e@commerce delle citazioni dove se tu citi la mia…
Terzo inghippo: Se nella tua vita hai scoperto l’essenza della materia oscura, come sconfiggere il cancro, come teletrasportare la gente, ebbene il tuo H-Index sara’ H=3, potrai essere citato per ogni lavoro un fantastilione di volte ma H sempre al max =3
Passo 2
Per avere un H-index elevato devo essere citato, quindi devo cercare riviste molto lette e che appartengano a quella lista di riviste che da’ luogo all’altro famoso indice bibliometrico Impact Factor, che e’ null’altro che un indice di quanto la rivista nel suo complesso sia letta.
Riviste ultraspecialistiche tendono ad avere IF proporzionalmente piu’ bassi di riviste piu’ generalistiche tipo Science o Nature (generalistiche non vuol dire basso livello, vuol dire che ci pubblicano sia astrofisici che biologi molecolari e quindi tendenzialmente lette da tutti).
Nelle riviste ultraspecialistiche si tende a riportare tutti i dettagli di un esperimento, di un conto ecc. Questo generalmente permette di ripetere appunto l’esperimento, il conto ecc. ovvero di applicare il principio di falsificazione.
Nelle riviste generalistiche questo succede raramente perche’ lo spazio concesso al singolo lavoro e’ molto poco, nasce invece un vero e proprio stile di ‘accattivazione-breve’ dei lavori (leggere un articolo di Nature per credere 🙂 ), un po’ come descritto nel lavoro sul “Comment” che ha dato luogo a questi post.
Quindi si tende a convergere su particolari tipologie di riviste altrimenti non ci si fa conoscere, riviste che spesso non sono neppure focalizzate nel settore di lavoro nel quale scrivo.
Passo 3
“Mai lasciare la strada vecchia per la nuova” sara’ il motto imperante nella scienza del 2000: eh gia’, perche’ una strada consolidata permette pubblicazioni piu’ veloci e citazioni piu’ numerose. Cercare nuove strade espone a dubbi, critiche ecc che ritardano la pubblicazione ed in aggiunga la strada nuova puo’ non essere immediatamente compresa e cosi’ addio citazioni.
Il risultato netto e’: copiare, non dissentire, adeguarsi al consenso che vige in quel particolare settore, e citarsi addosso il piu’ possibile.
Tutto questo non suona un po’ strano? Per gente che vive nella torre d’avorio bisogna dire che la tecnica dell’advertisement non e’ materia poi cosi’ oscura. E pensare che credevamo che questi scienziati fossero dei fisici-matematici chini su supercomputer a modellare il sistema globale per vedere tutti i piccoli particolari a tutte le scale dei flussi di entalpia. Invece, sta diventando un po’ un mercatino rionale di giornalini e figurine usate: questa ce l’ho, questa no…
@ Georgiadis
In buona sostanza oggi, uno scienziato è trattato come un blog? Ricordo che per calcolare il cosiddetto SEO Index (che poi serve ad attrarre investimenti pubblicitari), si va a vedere quante volte il blog è stato citato/linkato nell’intera blogosfera.
Spero di sbagliarmi, ovviamente.
Io sono molto meno convinto che il sistema PR funzioni bene (e forse saro’ il primo a negarlo). Forse funzionava bene: adesso non solo non ne sono sicuro ma incomincio ad avere evidenze del contrario.
Non funziona, o non da’ piu’ garanzie, quando, come analizzato in diversi lavori statistici, il sistema di relazioni tra editors, membri dei comitati editoriali e responsabilita’ in ricerche si intrecciano oltre i limiti fisiologici (tanto da fare utilizzare da qualcuno il termine ‘incestuoso’).
Il sistema poi si sta via via commercializzando: nei concorsi prende sempre piu’ piede l’utilizzo di indici bibliometrici quali impact factor e H-index, indici dettati non dalla comunita’ scientifica (anche se nascono come tentativo scientifico per ‘normare’ il sapere) ma risultato di scelte commerciali dettate dall’editoria scientifica. Suggerisco la lettura “The tyrrany of the impact factor” http://www.ishs.org/news/?p=147 .
E siamo di nuovo al sistema del consenso dove i fattori commerciali si mescolano a quelli scientifici.
Oggi si vorrebbero normare i ricercatori sulla base di un indice che e’ legato a quante pubblicazioni sono state citate un certo numero di volte su riviste accettate dal sistema commerciale (che qualcuno vorrebbe come le piu’ autorevoli, cosa che dovrebbe pero’ dimostrare in modo un po’ piu’ rigoroso).
Applicando questi criteri, scienziati che hanno cambiato il corso della storia probabilmente non avrebbero ricevuto neppure un posto da bidello.
Pero’ piace molto al grande “circo ambientale” (nel quale l’H-index va molto di moda), settore che dimostrera’ la propria utilita’ solo intorno al 2100 quando saremo morti di caldo: dico bene?
Dico male!?
Srano?! Anch’io ero convinto che ambientale non fosse solo questo, ma poi mi stanno convincendo che e’ solo CO2!
Il sistema di peer reviewing funziona bene. Non ho ancora sentito una persona negarlo (il caso qui riportato penso si possa ascrivere alla fisiologica imperfezione di ogni sistema umano). Quello che penso è che questo sistema sia lo strumento adatto per “il delitto perfetto”. Un comportamento doloso, a monte, può tranquillamente avvalersi di questo sistema, senza creare la minima smagliatura. Probabilmente è questo che viene imputato al pr. Ma magari ho interpretato male i numerosi interventi di questo sito.
Ah, in famiglia pubblichiamo tutti, soprattutto in campo medico, quindi mi sono permesso di dare il mio 0.0001%.
M.G.
PS: relativamente al caso qui riportato, ne avrei di aneddoti da riportare su colleghe e colleghi alle prese con “Le 12 fatiche di Asterix”…
Storia interessante. L’articolo dello scandalo, per chi fosse interessato è questo:
http://www.opticsinfobase.org/abstract.cfm?&uri=ol-32-24-3558
mentre il commento che tanti dolori a portato è il seguente:
http://www.opticsinfobase.org/abstract.cfm?URI=ol-34-17-2602
La rivista della discordia è Optics Letters, un’ottima rivista nel campo dell’ottica. Stranamente è l’unica rivista con la quale ho avuto problemi a pubblicare. Tempi di referaggio biblici, almeno nel mio caso mentre di solito sono piuttosto rapidi, e articolo respinto nonostante i referee l’avessero approvato, seppur con major revision. Da notare che uno dei due referee avesse fatto un commento completamente errato. Risultato, l’articolo è stato mandato ad un’altra rivista (nanotechnology), ed è finito sugli highlights di quest’ultima…
Il processo di peer-review ha dei difetti…ma funziona piuttosto bene.
Cordiali Saluti.
Giovanni Pellegrini