Hi ha mentides, grans mentides…

i estadística. Reconeixem-ho, a tots ens han dit alguna vegada aquesta frase. I a tots ens ha fet sentir certa ràbia, probablement nascuda d’una dosis o dos d’orgull professional. Alhora, la majoria d’estadístics som força crítics amb les xifres i conclusions que ens bombardegen a diari mitjans, gent del nostre entorn i també revistes científiques de primer nivell. Potser especialment amb les darreres, donat el seu impacte i suposada objectivitat. En altres paraules, reconeixem que l’estadística és una eina poderosa tant en els seus bons com en els seus mals usos.

Fa escassos dies Manel Esteller, un dels nostres geneticistes de major nivell i projecció internacional, oferia una visió crítica de l’estadística a El Periódico (http://www.elperiodico.com/es/noticias/opinion/quiza-2329562). L’article és poc afortunat en desmerèixer camps sencers com les matemàtiques i la filosofia per no “aportar res de llum al món”, tot i reconeixent el seu biaix com a empirista empedernit. Per rebatre tal barbaritat no calen arguments, però suggeriré que repassi les matemàtiques de la teoria de la relativitat d’Einstein i la tabula rasa d’Aristòtil (fonament pels empiristes de segles veniders).

És potser més curiosa la crítica a l’estadística, disciplina empírica per excel·lència i que ell mateix ha emprat de forma extensiva als seus estudis d’epigenètica. Malgrat estar nominalment adreçada a tota l’estadística, en realitat el Dr. Esteller es centra en els seus mals usos. Així doncs estem davant un cas d’escepticisme davant metodologia poc rigurosa, interpretacions mal fonamentades en les dades, i una aproximació a la recerca exclusivament basada en numerologia. I aquí és on toquem òs, perque naturalment hi estem d’acord. Aquests mals usos resten credibilitat a la nostra disciplina i a la recerca científica en general.

Què podem fer per pal·liar aquest problema? Dos ingredients bàsics són entrenar estadístics professionals i millorar l’educació dels investigadors en l’ús (i el mal ús) de l’estadística. Com tots sabem, tenim mancances importants en ambdós aspectes. Però això no és suficient, cal que els que ja hem rebut aquest entrenament ens involucrem de forma pro-activa. La meva experiència treballant en el camp de la genètica m’ha mostrat que, més enllà de proporcionar una sèrie de resultats, un dels nostres rol principals és ajudar a interpretar-los i comprendre les seves limitacions. Aquesta darrera part implica que, de vegades, hem de fer de poli dolent. I no passa res, és part de la nostra feina. En aquest sentit vull destacar els estadístics Kevin Coombes i Keith Baggerly, del MD Anderson Cancer Center, com a gran exemple d’ètica professional. Es tracta d’un cas sonat, on van iniciar els que ells anomenen Bioinformàtica forense, i que va atreure l’atenció del NY Times (http://www.nytimes.com/2011/07/08/health/research/08genes.html?_r=0) i del programa 60 minutes de la cadena CBS (http://www.cbsnews.com/video/watch/?id=7398476n).

Resumint molt la història, el 2006 l’oncòleg Anil Potti guanyà fama internacional en publicar a Nature Medicine que podia determinar el tipus òptim de quimioteràpia a partir del perfil d’expressió gènica del tumor primari (http://www.nature.com/nm/journal/v12/n11/abs/nm1491.html). És a dir, el Sant Grial de la medicina personalitzada. Baggerly i Coombes van detectar nombrosos errors i incoherències que invalidaven els resultats (http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aoas/1267453942). Van barallar-se molt i aconseguir cert ressò (feien unes presentacions d’allò més apassionades). Finalment es va confirmar que els resultats eren incorrectes i que el Dr. Potti era culpable de frau (fins i tot havia falsificat parts del seu CV). Nature Medicine finalment va retirar l’article el gener del 2011. És un cas terrible. En aquests 5 anys el Dr. Potti no només va ser una super-estrella i rebre finançament tant federal com privat molt substancial, sino que també va enganyar pacients per fer de conillets d’indies en els seus assatjos clínics.

Si bé la metodologia emprada a l’article del 2006 era molt millorable, la culpa de la tragèdia no fou ni de l’estadística ni de les dades. Fou del seu mal ús i una combinació perillosa d’incompetència i manca d’ètica professional. I els herois del dia, uns estadístics.

David Rossell (Institut de Recerca Biomèdica, IRB Barcelona)

Galeria | Aquesta entrada s'ha publicat en Ho portem a la sang! i etiquetada amb , , , , . Afegiu a les adreces d'interès l'enllaç permanent.

5 respostes a Hi ha mentides, grans mentides…

  1. Erik ha dit:

    Felicitats David,
    Suposo que Manel Esteller ja s’ha penedit d’aquestes maleïdes frases i no tiraré més llenya al foc. Més em dol que el representant dels empresaris usi la seva tarima per desacreditar xifres estadístiques. Com repetim, les dades són informació, i si les novetats no ens agraden, matar el missatger no és més que la primera reacció visceral davant la frustració: ‘negar’.
    Tenim molta tasca educativa per davant. Els economistes i els juristes inventen bancs i lleis per protegir la propietat. Que s’han d’actualitzar quan apareixen els taurons. A la taula rodona ‘trials and Truths’ (http://www.statistics2013.org/statistics2013-global-supporters/activities/#past), Rosa Lamarca ens va mostrar el nivell de rigor darrere d’un desenvolupament farmacèutic. Abans de ficar-nos un nou producte a la boca, demanem a les agències reguladores del medicament que enviïn inspectors “paranoics” a revisar l’autenticitat dels resultats. I Rosa Lamarca ha superat aquestes proves en 2 ocasions. Sabem fer-ho! (Bé, si em deixeu utilitzar el plural …).
    En aquesta mateixa taula rodona, davant les preguntes de l’audiència sobre la necessitat d’hipòtesis prèvies, Stephen Senn va fer broma: “gaudeixi els seus inesperats resultats significatius,… perquè no els veurà mai més”.
    I per acabar amb els que menyspreen l’Estadística, una cita del nostre veterà col · lega Albert Cobos: “què atrevida és la ignorància”.

  2. AlbertBonillo ha dit:

    Entrada necessària.

    No coneixia l’article d’Esteller i tinc una sensació ambivalent amb ell. En moltes coses de les que diu té raó. Altres són coses tretes de context, i altres ignorància. La crítica de més pes que li faria és que no passaria un procés de peer review: això li asseguro.

    Intentem, però treure’n profit. És cert que:

    1) En cert àmbits, s’abusa de ” l’Estadística” i, en alguns casos, certs membres del gremi en son culpables. Ens fem un fart d’explicar (i fer) que primer la hipòtesi i després l’anàlisi, i molts companys ens ignoren per la pressió per publicar i ho fan a l’inrevés, que és la crítica de més pes que fa Esteller.

    2) Ens expliquem poc i malament: divulguem fatal. No tenim cap John Allen Paulos a casa i això és un demèrit nostre. Però també és cert que en aquest país els números són el dimoni (i l’article d’Esteller n’és un paradigma) ningú et permet divulgar ni en petit comité. Un exemple d’estar per casa: he estat incapaç de fer entendre als meus amics íntims a què em dedico: no m’escolten. I no és culpa meva.

    3) Part de la divulgació que hem de fer és de denúncia d’aquestes informacions. No hauria de fer, algú (a mi no em mireu, que sóc un mindundi), un article de rèplica a d’Esteller? Aprofitem l’escepticisme per predicar. I fem´ho de manera didàctica, que ho entengui el veí del 3er.

    4) El determinisme està superat. Serveix (i molt) en certs àmbits científics, però som a l’era de lo probabilístic. Això només es pot negar per ignorància.

    La part bona de tot plegat: sempre tindrem feina i poca competència🙂

  3. Boris G ha dit:

    Yo creo que este Esteller es simplemente un energúmeno. Si miráis la definición en el diccionario de la Real Academia veréis que no es legalmente punible lo que estoy diciendo y, por tanto, lo reafirmo. Per bueno, yo también haré una frasecita que quizá algún día será histórica:
    HAY IGNORANTES, GRANDES IGNORANTES Y ….. M. ESTELLER !!!

  4. Xavier Tort-Martorell ha dit:

    Dos comentaris:
    La frase de les grans mentides ha estat atribuïda entre d’altres a Mark Twain. Em van assegurar que es de Disraeli (el premier Anglès) i que no la va dir en sentit pejoratiu per l’estadística sinó tot el contrari, com a oposat a les grans mentides…

    Respecte l’estadística, l’empirisme, la ciència etc. us recomano l’article de Xiao-Li Meng a l’American Statitsticain: Desired and Feared—What Do We Do Now and Over the Next 50 Years? http://amstat.tandfonline.com/doi/abs/10.1198/tast.2009.09045?journalCode=utas20

    • Erik ha dit:

      En la mateixa línia, Altman segueix elaborant guies per permetre la reproductibilitat de les anàlisis i augmentar així la credibilitat de l’estadística. Mireu a la pàgina principal de EQUATOR (http://www.equator-network.org/home/) les SAMPL guidelines. (Aquestes són de lliure accés!)

Deixa un comentari

Fill in your details below or click an icon to log in:

WordPress.com Logo

Esteu comentant fent servir el compte WordPress.com. Log Out / Canvia )

Twitter picture

Esteu comentant fent servir el compte Twitter. Log Out / Canvia )

Facebook photo

Esteu comentant fent servir el compte Facebook. Log Out / Canvia )

Google+ photo

Esteu comentant fent servir el compte Google+. Log Out / Canvia )

Connecting to %s