Existe uma crise de reprodutibilidade na ciência?

A Nature produziu um vídeo a respeito dos resultados de uma pesquisa recente com cientistas no que se refere à reprodutibilidade de resultados. A ciência funciona pela colaboração e comparação de resultados, e a reprodutibilidade é um aspecto fundamental do que chamamos de “revisão por pares”. Se um experimento não pode ser reproduzido em outro lugar por outros pesquisadores independentes, a credibilidade da descoberta é posta em cheque. O problema é que, aparentemente, cada vez mais a reprodutibilidade tem sido um problema e não uma solução, por isso a Nature perguntou a 1.576 cientistas o que pensam a respeito do assunto, como parte de uma pesquisa online.

Os resultados da pesquisa online da Nature são de certa forma preocupantes: 52% acredita que há uma crise significativa na reproductibilidade, e até 90% acredita que há pelo menos uma leve crise.

Ainda segundo a pesquisa, cerca de 70% dos pesquisadores respondentes disseram ter tentado e falhado em reproduzir os experimentos de outro grupo. E piora: cerca de metade dos respondentes disse ter tido dificuldades de reproduzir os próprios experimentos. Vale lembrar que esse não é um tema novo: em 2015, a própria Nature publicou os resultados de uma pesquisa que demonstrou que mais da metade dos estudos em psicologia simplesmente não podem ser reproduzidos.

Isso significa que a maioria dos experimentos não funcionam e os cientistas estão simplesmente errados? Os próprios cientistas acreditam que não. A maioria ainda confia nos resultados publicados em sua área – sendo químicos e físicos os mais confiantes entre os respondentes.

Existem diversos motivos pelos quais não se consegue reproduzir um experimento, muitas delas ridículas, mas verdadeiras: às vezes balançar sem querer o recipiente de uma amostra e até subtis variações do ambiente (temperatura, etc) podem modificar as condições necessárias e perturbar os resultados.

Mas, de acordo com os respondentes, há um motivo bem mais relevante para a dificuldade de reproduzir experimentos: a seletividade na publicação dos dados. Abordagens duvidosas como selecionar os dados de forma particular a fim de direcioná-los para uma hipótese específica gera publicações com informações seletivas, e portanto de difícil reprodutibilidade.

É claro que não é necessariamente o caso destes cientistas serem pessoas intelectualmente desonestas. O viés na forma de publicação de resultados pode vir de forma natural e não consciente, pois tendemos a reforçar aquilo em que acreditamos – e esse é exatamente o motivo pelo qual existe a revisão dos pares em primeiro lugar.

Mas, se a reprodutibilidade visa justamente diminuir os erros, mas não consegue porque os erros já vêm da própria publicação, qual é a solução? De acordo com a Nature, o “gargalo” está na orientação aos jovens pesquisadores, no uso de ferramentas estatísticas e no próprio design dos experimentos – que foram os elementos levantados como pontos críticos nessa questão. Ou seja, melhor orientação, uso correto da Estatística e design de experimentos mais robustos podem resolver o problema.

Particularmente, creio que a questão da revisão por pares pode e deve ser questionada, mas só será resolvida com um uso cada vez mais forte desta própria etapa da ciência. Em toda a cadeia da pesquisa científica, que vai da pesquisa propriamente dita até ao público, há diversos profissionais que podem contribuir com aspectos da revisão por pares, ao menos no nível de suas capacidades. Não só os próprios pesquisadores da mesma área, mas também jornalistas científicos e a própria população de interessados em ciência (ligados diretamente a ela ou não). É claro que alguém que não é cientista na área não terá como reproduzir um experimento, mas se possuir um conhecimento relativamente avançado em Estatística, por exemplo, especialmente na interpretação dos resultados, poderá apontar erros na divulgação dos dados que vai ajudar a manter a pesquisa (e a ciência como um todo) honesta.

Questionar a reprodutibilidade da ciência é relevante. Em alguns aspectos, a ciência acabou se tornando (não a prática em si, mas muito da percepção em relação ao conceito) uma ferramenta dada “como certa” pelas pessoas, e seus resultados aceites muitas vezes sem nenhum questionamento (esse é um grande problema especialmente na divulgação científica para o público em geral). E isso vai diretamente contra a essência da ciência: sem questionamento, não há progresso. Confiar no método é diferente de confiar nos resultados.

Métodos podem ser usados incorretamente, de forma consciente ou não. E, sendo o empreendimento científico um empreendimento humano, não há como descolar a produção científica do contexto sociopolítico e cultural em que está inserida. Interesses diversos (pessoais, econômicos, políticos, mentalidade do publish or perish, etc) sempre vão ser um obstáculo para a boa ciência. Cabe a cada um de nós, cientistas, jornalistas e entusiastas que entendem a importância da ciência, entender também a importância de fiscalizar a nós mesmos, para nos mantermos honestos, conosco e com a ciência que queremos levar adiante.

Referências:
Is There a Reproducibility Crisis in Science?
Over half of psychology studies fail reproducibility test