A Falsa Ciência – Parte I

A ciência é a busca da “verdade”. Não sabendo nós à partida qual é a “verdade”, torna-se inevitável tropeçar em mentiras. Felizmente, o escrutínio constante da verdade presente, conduz-nos à verdade futura, que é de certo mais verdadeira que a de hoje. Neste artigo de carácter informal vou reflectir sobre os vários problemas que afectam o progresso da ciência actual. Aconselho o leitor a rever o artigo Criar Ciência, onde junto ao final refiro sumariamente algumas das problemáticas.

No início de Maio, o “Last Week Tonight with John Oliver” abordou precisamente este tema (pode ver o vídeo no nosso artigo). Eis alguns dos aspectos mais importantes que foram mencionados:

1. “Estudos científicos mostram que…” – completar com alegação sensacionalista;
2. Estudos que se contradizem entre si (em nutrição, por exemplo);
3. Cientistas pressionados a publicar muito e de preferência resultados “interessantes”;
4. Problemas estatísticos (amostras reduzidas, p-hacking, etc.);
5. Falta de estudos de replicação.

O primeiro problema não concerne a ciência, mas a forma como esta é comunicada ao público em geral. Não é novidade para ninguém que os jornalistas têm duas preocupações essenciais: noticiar novidades e fazê-lo de modo a chamar a atenção do público (pois caso contrário o jornal não vende, ou o noticiário não tem audiências). Para escrever ou falar de algo convém compreender esse algo, caso contrário corre-se o risco de transmitir informação falsa ou incompleta sem o notar. Isto é de facto o que acontece: a esmagadora maioria do jornalismo que se faz sobre ciência é realizado por pessoas que não têm competências para o fazer. Se me permitem a especulação, é bastante provável que este seja um erro consciente e propositado! Trata-se de um atentado à deontologia jornalística, atentado este que é visto como necessário para conseguir suscitar o tal interesse junto do público alvo. Se é necessário deturpar os factos para tornar a ciência cativante, tal implica que a mesma é desinteressante? Não, mas sim. Por um lado, é claro que é interessante, pois é a busca de novo conhecimento que nos traz novas tecnologias, confortos, oportunidades, etc.; por outro, a ciência é por necessidade uma disciplina sóbria e metódica, que está imiscuída de tantos detalhes que pode parecer aborrecida ao olhar do leigo impaciente. Para responder a essa impaciência, o jornalista está muitas vezes confinado a um segmento curto no qual tem que resumir a mensagem do estudo científico. Infelizmente, resumir quase que implica colocar de parte detalhes que condicionaram o estudo e consequentemente as conclusões!

Chegamos assim ao segundo problema: a ciência contradiz-se a ela mesma? Não existe uma “verdade”? Como acreditar na ciência? Como distinguir os factos no meio do sensacionalismo? É fácil lembrar que devemos ter espírito crítico, mas como tê-lo em assuntos que não dominamos?

Sim, a ciência contradiz-se a ela mesma! É assim que ela evolui. “Então está a evoluir muito depressa!” – dir-se-á com sarcasmo. De facto, está mesmo a evoluir extremamente depressa, como nunca antes visto! Se “antigamente” um dado resultado era refutado ao fim de vários anos ou décadas, hoje pode ser refutado praticamente na mesma semana, pois muitas vezes uma dada hipótese pode estar a ser verificada por vários grupos de investigação em simultâneo. Haverá então duas ou mais “verdades”? Talvez! Note-se que uma dada hipótese pode ser condicionada por múltiplos parâmetros, não sendo necessariamente todos tidos em conta. Simplificando, de certo que o leitor já terá sido confrontado com questões de resposta “sim” ou “não”, onde a sua resposta seria “depende”. Quando se estuda o desconhecido não se sabe à partida quais as dependências inerentes, pelo que é necessário fazer suposições. Imagine, por exemplo, que se está a investigar uma pirâmide quadrangular:

Se a noção de que se trata de um objecto tridimensional for desconhecida, é possível que quem observe a base da pirâmide diga que se trata de um quadrado, e que quem a observe de lado diga que é um triângulo. Ambos fizeram uma constatação correcta, mas incompleta, porque partiram de uma suposição errada (a de que se tratava de um objecto bidimensional). O passo seguinte é repetir a experiência de modo a tentar compreender de que condições é que depende o resultado. Tal conduzirá a uma reformulação das suposições.

Assim, “verdades” contraditórias podem surgir do uso de diferentes suposições (mas não só). Note-se que nem sempre é claro quais são as suposições em causa. Sendo assim, quando nos deparamos com tais notícias antagónicas, em quem devemos acreditar? Não tome partidos, pois se não é um especialista e se não estudou o assunto, não terá razões para escolher. Seja céptico e mantenha-se atento aos desenvolvimentos subsequentes. Recordo que a ciência não é democrática, e como tal não faz sentido seguir o ideal de que “todos temos direito à nossa opinião”, pois em ciência não se discutem opiniões, mas sim factos. Por outro lado, não se leve o cepticismo ao extremo de deixar de “acreditar” na ciência, pois tal atitude é claramente injustificada. Se está neste momento a ler este artigo num computador ligado à internet, creio que não seja necessário lembrar que os computadores não são frutos que se colhem das árvores. (Sim, é praticamente inacreditável que se tenha que fazer esta ressalva em pleno século XXI, mas é provável que o leitor, tal como eu, já tenha encontrado alguém com este tipo de cepticismo.)

Em suma, temos que esperar que a ciência encontre as respostas. Os estudos científicos que são noticiados são actuais, e por isso tratam de ciência em desenvolvimento, na fronteira com o desconhecido. Não é por isso de estranhar que haja muitas vezes uma neblina de incerteza. Assim, não é justo comparar esta ciência com aquela que aprendemos na escola, que é ciência (mais ou menos) bem estabelecida. A incerteza sempre existiu, simplesmente quando olhamos para o passado apenas vemos a história que chegou aos livros, isto é, a ciência não refutada que sobreviveu até hoje.

Finalmente, como é que podemos ter espírito crítico para discernir o que é sensacionalismo? Além de cépticos, precisamos de ter um espírito algo circunspecto. O que é demasiado bom para ser verdade pode ser falso. O que parece ser uma implicação simplista entre duas coisas aparentemente sem relação, pode ser de facto simplista e condicionada. Não há atalhos. Se quer compreender algo terá que pesquisar sobre o assunto. Ler uma notícia é por norma insuficiente para se ficar informado! Na era da informação, o acesso a ela é fácil, mas exige esforço. Se recorrer à internet, tente confirmar a informação através de várias fontes independentes e com credenciais.

Passemos aos problemas que afectam a própria ciência. Mais uma vez, permitam-me que simplifique a forma como o sistema funciona: de um lado temos o capital e a vontade de gerar mais capital usando a ciência, do outro temos os recursos humanos (cientistas) que querem dedicar a sua vida (ou parte dela) à busca de novo conhecimento. Como investir e distribuir o dinheiro pelos recursos humanos? Como é evidente, promove-se o sucesso. Como medir o sucesso? Quantidade e qualidade. Até aqui nada de novo, é assim que a generalidade dos sistemas funciona. No caso dos cientistas, o produto dos seus esforços são em geral artigos científicos (ou patentes). A maioria dos artigos científicos tem a seguinte estrutura:

1. Título do estudo (por vezes o estudo é tão especializado que um título é um conjunto de jargão científico incompreensível ao comum dos mortais);
2. Resumo: descrição de um problema científico em aberto; enumeração dos métodos usados para estudar o problema; e nomeação dos resultados obtidos;
3. Introdução: aqui é detalhado o problema científico em aberto, bem como as abordagens que têm sido usadas para o estudar. Ou seja, os autores explicam a sua motivação para realizar o presente estudo, bem como de que modo é que a sua abordagem se compara e diferencia das metodologias já usadas em estudos anteriores;
4. Métodos: nesta secção descreve-se os tipos de dados analisados, a forma como foram obtidos, os modelos usados, etc. O nível de detalhe tem que ser tal que permita a outros cientistas serem capazes de reproduzir o mesmo estudo. Não são aceites receitas secretas ou caixas negras, tudo tem que estar claro e bem definido;
5. Resultados: aqui expõe-se o “produto” que adveio do uso dos métodos antes enunciados;
6. Discussão/ conclusão: finalmente, os autores discutem os resultados que obtiveram, referindo a forma como podem/ devem ser interpretados, a sua relevância, a forma como se comparam a resultados de estudos anteriores (confirmando-os ou refutando-os), o que sugerem ou implicam; as limitações do estudo; os passos seguintes; etc.
7. Bibliografia: detalhes das referências citadas no texto, de modo a que quem ler o presente estudo consiga encontrar os outros estudos que são referidos.

Quem fez relatórios na escola e/ou na universidade de certo que reconhecerá esta estrutura.

Bom, no que toca à quantidade, não há dúvidas: quantos mais artigos publicados, melhor! Ainda sem ter detalhado o que se entende por “qualidade”, podem desde já deduzir que a vontade de publicar mais artigos pode reduzir a qualidade de cada um deles. Infelizmente, assim é!

Compreendamos então a qualidade. Os artigos científicos são publicados em revistas científicas como a Nature e a Science. Existem milhares de revistas científicas diferentes, sendo que a maioria só publica artigos de uma dada especialidade (algumas, por exemplo, só publicam artigos sobre uma dada doença). O processo é simples: o autor envia o artigo para os editores da revista (também eles cientistas), estes lêem o artigo e decidem se o artigo se coaduna com os objectivos da revista, e se tal for o caso, o artigo é então enviado para alguns especialistas da área, independentes dos autores, para avaliarem o trabalho em causa. Por norma, os revisores irão ter em atenção se o trabalho é novo (e não uma repetição ou plágio de outro trabalho anterior); se a metodologia é adequada ao objectivo, se foi bem usada, se é clara, se não há erros, e se poderia ser repetida por outros que quisessem verificar os resultados; e se em geral o trabalho tem mérito (isto é subjectivo e depende do tipo de estudo em causa). Os revisores informam então os editores do seu parecer: o artigo deve ser aceite; o artigo deve ser aceite se os autores corrigirem certas coisas; o artigo tem que ser melhorado e só depois poderá ser novamente considerado para publicação; ou o artigo deve ser rejeitado. É muitas vezes possível aos autores responder às questões dos revisores, de modo a que ambas as partes se compreendam, e o artigo possa ser melhorado. Normalmente os autores não sabem quem são os revisores, o que impede (à partida) que haja falcatruas. Note-se que os revisores podem cometer erros quer por excesso, quer por falta de zelo. Além disso, os revisores normalmente só lêem o artigo e avaliam-no de acordo com o que sabem. Repetir o próprio estudo para verificar a validade dele seria o cenário ideal, contudo tal (quase) nunca acontece. É, portanto, possível publicar resultados falsos, e até não é muito difícil se tais resultados forem verosímeis. Já houve vários casos de fraude, como o de Jan Hendrik Schön em supercondutividade, ou de Hwang Woo-suk em clonagem de embriões humanos. Felizmente, a ciência tem um carácter cumulativo e retrospectivo que impede que tais fraudes permaneçam por muito tempo sem serem questionadas e refutadas. (Não obstante, é possível fazer-se fraude sem que a mesma possa ser alguma vez descoberta, nomeadamente em estudos estatísticos, em que há sempre uma chance de se encontrar um padrão inexistente por acaso. Por exemplo, se um estudo concluísse que nunca chove em Portugal em Agosto, não se poderia determinar se era uma fraude deliberada, em que os autores tinham escondido os contra-exemplos, ou se, por acaso, nos dados recolhidos pelos investigadores estava lá de facto esse padrão. Eventualmente, outros investigadores acabariam por demonstrar que esse estudo estava errado, mas isso não implicaria fraude do primeiro estudo.)

Como é claro, a qualidade de um artigo mede-se pelo seu conteúdo: pela originalidade da abordagem, pela pertinência dos resultados, pelas consequências que pode trazer, etc. Tudo isto só pode ser avaliado por especialistas, e requer a análise detalhada de cada artigo. Isto significa que avaliar a qualidade de um cientista de forma metódica é algo difícil e muito pouco prático caso não se considerem critérios mais gerais e grosseiros. O critério grosseiro de eleição é o impacto relativo dos artigos: um artigo que é muitas vezes citado (na tal bibliografia) por outros artigos, é à partida um artigo importante na especialidade! É como na sociedade: as pessoas famosas/ “importantes” são aquelas de quem mais se fala. De facto, as próprias revistas têm impactos diferentes baseados no mesmo critério: se os artigos da revista X são mais citados que os da revista Y, isso significa que a revista X publica mais artigos de relevo. Consequentemente, as pessoas lêem mais os artigos da revista X, e os autores tentam então publicar na revista X em detrimento da revista Y. Devido a este tipo de organização de expectativas, os editores da revista X tornam os seus critérios para aceitação de artigos mais exigentes do que aqueles que estão em vigor na revista Y. É um processo que se auto-alimenta a si próprio, diferenciando cada vez mais a revista X da Y. Assim chegamos ao segundo critério que é consequência do primeiro: a qualidade do cientista é medida quer pelo número de citações, quer pela qualidade das revistas em que publica. Hoje em dia, cientistas de topo publicam em revistas reputadas como a Nature e a Science, têm muitas dezenas ou até algumas centenas de artigos publicados, e o número de citações ascende a dezenas de milhar.

Voltando à questão inicial sobre a distribuição do dinheiro dedicado à ciência: abre-se um género de concurso público ao qual diferentes grupos de investigadores se candidatam. As candidaturas são avaliadas de acordo com a qualidade do projecto que os investigadores se propõe a realizar caso o dinheiro lhes seja atribuído, bem como em função da “qualidade” desses cientistas.

Agora que conhecemos o sistema, onde está o problema? Do meu ponto de vista está na falta de regulamentação da qualidade. O progressivo reconhecimento do potencial financeiro da ciência conduziu ao aumentar do investimento e consequentemente dos recursos humanos. Assim, apesar da ciência ser um trabalho de elites, o aumentar dos recursos humanos conduziu a um decrescimento das competências médias dos cientistas. Por outro lado, aumentou a competição. Como é que um cientista “menos bom”, seja por falta de conhecimentos, de boas ideias, ou de sorte, tenta competir com os outros? Note-se que o que faz dele “menos bom” afecta principalmente a qualidade dos seus artigos. Como é lógico, o cientista vê-se obrigado a compensar a qualidade com a quantidade de artigos que publica! Não existem limites mínimos ou máximos de artigos publicados, pelo que todos tentam publicar o máximo que podem! Isto acaba por se estender aos “bons” cientistas, que publicam em boas revistas, cujo objectivo pode não ser só “sobreviver” no mundo da ciência, mas conseguir captar os melhores financiamentos. Existe assim um notório desespero por publicar mais e mais! O problema agrava-se quando consideramos os novos investigadores: em início de carreira, a pressão de construir currículo é enorme, e como a experiência e conhecimento são reduzidos, é tentador apostar no número de publicações, e não na qualidade de cada uma delas. Isto torna-se num ciclo vicioso que impede muitos cientistas de “crescer”. Uma outra razão que explica o porquê de se apostar principalmente na quantidade e não na qualidade decorre do tal carácter “incerto” da vanguarda científica. Quando se começa a estudar algo não se sabe qual o resultado que se irá obter. Por exemplo, se se pretender estudar o efeito de uma dada droga no tratamento de uma doença, dois resultados possíveis são que a droga não tem qualquer efeito, ou que é capaz de curar a doença. Se não tiver efeito, o resultado é considerado desinteressante, e poderá ser difícil (ou impossível) de conseguir publicar tal coisa. Esta incerteza de resultados conduz os cientistas a testar muitas ideias em paralelo, de modo a ter mais hipóteses de sucesso. Além disso, é necessário gerir tempo e recursos de forma ponderada. O resultado é que se testem muitas ideias que não consumam muito tempo, nem recursos, porém tal condiciona a qualidade expectável dos resultados! Por exemplo, num estudo de análise estatística é bastante comum limitar as amostras recolhidas ao máximo, pois recolher mais amostras pode demorar tempo e custar dinheiro… Um bom estudo recolheria o número de amostras necessário para negar qualquer contestação; na prática, a qualidade da ciência é condicionada pelos recursos ao dispor.

Tropeçámos ali no meio noutro problema da ciência actual: quase que só se publicam resultados “positivos”. Por exemplo, pode-se publicar que existe uma relação entre uma dada bactéria e uma doença, porém parece não fazer sentido publicar um estudo a dizer que não existe relação, ainda que o estudo possa ter sido feito. Isto faz com que certas hipóteses aparentemente prováveis de serem verdadeiras sejam recorrentemente verificadas (e refutadas). Trata-se afinal de conhecimento, o qual poderia pelo menos evitar que outros cientistas perdessem tempo e recursos a verificar de novo. É também mais fácil de publicar numa revista de forte impacto algo surpreendente, ao invés de algo evidente. A contrariedade consequente é que o facto surpreendente ganha uma relevância desproporcionada, porque os factos evidentes são “despromovidos” para revistas menos “importantes”. Tudo isto cria tendências e até mesmo “modas” que condicionam e atrasam a procura pela verdade científica.

Começa-se a notar esforços para combater estes problemas: já existem algumas revistas dedicadas exclusivamente à publicação de resultados “negativos”, e tem havido um forte debate sobre como impedir que a qualidade geral das publicações científicas diminua. Há também cada vez mais uma política de abertura de dados. Isto é, hoje em dia quando se recolhe dados experimentais, estes são considerados como sendo parte do espólio do grupo de investigadores que os recolheu, e não são partilhados. O motivo é simples: custou tempo e recursos recolher tais amostras, pelo que os cientistas não estão dispostos a “oferecer de mão beijada” aquilo que lhes custou tanto a obter. Mais ainda quando se assume que é ainda possível descobrir algo novo nesses dados! Imagine-se que um grupo de cientistas investia imenso na recolha de certos dados, e depois vinha outro grupo de cientistas que com um investimento mínimo os analisava e fazia uma grande descoberta… Não esqueçamos que estamos a falar de cientistas que competem entre si! No entanto, esta política de não partilha não favorece em nada a ciência. Promove antes a fraude e oculta potenciais erros metodológicos cometidos. Note-se ainda que se for obrigatório tornar públicos os dados experimentais analisados, tal implica que os cientistas irão ser obrigados a aumentar a qualidade das suas análises, pois ninguém irá querer correr o risco de perder a oportunidade de publicar um bom artigo por ter tido pressa em publicar o primeiro resultado que encontrou.

Deixo os problemas estatísticos e a falta de replicação para a segunda e terceira partes deste artigo.

“Você é completamente livre de fazer a investigação que quiser, desde que obtenha estas conclusões.” Este tipo de problema ocorre quando quem financia tem uma “agenda” específica… Por exemplo, uma indústria de tabaco dificilmente irá pagar uma investigação científica que demonstre que o tabaco é prejudicial à saúde. É por isso importante ter em consideração de onde veio o financiamento do estudo e onde o mesmo foi realizado.