Como os periódicos online publicam facilmente artigos falsos

Periódicos estão dispostos a publicar informações científicas falsas por dinheiro. Se essa frase parece óbvia para você, não deveria. E, se parece uma piada, é melhor parar de rir, porque a coisa é séria. Muito séria, pelo menos segundo a conclusão de um elaborado “sting” (operação tipo “pegadinha” para descobrir criminosos) levado adiante pela Science. O resultado deve, com razão, preocupar doutores, pacientes, polícia e qualquer um que se importe com a integridade da ciência (e quem não se importaria?). O texto é longo, mas é importante.

O modelo de negócio desses “editores predatórios” é uma versão científica dos spams como aqueles que querem transferir milhões de dólares para sua conta. Mas, nesse caso, artigos são publicados com um “incentivo” financeiro.

Para descobrir quão comum estes editores predatórios são, o colaborador da Science John Bohannon mandou um artigo de pesquisa deliberadamente falso 305 vezes para publicações científicas online. Mais da metade dos jornais que supostamente deveria revisar o artigo falso o aceitaram.

“A operação sting”, escreve Bohannan, revela “os contornos de um velho oeste emergente nas publicações acadêmicas”.

Publicações científicas online estão crescendo a uma taxa alta. Há milhares por aí,  e muitos deles são respeitáveis. Este modelo de “acesso livre” está tornando a boa ciência mais acessível do que nunca, sem fazer com que usuários precisem pagar uma subscrição mensal dos tradicionais periódicos impressos (É claro, vale lembrar que a Science, que liderou a operação, é um desses jornais impressos que cobram mensalidade)

Mas a internet também abriu portas para espertos imitadores que pegam dinheiro de cientistas ávidos para serem publicados. “É o equivalente de pagar alguém para publicar seu trabalho no blog dele”, disse Bohannan.

Esses frágeis periódicos geralmente parecem legítimos. Eles ostentam títulos como American Journal of Polymer Science que lembra títulos de respeitáveis periódicos.

Seus cabeçalhos geralmente contém os nomes de experts que parecem respeitáveis. Mas geralmente é impossível dizer com certeza quem está realmente por trás deles ou sequer onde estes periódicos estão localizados no mundo.

Bohannan diz que seu experimento demonstra que muitos desses periódicos online não percebem falhas grosseiras que deveriam ser percebidos por “qualquer um com conhecimento pouco maior que o do ensino médio”. E, em alguns casos, mesmo quando um dos revisores apontam erros, o periódico aceita o artigo mesmo assim – e então pedem para o autor alguns milhares de dólares para a publicação.

Um jornalista com um PhD da Universidade de Oxford em biologia Molecular, Bohannan fabricou um artigo dando a entender que descobriu um elemento químico extraído do líquen que mata células cancerígenas. Seus autores eram falsos também – pesquisadores que não existem com nomes que soavam africanos baseados no fictício Instituto de Medicina Wassee, em Asmara, uma cidade de Eritrea.

Com a ajuda de colaboradores de Harvard, Bohannan fez o artigo parecer tão científico quanto possível – mas cheio de erros fundamentais na metodologia, dados e conclusões.

Para começar, a suposta nova droga contra o câncer foi testada em células cancerígenas – mas não células saudáveis. Então não haveria como dizer se o efeito foi especificamente no câncer, ou simplesmente era tóxico para qualquer tipo de célula.

Um gráfico no artigo sugeria mostrar que quanto mais líquen fosse adicionado aos tubos de ensaio de células cancerígenas, mais efetivo era em matar o câncer. Mas na realidade os dados exibidos não mostravam nenhuma diferença.

Bohannan diz que não foi fácil escrever uma farsa convincente. Inicialmente ele fez os dados “malucos demais”, diz. Seus colaboradores de Harvard se preocuparam em fazer o manter o artigo parecendo bem interessante. “Então nós reescrevemos ele, cometendo alguns erros de principiante”, diz.

O toque final foi fazer o artigo parecer como se estivesse sido escrito por alguém cujo idioma nativo não fosse o inglês. Para isso, Bohannan usou o Google Translate para colocar em francês, então traduziu aquela versão de volta para o inglês.

No fim das contas, os autores fictícios tiveram 157 cartas de aceitação e 98 rejeições – uma pontuação de 61%. “Isso é muito maior do que eu esperava”, disse Bohannan. “Esperava algo em torno de 10 ou 15%, ou na pior das hipóteses, um quarto de aceitações”.

Pelo privilégio de serem publicados, foi solicitado aos autores do artigo que enviassem junto com a publicação um valor de $3,100.

A maior densidade de aceitações foram de periódicos baseados na Índia, onde acadêmicos estão sempre sob intensa pressão para publicar em ordem de conseguir promoções e bônus. Para ver a localização de publicações online que aceitaram ou rejeitaram o artigo de Bohannan, veja esse mapa global interativo.

Bohannan diz que este exercício foi uma acusação condenatória da maneira como a revisão dos pares funciona (ou não, no caso), em muitos periódicos online. Revisão dos pares, acho que todos os leitores deve saber, é o “juiz” de uma publicação científica, onde especialistas não envolvidos com o trabalho em questão podem analisar e identificar potenciais falhas em metodologia, interpretação dos dados ou conclusões. É a maneira como os periódicos científicos fazem (ou deveriam fazer) seu controle de qualidade.

“A revisão dos pares está num estado pior do que qualquer um poderia supor”, diz.

Bohannan diz que isso não significa sugerir que todo modelo de periódicos online de livre acesso seja um fracasso. “Você não pode concluir isso a partir do meu experimento, por que não fiz o controle correto – que seria também submeter o artigo para periódicos pagos.”, ele diz.

Como ele reconhece, não é como se a revisão dos pares fosse sempre bem feita em periódicos pagos – mesmo os periódicos pagos mais reconhecidos já passaram por embaraços por lapsos no seu processo de revisão por pares. Mas ele diz que publicações online torna os periódicos de baixa qualidade mais fáceis de se expor do que os pagos. Mas o alto volume de publicações online hoje em dia torna mais difícil distinguir entre os legítimos e os desonestos.

Jeffrey Beall, da Universidade do Colorado não ficou surpreso, ao menos não com o resultado do sting de Bohannan. “Ele basicamente descobriu o que eu tenho dito há anos”, comenta.

Um crescente número de periódicos online “estão aceitando artigos apenas pra receber pagamentos para publicação, e o resultado é que a ciência tem sido envenenada por uma série de artigos ruins”, diz Beall.

Beall, um pesquisador, é um autoproclamado “vigia” das publicações de acesso livre. Ele mantém uma lista do que ele chama de “editores predatórios” – aqueles que “exploram o modelo de acesso gratuito de publicação para lucro próprio.”

Ele aponta que publicações online operam sob um incentivo que é exatamente o oposto dos tradicionais periódicos científicos. Periódicos impressos possuem regras rígidas sobre como os artigos devem ser publicados, então eles selecionam apenas os melhores. E, como possuem leitores para manter satisfeitos, eles precisam cultivar reputações como curadores de pesquisas de alta qualidade.

Mas periódicos online não precisam se preocupar com subscrições: eles fazem seu dinheiro cobrando de colaboradores – que possui forte incentivo para serem publicados. Então “quanto mais artigos publicam, mais dinheiro conseguem”, diz.

Duas grandes questões surgem de tudo isso: Quanto dano está sendo feito por este tipo de periódico? E o que pode ser feito a respeito?

O dano potencial é tanto distante quanto difícil de quantificar. Bohannan aponta que universidade e agências do governo, particularmente em países desenvolvidos, podem contratar pesquisadores baseados em currículos cheios de citações frágeis. Determinar qual destes currículos são de alta qualidade e quais não são, não é tarefa fácil.

Beall aponta que advogados frequentemente usam citações científicas em julgamentos. Oficiais do governo se valem de pesquisas publicadas para definir políticas de governo. Companhias farmacêuticas possuem forte incentivo para manipular pesquisas a fim de validar suas alegações (dois livros que recomendo muito sobre este assunto em particular são Bad Science e Bad Pharma, ambos de Ben Goldacre). E pesquisadores podem ser levados por caminhos fúteis baseados em pesquisas pobres.

Sobre o que pode ser feito, Beall diz que a pesquisa de má qualidade pode provavelmente ser direcionada apenas sendo citada e envergonhada.

Bohannan pensa que poderia haver uma espécie de informe de consumidor para pesquisar a qualidade dos periódicos online e alertar sobre os ruins. E ele pensa que talvez tal empreendimento pode ser regularmente executado com stings como essa que fez, para manter todo mundo na área atento.

Baseado em informações do site NPR.

Ilustrações em Skeptical Swedish Scientists