A ciência é o conhecimento que temos sobre nós e tudo o que nos rodeia. Não sabemos tudo e por isso existem cientistas: pessoas que estudam as questões em aberto na ciência. Como toda a gente, os cientistas não vivem do ar e, por isso, existe todo um sistema que permite financiar os cientistas e a ciência. É deste “sistema científico” que vou falar neste artigo; um sistema que, paradoxalmente, promove “má ciência”, isto é, trabalho de fraca qualidade no explorar das fronteiras do conhecimento.
Primeiro convém esclarecer de que forma é que o sistema funciona. Os cientistas podem trabalhar tanto em empresas, como em institutos de investigação, e/ou em universidades. Vou deixar de lado as empresas, por um lado por ser uma realidade com a qual não tive grande contacto, e por outro por a maioria do conhecimento “fundamental” ser gerado fora delas (isto é, as empresas focam-se por norma no desenvolvimento de novas tecnologias e não de nova ciência).
Nas universidades e institutos de investigação, os cientistas competem por financiamento público ou privado. O financiamento é alocado com variados desígnios, tanto gerais, como muito particulares. Por exemplo, quando o governo decide que irá atribuir X centenas de milhões de euros para a ciência no seu orçamento de estado, isso significa que esse montante irá financiar muitos tipos de projectos diferentes, desde a Física às Ciências Sociais. No Reino Unido, por exemplo, existem várias instituições de caridade que financiam causas particulares, como a “Epilepsy Research UK”, que, como o nome indica, financia investigação em epilepsia.
Como é evidente, quem financia espera obter o maior retorno possível. Contudo, em ciência o “retorno” é muitas vezes difícil de medir, pelo menos a curto ou médio prazo. Pior ainda, antes de começar um projecto de investigação é muitas vezes impossível ter certezas sobre os resultados que se vão obter. Esta incerteza é intrínseca à procura de novo conhecimento: quando se formula uma nova questão na fronteira do conhecimento, não se sabe à partida a resposta. Pode-se, por exemplo, formular a hipótese de que um dado tratamento será eficaz na cura de uma doença, mas será preciso efectuar a investigação para verificar se de facto essa hipótese é verdadeira ou falsa.
Existem por isso dois factores preponderantes a avaliar quando se quer decidir atribuir financiamento a um cientista (ou a uma equipa de cientistas):
(i) O projecto é promissor?
(ii) Têm condições para implementar o projecto?
Tanto um factor como o outro são extremamente difíceis de avaliar, mais ainda quando a questão se transforma em como um projecto e cientista se comparam com outros projectos e cientistas diferentes.
O projecto vencedor acaba por ser aquele que consegue convencer melhor o painel de avaliação do seu valor, quer seja de facto o “melhor”, ou não. Dada a incerteza referida em cima, é claro que na prática é impossível determinar qual é de facto o “melhor” projecto. O projecto vencedor é meramente aquele que está mais bem escrito, mais bem estruturado, e que dá a noção de que tem maior potencial de obter resultados positivos (quiçá também com maior impacto para a ciência e para a sociedade). Deve ser simultaneamente realista (exequível) e ambicioso.
O grande problema no sistema científico surge na avaliação do segundo factor. As condições para implementar o projecto incluem não só um orçamento viável para o plano em causa e infraestrutura, como também recursos humanos. Por exemplo, imagine-se um projecto que pretende estudar as propriedades físicas de um novo material. Para realizar o projecto será necessário adquirir amostras do material, bem como ter acesso a um laboratório com as tecnologias que permitam fazer a caracterização do material. Por outro lado, será necessário ter pessoas que saibam usar essas tecnologias e analisar os resultados. Isto é, é necessário que os cientistas em causa tenham uma forma de provar que têm as qualificações requeridas para desenvolver o trabalho que se propõem a efectuar. Em geral, os cientistas têm todas as qualificações necessárias, claro. Mas quem são os melhores cientistas? Pretende-se oferecer financiamento aos melhores, pois devem ser aqueles que têm uma maior probabilidade de obter bons resultados (o que não é necessariamente verdade). Assim, parte da competição para obter financiamento traduz-se na necessidade dos cientistas provarem que são os melhores. É aqui que começamos a vislumbrar o problema: como medir a qualidade de um cientista?
Para avaliar um cientista olha-se principalmente para a ciência que este já produziu. Essa produção toma a forma de artigos científicos: relatórios escritos que os cientistas publicam em revistas de ciência onde descrevem os seus objectivos, métodos usados, resultados obtidos e conclusões extraídas. Por sua vez, os artigos diferem entre si em qualidade. Comparar a qualidade de dois artigos é bastante difícil e subjectivo, mais ainda se forem artigos sobre assuntos distintos. Note-se que analisar e compreender um artigo científico pode demorar horas, dias, ou até meses!… E os cientistas têm nos seus currículos muitas vezes entre dezenas a centenas de artigos! Como é claro, o painel de avaliação não tem capacidade para ler todos os artigos de todos os cientistas que se candidatam a um dado financiamento. Assim, a qualidade dos artigos (e por consequência dos cientistas) é antes aproximada de acordo com as revistas em que os artigos foram publicados, bem como o número de citações que os artigos receberam. O número de citações refere-se ao número de outros artigos científicos que fizeram referência ao artigo em causa. Se um artigo foi muito citado presume-se que teve um impacto importante na ciência. Por outro lado, diferentes revistas têm diferentes reputações: uma revista com elevada reputação é uma revista que à partida só aceita artigos de elevada qualidade. Refiro-me aqui às ditas revistas com “revisão por pares”, o que significa que para publicar nessas revistas, o autor do artigo submete o seu trabalho para ser avaliado por outros especialista da área, os quais depois de analisarem o artigo podem sugerir melhorias, e aconselham o corpo editorial da revista a aceitar ou a rejeitar o artigo.
Em suma, a qualidade de um cientista pode-se muitas vezes resumir no número de artigos que publicou, no número de citações que obteve em cada artigo e na qualidade das revistas onde publicou esses artigos.
Estes indicadores podem parecer mais ou menos objectivos, mas a avaliação relativa deles é subjectiva. Por exemplo, será melhor um cientista que publicou 20 artigos de qualidade razoável (tendo em conta as revistas onde publicou) e tem 100 citações no total, ou será melhor um que, no mesmo espaço de tempo, publicou apenas 5 artigos de elevada qualidade e tem 200 citações? É uma questão sem resposta, pois a informação dada é insuficiente para responder com certezas. Porém, este é o tipo de questões subjectivas com que, de certa forma, os painéis de avaliação têm que lidar quando decidem a quem oferecer financiamento.
O supracitado problema com o sistema científico emerge então por um lado da forma como os cientistas se tentam tornar aparentemente mais competitivos perante os painéis de avaliação e, por outro, da forma como os agentes financiadores reagem à incerteza associada à ciência e às avaliações dos projectos científicos.
O cientista sabe que é avaliado pela qualidade e pela quantidade do seu trabalho. A qualidade exige tempo, mas não é garantida! Dada a incerteza do desconhecido, mesmo que se invista muito tempo numa dada investigação é possível chegar-se ao final e obter um resultado insatisfatório. Por exemplo, o trabalho de testar uma nova droga no tratamento de uma doença pode demorar cinco anos, independentemente da droga funcionar ou não. Com cinco anos o resultado pode ser definitivo. Porém, não tendo cinco anos, talvez se tente obter resultados num ano à custa de obter resultados com maiores incertezas associadas. Este exemplo ilustra o facto da qualidade trazer consigo um risco enorme, visto que maus resultados não são publicados em revistas de elevada reputação, independentemente do tempo investido. Uma investigação falhada pode ser o fim da carreira dum cientista! A consequência é óbvia: a maioria dos cientistas aposta na quantidade! Mesmo que alguns estudos corram mal, pelo menos alguns devem dar algum tipo de resultado publicável (se não for numa revista melhor, publica-se numa pior).
De forma semelhante, e dado o risco de patrocinar maus projectos, o financiamento é também muitas vezes dividido em pequenas porções por muitos projectos diferentes. Pequenas fatias de financiamento implicam a impossibilidade de colocar em prática muitos tipos de projecto, em particular aqueles que demorem mais tempo. Há de certo muito que se pode fazer em pouco tempo, mas há questões e ideias que se tornam impossíveis de testar nestas condições.
A “má ciência” surge portanto destes pequenos projectos, do foco na quantidade em detrimento da qualidade, e ainda da necessidade de sobrevalorizar resultados e conclusões nos artigos científicos (de forma a tentar publicar em revistas de maior reputação). Como se isto não bastasse, este sistema científico promove também desonestidade: da sobrevalorização à omissão de detalhes que colocam em causa essa sobrevalorização vai um pequeno passo. É como se o sistema oferecesse duas opções ao cientista: mantém o teu emprego ou preserva a tua integridade científica. Infelizmente, com ou sem noção disso, receio que muitos acabem por dobrar a integridade dentro dos limites do irreconhecível.
Deixo a discussão de soluções para um artigo futuro.
“Sabias que o cabelo e as unhas são feitos da mesma coisa? Sim, adoro a ciência.”
“Não sei se compreendes mesmo o que é adorar ou o que é ciência. Quando se adora mesmo algo, não se gosta apenas das partes divertidas e excitantes… Adoras as partes aborrecidas da mesma forma. Pessoas que adoram verdadeiramente a ciência devotam as suas vidas a estudar os pequenos detalhes aborrecidos assim como os grandes factos vistosos. Tu não adoras a ciência, o que tu fazes é apreciar-lhe o rabo quando a vês.”
2 comentários
Excelente reflexão! 😉
Author
Obrigado! 🙂