Evidência Anedótica II – razões para duvidarmos até de nós próprios.

Este post é a continuação do post anterior (1)  sobre evidencia anedótica onde tentei por em relevo tudo o que seria considerado real se levássemos a evidencia anedótica a sério. Agora vou apenas procurar explicar porque é que a evidencia anedótica, (evidencia com origem não metódica – frequentemente correspondendo a  relatos e histórinhas pessoais) é uma forma fraca de prova.

A evidência anedótica, até pode estar certa. Só que isso nós não sabemos. Por isso, por si só, não serve de prova. Mas como pode sugerir linhas de investigação e pode estar certa não deveria deixar de ser mencionada se não se souber mais nada.

Volto a insistir neste tipo de justificação porque embora em ciência a evidencia anedótica esteja no seu devido lugar, no senso comum ela é tão poderosa (ou quase) como qualquer outra forma de evidencia. E isso é usado e abusado na publicidade, na disseminação de pseudociências, em argumentos de café,  etc. Coisas que de um modo ou de outro acabam por influenciar as nossas escolhas.

De um modo geral, as razões mais frequentes pelas quais a evidência anedótica é anedótica são:

• Generalização falaciosa – porque normalmente apresenta poucos casos para depois generalizar para todos os outros, assumindo que o que temos é uma amostra válida. É uma tentação em que todos podemos cair para valorizar a nossa experiência pessoal ou falta de conhecimento. Houve uma altura em que não podíamos contar com muito mais do que amostras pequenas e isso terá ficado marcado no nosso cérebro ao longo da evolução. É extremamente tentador generalizar a partir de poucos dados, mas não tem desculpa quando há melhor. Quando não há é preciso prudência na mesma.
• “Cherry picking” – conscientemente ou não há uma tendência para “escolher as cerejas”, ou seja, escolher e apresentar apenas aqueles casos que satisfazem aquilo que queremos defender. Se não apresentarmos os casos todos e com um sistema de observação que possa garantir que estamos a apresentar os casos todos nem podemos saber se há cherry picking ou não.
• Tendência para a confirmação e de relembrar apenas os positivos (confirmation bias) – é a tendência universal para encontrar o que se procura e de negligenciar o que não concorre para o foco da procura por não parecer relevante. Por outro lado, se já temos uma ideia pré-formada é sempre mais fácil ver os erros em raciocínios que não concluem o que nós acreditamos do que naqueles que concluem aquilo em que estamos de acordo. A tendência para a confirmação engloba também aquelas observações que mostram que nos lembramos mais facilmente de resultados verdadeiros do que dos errados. Por exemplo é o que sucede quando os pretendentes a médiuns lançam várias hipóteses para o ar a ver se alguma pega e as pessoas no fim só se lembram dos “hits”. É parecido com “cherry picking” mas mais do que estar a escolher os casos é estar a ver casos positivos onde eles não estão.
• Falhas de atenção / percepção – a atenção tem um foco muito pequeno que não permite registar tudo o que se passa. No entanto o cérebro não é “avisado” de tudo o que não estava a ser processado e tende a considerar que o que não observou se mantém como esperado. Por outro lado o cérebro tem uma tendência para preencher o que não sabe ou o que não percebe com o que acha que deve ser.  Tende a repetir padrões e até a identifica-los onde eles não estão (pareidolia, aparência de desígnio, ilusões de contornos – ver referencia (a) e (b) para exemplos).
• Falácia post hoc ergo propter hoc – é a tendência para julgar haver uma relação causa efeito entre dois fenómenos  consecutivos no tempo. Por exemplo,  o caso em que A antecede B e se considera que A causou B. Por exemplo os chineses acreditavam que o eclipse do sol se devia ao facto de este estar a ser engolido por um dragão. Por isso era preciso fazer barulho para assustar o dragão de modo a que ele devolvesse o Sol – funcionava sempre. Para os mais curiosos, o problema filosófico de saber quando é que podemos dizer que há causa-efeito é chamado de problema de indução de Hume e é resolvido com graus de certeza e não com certezas absolutas. No entanto precisa de avaliação sistemática e justificação teórica.
• Interesse pessoal / conflito de interesses – bias / fraude (esta claro que não é válida na primeira pessoa…)
  

Alguns destes problemas são pertinentes em todo o tipo de investigação. Vários investigadores têm mostrado que a tendenciosidade é um problema na ciência também . A questão é que sem metodologia e sistematização nem sequer conseguimos avaliar independentemente se há uma “confirmation bias” ou “cherry picking”, para além de que a amostra pequena o sugere fortemente. Conseguir uma amostra significativa com um ou dois casos é virtualmente impossível para muita coisa.

Estas são também questões  que afectam a maneira como interpretamos as nossas próprias observações. Mesmo que a sejamos nós a testemunhar, na primeira pessoa, temos de ter cuidado para não cair em nenhum destes erros. Se a nossa observação pessoal vai contra a observação sistemática e teorias cientificas, o melhor é começarmos a tentar perceber onde é que nos enganamos.

Não obstante tudo o que foi escrito, toda a evidencia e observação deve ser avaliada e julgada no contexto teórico em que se insere.  Uma evidencia que não seja forte o suficiente para estabelecer uma teoria ou facto pode ser forte o suficiente para justificar uma observação compatível com uma teoria.

Em todo o caso a observação sistemática estará sempre acima de observação não sistemática, e há vários níveis de qualidade mesmo para a observação sistemática. No topo temos a observação repetida sistemáticamente com numeros grandes  e verificada independentemente por vários observadores – senão nunca poderíamos derrubar teorias –  ao fim e ao cabo a autoridade máxima  na ciência é a evidencia empírica e não a teoria. Tem é de ser bem colhida e de modo a minimizar os problemas acima.

(1) http://astropt.org/blog/2011/06/15/evidencia-anedotica/

Referências: e saber mais:

http://www.scientificamerican.com/article.cfm?id=how-anecdotal-evidence-can-undermine-scientific-results

(a) http://astropt.org/blog/2011/06/13/56242/

(b) http://www.newscientist.com/article/dn18910-illusions-contest-illusiondefying-contours.html

http://www.springerlink.com/content/20162475422jn5x6/

http://www.ncbi.nlm.nih.gov/pubmed/21608392

http://pleasureofdoubt.wordpress.com/2011/01/26/the-ioannidis-study-part-2/

http://www.ncbi.nlm.nih.gov/pubmed/21464342

http://www.fallacyfiles.org/volvofal.html

http://plato.stanford.edu/entries/evidence/