Hero for Crise de replicabilidade na ciência
· Risk & Decision Making · 5 min de leitura
Português

Crise de replicabilidade na ciência

Lembro de estar em um banheiro com os braços na cintura em um superman pose, Olhando para o espelho. “Isso é estranho” disse um lado do meu cérebro. “Mas… ciência!” foi o outro. E lá estava eu, posando no banheiro, minutos antes da minha entrevista começar.

40 milhões de visualizações e uma palestra TED absurdamente bem-sucedida depois, power posing havia chegado ao mainstream em 2014. Essa era a ideia de que posar poderia aumentar a confiança, por isso meu ritual antes de entrevistar 1 E depois tudo desandou multiple critiques, incluindo um de a co-author of the paper, dizendo que o efeito não existia. E agora, aparentemente, a pose de poder é back again. 2

Histórias semelhantes se desenrolaram em vários achados de pesquisas. 3 Como isso deve afetar o que acreditamos? Já escrevi anteriormente sobre como our beliefs could be problematic, mesmo para aqueles que adotam uma abordagem baseada em evidências. O contínuo replication crisis ciência é uma das razões pelas quais me sinto assim. This video Entra em detalhes sobre como muitos artigos científicos tendem a estar errados. Tem até a website que acompanha documentos que foram retratados. Ed Yong, do Atlantic, também tem uma boa fonte article

Parte disso deve ser esperado na ciência. Afinal, the scientific method é um processo contínuo, e deveríamos estar atualizando informações desatualizadas com resultados mais recentes. A crise de replicação parece ir além do esperado, no entanto. Acho problemático quando leio como “It can be proven that most claimed research findings are false”. Como descrito no vídeo ou nos artigos linkados acima, parecem haver algumas causas para essa crise, incluindo p-hacking prevalente, desalinhamento de incentivos ou os próprios estudos de replicação serem imprecisos.

Por p-hacking, quero dizer a flexibilidade na coleta, análise e relatórios de dados que poderia increase false positive rates em experimentos. Um exemplo simples seria se você tivesse 98 alunos em seu experimento, e seus resultados atuais estivessem um pouco acima do limite de significância estatística. Por que não adicionar mais 2 para ‘arredondar as coisas’? Afinal, você raciocina, 2 estudantes inicialmente desistiram, então isso não deveria ser um problema. Pequenas decisões que parecem insensíveis acabam distorcendo os resultados.

Uma questão relacionada é como a maioria dos estudos é feita com uma amostra cultural pequena. Se você participou de uma aula de psicologia na faculdade, provavelmente lembra de ter que participar de experimentos para cumprir cotas Ratos de laboratório Sujeitos de teste. Dada a quantidade de estudos que usam voluntários universitários como amostra, é compreensível por que os resultados possam não se replicar de forma mais geral. 4 More than 90 percent of research comes from studies on countries representing less than 15 percent of the population, o que obviamente é um problema se você quiser dizer que seu resultado é uma descoberta humana fundamental, e não limitada a um contexto específico. 5

O que piora isso é que os incentivos não estão alinhados para publicação em papel. As I strongly believe in, O desalinhamento de incentivos causa resultados ruins. Cientistas são incentivados a publicar artigos, e publicar novas observações é mais interessante do que repetir trabalhos antigos. Se as pessoas sentem que devem mirar na quantidade em vez da quantidade, e se os periódicos preferem o novo em vez do antigo, há um incentivo estrutural para promover artigos com resultados interessantes, porém menos rigorosos.

A crise de replicação não se limita à ciência, com anomalias financeiras geralmente failing to replicate too. Aqui, porém, parte do motivo pode ser que as anomalias estejam sendo arbitradas para o esquecimento, então talvez isso seja menos problemático. 6 Deixaremos a hipótese do mercado eficiente para outro dia.

O que pode ser feito a respeito? Não tenho certeza. 7 Uma educação melhor em estatística ajudaria, embora, dado como as pessoas ainda ajudam struggle with p-values e tenho dificuldade com a goat, 8 Não tenho certeza de quão eficaz isso pode ser. Alguns dos artigos mencionados acima também sugerem soluções, incluindo melhor mentoria, melhor desenho de experimentos e melhor ensino.

Sou totalmente a favor da ciência e do método científico, mas a crise de replicabilidade é problemática. Não sei quais soluções serão mais eficazes, embora eu espere um maior alinhamento de incentivos entre ciência (aprender algo) e cientistas (publicar algo). Acho que resolver isso primeiro provavelmente ajuda muito a reduzir falsos positivos.

Footnotes

  1. Aliás, não funcionou nada. Minhas entrevistas naquele ano foram todas horríveis. Coloquei a culpa diretamente na pose de poder e não em mim mesmo. ↩

  2. Com ressalvas sobre a sensação de poder versus mudanças hormonais após a pose ↩

  3. Outro exemplo famoso é o hot hand fallacy, which might not be a fallacy anymore ↩

  4. Na verdade, não sei a porcentagem, mas suponho que a maioria dos trabalhos envolva estudantes de graduação de universidades recrutados ↩

  5. Talvez as ciências sociais devessem caminhar para conclusões culturais mais segmentadas, em vez de teorias aplicáveis a toda a humanidade, como alguns argumentaram. Não sei o suficiente para formar um ponto de vista aqui. A ciência deveria ser universal, mas talvez a ciência social não seja? ↩

  6. Separadamente, Cliff Asness argumenta sobre a robustez de certas anomalias nos investimentos here ↩

  7. Se ainda não ficou bem claro, não sou cientista. A menos que meu distintivo do centro de ciências da escola primária conte. Gostaria de pensar que sim, mas infelizmente fui informado do contrário ↩

  8. Antes que alguém mande um e-mail, sim, eu entendo o problema do Monty Hall. Só tentando deixar claro que não é intuitivo ↩

Discussão

What did I miss?

Discordâncias ponderadas, evidências adicionais e outras formas de ver o problema são bem-vindas.

Carregando a discussão…

Prefere uma conversa privada? Enviar e-mail para Leon.

Artigos relacionados