Hero for Crisis de replicabilidad en la ciencia
· Risk & Decision Making · 5 min de lectura
Español

Crisis de replicabilidad en la ciencia

Recuerdo estar de pie en un baño con los brazos en las caderas en una superman pose, mirando al espejo. “Esto se siente raro” dijo un lado de mi cerebro. “Pero… ¡ciencia!” fue el otro. Y así estaba yo, posando en el baño, minutos antes de que empezara mi entrevista.

40 millones de visualizaciones y una charla TED increíblemente exitosa después, power posing había llegado al mainstream en 2014. Esta era la idea de que posar podía aumentar la confianza en sí, de ahí mi ritual antes de entrevistar 1 Y luego todo se fue al garete multiple critiques, incluyendo uno de a co-author of the paper, diciendo que el efecto no existía. Y ahora, aparentemente, la pose de poder sí back again. 2

Historias similares se han desarrollado en múltiples hallazgos de investigación. 3 ¿Cómo debería esto afectar a lo que creemos? Ya he escrito anteriormente sobre cómo our beliefs could be problematic, incluso para quienes adoptan un enfoque basado en la evidencia. El continuo replication crisis en ciencia es una de las razones por las que me siento así. This video Entra en detalles sobre cómo muchos artículos científicos tienden a estar equivocados. Incluso hay a website que rastrea los documentos que han sido retractados. Ed Yong, de The Atlantic, también tiene una buena fuente article

Parte de esto debería esperarse en ciencia. Al fin y al cabo, the scientific method es un proceso continuo y deberíamos actualizar información desactualizada con resultados más recientes. Sin embargo, la crisis de replicación parece ir más allá de lo que se esperaba. Me resulta problemático cuando leo cómo “It can be proven that most claimed research findings are false”. Como se describe en el vídeo o los artículos enlazados arriba, parece haber varias causas para esta crisis, incluyendo el p-hacking prevalente, la desalineación de incentivos o que los propios estudios de replicación sean inexactos.

Por p-hacking me refiero a la flexibilidad en la recopilación, análisis e informes de datos que podría increase false positive rates En experimentos. Un ejemplo sencillo sería si tuvieras 98 estudiantes en tu experimento y tus resultados actuales estuvieran justo por encima del umbral de significación estadística. ¿Por qué no añadir 2 más para ‘redondear las cosas’? Al fin y al cabo, razonas que 2 estudiantes abandonaron originalmente, así que esto no debería ser un problema. Pequeñas decisiones que parecen innacientes acaban distorsionando los resultados.

Un problema relacionado es cómo la mayoría de los estudios se realizan con una muestra cultural pequeña. Si has participado en una clase de psicología en la universidad, probablemente recuerdes haber tenido que participar en experimentos para cumplir cuotas Ratas de laboratorio sujetos de prueba. Dada la cantidad de estudios que utilizan voluntarios universitarios como muestra, es comprensible que los resultados no se replicen de forma más general. 4 More than 90 percent of research comes from studies on countries representing less than 15 percent of the population, lo cual obviamente es un problema si quieres decir que tu resultado es un hallazgo humano fundamental y no limitado a un trasfondo específico. 5

Lo que empeora esto es que los incentivos no están alineados para la publicación en papel. As I strongly believe in, El desalineamiento de incentivos provoca malos resultados. Los científicos están incentivados a publicar artículos, y publicar nuevas observaciones es más interesante que repetir trabajos antiguos. Si la gente siente que debe apostar por la cantidad sobre la cantidad, y si las revistas prefieren lo nuevo en lugar de lo antiguo, existe un incentivo estructural para impulsar artículos con resultados interesantes pero menos rigurosos.

La crisis de replicación no se limita a la ciencia, ya que normalmente hay anomalías financieras failing to replicate too. Sin embargo, parte de la razón podría ser que las anomalías se están arbitrando, así que quizá esto sea menos problemático. 6 Dejaremos la hipótesis del mercado eficiente para otro día.

¿Qué se puede hacer al respecto? No estoy seguro. 7 Una mejor educación en estadística ayudaría, aunque dado cómo la gente sigue siendo struggle with p-values y tengo dificultades con a goat, 8 No estoy seguro de cuán eficaz puede ser esto. Algunos de los artículos enlazados arriba también han sugerido soluciones, incluyendo mejor mentoría, mejor diseño de experimentos y mejor enseñanza.

Estoy totalmente a favor de la ciencia y del método científico, pero la crisis de replicabilidad es problemática. No sé qué soluciones serán más efectivas, aunque espero que haya una mayor alineación de incentivos entre la ciencia (aprender algo) y los científicos (publicar algo). Creo que resolver eso primero probablemente ayuda mucho a reducir los falsos positivos.

Footnotes

  1. Por cierto, no funcionó en absoluto. Mis entrevistas ese año fueron fatal. Culpé directamente a la pose de poder y no a mí mismo. ↩

  2. Con salvedades sobre la sensación de poder frente a los cambios hormonales tras posar ↩

  3. Otro ejemplo famoso es el hot hand fallacy, which might not be a fallacy anymore ↩

  4. En realidad no sé el porcentaje, pero supongo que la mayoría de los trabajos involucran a estudiantes universitarios reclutados ↩

  5. Quizá las ciencias sociales deberían avanzar hacia conclusiones culturales más segmentadas en lugar de teorías aplicables a toda la humanidad, como algunos han argumentado. No sé lo suficiente para formar un punto de vista aquí. La ciencia debería ser universal, pero quizás la ciencia social no lo sea. ↩

  6. Por otro lado, Cliff Asness argumenta sobre la solidez de ciertas anomalías en la inversión here ↩

  7. Si no estaba del todo claro a estas alturas, no soy científico. A menos que cuente mi placa del centro de ciencias de primaria. Me gustaría pensar que sí, pero lamentablemente me han informado de lo contrario ↩

  8. Antes de que alguien escriba un escenario, sí, entiendo el problema de Monty Hall. Solo intento dejar claro que no es intuitivo ↩

Discusión

What did I miss?

Los desacuerdos razonados, la evidencia adicional y las distintas formas de ver el problema son bienvenidos.

Cargando la discusión…

¿Prefieres una conversación privada? Escribir a Leon.

Artículos relacionados