LOS EXPERTOS Y LOS EXPERTOS DE TWITTER
LOS EXPERTOS Y LOS EXPERTOS DE TWITTER
¿Pronósticos para el futuro del mercado de valores? ¿A quién debemos hacer más caso? ¿A los expertos de Twitter o los “expertos de verdad”? Puede que, sorprendentemente, a ninguno de los dos. Incluso si el experto de Twitter es un “experto de verdad” eso tampoco significaría que su juicio fuera mejor que el de un lego en la materia. Quizá, incluso, fuera doblemente malo. Predecir el futuro no es fácil. Y por lo que parece, ni siquiera los expertos son capaces de hacerlo mejor que los tuiteros financieros. Vamos a tratar de explicar por qué.
La prevalencia de sesgos conductuales no se limita a los llamados “legos en la materia.” Los expertos también están sujetos a los mismos sesgos cuando razonan intuitivamente. En su libro Expert Political Judgment, Philip Tetlock analiza su extenso estudio de las personas que hacen de la predicción su negocio: los expertos. La conclusión de Tetlock es que los expertos sufren los mismos sesgos de comportamiento que los legos. El estudio de Tetlock encaja dentro de un cuerpo de investigación mucho más amplio que ha constatado una y otra vez que los expertos son tan poco de fiar como el resto de nosotros. Un gran número de estudios han examinado los registros de los expertos en comparación con un modelo estadístico simple y, en casi todos los casos, han llegado a la conclusión de que los expertos tienen un rendimiento inferior al de los modelos o no pueden hacerlo mejor. Es un argumento convincente contra la intuición humana y a favor del enfoque estadístico, ya sea que lo practiquen expertos o no expertos.
En muchas disciplinas, los modelos cuantitativos simples superan la intuición de los mejores expertos. Estos modelos continúan superando los juicios de los mejores expertos incluso cuando esos expertos se benefician de los resultados del modelo cuantitativo simple. James Montier, a su vez “experto” en inversión conductual (si es que eso es posible), analiza este fenómeno en su libro Behavioral Investing: A Practitioners Guide to Applying Behavioral Finance. El primer ejemplo que cita es el diagnóstico de los pacientes como neuróticos o psicóticos. La distinción es la siguiente: un paciente psicótico “ha perdido el contacto con el mundo externo”, mientras que un paciente neurótico “está en contacto con el mundo externo, pero sufre de angustia emocional interna, que puede ser inmovilizante.” Según Montier, la prueba estándar para distinguir entre neurosis y psicosis es el Inventario Multifásico de Personalidad de Minnesota (MMPI).
En 1968, Lewis Goldberg, profesor de psicología en la Universidad de Oregon, analizó las respuestas de la prueba MMPI de más de 1,000 pacientes y los diagnósticos finales como neuróticos o psicóticos. Usó los datos para desarrollar un modelo simple para predecir el diagnóstico final basado en la respuesta de la prueba MMPI. Goldberg descubrió que su modelo aplicado fuera de la muestra predijo con precisión el diagnóstico final aproximadamente el 70% de las veces. Luego les dio puntuaciones del MMPI a psicólogos clínicos con experiencia y sin experiencia y les pidió que diagnosticaran al paciente. Goldberg descubrió que su modelo simple superó incluso a los psicólogos más experimentados. Realizó el estudio de nuevo, esta vez proporcionando a los psicólogos clínicos la predicción del modelo simple. Goldberg se sorprendió. Incluso cuando los psicólogos recibieron los resultados del modelo, siguieron teniendo un rendimiento inferior al modelo simple. Si bien el desempeño de los psicólogos mejoró desde su primer intento sin el beneficio del modelo, todavía no diagnosticaban tan bien como el modelo por sí solo. Montier saca una conclusión interesante de los resultados del estudio: “Aunque a todos nos gusta pensar que podemos agregar algo a los resultados de un modelo cuantitativo, la verdad es que muy a menudo los modelos cuantitativos representan un techo en el rendimiento (del cual restar) en lugar de un piso (al que podemos subir).”
En su libro Super Crunchers de 2007, Ian Ayres analiza una miríada de otros campos en los que los modelos simples prevalecen sobre los expertos, a menudo en áreas que no parecen ser adecuadas para un análisis cuantitativo. Un ejemplo de ello es un algoritmo estadístico para predecir el resultado de las decisiones de la Corte Suprema. El resultado de una audiencia en la Corte Suprema no parece ser un tema fácil de reducir a un modelo cuantitativo porque el lenguaje de la ley rara vez es sencillo. Ayres analiza un estudio de Andrew Martin y Kevin Quinn, Competing Approaches to Predicting Supreme Court Decision Making, en el que encontraron que solo unas pocas variables relacionadas con la política de un caso predicen cómo votarán los jueces de la Corte Suprema de Estados Unidos. Martin y Quinn analizaron datos de 628 casos decididos por los jueces de la Corte Suprema y consideraron seis factores, incluidos asuntos como el tribunal de origen y la ideología política del fallo del tribunal inferior, a partir de los cuales desarrollaron modelos simples que predecían los votos de los jueces individuales. Por ejemplo, el modelo predijo que si la decisión del tribunal inferior fuera “liberal”, la jueza Sandra Day O’Connor votaría para revertirla. Sin embargo, si la decisión fuera “conservadora” y procediera de los tribunales del circuito federal 2, 3 o Washington, DC, ella votaría a favor de la afirmación.
Ayres escribe que Ted Ruger, profesor de derecho en la Universidad de Pennsylvania, se acercó a Martin y Quinn en un seminario y sugirió que probaran la precisión del modelo simple contra un grupo de expertos legales. De un lado estaba el modelo simple de Martin y Quinn, y en el otro, 83 expertos legales, profesores y profesionales del derecho, cada uno de los cuales ayudaría en sus propias áreas particulares de experiencia. La prueba se desarrolló durante el período de 2002 de la Corte Suprema. ¿Quién predeciría con mayor precisión los votos de los jueces individuales para cada caso que se argumentó? Como era de esperar, el modelo simple de Martin y Quinn ganó, superando a los expertos legales. El modelo predijo correctamente el 75% de las decisiones de la corte, mientras que los expertos legales en conjunto solo pudieron lograr una precisión del 59%. Ayres escribe que el modelo fue más útil para predecir los votos decisivos de los jueces O’Connor y Kennedy. El modelo predijo correctamente el voto de O’Connor el 70% de las veces, mientras que la tasa de éxito de los expertos fue solo del 61%.
¿Cómo puede ser que los modelos simples funcionen mejor que los psicólogos clínicos experimentados o los juristas de renombre con acceso a información detallada sobre los casos? ¿Son estos resultados solo casualidades? No. De hecho, los ejemplos de decisiones del MMPI y de la Corte Suprema ni siquiera son raros. Existe una abrumadora cantidad de estudios y metaanálisis que corroboran este fenómeno. En su libro, Montier ofrece una diversa gama de estudios que comparan modelos estadísticos y expertos, que van desde la detección de daño cerebral, el proceso de entrevista para admitir a los estudiantes en la universidad, la probabilidad de que un delincuente reincida, la selección de “buenas” y “malas” añadas de vino de Burdeos y las decisiones de compra de los directores.
Es decir, ni los expertos de Twitter son tan malos, ni los “expertos de verdad” tan buenos. En todo caso, tenga cuidado con los pronósticos. O, mejor dicho, con los pronosticadores. Ya se sabe, el futuro no es lo que era. Dicen los expertos.
@mellizonomics & @quietinvestment
Fuente original: Quantitative Value, Tobias E. Carlisle & Wesley R. Gray
