LAS PELIGROSAS TRAMPAS DE LOS BACK TEST
LAS PELIGROSAS TRAMPAS DE LOS BACK TEST
Tiene sentido que el inversor cuantitativo quiera probar previamente y con rigor su modelo o su estrategia. Muchas ideas que parecen intuitivas se marchitan al examinarlas detenidamente. La trampa es que hay innumerables formas con las que podemos engañarnos inconscientemente con simulaciones de inversión. Los datos incorrectos pueden introducir varios sesgos en los resultados y hacernos creer que los rendimientos habrían sido mejores de lo que se podrían lograr en la práctica. Las suposiciones erróneas sobre la construcción de la cartera y los costes de rotación y transacción también pueden introducir errores en los resultados. Vamos entonces a examinar los errores más comunes que se cometen al realizar simulaciones de inversión y los medios para evitarlos.
En su artículo de 1992, Behind the Smoke and Mirrors: Gauging the Integrity of Investment Simulations, John D. Freeman analiza varios errores comunes que cometen los investigadores que realizan simulaciones de inversión. Muchos son inadvertidos y son el resultado de datos defectuosos. Una buena base de datos puede ayudarnos a evitar la mayoría de estos errores.
SESGO DE SUPERVIVENCIA
Un error muy común es causado por el sesgo de supervivencia, llamado así porque se deriva de la combinación de “supervivientes” -las acciones que no están excluidas de la lista-, con la exclusión de las que están excluidas de la lista, lo que hace que el estudio esté sesgado a favor de las supervivientes. Las bases de datos que no incluyen datos sobre acciones excluidas pueden hacer que los rendimientos sean exagerados.
Digamos, por ejemplo, que probamos una estrategia que compra acciones en dificultades financieras. Si la base de datos no incluye acciones excluidas de la lista, nuestros resultados solo incluirán aquellas que se encontraban en dificultades financieras y sobrevivieron. Esas acciones probablemente produjeron beneficios increíbles, lo que exageraría los resultados disponibles en la práctica. Tengamos en cuenta ahora las acciones que estaban en apuros económicos y perecieron. Si hubiéramos comprado esas acciones, nuestros resultados serían considerablemente más bajos pero la base de datos las excluye, por lo que no podemos medirlas, exagerando los resultados que hubiéramos logrado en la práctica. A la hora de la verdad, es posible que no podamos distinguir entre los que sobreviven y los que perecen en el momento de la adquisición, pero la simulación de inversión funciona como sí pudiéramos.
Para eliminar el sesgo de supervivencia, debemos emplear una base de datos con integridad de datos. En EEUU se puede usar la base de datos del Center for Research in Security Prices (CRSP), el estándar de oro para la investigación académica y los inversores cuantitativos. CRSP incluye empresas “muertas” y datos sobre acciones excluidas de la lista. Sin embargo, esta es solo la primera etapa.
En su artículo, Delisting Returns and Their Effect on Accounting-Based Market Anomalies, Richard Price, William Beaver y Maureen McNichols identificaron un algoritmo que fusionaba de manera sensata la información sobre exclusiones de CRSP en una base de datos coherente. Los autores destacan la importancia de incorporar datos de excluidos de la lista en un análisis de back test. Los resultados cambian drásticamente dependiendo de si las acciones excluidas de la lista se incluyen adecuadamente en un análisis. Por ejemplo, en el caso de un análisis de carteras formadas de acuerdo con deciles de precio de mercado de valor contable, el rendimiento de la cartera de valor se exagerará enormemente si los datos de los excluidos no se incorporan adecuadamente porque muchas de esas acciones no sobreviven.
SESGO DE ANTICIPACIÓN
Otro error pernicioso es causado por el sesgo de “anticipación” o “look-ahead” o “point-in-time”. El sesgo de anticipación es simplemente la inclusión en una simulación de datos no disponibles durante el período analizado. Por ejemplo, una base de datos que no tiene en cuenta el tiempo de retraso en la presentación de los informes anuales puede exagerar los resultados. Los resultados anuales normalmente no se publican hasta pasados enero o febrero del año siguiente o incluso más tarde. Si probamos una estrategia que se reequilibra anualmente el 1 de enero, introducimos un sesgo de anticipación, pues estaríamos usando los resultados anuales del año anterior que no habrían estado disponibles, en la práctica, el 1 de enero de este año.
Las empresas, además, suelen reformular los estados financieros con posterioridad, y esto puede introducir otra forma de sesgo de anticipación que puede tener un gran impacto en los resultados contrastados. Marcus Bogue y Morris Bailey en su informe técnico, The Advantages of Using as First Reported Data with Current Compustat Data for Historical Research, resaltan cómo los estados financieros reformulados impactan en los resultados de las pruebas retrospectivas para una estrategia simple basada en el PER. Si la prueba retrospectiva no tiene en cuenta la diferencia en los datos de los estados financieros cuando se publican primero y luego, a medida que se reformulan posteriormente, los resultados de las pruebas retrospectivas varían drásticamente. Por ejemplo, desde junio de 1987 hasta junio de 2001, no tener en cuenta el sesgo de anticipación causado por la reformulación de los resultados financieros llevó a una sobreestimación de los rendimientos alcanzables con la estrategia basada en el PER en un increíble 28%.
En una buena simulación de inversión, debemos tratar los datos de forma conservadora para protegerlos contra el sesgo de anticipación. La mejor manera de hacerlo es retrasando los datos de los estados financieros seis meses. Esto ayuda a garantizar que todos los informes de estados financieros estén disponibles en el momento en que se tomó la simulada decisión de invertir. Por ejemplo, podemos usar los datos anuales al 31 de diciembre, pero asumimos que el inversor no tendrá estos datos disponibles hasta el 30 de junio del año siguiente. Esta es la práctica estándar en la literatura académica para garantizar que los investigadores no produzcan sesgos de anticipación que exageren los resultados.
No obstante, no sólo debemos estar alerta ante los sesgos de supervivencia y anticipación. Todavía hay más problemas, y no son pequeños, como veremos próximamente.
@mellizonomics & @quietinvestment
Fuente original: Quantitative Value, Tobias E. Carlisle & Wesley R. Gray
