Probamos 240 conjuntos de parámetros. El mejor arrojó un ratio de Sharpe de 2.1; la mediana fue 0.1; y solo 17 superaron 1.0. Esas cifras parecen un descubrimiento hasta que sabes que, incluso si ninguna estrategia tiene una ventaja real, una búsqueda tan amplia puede dar por azar un ganador muy favorecedor.
La cifra sorprendente es 240. Un informe de backtesting suele tratar la estrategia elegida como si hubiera aparecido por sí sola. Pero la investigación no funciona así. Cada ajuste de parámetros, cambio de característica, modificación del universo y nueva ejecución tras un resultado desfavorable le da al ruido otra oportunidad para parecer una señal.
¿Por qué probar más estrategias eleva el mejor Sharpe?
Imagina 240 estrategias independientes sin ventaja real y con estimaciones ruidosas de Sharpe. La mayoría de las estimaciones cae cerca de cero, pero el máximo tiende a ser positivo. Cuantos más candidatos examines, más puede alejarse ese máximo de la realidad.
Como ilustración aproximada, supongamos que el error estándar del Sharpe estimado de cada candidato es 0.5. Con 240 observaciones independientes, la estimación más alta puede situarse alrededor de 1.4 errores estándar por encima de la media, o aproximadamente 0.7 puntos de Sharpe, solo por selección. Los candidatos reales a estrategias están correlacionados, así que este cálculo no sirve como corrección que puedas aplicar directamente a un informe. Sí muestra por qué «el ganador superó cero» es una prueba débil después de una búsqueda amplia.
Y la búsqueda rara vez se limita a la cuadrícula de parámetros. Puede que hayas probado tres familias de señales, descartado dos tras ver sus curvas, cambiado el universo de trading y luego vuelto a ejecutar la opción restante con otro calendario de rebalanceo. Si el rendimiento influyó en esas decisiones, deben figurar en el historial de investigación.
¿Qué cuenta como una prueba de backtesting?
Cuenta una decisión como una prueba cuando su resultado podría haber influido en la estrategia que elegiste. Esto incluye las ejecuciones que no publicaste y las variantes que detuviste antes de tiempo porque la curva de capital se veía mal. Un error de compilación no es una prueba de rendimiento; una ejecución que arrojó un Sharpe decepcionante normalmente sí lo es.
| Acción de investigación | ¿Suele contar? | Motivo |
|---|---|---|
| Cambiar el lookback de 20 a 30 tras revisar los resultados | Sí | El primer resultado influyó en el siguiente candidato |
| Ejecutar la misma estrategia fija en un nuevo intervalo de fechas predefinido | Por lo general, no es una nueva prueba de selección | La regla se fijó antes de ver esa evidencia |
| Cambiar el universo tras ver qué activos ganaron | Sí | La selección del universo puede mejorar el resultado aparente |
| Corregir un error de sintaxis y volver a ejecutar el código sin cambios | No | El rendimiento no influyó en ninguna decisión de investigación |
La línea divisoria es si usaste un resultado para tomar una decisión. Puede ser difícil reconstruirlo de memoria, por eso el registro de experimentos debería anotar la hipótesis, la versión del código o la configuración, el período de datos, los supuestos sobre costes y el resultado de cada ejecución.
¿Puedo corregir por pruebas múltiples?
Hay métodos que estiman el sesgo de selección o ajustan la significación cuando se hacen muchas pruebas. Pueden ser útiles, pero requieren supuestos sobre la relación entre candidatos y el comportamiento de los retornos. Un valor p nominal o una única estimación de Sharpe deflactado no pueden salvar una búsqueda cuyo historial real has perdido.
Empieza por lo que puedes controlar. Fija una especificación final antes de evaluar un período realmente intacto. Mantén visible el conjunto completo de candidatos. Al probar muchas variantes relacionadas, agrúpalas según la decisión que las generó, en vez de fingir que cada una fue un descubrimiento independiente. Informa sobre la búsqueda junto con el ganador: número de pruebas, regla de selección y si la evaluación final dio lugar a más modificaciones.
Una prueba útil: Si el resultado del holdout es decepcionante, ¿cambiarás la estrategia y volverás a llamar holdout a ese mismo período? Si la respuesta es sí, ese período ya forma parte de la investigación. Necesitas evidencia nueva para la siguiente evaluación.
¿Qué debería registrar un agente de investigación de AI?
Un agente puede generar candidatos más rápido de lo que una persona puede mantenerlos en la memoria de trabajo. Por eso, contabilizar las pruebas es parte del sistema de investigación, no una tarea administrativa. Guarda cada candidato antes de ejecutarlo, incluido el experimento del que procede y el motivo por el que existe. Conserva las ejecuciones fallidas y descartadas. Registra cuándo una persona o un agente examinó el rendimiento y qué decisión tomó después.
Después, haz reproducible el proceso de selección: con el mismo conjunto de candidatos y la misma regla, debería elegir al mismo ganador. Si un agente sigue cambiando el prompt, el objetivo o las restricciones después de ver los resultados, esos cambios también forman parte de la búsqueda.
Un Sharpe de 2.1 puede merecer una investigación más profunda. Su significado depende del camino que llevó hasta él. Cuando el registro de investigación indica que 240 candidatos compitieron por el titular, puedes hacer la pregunta adecuada: ¿qué evidencia queda que esas decisiones aún no hayan agotado?
← Todos los artículos
