Un agente de estrategias puede contaminar un conjunto de prueba sin incluir ni una sola fila de prueba en un trabajo de entrenamiento. Si el agente ve la puntuación de prueba, cambia un parámetro y vuelve a ejecutar, esa puntuación ya ha influido en la estrategia. Puede que el código llame al período «fuera de muestra». El proceso de investigación ya lo ha incorporado a la búsqueda.
He visto que ocurre por comodidad: un agente ejecuta un lote, lee una tabla resumen y luego propone una pequeña mejora. Nadie le pidió que ajustara el modelo con el conjunto reservado. Pero el ciclo de retroalimentación lo hizo de todos modos.
Error 1: dejar que el agente eche un vistazo después de cada ejecución
El desastre suele verse en un Sharpe de prueba que sube en pequeños pasos ordenados. El agente prueba 30 variantes, se queda con la mejor y luego prueba 30 variantes alrededor de esa. Cada cambio por separado parece razonable. En conjunto, convierten el período de prueba en un objetivo de optimización.
Veamos un ejemplo sencillo. Supongamos que la estrategia no tiene ninguna ventaja real y que probamos 100 variantes independientes con un conjunto reservado. Si elegimos el Sharpe más alto, es muy posible que encontremos un resultado halagüeño por azar. En la mayoría de las búsquedas de estrategias, las variantes no serán verdaderamente independientes, pero eso no salva el proceso: la retroalimentación repetida sigue premiando los ajustes que, por casualidad, encajan con las particularidades del conjunto reservado.
Pon el conjunto reservado detrás de una barrera de resultados. El agente puede desarrollar con períodos de entrenamiento y validación, pero no puede consultar las métricas ni los gráficos del conjunto reservado. Mantén la evaluación final en un trabajo separado, ejecútala una sola vez cuando las decisiones de investigación ya estén cerradas y registra junto con el resultado la versión de la estrategia y la instantánea de datos.
Error 2: llamar «nuevo» a cualquier período posterior
Un rango de fechas no es nuevo solo porque venga después de la ventana de entrenamiento. Si el agente ha visto una puntuación de ese rango, o una persona ha usado su drawdown para elegir otra característica, ese rango ya forma parte del ciclo de retroalimentación.
| Período | Uso permitido | Qué cambia su condición |
|---|---|---|
| Entrenamiento | Ajustar reglas y parámetros | Nada; se busca deliberadamente en él |
| Validación | Comparar candidatos y tomar decisiones de investigación | El uso repetido facilita el sobreajuste |
| Conjunto reservado final | Una evaluación del candidato congelado | Leer el resultado y cambiar el candidato |
| Período futuro en paper trading | Observar prospectivamente el comportamiento de la implementación | Usar los resultados para ajustar crea un nuevo ciclo de investigación |
La evaluación walk-forward progresiva puede ayudar a estimar cómo se comporta un proceso de investigación fijo a lo largo del tiempo. No da permiso para echar un vistazo ilimitado a cada partición. Si el agente ve los resultados de las particiones y adapta su búsqueda, esas particiones también forman parte de la retroalimentación. Conserva un período final intacto para la decisión que realmente quieres tomar.
Error 3: congelar el código y cambiar la pregunta
A veces el código de la estrategia no cambia, pero quien investiga cambia la evaluación después de ver el resultado: sustituye el benchmark, excluye un mes malo, informa sobre otro universo o se centra en la métrica que sale mejor. El conjunto de prueba ha guiado el relato, aunque no haya cambiado ningún parámetro.
El desastre se presenta en forma de un informe pulido, con un titular impecable y sin registro de las otras perspectivas que se probaron. Una estrategia de renta variable puede parecer débil frente a un índice de mercado amplio, pero fuerte frente al efectivo; una estrategia cripto puede destacar en una plataforma después de haber revisado varias. Esas comparaciones pueden ser útiles, pero elegir entre ellas después de ver el conjunto reservado es otro paso de selección.
Lleva un registro de investigación. Para cada ejecución, guarda la hipótesis, la versión del código, la instantánea de datos, la búsqueda de parámetros, las ventanas de evaluación, las métricas solicitadas y si el agente o quien investiga vio el resultado. Un registro compacto sirve más que una etiqueta «fuera de muestra» que suena impecable.
Antes de evaluar, deja clara la pregunta final: ¿qué candidato, qué universo de mercado, qué benchmark, qué costes y qué métricas? Si la respuesta cambia cuando llega el resultado, trata la siguiente ejecución como investigación y reserva datos nuevos para la próxima comprobación final.
¿Qué puedo aprender todavía de un conjunto reservado contaminado?
No es inútil. Puede mostrar cómo se comportó una estrategia durante ese período y ayudar a diagnosticar fallos. Simplemente deja de presentar su puntuación como una confirmación independiente. Úsalo como evidencia de desarrollo, congela el siguiente candidato y evalúalo en un período futuro de paper trading realmente nuevo, con los mismos supuestos de contabilidad y ejecución.
En un flujo de trabajo basado en agentes, es fácil perder la cuenta de los experimentos: un prompt puede generar decenas de ejecuciones antes de que nadie se dé cuenta. La protección es procedimental. Limita lo que el agente puede consultar, registra cada experimento y reserva una evaluación cuyo resultado no pueda influir en el candidato que se está juzgando.
← Todos los artículos
