El lunes, nuestro agente de investigación de IA encontró una estrategia de futuros de criptomonedas con un ratio de Sharpe de 4.1. Para el jueves, después de contar los experimentos y dejar de permitir que el agente ajustara parámetros contra la misma ventana de validación, el resultado era 0.8. La estrategia no había cambiado. Sí había cambiado nuestra estimación de lo que había conseguido la búsqueda.
Llevamos un pequeño diario de investigación porque «optimizar con cuidado» es un consejo fácil de dar y difícil de llevar a la práctica cuando un agente puede escribir código, lanzar backtests, revisar la puntuación y volver a intentarlo en cuestión de minutos. Esto es lo que falló, en orden.
Lunes: plantear al agente una pregunta acotada
Pedimos al agente que probara una idea sencilla de tendencia horaria en un mercado líquido de futuros perpetuos: entrar cuando una media móvil corta cruzara una más larga, ajustar el tamaño a un objetivo de volatilidad fijo y cerrar la posición ante la señal inversa. Especificamos el instrumento, las fechas, el esquema de comisiones, el historial de financiación, el supuesto de ejecución y los rangos de parámetros que podía explorar.
La muestra histórica abarcaba de 2021 a 2025. Asignamos 2021–2023 al desarrollo, 2024 a la validación y reservamos 2025 como conjunto de prueba final. Esa división quedó fijada en la configuración del trabajo, de modo que el agente podía consultar los resultados de desarrollo y las puntuaciones de validación, pero no acceder a los rendimientos del conjunto de prueba.
Nuestro primer error fue permitir 300 combinaciones de parámetros en un solo trabajo sin registrar el presupuesto de búsqueda como resultado de la investigación. El agente devolvió la configuración con mejor resultado: una media rápida de 9 horas, una media lenta de 73 horas y un objetivo de volatilidad del 0.8%. Su Sharpe de validación era 4.1. Sabíamos que el agente había probado muchas configuraciones. Todavía no habíamos hecho imposible olvidar ese dato.
Martes: el ganador cambió al repetir el trabajo
Repetimos el mismo trabajo desde un entorno limpio. La configuración líder cambió y su Sharpe cayó a 2.7. En la primera ejecución, una caché de datos de mercado había proporcionado una serie de financiación actualizada; en la repetición se usó una instantánea fijada. Ambos trabajos afirmaban usar el mismo rango de fechas, pero solo uno tenía una versión de datos reproducible.
Dejamos de comparar puntuaciones y empezamos a registrar el experimento completo: revisión del código, instantánea de datos, comisiones, financiación, ajustes de ejecución, valores de los parámetros y cada ensayo lanzado por el agente. Eso mostró que el 4.1 no era una misteriosa ventaja de mercado. Correspondía a una configuración dentro de una búsqueda de 300 intentos sobre el mismo año de validación.
Miércoles: congelar la búsqueda antes de abrir el conjunto de prueba
Repetimos el experimento con una instantánea de datos fija y una cuadrícula más pequeña, definida de antemano: 24 combinaciones. El agente podía ordenarlas según el periodo de desarrollo de 2021–2023. Le permitimos ver 2024 una vez, para seleccionar la configuración, y luego bloqueamos los parámetros elegidos y el código.
La estrategia seleccionada obtuvo un Sharpe de 0.8 en validación. En el conjunto de prueba sellado de 2025, obtuvo 0.3 después de aplicar las comisiones taker, la financiación y el mismo retraso de ejecución de 1 barra usado durante todo el estudio. Fue una respuesta útil. No era prueba de que la estrategia fuera a generar ganancias en una cuenta real.
Un apunte de esta semana: dedicamos más tiempo a acordar qué significaba «un ensayo» que a escribir el código de la media móvil. Contamos cada conjunto de parámetros modificado como un ensayo, así como las ejecuciones que cambiaban la señal o la regla de dimensionamiento. A cada nueva instantánea de datos o supuesto de ejecución le asignamos un registro de ejecución aparte, porque podía cambiar la clasificación en la misma medida.
Jueves: qué nos saltaríamos la próxima vez
Nos saltaríamos el primer trabajo sin límites. Un agente de investigación necesita un presupuesto de búsqueda y un registro de lo que probó, especialmente cuando puede usar cada resultado para decidir qué probar a continuación. También hay que proteger el conjunto de prueba de consultas informales: en cuanto alguien ve su resultado y modifica la estrategia, ese periodo se convierte en otro conjunto de validación.
Para una búsqueda pequeña, basta con llevar un registro de experimentos sencillo y explícito:
| Qué registrar | Por qué importa |
|---|---|
| Versiones del código y los datos | Para que una repetición use las mismas entradas y la misma lógica |
| Cada variante probada | Para entender al ganador en el contexto de la búsqueda |
| Funciones del desarrollo, la validación y el conjunto de prueba | Para que una puntuación final no se reutilice a escondidas para ajustar la estrategia |
| Supuestos sobre comisiones, financiación y ejecución | Para que el resultado informado describa una simulación que se pueda reproducir |
Una vez abierto el conjunto de prueba, vuelve al desarrollo con una nueva pregunta de investigación y conserva el resultado anterior como evidencia histórica. No sigas puliendo la misma estrategia contra un periodo que ya ha visto.
El agente cumplió su cometido: buscó rápido y encontró una configuración que merecía analizarse. A nosotros nos correspondía hacer que la búsqueda fuera transparente, preservar una prueba intacta y tratar la puntuación como una medición con su propio historial. El resultado interesante no fue 4.1 ni 0.3. Fue ver exactamente cómo se obtuvo la primera cifra.
← Todos los artículos
