Un agent de strategii poate contamina un set de testare fără să includă nici măcar un singur rând de test într-un job de antrenare. Dacă agentul vede scorul de testare, modifică un parametru și rulează din nou, scorul a influențat deja strategia. Codul poate numi perioada „out of sample”. Procesul de cercetare a transformat-o într-o parte a căutării.
Am văzut cum se întâmplă din comoditate: agentul rulează un lot, citește un tabel cu rezultate, apoi propune o mică îmbunătățire. Nimeni nu i-a cerut să ajusteze strategia pe setul de rezervă. Bucla de feedback a făcut totuși ajustarea.
Greșeala 1: Îi permiți agentului să tragă cu ochiul după fiecare rulare
Dezastrul se vede de obicei într-un Sharpe de testare care crește în pași mici și ordonați. Agentul încearcă 30 de variante, o păstrează pe cea mai bună, apoi încearcă 30 de variante în jurul ei. Fiecare modificare luată separat pare rezonabilă. Împreună, transformă perioada de testare într-o țintă de optimizare.
Iată un exemplu simplificat. Să presupunem că strategia nu are niciun avantaj real și testezi 100 de variante independente pe un set de rezervă. Dacă o alegi pe cea cu cel mai mare Sharpe, e foarte posibil să obții din întâmplare un rezultat măgulitor. În majoritatea căutărilor de strategii, variantele nu vor fi cu adevărat independente, dar asta nu salvează procesul: feedbackul repetat continuă să favorizeze setările care se potrivesc întâmplător cu particularitățile setului de rezervă.
Pune setul de rezervă dincolo de o barieră de acces la rezultate. Agentul poate dezvolta strategia folosind perioadele de antrenare și validare; nu poate accesa metricile sau graficele setului de rezervă. Păstrează evaluarea finală într-un job separat, ruleaz-o o singură dată după ce ai înghețat deciziile de cercetare și înregistrează versiunea strategiei și instantaneul datelor alături de rezultat.
Greșeala 2: Consideri „proaspătă” orice perioadă ulterioară
Un interval de date nu este proaspăt doar pentru că urmează după fereastra de antrenare. Dacă agentul a văzut un scor din acel interval sau dacă un om a folosit drawdown-ul pentru a alege o altă caracteristică, intervalul a devenit parte a buclei de feedback.
| Perioadă | Utilizare permisă | Ce îi schimbă statutul |
|---|---|---|
| Antrenare | Ajustarea regulilor și parametrilor | Nimic; este destinată căutării |
| Validare | Compararea candidaților și luarea deciziilor de cercetare | Utilizarea repetată facilitează supraînvățarea |
| Set final de rezervă | O singură evaluare a candidatului înghețat | Citirea rezultatului și modificarea candidatului |
| Perioadă viitoare de paper trading | Observarea prospectivă a comportamentului în implementare | Folosirea rezultatelor pentru ajustare creează un nou ciclu de cercetare |
Evaluarea walk-forward pe ferestre succesive poate ajuta la estimarea comportamentului unui proces de cercetare fix în timp. Asta nu îți dă voie să tragi cu ochiul fără limită la fiecare fold. Dacă agentul vede rezultatele fold-urilor și își adaptează căutarea, și acestea devin feedback. Păstrează o perioadă finală neatinsă pentru decizia pe care vrei de fapt s-o iei.
Greșeala 3: Îngheți codul, dar schimbi întrebarea
Uneori, codul strategiei rămâne neschimbat, dar cercetătorul modifică evaluarea după ce vede rezultatul: schimbă benchmark-ul, exclude o lună dificilă, raportează un alt univers sau pune accent pe metrica ce arată cel mai bine. Setul de testare a influențat povestea chiar dacă nu a schimbat niciun parametru.
Dezastrul ia forma unui raport finisat, cu un singur titlu clar și fără nicio evidență a celorlalte perspective încercate. O strategie pe acțiuni poate părea slabă în comparație cu un indice larg de piață, dar puternică în comparație cu numerarul; o strategie crypto poate străluci pe o singură platformă după ce au fost analizate mai multe. Comparațiile acestea pot fi utile, dar alegerea uneia dintre ele după ce ai văzut setul de rezervă este încă un pas de selecție.
Ține un registru de cercetare. Pentru fiecare rulare, salvează ipoteza, versiunea codului, instantaneul datelor, căutarea parametrilor, ferestrele de evaluare, metricile solicitate și dacă agentul sau cercetătorul a văzut rezultatul. Un jurnal concis este mai util decât eticheta care sună perfect, „out of sample”.
Apoi formulează explicit întrebarea finală înainte de evaluare: care candidat, care univers de piață, care benchmark, ce costuri și ce metrici? Dacă răspunsul se schimbă după ce primești rezultatul, tratează următoarea rulare ca cercetare și rezervă date noi pentru următoarea verificare finală.
Ce mai pot învăța dintr-un set de rezervă contaminat?
Nu este inutil. Poate arăta cum s-a comportat o strategie în acea perioadă și poate ajuta la diagnosticarea eșecului. Doar nu-i mai prezenta scorul ca pe o confirmare independentă. Folosește-l ca dovadă pentru dezvoltare, îngheață următorul candidat și evaluează-l într-o perioadă viitoare de paper trading, cu aceleași ipoteze de contabilizare și execuție.
Într-un flux de lucru bazat pe agenți, e ușor să pierzi numărul experimentelor: un singur prompt poate genera zeci de rulări înainte să-și dea cineva seama. Protecția ține de procedură. Limitează ce poate inspecta agentul, înregistrează fiecare experiment și păstrează o evaluare ale cărei rezultate nu pot influența candidatul evaluat.
← Toate articolele
