Un backtest e mai potrivit pentru a respinge o strategie decât pentru a o selecta. În momentul în care folosești performanța istorică pentru a alege dintre mai multe variante, backtestul devine parte din experiment, iar câștigătoarea aparentă începe să aibă un cost ascuns: biasul de selecție.
Pare pe dos. Facem backtesting fiindcă vrem să aflăm ce strategie funcționează. Dar fiecare alegere ghidată de aceleași date istorice consumă o parte din dovezile oferite de acestea. Dacă modifici perioada de analiză, pragul, universul, ziua de rebalansare sau regula de stop după ce ai văzut rezultatele, ai pus datelor încă o întrebare. În cele din urmă, le-ai pus destule întrebări cât să primești, din întâmplare, un răspuns convingător.
De ce face testarea mai multor strategii ca cel mai bun rezultat să fie mai puțin de încredere?
Imaginează-ți că testezi 100 de strategii fără niciun avantaj real. Chiar și așa, randamentele lor vor fi diferite. Dacă estimările de performanță sunt aproximativ independente, iar zgomotul are o distribuție normală, cel mai bun Sharpe dintre ele va fi pozitiv, deși Sharpe-ul real al fiecărei strategii este zero.
O aproximație grosieră pentru maximul așteptat al 100 de extrageri independente dintr-o distribuție normală standard este cu 2.5 deviații standard peste medie. Ia asta ca pe o ilustrare, nu ca pe o corecție pe care o poți copia într-un raport: variantele reale de strategii sunt corelate, estimările Sharpe au propria eroare de eșantionare, iar randamentele rareori se comportă ca extrageri normale curate. Ideea practică rămâne valabilă în ciuda acestor rezerve. Cu cât analizezi mai mulți candidați, cu atât e mai probabil ca scorul cel mai mare să reflecte zgomot favorabil.
Iar un „candidat” nu înseamnă doar un backtest salvat. Înseamnă fiecare alegere făcută după ce ai văzut un rezultat: lărgirea universului fiindcă graficul pare agitat, eliminarea unui an care trage rezultatul în jos sau modificarea ipotezei despre comisioane până când curba își revine. Aceste decizii se pun la socoteală chiar dacă nimeni nu le-a atribuit un număr de versiune.
Ține un registru al cercetării înainte să rulezi următoarea variantă
Înregistrează întreaga căutare, inclusiv ideile abandonate și motivul fiecărei modificări. Astfel, vei avea o relatare mai onestă despre cât de mult a fost selectat rezultatul și îți va fi mai greu să-ți amintești doar testele promițătoare.
| Înregistrare | Exemplu | De ce contează |
|---|---|---|
| Ipoteză | Reversia pe termen scurt este mai puternică după mișcări neobișnuit de ample ale contractelor perpetue BTC | Separă ideea de parametrii la care ajunge în cele din urmă |
| Variantă și marcaj temporal | Semnal pe 48 de ore, 2026-10-09, rularea 014 | Contorizează căutarea și leagă rezultatele de cod și date |
| Regulă de selecție | Alegere după Sharpe net; minimum 100 de tranzacții | Arată ce însemna „cel mai bun” înainte de comparație |
| Variante respinse | Ferestre de 12, 24 și 72 de ore; toate păstrate | Împiedică rezultatul câștigător vizibil să-i șteargă concurența |
Un registru nu anulează căutarea. O face transparentă, iar acesta este primul pas ca să judeci câtă încredere merită strategia câștigătoare.
Păstrează date pe care procesul de cercetare să nu le poată reanaliza la nesfârșit
Împarte datele în funcție de timp, apoi protejează perioada finală. Dezvoltă strategia pe un interval, ia decizii folosind un interval de validare, apoi evaluează o singură dată strategia înghețată pe un set de rezervă ulterior. De exemplu, ai putea folosi 2018–2022 pentru dezvoltare, 2023 pentru validare, apoi să păstrezi 2024–2025 ca rezervă. Aceste date sunt doar orientative: piața, orizontul strategiei și acoperirea datelor ar trebui să determine împărțirea.
Notează ce înseamnă „înghețată”: semnalul, universul, dimensionarea pozițiilor, ipotezele de execuție și orice reguli pentru date lipsă. Dacă rezultatul pe setul de rezervă te dezamăgește și ajustezi strategia în funcție de el, perioada respectivă a devenit date de validare. Următoarea evaluare onestă va necesita dovezi noi.
Aici își fac simțită prezența și eșantioanele mici. O strategie care a făcut 18 tranzacții în perioada de rezervă nu permite o concluzie precisă. Raportează numărul de tranzacții și incertitudinea alături de statisticile randamentului; o singură medie poate face ca un eșantion mic să pară concludent.
Înseamnă asta că backtesturile sunt inutile pentru alegerea strategiilor?
Nu. Criticii au dreptate că seturile de rezervă stricte pot fi o risipă: piețele se schimbă, seriile istorice sunt scurte, iar o perioadă neatinsă poate reprezenta un singur regim neobișnuit. Un proces walk-forward conceput cu grijă poate arăta cum se comportă o strategie pe măsură ce istoricul disponibil avansează. Totuși, asta nu face ca ajustările repetate să fie gratuite. Dacă analizezi fiecare fold și revizuiești strategia, foldurile respective au influențat cercetarea.
Folosește backtesturile pentru a descoperi modurile de eșec, a compara un număr mic de idei bazate pe un mecanism de piață și a verifica dacă rezultatele rezistă la ipoteze plauzibile privind comisioanele, fundingul, impactul și modificările parametrilor. Ține un registru. Păstrează un set final de rezervă. Apoi treci o versiune promițătoare și înghețată la tranzacționarea simulată, unde pot ieși la iveală neconcordanțe operaționale.
Cel mai puternic răspuns al unui backtest este adesea: „Ideea aceasta eșuează în condiții pe care le putem observa deja.” Când spune „Aceasta este cea mai bună strategie”, întreabă-te câte alte răspunsuri i-ai cerut să dea.
← Toate articolele
