O mie de variante de strategie. Un Sharpe măsurat de 2.0 pentru varianta câștigătoare. O rată de rezultate fals pozitive de 5%. Aceste cifre par să indice un rezultat solid, până când te întrebi câte încercări au fost necesare pentru a-l găsi. Dacă încerci de suficiente ori, un backtest convingător poate apărea doar din zgomot.
Numărul surprinzător nu este Sharpe-ul. Este numărul de teste. Fiecare fereastră de indicator, prag de intrare, alegere a universului și idee abandonată reprezintă o nouă șansă de a selecta un rezultat norocos. Dacă procesul tău de cercetare uită aceste încercări, le uită și calculul încrederii.
De ce pare mai bună strategia câștigătoare când încerci mai multe strategii?
Imaginează-ți că testezi 1,000 de strategii fără niciun avantaj real. Fiecare are o șansă de 5% să pară semnificativă statistic într-un test convențional. În cercetarea reală, aceste încercări nu sunt perfect independente, dar intuiția de bază rămâne valabilă: cu cât examinezi mai mulți candidați, cu atât crește probabilitatea ca unul să pară excepțional din întâmplare.
Chiar dacă fiecare candidat ar fi independent, probabilitatea ca măcar unul să depășească pragul de 5% este de aproximativ 99.4%. În practică, setările apropiate ale parametrilor au adesea comportamente similare, așa că 1,000 de variante nu înseamnă 1,000 de aruncări independente ale monedei. Dar nici numărul efectiv de încercări nu este de obicei unu.
Am văzut o capcană mică în notebookuri: un cercetător testează perioade de retrospectivă de la 5 la 100, trasează suprafața Sharpe, apoi raportează vârful cu aspect curat. Suprafața ajută la înțelegerea sensibilității. Vârful este și produsul unei căutări, așa că merită mai puțin credit decât un prag ales înainte de experiment.
Ce se consideră un test de cercetare?
Numără deciziile influențate de rezultatele observate. Un test poate fi un backtest scris în cod, dar poate fi și o modificare manuală făcută după ce ai văzut curba de capital. Dacă ai lărgit un stop pentru că setarea anterioară a ratat un raliu, revizuirea a folosit informații din perioada de testare.
| Acțiune de cercetare | Se consideră de obicei un test? | De ce |
|---|---|---|
| Testarea unui alt prag de semnal | Da | Rezultatul ajută la selectarea unui candidat |
| Modificarea intervalului de date după ce ai văzut o scădere | Da | Eșantionul a fost ales ca răspuns la performanță |
| Remedierea unei erori documentate în date | De obicei, nu | Modificarea restabilește experimentul intenționat |
| Rularea aceleiași strategii înghețate pe o nouă perioadă de testare rezervată | Încă nu reprezintă un nou test de selecție | Devine unul dacă ajustezi strategia pe baza acelui rezultat |
Limita ține de judecată. Corectarea unei greșeli de tastare e diferită de modificarea unei caracteristici după ce ai observat unde a eșuat. Păstrează un scurt jurnal al testelor, cu ipoteza, modificarea, perioada de date și rezultatul. Nu trebuie să fie elegant; un CSV datat e mai bun decât să-ți reconstruiești căutarea din memorie după trei luni.
Pot să-mi corectez Sharpe-ul pentru testarea multiplă?
Metode precum Deflated Sharpe Ratio estimează cât din performanța aparentă s-ar putea datora selecției dintre mulți candidați, ținând cont de factori precum distribuția randamentelor și dependența dintre teste. Sunt instrumente utile de diagnostic, nu o mașinărie care transformă un proces de cercetare dezordonat în certitudine. Rezultatele depind de ipoteze și de credibilitatea numărului de teste.
Ca să-ți faci o idee, să presupunem că un cercetător a testat 400 de variante, a obținut un Sharpe de 1.8 și estimează că randamentele au asimetrie pronunțată și cozi groase. Rezultatul ar trebui să treacă un prag mai exigent decât un Sharpe de 1.8 obținut într-un singur test preînregistrat. Corecția poate slăbi considerabil dovezile; nu-ți poate spune că avantajul este real.
Notează căutarea înainte să fie nevoie să o justifici: numărul de candidați, intervalele parametrilor, perioadele de date consultate și orice revizuiri manuale. Dacă aceste detalii nu sunt cunoscute, descrie backtestul drept exploratoriu.
Ce ar trebui să se întâmple înainte de paper trading?
Îngheață un singur candidat și definește următoarea evaluare înainte de a o rula. O succesiune utilă este să alegi strategia folosind datele de antrenare, să o examinezi pe datele de validare, apoi să rezervi o perioadă finală sau o fereastră de paper trading care nu influențează proiectarea. Fiecare etapă răspunde la o întrebare diferită; ajustarea repetată a strategiei în etapa finală transformă acele date în alte date de antrenare.
Verifică și dacă setările apropiate spun aceeași poveste. O zonă largă cu rezultate moderat pozitive este de obicei mai credibilă decât un singur vârf ascuțit, deși robustețea nu repară un model de execuție defectuos. Comisioanele, fundingul, impactul și disponibilitatea instrumentelor trebuie să corespundă în continuare condițiilor cu care s-ar fi confruntat strategia.
Paper trading aduce dovezi despre paritatea operațională: sincronizare, gestionarea ordinelor și dacă pipeline-ul de cercetare live se comportă conform așteptărilor. Nu poate șterge selecția deja făcută. O mie de backtesturi norocoase rămân o mie de încercări când este trimis primul ordin pe paper.
Așadar, când un backtest raportează un Sharpe de 2, cere și istoricul cercetării, alături de curba de capital. Câte idei au fost încercate? Ce rezultate au schimbat următorul experiment? Răspunsul ar putea fi cea mai importantă statistică din raport.
← Toate articolele
