Sharpe-ul backtestului poate crește când adăugăm mai multe piețe

Adăugarea mai multor piețe în căutarea unei strategii poate face ca cel mai bun backtest să pară mai solid, deși dovezile devin mai slabe. Un Sharpe mai mare după adăugarea unor simboluri este adesea considerat diversificare; dacă ai căutat câștigătorul printre acele simboluri, ai mărit și numărul ocaziilor de a avea noroc.

Distincția contează atât când un agent propune sute de semnale, cât și când un cercetător testează manual câteva. Spațiul de căutare include fiecare combinație de piață, interval de timp, caracteristică și parametri al cărei rezultat a influențat alegerea finală. „Am lansat o singură strategie” nu ne spune câți candidați au trecut de audiție.

De ce poate un univers mai larg de piețe să umfle cel mai bun Sharpe?

Să presupunem că testăm același șablon de strategie pe 40 de piețe fără legătură între ele. Pentru simplitate, să presupunem că Sharpe-ul real este zero pe fiecare piață și că eroarea standard a fiecărui Sharpe estimat este 0.5. Estimările oscilează în jurul valorii zero. Totuși, dacă o alegem pe cea mai mare, de obicei va fi pozitivă, pur și simplu pentru că am ales un maxim.

Potrivit unei aproximări normale grosiere, cea mai mare dintre 40 de estimări independente ale zgomotului ar trebui să se situeze cu aproximativ 1.3 erori standard peste zero, adică în jur de 0.65 Sharpe în acest exemplu. Valoarea exactă depinde de dependența dintre observații, lungimea eșantionului și distribuția randamentelor. Ideea este că selecția creează optimism chiar și atunci când nicio strategie nu are un avantaj.

Piețele nu sunt aruncări independente de monedă. BTC și ETH se mișcă adesea împreună; doi indici bursieri pot împărți cea mai mare parte a riscului. Asta reduce numărul efectiv de încercări independente, dar nu face problema să dispară. În plus, piețele corelate pot avea comisioane, finanțare, lichiditate și intervale orare diferite în care funcționează un semnal.

Testarea mai multor piețe se consideră testare multiplă?

Da, atunci când folosești rezultatele ca să decizi ce păstrezi. Dacă ipoteza inițială a fost „această regulă surprinde un efect de finanțare pe principalele contracte perpetue”, examinarea mai multor piețe face parte din testarea ipotezei. Dacă testezi 50 de piețe, o alegi pe cea mai bună, apoi formulezi ipoteza în jurul comportamentului ei, selecția universului a devenit parte a optimizării.

Există o diferență utilă între amploarea stabilită dinainte și cea decisă după ce vezi rezultatele. Un coș fix poate arăta dacă o idee este robustă în domeniul declarat. Un coș extins până când un simbol produce o curbă de capital impresionantă este o procedură de căutare. Ambele pot fi forme legitime de cercetare, dar răspund la întrebări diferite.

Cum testez dacă un avantaj se transferă pe piețe noi?

Stabilește toate alegerile de cercetare înainte să deschizi eșantionul de control. Asta înseamnă definiția semnalului, parametrii, regulile universului, programul de reechilibrare și ipotezele de execuție. Apoi evaluează strategia neschimbată pe piețe care nu au influențat acele alegeri.

De exemplu, să presupunem că dezvoltăm o regulă de momentum pentru cripto pe contractele perpetue BTC și ETH până la sfârșitul lui 2023. Am putea rezerva un set de alte contracte perpetue lichide, alese după o regulă care folosește doar informațiile disponibile înainte de perioada de testare, și să le excludem complet din ajustarea parametrilor. Aplicăm regula înghețată acelor contracte în 2024 și 2025. Includem nivelul real al comisioanelor fiecărei platforme, plățile de finanțare, specificațiile contractelor și o ipoteză justificabilă privind impactul asupra prețului; un test de transfer fără costuri de tranzacționare specifice fiecărei piețe poate confunda o diferență de cost cu eșecul semnalului sau poate ascunde un astfel de eșec.

Raportează distribuția rezultatelor între piețele de control, nu doar Sharpe-ul cumulat. Un portofoliu cumulat poate ascunde faptul că aproape întregul randament a venit de pe o singură piață. Arată rezultatul net, numărul de tranzacții și drawdown-ul pentru fiecare piață, precum și ponderea din P&L total adusă de cea mai mare piață. Dacă regula funcționează doar pe un singur contract, descrie rezultatul ca fiind specific acelui contract.

Păstrează și o separare corectă în timp. O piață poate să nu fi fost examinată, deși perioada datelor sale se suprapune cu același regim care a determinat performanța din etapa de dezvoltare. Un eșantion de control între piețe verifică dacă regula se transferă între instrumente; un eșantion de control dintr-o perioadă ulterioară verifică dacă se transferă în timp. Sunt teste distincte, iar un rezultat bun la unul nu îl înlocuiește pe celălalt.

Ce fac dacă strategia chiar ar trebui să folosească mai multe piețe?

Le includem, dar definim cum. O regulă de portofoliu care tranzacționează pe fiecare piață eligibilă conform unui semnal fix diferă de un concurs în care câștigă piața cu cele mai bune rezultate istorice. Eligibilitatea trebuie stabilită fără a consulta performanța viitoare, de exemplu printr-un prag de lichiditate calculat la momentul respectiv și o cerință minimă privind istoricul. Trebuie marcate temporal și schimbările din componența universului; altfel, o listă actuală de „piețe lichide” poate introduce pe furiș în backtestul istoric piețele care au supraviețuit până astăzi.

Criticii au dreptate că un univers restrâns poate produce o strategie fragilă și că testarea pe scară largă este o verificare valoroasă a robusteții. Soluția nu este să evităm testarea piețelor. Trebuie să separăm piețele folosite pentru descoperirea unei idei de cele folosite pentru a pune la încercare ideea înghețată și să includem munca de descoperire în evaluarea dovezilor.

Un univers mai mare poate ajuta o strategie să reziste în afara laboratorului. Poate ajuta și un backtest norocos să câștige concursul de selecție din laborator. Jurnalul căutării și eșantionul de control îți arată care dintre aceste povești este susținută de Sharpe-ul tău.