Backtest může vypadat přesvědčivěji poté, co jeho data zhoršíte. Odstraňte ošklivé záznamy, vyplňte mezery úhlednými cenami a Sharpeův poměr může vzrůst. Takové zlepšení může být varováním: pravidlo čištění mohlo vymazat právě ty tržní podmínky, v nichž vaše strategie musí obstát.
Na kvalitě dat záleží. Křížová kotace nebo duplicitní obchod mohou vytvořit plnění, které nikdo nemohl získat. Filtr, kvůli němuž zmizí nepohodlná pozorování, je ale také volbou modelu. Přistupujte k němu se stejnou obezřetností jako k nové signální proměnné.
Kdy je špatná cena skutečně chybným údajem?
Nejprve se ptejte, co dané pozorování představuje. Obchod výrazně vzdálený od převládající tržní ceny může být poškozený záznam, skutečný průchod trhem s nízkou likviditou nebo událost specifická pro dané tržiště. Minutová svíčka s nulovým objemem může znamenat, že neproběhly žádné obchody, zatímco chybějící svíčka může znamenat výpadek datového toku. S každým z těchto případů je třeba zacházet jinak.
Uvažujme jednoduchou strategii návratu k průměru, která nakupuje, když cena klesne o 1 % pod krátkodobý klouzavý průměr, a uzavírá pozici na průměru. Během nočního období s nízkou likviditou se jeden obchod zaznamená o 1.2 % níže než předchozí cena a trh se pak prudce vrátí zpět. Pokud je tento záznam skutečný, strategii s čekajícím limitním příkazem se mohlo podařit nakoupit. Pokud jde o chybný tick, který nepodporovala žádná realizovatelná kotace, započítáním plnění si vymýšlíme výhodu.
Smazání svíčky automaticky neznamená bezpečnější postup. Strategie mohla mít stále příkaz čekající na trhu a mohl ho vyplnit další skutečný obchod. Obhajitelná simulace musí modelovat, co strategie mohla pozorovat a proti čemu se její příkaz mohl věrohodně realizovat.
Jak pravidlo čištění ovlivní výsledek?
Spusťte strategii s výslovně popsanými způsoby zpracování dat a porovnejte změny. Uchovejte původní zdroj a u každého vyloučení či opravy zaznamenejte důvod. Poté uveďte, do jaké míry výsledek závisí na těchto rozhodnutích.
| Zpracování dat | Možný přínos | Riziko pro backtest |
|---|---|---|
| Odstranit záznam obchodu mimo zdokumentovaný rozsah chyb burzy | Zabrání tomu, aby známý neplatný záznam určil extrémní hodnotu | Pravidlo může během rychlého trhu chybně označit legitimní obchody |
| Přenést poslední cenu přes chybějící interval | Zabrání tomu, aby indikátory selhávaly při mezerách | Vytvoří cenu, za kterou nemusel proběhnout žádný obchod |
| Použít konsolidované kotace místo posledních obchodů | Poskytne lepší přehled o zobrazených realizačních cenách | Stále záleží na velikosti kotace, přístupu k tržišti a pozici ve frontě |
| Vyřadit všechny odlehlé svíčky podle statistického prahu | Sníží citlivost na extrémní hodnoty | Může odstranit skutečná krizová období, v nichž strategie nejvíce prodělává |
Předpokládejme, že nefiltrovaný běh má Sharpeův poměr 0.9, zatímco běh, z něhož je vyloučeno 0.8 % svíček, dosáhne hodnoty 1.4. Samo o sobě to není důkaz lepší kvality dat. Ověřte, zda se odstraněné svíčky soustřeďují kolem prudkých nárůstů volatility, zda tvoří významnou část P&L a zda bylo pravidlo pro jejich vyloučení stanoveno ještě předtím, než jste viděli výsledek.
Veďte evidenci datových výjimek: zdroj, časové razítko, dotčená pole, důvod zásahu a informace, zda bylo rozhodnutí učiněno před kontrolou výkonnosti strategie, nebo až po ní.
Jak ověřím, zda čištění změnilo výhodu strategie?
Zmrazte strategii a porovnejte několik věrohodných způsobů zpracování za stejné období. Pokud možno zahrňte simulaci s původními daty, zdokumentovanou sadu oprav a konzervativní variantu provádění obchodů pro nejednoznačná pozorování. U každého běhu vedle Sharpeova poměru uveďte počet obchodů, obrat, propad a příspěvek dotčených intervalů k P&L.
Pak prověřte obchody, které se změnily. Pokud při vyřazení malé skupiny podezřelých záznamů zmizí největší zisky strategie, prohlédněte si tyto záznamy jednotlivě. Pokud naopak zmizí ztráty, prověřte je stejně pečlivě. Pravidlo, které podrobně zkoumáte jen tehdy, když zhoršuje backtest, už ovlivňuje výzkum.
Aby byla studie reprodukovatelná, verzujte soubory dodavatele nebo jejich kontrolní součty, kód čištění i seznam výjimek. Dodavatel může historii upravit; při příštím běhu musíte být schopni zjistit, zda se změnila strategie, nebo její vstupní data.
Není ale čištění nezbytné?
Ano. Ponechání zjevně poškozeného záznamu může vytvořit fiktivní obchod, zkreslit volatilitu nebo rozbít indikátor. A nikdo by neměl předstírat, že původní datový tok je neomylným zdrojem pravdy. Praktický závěr je užší: čištění vyžaduje důkazy, neměnné pravidlo a kontrolu citlivosti, protože může změnit, jaký trh má backtest představovat.
Když oprava dat zlepší výkonnost, ptejte se, jaké pozorování odstranila a zda byste se rozhodli stejně, kdybyste neviděli kapitálovou křivku. Pokud si nejste jistí, uchovejte obě verze ve výzkumných záznamech. Rozdíl mezi nimi je součástí výsledku.
← Všechny články
