Täiesti reprodutseeritav järeltest võib olla vähem usaldusväärne kui test, mille tulemus veidi muutub. Korratavus tõestab, et suudame kaks korda sama vastuse saada; see ei ütle midagi selle kohta, kas vastus sõltub ühest suvalisest andmehetktõmmisest, teegi iseärasusest või varjatud vaikeväärtusest.
See kõlab nagu argument reprodutseeritavuse vastu, aga seda see pole. Fikseerime käivituse, et saaksime seda selgitada. Seejärel varieerime teadlikult eeldusi, mis ei tohiks tulemust määrata. Esimene samm muudab tulemuse auditeeritavaks; teine näitab, kas sellel on tähendust.
Mida reprodutseeritav järeltest tegelikult tõestab?
Kui sama kood, andmed, seadistus ja juhuarvu seeme annavad samad tehingud ja mõõdikud, oleme ohjanud üht olulist segaduse allikat. Agendi „parandust” saab võrrelda lähteversiooniga. Veaparanduse saab eristada muutunud tasugraafikust. Kolleeg saab sama tehinguraamatut uurida ja näha samu täitmisi.
Kuid tulemus kehtib tingimusel, et kõik fikseeritud asjaolud jäävad samaks. Mõelgem krüptostrateegiale, mille ajaloolises failis on 1-minuti küünlad. Salvestate faili räsi, fikseerite koodi ning saate igal korduskäivitusel Sharpe’i suhteks 1.4. Kui andmepakkuja hiljem mõnda küünalt korrigeerib, kirjeldab see puhas reprodutseeritavus endiselt vana faili. See ei näita, kas signaal peab parandatud ajaloos vastu ega seda, kas need küünlad olid omal ajal sellisel kujul kättesaadavad.
Räsist on kasu: see toob sõltuvuse nähtavale. See ei tõesta, et sõltuvus on ohutu.
Fikseeri käivitus, pane järeldus proovile
Mulle meeldib eristada kahte küsimust. Kas suudame selle täpse käivituse taastada? Ja kas uurimistöö järeldus peab mõistlike muudatuste korral vastu? Esimene nõuab muutumatut kirjet; teine kontrollitud muudatusi, üks korraga.
| Mida talletada | Mida seejärel muuta | Mida see võib paljastada |
|---|---|---|
| Toorandmete versioon ja kontrollsummad | Andmepakkuja versioon või teine allikas | Sõltuvust parandatud või andmepakkujapõhistest väärtustest |
| Koodi commit ja pakettide versioonid | Numbriliselt samaväärne teostus | Järjekorra, ümardamise või teegi tundlikkust |
| Tasud, rahastus ja täitmiseeldused | Põhjendatud kulude vahemik | Kas õhuke eelis eeldab ebatavaliselt soodsaid täitmisi |
| Instrumendivalik ja liikmesus konkreetsel ajahetkel | Alternatiivsed turukõlblikkuse reeglid | Sõltuvust kaasamis- või välistamisotsustest |
Oletame näiteks, et futuuristrateegia näitab lähtevariandi kordusesituses 8% annualiseeritud ülemäärast tootlust. Käivitage see uuesti, suurendades taker-tehingute kulusid 25%, nihutades rahastuse järgmise vaadeldud arvelduseni ja eemaldades kordamööda kaks suurimat tootluse andjat. Need pole kolm võimalust mudelit paremaks muuta. Need on kontrollkatsed: igaüks uurib, kas mõni usutav detail kannab põhitulemust.
Hoidke iga kontrollkatse eraldi. Kui muudate korraga andmeid, tasugraafikut ja täitmise ajastust, annab halvem tulemus vähe infot põhjuse kohta. Kui kontrollkatse on ebausutav, märkige see stressistsenaariumiks, mitte kõige tõenäolisema tulemusena.
Ärge ajage bait-baidilt samasust segi arvulise tõesusega
Mõned arvutused sõltuvad tehtete järjekorrast. Ujukomaarvude liitmine pole assotsiatiivne, seega võib paljude väikeste kasumi ja kahjumi väärtuste liitmine teises järjekorras viimaseid numbreid muuta. Paralleelsed taandamised, riistvara ja teekide versioonid võivad täpset väljundit mõjutada. Tavaliselt pole see probleem; mõnikord muudab pisike arvuline erinevus lävendit, muudab positsiooni ja suunab simulatsiooni ülejäänud osa teistsugusele rajale.
Seepärast säilitaksin täpsed artefaktid ning võrdlustolerantsid. Salvestage tehinguraamat, mitte ainult lõplik Sharpe’i suhe. Võrrelge esmalt otsuseid ja rahavooge, seejärel mõõdikuid etteantud tolerantsi piires. Kui 1-sendine erinevus muudab seda, kas korraldus esitatakse, uurige seda piiri eraldi.
Kasulik käivituskirje sisaldab andmete ja koodi identiteeti, seadistust, juhuarvu seemet, täitmiskeskkonda ning piisavalt vahetulemusi, et jälgida mõõdikut tagasi täitmiste ja rahavoogudeni. Üksnes lõppskoor ei ole reprodutseeritav uurimistöö artefakt.
Millal on varieerumine müra ja millal leid?
Iga muutunud arv ei tähenda kriisi. Teistsugusest taandamisjärjekorrast tingitud väike mõõdiku kõikumine võib jätta tehingud samaks. Lävendi lähedal muutunud tehing võib väärida ülevaatamist. Kui strateegia kaotab suurema osa tulemusest pärast seda, kui üks andmepakkuja väikest ajaloolist lõiku muudab, oleme saanud teada midagi strateegia hapruse kohta, isegi kui algne käivitus on endiselt täiesti reprodutseeritav.
Tugevuskontrollide kriitikutel on ühes asjas õigus: eeldusi on lihtne muuta seni, kuni eelistatud strateegia paistab vastupidav, või põhjendatud tulemus tagasi lükata, sest see ei pea vastu mõnele sihilikult äärmuslikule stsenaariumile. Määratlege usutavad muudatused ette, esitage kogu tulemuste hulk ning eristage tavalisi alternatiive stressistsenaariumidest. Seejärel säilitage lähtevariant, et teine uurija saaks täpselt nähtud tulemuse taastada.
Reprodutseeritavus annab usaldusväärse lähtepunkti. Järgmisena tasub küsida: millised vastuse osad püsivad paigal, kui käivitust ümbritsev maailm muutub viisidel, mida võime mõistlikult ette näha?
← Kõik postitused
