Miten estät AI-strategia-agenttia vuotamasta huomista tähän päivään?

AI-strategia-agentti voi tuottaa kelvollisen backtestin käyttäen samalla tietoa, jota ei ollut olemassa silloin, kun kaupat oli tarkoitus tehdä. Koodi toimii. Tuottokäyrä näyttää uskottavalta. Signaalikin voi olla järkevä. Silti aikaleima, liitos tai myöhemmin korjattu tietokenttä on huomaamatta antanut sille vastauksen huomiseen.

Ratkaisu on ottaa tiedon saatavuusaika osaksi tutkimuksen pelisääntöjä. Jokaisesta syötteestä pitää pystyä vastaamaan selvästi kahteen kysymykseen: mitä ajankohtaa arvo kuvaa ja milloin strategia olisi voinut ensimmäisen kerran tietää sen?

Miltä tulevaisuustiedon vuotaminen AI:n luomassa strategiassa näyttää?

Ilmeisin tapaus on signaali, joka lasketaan saman kynttilän päätöskurssista ja jonka toimeksianto täytetään tuohon päätöskurssiin. Jos strategia tarvitsee päätöskurssin päätöksentekoon, se ei voi samalla käydä kauppaa kyseiseen hintaan. Agentit kuitenkin tuottavat usein hienovaraisempia versioita liittäessään tietolähteitä yhteen tai valitessaan käteviä oletusarvoja.

Oletetaan, että malli laskee 20 kynttilän liukuvan keskiarvon jokaisen minuutin päätteeksi ja ottaa position, kun päätöskurssi ylittää sen. Jos backtestin toimeksianto täytetään samassa päätöskurssissa, strategia on käyttänyt kynttilän viimeistä kauppaa ennen kuin tieto siitä oli strategian saatavilla. Toimeksiannon siirtäminen seuraavan kynttilän avaukseen voi olla järkevä likiarvo, mutta markkinatoimeksiannossa on silti huomioitava kulut ja hintavaikutus.

Entä jos ominaisuus on osakkeen päivittäinen perustieto tai kryptovaluutan avoimien positioiden määrä? Rivin päivämääräksi voi olla merkitty maanantai, vaikka arvo olisi julkaistu vasta maanantain päätöksen jälkeen tai korjattu myöhemmin. Päivämäärä ei ole saatavuusaikaleima.

Miten strategian syötteet pitäisi aikaleimata?

Tallenna vähintään kolme ajankohtaa, jos lähde tarjoaa ne: ajanjakso, jota arvo kuvaa, julkaisijan julkaisuaika ja aika, jolloin järjestelmäsi vastaanotti tiedon. Strategian päätöshetken tietojoukkoon voi sisällyttää vain siihen mennessä saatavilla olleet arvot.

1 minuutin strategian kannalta yhden sekunnin viive ei ole automaattisesti harmiton. Merkitys riippuu siitä, milloin päätös tehdään ja mitä signaalissa käytetään. Jos syöte on valmis tuntitilasto, viiveellä ei välttämättä ole juuri merkitystä. Jos kyse on toimeksiantohetken tienoilla otetusta tilauskirjan epätasapainon mittauksesta, se voi kääntää kaupan suunnan.

Voiko oikea-aikainen tietovarasto estää tiedon vuotamisen?

Siitä on apua, jos ”oikea-aikainen” tarkoittaa, että voit hakea arvon sellaisena kuin se tunnettiin historiallisena päätöshetkenä, myös silloin voimassa olleen version. Taulukossa voi olla historialliset päivämäärät ja silti tämän päivän korjatut arvot kyseisille päiville.

Säilytä jokaiselle tietueelle voimassaoloväli ja saatavuusaikaleima sekä versiot aiempien ylikirjoittamisen sijaan. Määrittele sitten historiakyselyt täsmällisesti: palauta uusin versio, joka oli saatavilla simuloidun päätöshetken aikaan. Tämä on erityisen tärkeää perustiedoille, indeksien kokoonpanoille, talousjulkistuksille ja toimittajan puhdistamille aineistoille.

Käytännön työssä on myös arkinen mutka: täydellisestä julkaisuajan aikaleimasta ei ole hyötyä, jos tiedon sisäänlukuajossa oli 20 minuutin viive. Jos historiavarastoon ei tallenneta järjestelmään saapumisen aikaa, käytä varovaista viivettä ja kerro se. Tarkkuus, jota lähde ei koskaan tallentanut, on pelkkää koristetta.

Millä tarkistuksilla tulevaisuustiedon vuotaminen havaitaan ennen paperikaupankäyntiä?

Pyydä tutkimusagenttia tuottamaan backtestin ohella ominaisuuksien ja toimeksiantojen aikajana. Kirjaa jokaisesta päätöksestä kunkin ominaisuuden lähteen viimeisin saatavuusaika, päätösaika, toimeksiannon jättöaika ja mallinnettu täyttöaika. Hylkää kaikki rivit, joilla syöte saapui päätöksen jälkeen.

• Siirrä signaaleja yhdellä kynttilällä eteenpäin ja vertaa tuloksia. Tulosten raju heikkeneminen voi paljastaa riippuvuuden päätöskurssien välisestä ajoituksesta, mutta kyse on diagnostiikasta, ei todisteesta tiedon vuotamisesta.
• Rajaa kaikki lähteet historialliseen katkaisukohtaan, suorita käsittelyketju uudelleen ja vertaa muodostuneita ominaisuuksia tallennettuihin historiatietoihin.
• Korvaa epäilty ominaisuus vakioarvolla. Jos suorituskyky pysyy lähes ennallaan, tarkista, käyttikö koodi todella tarkoitettua aikasarjaa.
• Aja käsittelyketjuun tarkoituksella mahdoton tulevaisuuden ominaisuus. Validoinnin pitää pysähtyä selkeään virheeseen, kun sen saatavuusaika on päätöshetken jälkeen.

Nämä tarkistukset eivät todista strategiaa virheettömäksi. Ne tekevät ajoitusta koskevat oletukset näkyviksi ja havaitsevat yleisiä tapoja, joilla niitä rikotaan.

Todistaako paperikaupankäynti, ettei backtestissä ollut tietovuotoa?

Ei. Paperikaupankäynti voi paljastaa, että reaaliaikainen datavirta on myöhässä, puutteellinen tai eri tavalla kohdistettu kuin historiallinen data. Se ei kuitenkaan osoita, vastasivatko vanhat koulutusominaisuudet sitä, mitä silloin tiedettiin. Malli voi myös lakata hyötymästä tietovuodosta yksinkertaisesti siksi, että vahingossa nähty tulevaisuus on nyt nykyhetkeä.

Käytä paperikaupankäyntiä vastaavuuden tarkistamiseen: vertaa reaaliaikaisia ominaisuusarvoja, päätösten aikaleimoja, toimeksiantojen muodostamista ja mallinnettuja täyttöjä backtestin määritelmiin. Jos ne eroavat, selvitä tarkka syöte ja kello. Agenttiryhmä, joka pystyy selittämään kunkin päätöksen tietojoukon, tekee hyödyllistä tutkimusta. Jos ryhmä pystyy näyttämään vain tasaisen tuottokäyrän, vaikein tarkastus on jäänyt tekemättä.