Paano mapipigilan ang AI strategy agent na ipasok ang impormasyon ng bukas sa araw na ito?

Kayang gumawa ng AI strategy agent ng wastong backtest habang gumagamit ng impormasyong wala pa noong dapat isagawa ang mga trade nito. Gumagana ang code. Kapani-paniwala ang equity curve. Maaaring makatuwiran pa nga ang signal. Gayunman, palihim na naibigay rito ng isang timestamp, join, o binagong field ng data ang sagot para sa kinabukasan.

Ang solusyon ay gawing bahagi ng kasunduan sa pananaliksik ang oras kung kailan naging available ang impormasyon. Dapat may malinaw na sagot ang bawat input sa dalawang tanong: anong panahon ang inilalarawan ng halagang ito, at kailan pa lang ito unang malalaman ng estratehiya?

Ano ang hitsura ng lookahead bias sa estratehiyang ginawa ng AI?

Ang pinakakitang-kitang halimbawa ay signal na kinukuwenta mula sa pagsasara ng mismong bar, at sinusundan ng fill sa presyong iyon. Kung kailangan ng estratehiya ang closing price para makapagpasya, hindi rin ito puwedeng makipagkalakalan sa presyong iyon. Pero madalas makagawa ang mga agent ng mas di-halatang bersyon nito habang pinagsasama ang mga data source o pumipili ng maginhawang default.

Ipagpalagay na kinukuwenta ng isang modelo ang 20-bar moving average sa pagsasara ng bawat minuto, at pumapasok sa posisyon kapag tumawid dito ang closing price. Kung sa mismong closing price na iyon mag-fill ang backtest, ginamit nito ang huling trade ng bar bago pa ito naging available sa estratehiya. Maaaring makatwirang pagtataya ang paglipat ng order sa open ng susunod na bar, pero kailangan pa ring isama ang mga bayarin at market impact sa market order.

Ngayon, gawing daily equity fundamental o crypto open-interest snapshot ang feature. Maaaring Lunes ang nakasaad na petsa ng row, pero posibleng nailathala ang halaga pagkatapos magsara ang merkado noong Lunes, o naitama ito sa bandang huli. Hindi timestamp ng availability ang petsa.

Paano ko dapat lagyan ng timestamp ang mga input ng estratehiya?

Kung pinapayagan ng source, itala ang hindi bababa sa 3 oras: ang panahong inilalarawan ng halaga, ang oras na inilabas ito ng publisher, at ang oras na natanggap ito ng sistema ninyo. Sa oras ng pagpapasya, ang impormasyon lamang na available na noon ang puwedeng isama sa set ng impormasyong alam ng estratehiya.

Para sa 1-minute strategy, hindi awtomatikong bale-wala ang 1-segundong pagkaantala. Nakadepende ang epekto nito sa oras ng pagpapasya at sa impormasyong ginagamit ng signal. Kung tapos nang hourly statistic ang input, maaaring halos walang epekto ito. Kung imbalance sa order book ito na kinuhanan ng sample malapit sa oras ng order, maaari nitong baligtarin ang trade.

Mapipigilan ba ng point-in-time data store ang pagtagas ng impormasyon?

Makakatulong ito kung ang ibig sabihin ng “point-in-time” ay makukuha ninyo ang halagang alam sa isang dating oras ng pagpapasya, kasama ang rebisyong umiiral noon. Maaari pa ring laman ng isang talahanayang may mga petsa sa nakaraan ang mga halagang itinama ngayon para sa mga petsang iyon.

Para sa bawat record, panatilihin ang saklaw ng bisa at timestamp ng availability, at itago ang mga rebisyon sa halip na patungan ang mga ito. Pagkatapos, gawing tahasan ang mga historical query: ibalik ang pinakabagong bersyong available sa oras ng kunwaring pagpapasya. Lalo itong mahalaga para sa fundamentals, pagiging kasapi sa index, mga economic release, at mga dataset na nilinis ng vendor.

May isang di-kaakit-akit na suliranin sa operasyon: walang silbi ang perpektong timestamp ng paglalabas kung 20 minuto namang nahuli ang pagtakbo ng ingestion job. Kung hindi itinatala ng historical store ang oras ng pagpasok sa sistema, gumamit ng konserbatibong palugit at sabihin ito. Dekorasyon lang ang katumpakang hindi kailanman naitala ng source.

Anong mga pagsusuri ang nakakahuli ng lookahead bias bago ang paper trading?

Hilingin sa research agent na maglabas ng timeline ng mga feature at order kasabay ng backtest. Para sa bawat pagpapasya, itala ang pinakahuling oras ng availability ng source para sa bawat feature, ang oras ng pagpapasya, ang oras ng order, at ang kunwaring oras ng fill. Tanggihan ang anumang row kung saan dumating ang input pagkatapos ng pagpapasya.

• Iusog pasulong nang 1 bar ang mga signal at ihambing ang mga resulta. Maaaring magpahiwatig ng pagdepende sa oras ng pagsasara papunta sa pagsasara ang malaking pagbagsak ng performance, pero pagsusuring pantukoy ito at hindi patunay ng pagtagas ng impormasyon.
• Putulin ang bawat source sa isang takdang petsa sa nakaraan, patakbuhin muli ang pipeline, at ihambing ang mga nagresultang feature sa mga nakaimbak na historical feature.
• Palitan ng iisang constant ang pinaghihinalaang feature. Kung halos pareho pa rin ang performance, siyasatin kung ginamit nga ba talaga ng code ang nilalayong series.
• Magpatakbo ng sadyang imposibleng feature mula sa hinaharap sa pipeline. Dapat agad pumalya ang validation kapag lampas sa oras ng pagpapasya ang availability time nito.

Hindi sertipikasyon ng estratehiya ang mga pagsusuring ito. Ginagawa nilang nakikita ang mga partikular na palagay tungkol sa oras at nahuhuli nila ang mga karaniwang paglabag sa mga palagay na iyon.

Pinatutunayan ba ng paper trading na walang tagas ng impormasyon ang backtest?

Hindi. Maaaring ilantad ng paper trading ang live data path na nahuhuli, kulang, o iba ang pagkakatugma kumpara sa historical data. Hindi nito mapatutunayang sumasalamin ang mga lumang training feature sa impormasyong alam noon. Maaari ring tumigil ang modelo sa pakinabang mula sa tagas dahil naging kasalukuyan na ang hinaharap na aksidenteng nakita nito.

Gamitin ang paper trading para tiyakin ang pagkakatugma: ihambing ang mga live na halaga ng feature, timestamp ng pagpapasya, pagbuo ng order, at kunwaring fill sa mga depinisyon ng backtest. Kapag may pagkakaiba, sundan ang eksaktong input at orasan. Kapaki-pakinabang ang pananaliksik ng pangkat ng agent na kayang ipaliwanag ang set ng impormasyong alam sa bawat pagpapasya. Nilaktawan ng pangkat ang pinakamahirap na pagsusuri kung maayos na kurba lang ang maipapakita nito.