월요일, AI 리서치 에이전트가 Sharpe 비율 4.1인 암호화폐 선물 전략을 찾아냈습니다. 목요일에는 실험 횟수를 세고 에이전트가 같은 검증 구간에 맞춰 계속 조정하지 못하게 한 뒤, 결과가 0.8로 내려왔습니다. 전략이 바뀐 건 아니었습니다. 탐색으로 무엇을 얻었는지에 대한 우리의 추정이 달라진 것이었습니다.
에이전트가 코드를 작성하고 백테스트를 실행해 점수를 확인한 뒤 몇 분 만에 다시 시도할 수 있는 상황에서, “신중하게 최적화하라”는 조언은 하기 쉽지만 실제로 구현하기는 어렵습니다. 그래서 짧은 리서치 일지 형식으로 진행해 봤습니다. 무엇이 어떤 순서로 틀어졌는지 살펴보겠습니다.
월요일: 범위가 정해진 질문을 에이전트에 맡기기
유동성이 높은 무기한 선물 시장에서 단순한 시간봉 추세 아이디어를 테스트해 달라고 에이전트에 요청했습니다. 단기 이동평균이 장기 이동평균을 교차할 때 진입하고, 변동성 목표치를 고정해 포지션 규모를 정하고, 반대 신호가 나오면 포지션을 정리하는 방식이었습니다. 대상 상품, 날짜, 수수료 체계, 펀딩 이력, 체결 가정, 탐색할 수 있는 매개변수 범위를 지정했습니다.
과거 데이터는 2021년부터 2025년까지였습니다. 2021–2023년은 개발용, 2024년은 검증용으로 배정하고, 2025년은 최종 홀드아웃으로 잠가 두었습니다. 이 구분을 작업 설정에 명시해 에이전트가 개발 결과와 검증 점수는 확인할 수 있어도 홀드아웃 수익률은 가져올 수 없게 했습니다.
첫 번째 실수는 탐색 예산을 리서치 결과로 기록하지 않은 채 한 작업에서 매개변수 조합 300개를 허용한 것이었습니다. 에이전트는 가장 성과가 좋은 설정을 반환했습니다. 단기 이동평균 9시간, 장기 이동평균 73시간, 변동성 목표치 0.8%였습니다. 검증 Sharpe는 4.1이었습니다. 에이전트가 여러 설정을 시도했다는 건 알고 있었습니다. 하지만 그 사실을 잊을 수 없도록 기록해 두지는 않았습니다.
화요일: 다시 실행하자 승자가 바뀌었습니다
깨끗한 환경에서 같은 작업을 다시 실행했습니다. 최고 설정이 바뀌었고 Sharpe도 2.7로 떨어졌습니다. 첫 실행에서는 시장 데이터 캐시가 업데이트된 펀딩 시계열을 제공했고, 재실행에서는 버전이 고정된 스냅샷을 사용했습니다. 두 작업 모두 같은 날짜 범위를 썼다고 했지만, 재현 가능한 데이터 버전을 사용한 것은 하나뿐이었습니다.
점수 비교를 멈추고 전체 실험 정보를 기록하기 시작했습니다. 코드 리비전, 데이터 스냅샷, 수수료, 펀딩, 체결 설정, 매개변수 값, 에이전트가 실행한 모든 시도를 기록했습니다. 그 결과 4.1은 설명하기 힘든 시장 엣지가 아니란 점이 드러났습니다. 같은 검증 연도에서 300번 시도한 탐색 중 한 설정의 결과였습니다.
수요일: 홀드아웃을 열기 전에 탐색 동결하기
데이터 스냅샷을 고정하고 사전에 정한 더 작은 그리드, 즉 조합 24개로 실험을 다시 실행했습니다. 에이전트는 2021–2023년 개발 기간을 기준으로 조합 순위를 매길 수 있었습니다. 2024년 데이터는 선택을 위해 한 번만 보여준 다음, 선택한 설정과 코드를 고정했습니다.
선택된 전략의 검증 Sharpe는 0.8이었습니다. 잠가 둔 2025년 홀드아웃에서의 Sharpe는 taker 수수료, 펀딩, 그리고 연구 전반에 적용한 동일한 1-bar 체결 지연을 반영한 뒤 0.3이었습니다. 유용한 답이었습니다. 실계좌에서 전략이 수익을 낼 것이라는 증거는 아니었습니다.
이번 주의 작은 일화 하나: 이동평균 코드를 작성하는 시간보다 ‘1회 시도’를 무엇으로 볼지 합의하는 데 더 많은 시간을 썼습니다. 매개변수 집합이 바뀌면 1회 시도로 셌고, 신호나 포지션 규모 산정 규칙을 바꾸고 실행한 경우도 시도로 셌습니다. 새 데이터 스냅샷이나 체결 가정은 순위를 바꿀 수도 있으므로 별도의 실행 기록으로 남겼습니다.
목요일: 다음에는 생략할 것
처음의 개방형 작업은 생략할 것입니다. 리서치 에이전트에는 탐색 예산과 시도 내역이 필요합니다. 특히 각 결과를 바탕으로 다음 시도를 결정할 수 있을 때는 더욱 그렇습니다. 비공식적으로 결과를 엿보지 못하도록 홀드아웃도 보호해야 합니다. 누군가 홀드아웃 결과를 읽고 전략을 바꾸는 순간, 해당 데이터는 또 다른 검증 세트가 됩니다.
소규모 탐색이라면 다음과 같이 간단하고 명확한 실험 기록부를 만들 수 있습니다:
| 기록 항목 | 중요한 이유 |
|---|---|
| 코드 및 데이터 버전 | 재실행 시 같은 입력과 로직을 사용하도록 |
| 시도한 모든 변형 | 탐색 과정을 고려해 승자를 이해할 수 있도록 |
| 개발, 검증, 홀드아웃의 역할 | 최종 점수를 조정에 몰래 재사용하지 않도록 |
| 수수료, 펀딩 및 체결 가정 | 보고된 결과가 테스트 가능한 시뮬레이션을 나타내도록 |
홀드아웃을 연 뒤에는 새로운 리서치 질문을 가지고 개발 단계로 돌아가고, 이전 결과는 과거의 증거로 보존하세요. 이미 결과를 확인한 기간에 맞춰 같은 전략을 계속 다듬지 마세요.
에이전트는 맡은 일을 해냈습니다. 빠르게 탐색해 살펴볼 만한 설정을 찾았습니다. 우리의 역할은 탐색 과정을 알기 쉽게 기록하고, 손대지 않은 테스트를 보존하며, 점수를 이력이 있는 측정값으로 다루는 것이었습니다. 흥미로운 결과는 4.1도 0.3도 아니었습니다. 첫 번째 숫자가 정확히 어떤 과정을 거쳐 나왔는지 본 것이었습니다.
← 전체 글
