전략 탐색에 시장을 더 추가하면 최상의 백테스트가 더 강해 보이는 동시에 근거는 약해질 수 있습니다. 종목을 추가한 뒤 Sharpe가 높아지면 흔히 분산 투자 효과로 받아들이지만, 그 종목들에서 우승 전략을 찾았다면 운 좋게 결과를 얻을 기회도 늘어난 것입니다.
에이전트가 수백 개의 시그널을 제안하든 연구자가 몇 개를 직접 테스트하든 이 구분은 중요합니다. 탐색 공간에는 최종 선택에 영향을 준 모든 시장, 타임프레임, 피처, 파라미터 조합이 포함됩니다. “전략은 하나만 출시했다”는 말로는 몇 개의 후보가 평가받았는지 알 수 없습니다.
시장 유니버스가 커지면 최상의 Sharpe가 왜 부풀려질까요?
같은 전략 템플릿을 서로 관련 없는 시장 40개에서 테스트한다고 생각해 보세요. 간단히 말해 실제 Sharpe는 모든 시장에서 0이고, 추정 Sharpe의 표준오차는 각각 0.5라고 가정해 보겠습니다. 추정치는 0 주변에서 오르내립니다. 하지만 가장 높은 값을 고르면, 최댓값을 골랐다는 이유만으로 보통 양수가 됩니다.
대략적인 정규 근사에 따르면, 독립적인 잡음 추정치 40개 중 최댓값은 0보다 표준오차 약 1.3개만큼 높은 곳에 자리할 것으로 예상됩니다. 이 예시에서는 Sharpe 약 0.65입니다. 정확한 값은 의존성, 표본 길이, 수익률 분포에 따라 달라집니다. 핵심은 어떤 전략에도 엣지가 없더라도 선택 과정이 낙관적인 결과를 만든다는 점입니다.
탐색 기록을 남기세요. 실패한 실행과 중단한 변형까지 포함해 검토한 모든 시장과 후보를 기록하세요. 최종 전략의 시행 횟수는 정리 후 남은 파일 수가 아니라 선택에 영향을 준 대상의 수에 가깝습니다.
시장은 서로 독립적인 동전 던지기가 아닙니다. BTC와 ETH는 자주 함께 움직이고, 두 주가지수는 위험 요인의 대부분을 공유할 수 있습니다. 이 때문에 실질적인 독립 시행 횟수는 줄어들지만, 문제가 사라지는 것은 아닙니다. 상관관계가 높은 시장끼리도 수수료, 펀딩, 유동성, 시그널이 작동하는 시간이 다를 수 있습니다.
시장을 더 많이 테스트하면 다중 검정에 해당하나요?
결과를 바탕으로 무엇을 유지할지 결정한다면 그렇습니다. 원래 가설이 “이 규칙은 주요 무기한 계약 전반에서 펀딩 효과를 포착한다”였다면 여러 시장을 살펴보는 일은 가설 검증의 일부입니다. 시장 50개를 테스트해 가장 좋은 곳을 찾은 다음 그 시장의 움직임에 맞춰 가설을 작성한다면, 유니버스 선택은 최적화 과정의 일부가 된 것입니다.
결과를 보기 전에 정한 범위와 결과를 본 뒤 정한 범위는 구분할 필요가 있습니다. 미리 고정한 바스켓으로는 특정 영역 전반에서 아이디어가 견고하게 작동하는지 확인할 수 있습니다. 눈에 띄는 수익 곡선이 나오는 종목을 찾을 때까지 바스켓을 넓히는 것은 탐색 절차입니다. 둘 다 정당한 연구일 수 있지만, 답하는 질문은 서로 다릅니다.
| 연구 선택 | 뒷받침할 수 있는 내용 | 그것만으로 입증할 수 없는 내용 |
|---|---|---|
| 사전 선언한 바스켓, 동일한 기준 적용 | 선택한 시장 전반에서 규칙이 어떻게 작동하는지 | 그 바스켓이 거래 가능한 모든 시장을 대표한다는 점 |
| 테스트 후 성과가 가장 좋은 시장 선택 | 테스트한 시장 중 어느 곳의 과거 성과가 가장 좋았는지 | 선택된 Sharpe가 편향 없는 추정치라는 점 |
| 탐색 전에 제외해 둔 시장 | 고정된 규칙이 손대지 않은 시장으로 이전되는지 | 미래 조건이 홀드아웃과 일치한다는 점 |
엣지가 새로운 시장으로 이전되는지 어떻게 테스트할까요?
홀드아웃을 열기 전에 연구 선택 사항을 고정하세요. 여기에는 시그널 정의, 파라미터, 유니버스 규칙, 리밸런싱 일정, 체결 가정이 포함됩니다. 그런 다음 해당 선택에 영향을 주지 않은 시장에서 전략을 변경 없이 평가하세요.
예를 들어 2023년까지 BTC와 ETH 무기한 계약으로 암호화폐 모멘텀 규칙을 개발했다고 해보겠습니다. 테스트 기간 전에 이용할 수 있었던 정보만 사용하는 규칙으로 유동성이 높은 다른 무기한 계약들을 골라 따로 확보하고, 모든 튜닝에서 제외할 수 있습니다. 고정한 규칙을 2024년과 2025년에 해당 계약들에 적용하세요. 각 거래소의 실제 수수료 등급, 펀딩 지급액, 계약 사양, 타당한 시장 충격 가정을 반영하세요. 시장별 거래 비용을 반영하지 않은 이전 테스트는 비용 차이를 시그널 실패로 오인하거나 실패를 감출 수 있습니다.
합산 Sharpe만 보고하지 말고 홀드아웃 시장별 분포도 보고하세요. 통합 포트폴리오에서는 한 시장이 수익의 거의 전부를 차지한 사실이 가려질 수 있습니다. 각 시장의 순성과, 거래 횟수, 낙폭, 최대 수익 기여 시장이 총 P&L에서 차지하는 비중을 보여주세요. 규칙이 계약 하나에서만 작동한다면 계약별 결과라고 표현하세요.
시간 구분도 엄정하게 유지하세요. 시장 데이터가 개발 성과를 이끈 동일한 국면과 겹친다면, 그 시장을 사용하지 않았더라도 완전한 검증이 아닐 수 있습니다. 시장 간 홀드아웃은 규칙이 상품 사이에서 통하는지 묻고, 이후 기간 홀드아웃은 시간의 흐름에 따라 통하는지 묻습니다. 서로 다른 테스트이므로 하나에서 좋은 결과를 얻어도 다른 테스트를 대신할 수 없습니다.
전략에 시장을 더 많이 포함하는 것이 정말 필요하다면 어떻게 할까요?
그렇다면 포함하되, 기준을 정하세요. 고정된 시그널에 따라 거래 가능한 모든 시장을 매매하는 포트폴리오 규칙은 과거 성과가 가장 좋은 시장이 승자가 되는 경쟁과 다릅니다. 적격성은 미래 성과를 보지 않고 결정해야 합니다. 예를 들어 특정 시점의 유동성 기준과 최소 이력 요건을 사용할 수 있습니다. 구성 종목이 바뀐 시점도 기록해야 합니다. 그렇지 않으면 현재의 “유동성 높은 시장” 목록에 오늘 살아남은 종목들이 과거 백테스트에 끼어들 수 있습니다.
좁은 유니버스는 취약한 전략을 낳을 수 있고, 폭넓은 테스트는 유용한 견고성 점검이라는 비판은 타당합니다. 시장 테스트를 피하는 것이 답은 아닙니다. 아이디어를 발견하는 데 사용한 시장과 고정된 아이디어를 검증하는 데 사용한 시장을 구분하고, 발견 과정도 근거의 일부로 세는 것이 답입니다.
더 큰 유니버스는 전략이 연구실 밖에서도 살아남도록 도울 수 있습니다. 운 좋은 백테스트가 연구실의 선택 경쟁에서 이기는 데 도움을 줄 수도 있습니다. 탐색 기록과 홀드아웃을 살펴보면 Sharpe가 어느 쪽을 뒷받침하는지 알 수 있습니다.
← 전체 글
