백테스트는 전략을 고르는 것보다 걸러내는 데 더 적합합니다. 과거 성과를 바탕으로 여러 변형 중 하나를 선택하는 순간, 백테스트는 실험의 일부가 되고 겉으로 드러난 승자에게는 선택 편향이라는 숨은 대가가 따라붙기 시작합니다.
앞뒤가 맞지 않는 말처럼 들릴 수 있습니다. 어떤 전략이 통하는지 알고 싶어서 백테스트를 하니까요. 하지만 같은 과거 데이터를 참고해 내리는 선택 하나하나가 그 증거의 일부를 소모합니다. 결과를 확인한 뒤 룩백 기간, 임계값, 종목군, 리밸런싱 날짜, 손절 규칙을 바꾸면 데이터에 또 다른 질문을 던진 셈입니다. 결국 질문을 충분히 많이 받은 데이터는 우연히도 그럴듯한 답을 내놓을 수 있습니다.
전략을 더 많이 테스트할수록 왜 최고 성과를 덜 신뢰할 수 있을까요?
실제 엣지가 전혀 없는 전략 100개를 테스트한다고 생각해 보세요. 그래도 각 전략의 수익률은 서로 다르게 나올 것입니다. 성과 추정치가 대략 독립적이고 노이즈가 정규분포를 따른다면, 모든 전략의 실제 Sharpe가 0이어도 그중 최고 Sharpe는 양수가 됩니다.
독립적인 표준정규분포 추출값 100개의 최댓값은 평균보다 약 2.5 표준편차 높을 것으로 예상할 수 있습니다. 이는 설명을 위한 예시이지, 보고서에 그대로 붙여 넣을 수 있는 보정값은 아닙니다. 실제 전략 변형끼리는 상관관계가 있고, Sharpe 추정에도 자체 표본 오차가 있으며, 수익률이 깔끔한 정규분포를 따르는 경우는 드뭅니다. 이런 단서를 고려해도 실무적인 요점은 그대로입니다. 살펴보는 후보가 많을수록 최고 점수가 우호적인 노이즈를 반영할 가능성이 커집니다.
그리고 ‘후보’는 저장된 백테스트만을 뜻하지 않습니다. 차트가 들쭉날쭉해 보여 종목군을 넓히거나, 성과를 해치는 연도를 빼거나, 수익 곡선이 회복될 때까지 수수료 가정을 바꾸는 등 결과를 본 뒤 내린 모든 선택이 해당합니다. 아무도 버전 번호를 붙이지 않았더라도 이런 결정은 탐색에 포함됩니다.
다음 변형을 실행하기 전에 리서치 기록부를 작성하세요
폐기한 아이디어와 각 변경의 이유까지 포함해 전체 탐색 과정을 기록하세요. 그러면 결과가 얼마나 많이 선택 과정을 거쳤는지 더 정직하게 파악할 수 있고, 매력적인 시도만 기억하기도 어려워집니다.
| 기록 항목 | 예시 | 중요한 이유 |
|---|---|---|
| 가설 | BTC 무기한 계약의 움직임이 이례적으로 큰 뒤에는 단기 반전이 더 강하다 | 아이디어와 최종 매개변수 설정을 구분합니다 |
| 변형 및 타임스탬프 | 48시간 신호, 2026-10-09, 실행 014 | 탐색 횟수를 세고 결과를 코드와 데이터에 연결합니다 |
| 선정 규칙 | 순 Sharpe 기준으로 선택, 최소 거래 100건 | 비교 전에 ‘최고’의 기준이 무엇이었는지 보여줍니다 |
| 탈락한 변형 | 12, 24, 72시간 윈도우, 모두 기록 유지 | 눈에 띄는 승자가 경쟁 후보들을 지워버리지 않도록 합니다 |
기록부가 탐색 자체를 되돌려 주지는 않습니다. 탐색 과정을 읽을 수 있게 만들며, 이는 승자를 얼마나 신뢰할 수 있는지 판단하는 첫걸음입니다.
리서치 과정에서 다시 들여다볼 수 없는 데이터를 따로 확보하세요
시간 순서에 따라 데이터를 나눈 뒤 마지막 기간을 보호하세요. 한 구간에서 전략을 개발하고, 검증 구간의 데이터를 바탕으로 의사결정을 한 다음, 이후 홀드아웃 구간에서 고정된 전략을 한 번 평가합니다. 예를 들어 2018–2022년을 개발에, 2023년을 검증에 사용하고 2024–2025년은 따로 남겨둘 수 있습니다. 이 날짜는 단순한 예시입니다. 구간은 시장, 전략의 시간 범위, 데이터 범위에 따라 정해야 합니다.
‘고정’이 무엇을 뜻하는지 기록하세요. 신호, 종목군, 포지션 크기, 체결 가정, 결측 데이터 처리 규칙 등이 포함됩니다. 홀드아웃 결과가 기대에 못 미쳐 그 데이터를 바탕으로 전략을 조정하면, 해당 기간은 검증 데이터가 된 것입니다. 다음에 정직하게 평가하려면 새로운 증거가 필요합니다.
이때 작은 표본의 문제가 드러나기도 합니다. 홀드아웃에서 18회 거래한 전략으로는 정밀한 판정을 내리기 어렵습니다. 수익 통계와 함께 거래 횟수와 불확실성도 보고하세요. 평균 하나만 제시하면 표본이 적은데도 결과가 확정된 것처럼 보일 수 있습니다.
그렇다면 전략을 선택할 때 백테스트는 쓸모가 없다는 뜻인가요?
아닙니다. 엄격한 홀드아웃이 비효율적일 수 있다는 비판에도 일리가 있습니다. 시장은 변하고, 과거 데이터는 짧으며, 손대지 않은 기간이 단 하나의 이례적인 시장 국면만을 나타낼 수도 있습니다. 신중하게 설계한 워크포워드 절차를 사용하면 과거 데이터가 차례로 갱신될 때 전략이 어떻게 움직이는지 볼 수 있습니다. 그렇다고 반복적인 튜닝에 비용이 들지 않는 것은 아닙니다. 각 구간을 확인한 뒤 전략을 수정했다면 해당 구간은 리서치에 영향을 준 것입니다.
백테스트로 실패 양상을 드러내고, 시장 메커니즘에 근거한 소수의 아이디어를 비교하며, 그럴듯한 수수료, 펀딩 비용, 시장 충격, 매개변수 변경에도 결과가 유지되는지 확인하세요. 기록부를 작성하고, 최종 홀드아웃을 보존하세요. 그런 다음 유망한 고정 버전을 페이퍼 트레이딩에 적용해 운영상의 불일치가 드러나는지 살펴보세요.
백테스트가 가장 확실하게 내놓는 답은 대개 “이미 확인할 수 있는 조건에서 이 아이디어는 무너진다”입니다. “이 전략이 최고다”라는 답이 나오면, 데이터에 그 답을 내놓으라고 몇 번이나 물었는지 생각해 보세요.
← 전체 글
