2026년 9월 24일 연구에서 기계학습 예측 모델 하나가 탈락했습니다. 과거 데이터에서는 성과가 보였지만, 전체 시장 흐름 같은 정보에 과하게 맞춰져 있어서 처음 보는 데이터에서는 그 성과가 사라졌기 때문입니다. 이런 착시를 걸러내는 방법은 데이터를 어떻게 나눠 검증하느냐에 달려 있고, 이 연구소는 전략 평가에 시간 순서를 지키는 방식만 씁니다. 무작위로 섞어 나누는 방식(K-Fold)은 쓰지 않습니다.
연구 일지에 남은 실제 사례
- 2026-09-24 연구 일지에서는 과거 데이터를 시간 순서대로 나눠 앞 구간으로 학습하고 바로 다음 구간에서 시험하는 일을 끝까지 반복했습니다. 시험 구간의 정보는 학습에 쓰지 않았습니다. 아래에서 설명하는 시간순 검증(워크포워드) 방식입니다.
- 같은 연구에서 기계학습 예측 모델은 전체 시장 흐름 같은 정보에 과하게 맞춰져, 처음 보는 데이터에서는 성과가 사라져 탈락했습니다. 과거 데이터에 과하게 맞춰진 과적합이 실제로 나타난 사례입니다.
- 끝까지 살아남은 후보도 바로 채택하지 않았습니다. 성적이 가장 좋았던 날들을 빼고 다시 재 보고, 거래 비용을 더 얹었을 때 이익이 남는지도 확인했습니다. 결론은 아직 실전 후보가 아니라는 것이었습니다.
- 2026-09-23 연구 일지에서는 그 시점에 알 수 없었던 미래 정보를 쓰지 않았는지 자동 점검을 거쳤지만, 쌓인 거래일이 적어 증거 수준이 낮다고 기록했습니다. 검증 구간이 짧으면 결론을 내리기 어렵다는 아래 주의점과 같은 이야기입니다.
두 검증 방식은 어떻게 다른가
구간 분할 검증(K-Fold 교차검증)은 전체 데이터를 무작위로 K개의 블록으로 나누고, 한 블록을 검증 데이터로, 나머지 K-1개를 학습 데이터로 사용하는 방식입니다. 이는 데이터의 순서를 무시하므로, 시계열에서는 검증 데이터에 포함된 미래 시점의 가격이 학습 데이터에 영향을 미칠 수 있습니다. 시간순 검증(Walk-Forward)은 데이터를 시간 순서대로 연속된 구간으로 나누어, 과거 구간으로 학습하고 바로 이어지는 미래 구간으로만 검증하는 방식을 반복합니다. 이 과정에서 학습 데이터와 검증 데이터의 시간적 경계가 명확히 분리되어, 실제 매매 환경과 가장 비슷한 조건을 재현합니다. 학습 기간의 길이를 고정한 채 앞으로 밀어 가는 방식(Rolling Window)과, 학습 기간을 점점 늘려 가는 방식(Expanding Window)으로 다시 나뉩니다.
주가처럼 시간 순서가 있는 데이터에서 무작위로 나누면, 학습에 쓰인 데이터 안에 검증 기간보다 뒤의 정보가 섞여 결과가 실제보다 좋아 보이게 됩니다. 그래서 수익률 숫자보다 그 숫자가 어떤 검증을 거쳐 나왔는지를 먼저 봅니다. 백테스트 결과가 부풀려지는 다른 경로는 백테스트에서 이긴 전략이 실전에서 지는 5가지 이유에 따로 정리했습니다.
자주 하는 실수
가장 흔한 실수는 시간 순서가 있는 데이터에 일반적인 구간 분할 검증(K-Fold)을 그대로 적용하는 것입니다. 무작위 분할은 시간적 인과관계를 파괴하여, 전략이 실제로는 알 수 없는 미래 정보를 이용해 예측하는 것처럼 보이게 만듭니다. 또한 시간순 검증을 할 때 학습 구간과 검증 구간 사이에 빈 기간(Gap)을 두지 않는 것도 주의해야 합니다. 이 빈 기간은 두 구간의 정보가 섞이는 것을 막고, 실전에서 신호가 나온 뒤 주문이 들어가기까지의 지연을 반영하는 역할을 합니다. 마지막으로, 검증 구간을 너무 짧게 설정하면 노이즈에 민감해져 전략의 안정성을 평가하기 어렵고, 너무 길게 설정하면 시장 구조 변화에 대한 반응 속도를 놓칠 수 있습니다.
직접 검증할 때 확인할 것
- 검증 데이터가 학습 데이터보다 항상 뒤의 기간인지 확인합니다.
- 데이터를 나눌 때 무작위 섞기(shuffle)가 들어가지 않았는지 점검합니다.
- 학습 구간과 검증 구간 사이의 빈 기간(Gap)이 데이터의 시간 단위(분, 일 등)에 맞게 잡혀 있는지 확인합니다.
- 시간순 검증의 학습 기간·검증 기간 길이가 전략이 신호를 내는 주기와 맞는지 검토합니다.
- 검증 구간에 상승·하락·횡보 같은 서로 다른 시장 상황이 들어 있는지 확인합니다.
이어서 볼 기록
위 연구에서 남은 후보는 앞으로 새로 열리는 거래일마다 고정된 규칙 그대로 적용해 실제 성적을 기록합니다. 그 결과는 실전 일지에 날짜별로 쌓이고, 검증 절차 전체는 연구 방법과 데이터에 정리했습니다.
함께 보면 좋은 연구
백테스트에서 이긴 전략이 실전에서 지는 5가지 이유 — OOS 검증이 필요한 순간 · 수익 인증 대신 실패 기록부터 공개합니다 — AI 자동매매 연구소를 시작한 이유
이어서 볼 연구
데이터 정제 단계의 미세한 시간 불일치가 통계 검증에 미치는 영향
과거 데이터 검증(백테스트)에서 전략이 실제로 작동하는지 판단할 때, 데이터의 미세한 타임스탬프(Time Stamp) 정렬 오류는 결과의 신뢰도를 근본…
고정 슬리피지가 검증 결과를 왜곡하는 구조
주문 규모가 크거나 시장 변동성이 높은 순간, 실제 체결 가격은 예상과 크게 다를 수 있습니다. 그러나 많은 과거 데이터 검증(백테스트) 로직은 이…
백테스트 기간, 주말 포함 여부로 달라지는 이유
주요 거래소가 주말과 공휴일에 휴장한다는 사실은 잘 알려져 있지만, 과거 데이터 검증(백테스트) 시 이 기간을 어떻게 처리하느냐에 따라 검증 대…
본 사이트의 콘텐츠는 정보 및 연구 기록을 목적으로 하며 특정 금융상품의 매수·매도를 권유하지 않습니다. 투자 판단과 결과에 대한 책임은 투자자 본인에게 있습니다. 투자 고지 전문