8편: 퀀트 전략 삽질기 - 수많은 실패와 검증의 반복

들어가며

7편에서 퀀트 전략 6가지를 소개했다. v1의 안정형(LVQ), 최대수익형(섹터VQ), 중수익형(모멘텀가드), 그리고 v2의 KOSDAQ 소형주 밸류, KOSDAQ 밸류 안정형, 전체시장 퀄리티 안정형 — 대시보드에서 매일 자동으로 추천 종목이 갱신되는 모습은 꽤 그럴듯해 보인다.

하지만 그 뒤에는 15개 넘는 전략이 탈락한 잔해가 있다. 기록한 것만 15개이고 기록도 안한 실패 전략은 이 10배 정도는 된다.

AI가 들고 온 "CAGR 30%"라는 화려한 숫자가 알고 보니 허상이었던 사건도 있다. 7편의 깔끔한 결과물은, 이 지저분한 과정 위에 서 있다.

이번 편은 그 과정의 이야기다. 어떤 기준으로 전략을 걸러냈고, 뭐가 탈락했고, 왜 탈락했는지. 그리고 v1에서 v2로 어떻게 진화했는지.

---

먼저, 통과 기준을 정했다

전략을 아무리 많이 만들어도, 걸러내는 기준이 없으면 의미가 없다. 그래서 사이트에 올리기 전에 반드시 통과해야 하는 검증 기준을 먼저 정했다.

4가지 필수 기준

기준	안정형	중수익형	최대수익형
연평균 수익률 (CAGR)	15% 이상	20% 이상	25% 이상
최대 낙폭 (MDD)	-20% 이내	-25% 이내	-30% 이내
샤프비율	1.1 이상 (전략 유형 무관)
벤치마크 초과	10년 중 7년 이상 KODEX 200을 이길 것

 

7편에서도 설명은 했으나 다시 설명하면

• CAGR: 연평균 이만큼은 벌어야 한다
• MDD - 최악의 순간에 이만큼 이상 빠지면 안 된다
• 샤프비율: 위험 대비 수익이 이 정도는 되어야 한다 (1.1 이상이면 꽤 좋은 편)
• 벤치마크 초과: 그냥 ETF를 사는 것보다 나아야 한다. 10년 중 7년은 이겨야 의미가 있다

추가로 "CAGR에서 MDD를 뺀 값이 5 이상"이라는 보조 기준도 넣었다. 예를 들어 CAGR 25%인데 MDD가 -30%면 25-30 = -5로 탈락이다. 수익이 높아도 낙폭이 크면 실전에서 견디기 어렵기 때문이다.

백테스트 규칙

기준만 엄격한 게 아니라, 백테스트 자체에도 규칙을 정했다:

• 시작 시점: 2015년부터 (최소 10년), v2 전략은 2016년 3월부터 (재무 데이터 한계)
• 체결 방식: 오늘 종가로 신호 발생 → 다음날 시가에 매수 (당일 종가 매매 금지)
• 거래비용: 왕복 0.4% 반영 (세금 + 수수료 + 슬리피지)
• 미래 데이터 금지: 실적 발표 전 데이터는 절대 사용하지 않음 (PIT 원칙)

이 기준이 왜 중요한지는, 뒤에서 "검증을 안 했더니 어떤 일이 벌어졌는지"를 보면 알게 된다.

---

15개 전략, 대부분 탈락

이 기준을 가지고 전략을 하나씩 만들고 테스트했다. 결과는 냉정했다.

폐기된 전략들

전략 이름	아이디어	탈락 사유
섹터 로테이션	잘 나가는 업종으로 갈아타기	성과 미달
소형주 퀄리티	시총 작지만 실적 좋은 종목	유동성 부족, 실전 매매 불가
가치+퀄리티	저PBR + 고ROE 조합	성과 미달
턴어라운드 돌파	급등 후 눌림목에서 재진입	성과 미달
거래량 폭발	거래량 급증 종목 추격 매수	성과 미달

 

아이디어 자체는 그럴듯했다. "잘 나가는 업종에 올라타면 되지 않나?" "실적 좋은 소형주는 아직 저평가 아닌가?"  하지만 10년치 데이터로 돌려보면 대부분 기대에 못 미쳤다. 아이디어와 현실은 달랐다.

검증까지 갔지만 기준 미달

폐기까지는 아니고, 백테스트 수치가 나왔지만 기준을 못 넘은 전략들도 있다:

전략 이름	CAGR	MDD	샤프	판정
저변동+퀄리티	13.7%	-26.8%	1.01	CAGR·MDD·샤프·Beat 전부 미달
모멘텀+퀄리티	34.4%	-31.1%	1.41	수익률 화려하지만 MDD·Beat  미달
퀄리티 트렌드 가드	3.4%	-9.3%	0.60	CAGR·샤프 심각 미달
초방어형 배분	6.2%	-9.5%	1.02	낙폭은 적지만 수익 부족
하이브리드 방어형	13.1%	-14.3%	1.57	Beat 기준 미달

 

모멘텀+퀄리티 전략이 인상적이었다. 연 34% 수익에 샤프비율 1.41  숫자만 보면 최고였다. 하지만 "MDD" 기준을 통과 못 했다. 잘 될 때는 폭발적이지만, 안 될 때는 확 무너지는 전략이었다. 일관성이 없으면 실전에서 믿고 따를 수 없다.

반대로 초방어형 배분은 최대 낙폭이 -9.5%밖에 안 되는 안전한 전략이었지만, 수익이 연 6%에 그쳤다. 이 정도면 그냥 ETF를 사고 편하게 있는 게 낫다.

---

"연 수익률 30%!" - 알고 보니 허상이었다

가장 충격적인 사건은 AI가 만든 전략을 감사(audit)했을 때 벌어졌다.

AI에게 전략을 만들어달라고 했더니, 이런 결과를 들고 왔다:

 

"CAGR 29.67%, MDD -14.23%, 샤프비율 1.60"

 

숫자가 너무 좋았다. 수익은 높고 낙폭은 적고 안정성도 최고. "드디어 완벽한 전략을 찾았나?" 싶었다.

그래서 검증해봤다. 결과는 "투자 가치가 없는 허상"이었다. 

사실 내가 검증할만한 능력은 없고 다른 AI Agent들에게 검증을 시킨다. 물론 수치가 너무 높으면 나도 의심부터 하고 본다.

뭐가 문제였나

• 스냅샷 편향: 2026년 현재의 재무 데이터를 2016년부터 전 기간에 적용했다. "삼성전자가 2026년에 실적이 좋으니까, 2016년에도 이 기준으로 골랐어야 했다"는 식. 당연히 과거에도 잘 되는 것처럼 보인다.
• 생존자 편향: 2026년 현재 상장되어 있는 종목만으로 백테스트했다. 그 사이에 상장폐지된 종목은 빠져있으니, 실패한 투자를 아예 안 한 것처럼 계산된다.
• 거래비용 과소: 실제 왕복 0.4%인데, 0.1%만 반영했다.

이 세 가지를 보정하니 CAGR이 -16%에서 -48%로 떨어졌다. 수익은커녕 원금을 깎아먹는 전략이었던 것이다.

검증 보고서의 결론은 이랬다:

 

"이 전략은 실전 투입 시 원금 손실 가능성이 매우 높으며, 투자 가치가 없는 허상이다."

 

이 사건 이후로 모든 전략에 감사 프로세스를 넣었다. 스냅샷 편향, 생존자 편향, 거래비용이 제대로 반영됐는지 하나하나 확인한다. AI가 만든 결과물이라고 그대로 믿으면 안 된다는 걸 뼈저리게 배웠다.

---

PIT - 90%가 허상이었다

AI 전략 감사 사건으로 경각심이 생겼지만, 진짜 충격은 PIT(Point-In-Time) 검증에서 왔다.

PIT란 "그 시점에 실제로 알 수 있었던 정보만 사용했는가?"를 따지는 것이다. 예를 들어 2025년 4분기 실적은 2026년 2월 공시 이후에나 알 수 있는데, 백테스트에서 2026년 1월에 이 데이터를 쓰면 미래 정보를 쓰는 셈이다.

v1 전략을 만들 때도 PIT를 의식했지만, filing_date(실제 공시일) 기반의 엄밀한 검증은 하지 못했다. v2 전략에서 이를 제대로 적용했더니, 결과는 충격적이었다:

 

PIT 미적용 시 CAGR 39% → filing_date 기반 PIT 적용 시 CAGR 3.9%

 

수익률의 90%가 미래 데이터 유입으로 만들어진 허상이었던 것이다. "연 39% 수익 전략"이 실제로는 "연 3.9% — 예금보다 조금 나은 수준"이었다.

이 경험이 v2 전략의 설계 철학을 바꿨다. PIT가 백테스트의 전부라는 걸 깨달은 것이다.

---

PIT-Only로 가는 길: 삽질 실화

PIT의 중요성을 깨달았다고 해서 바로 제대로 된 PIT를 구현한 건 아니었다. 오히려 "PIT를 적용했다"고 착각한 채 한참을 헤맸다. 그 과정을 솔직하게 기록한다.

엔진 CAGR 3배 뻥튀기 사건

AI가 만든 백테스트 엔진에 치명적인 버그가 있었다. CAGR(연평균 수익률)을 계산할 때 len(equity_curve) / 12로 연수를 계산했는데, 분기별 리밸런싱은 연 4포인트뿐이라 연수가 1/3로 줄어들었다. 결과적으로 CAGR이 3배로 과대계상됐다.

AI가 "CAGR 49%, Sharpe 1.28 — 성공!"이라고 보고했을 때, 진심으로 기뻤다. 하지만 다른 AI Agent에게 검증을 맡겼더니 실제 CAGR은 14%였다. 자체 검증으로는 절대 못 찾았을 버그를 외부 검증이 잡아낸 것이다.

freshness window vs lag - 미묘하지만 치명적인 차이

PIT 구현에서 가장 교묘한 실수가 "freshness window"였다. 설명은 "signal_date에서 60일 전 이전 데이터만 사용"이라고 적어놓고, 실제 코드는 이랬다:

 

f.date >= signal_date - 60일 AND f.date <= signal_date

 

이건 "60일 전 이전 데이터만 사용"(lag)이 아니라 "최근 60일 창 안의 데이터만 사용"(freshness window)이다. 차이가 뭘까?

• lag: 60일 전 이전 데이터만 → 미래 데이터 원천 차단, 오래된 유효 데이터는 사용 가능
• freshness window: 최근 60일 안의 데이터만 → 미래에 가까운 데이터를 허용하면서, 오히려 60일 넘은 유효한 과거 데이터는 탈락시킴

freshness window 방식의 결과: CAGR 20.65%, MDD -22.16%. 나쁘지 않은 숫자였다.

filing_date 기반 진짜 PIT를 적용했을 때: 처음에는 성과가 대폭 하락했다. 50회 이상의 백테스트를 반복한 끝에야 filing_date PIT로도 기준을 달성하는 전략을 찾을 수 있었다.

 

교훈: 정직한 PIT를 적용하면 성과의 절반이 사라진다. 남은 절반만이 진짜다.

4차 외부 검증 - 매 라운드마다 새 버그 발견

라운드	발견된 문제
1차	CAGR 계산 버그 — 분기 전략에서 3배 과대계상
2차	연도별 수익률 왜곡 + KOSDAQ 벤치마크 0%
3차	PIT freshness window vs lag 혼동
4차	최종 수치 확인 - 통과

 

매번 "이번엔 확실하다"고 생각했는데, 매번 새로운 문제가 나왔다. 4차까지 가서야 통과할 수 있었다. 자체 검증만으로는 절대 충분하지 않다. 외부 전문가의 눈이 필수다. (사실 ChatGPT Codex가 다했다)

---

v2 전략의 4차 검증 과정

v1의 교훈을 바탕으로, v2 전략은 50회 이상의 백테스트와 4차 검증을 거쳤다.

1차: 팩터 탐색

저PBR, 고ROE, PER, 모멘텀, 변동성 등 개별 팩터를 하나씩 테스트하고, 한국 시장에서 실제로 작동하는 조합을 찾았다. 결론은 저PBR + 고ROE가 가장 강력했다.

2차: PIT 적용

filing_date 기반으로 실제 공시일 이후에만 재무 데이터를 사용하도록 수정했다. 이 단계에서 대부분의 "좋아 보이는 전략"이 무너졌다.

3차: 파라미터 최적화

PBR/ROE 가중치, 종목 수, 이동평균 기간, 시장 방어 비율 등을 수십 가지 조합으로 그리드 서치했다. 예를 들어 KOSDAQ 밸류 안정형의 PBR 45% + ROE 55% 가중치는 이 과정에서 나왔다.

4차: 로버스트니스 검증

파라미터를 약간 바꿔도 성과가 크게 변하지 않는지 확인했다. "PBR 가중치를 45%에서 50%로 바꿨더니 수익이 반 토막"이면 과적합이다. v2의 3개 전략은 파라미터를 10% 범위로 변경해도 성과가 안정적이었다.

---

팩터 하나하나 따로 테스트해봤다

전략이 계속 탈락하니까, 근본적인 의문이 들었다. "애초에 어떤 기준이 한국 시장에서 통하는 거지?"

그래서 팩터를 하나씩 분리해서 순수하게 테스트했다. 결과는 예상 밖이었다.

팩터	의미	CAGR	MDD	판정
퀄리티 단독	ROE·영업이익률 높은 종목	+19.4%	-51.1%	한국 시장 최강 팩터
가치+퀄리티	저PER·저PBR + 고ROE	+24.0%	-48.8%	최적 조합
저변동성+퀄리티	안정적 + 실적 좋은	+9.2%	-35.8%	저변동성이 발목
저변동성 단독	주가 흔들림 적은 종목	-6.8%	-57.4%	한국에선 마이너스
4팩터 전부	저변동+가치+퀄리티+반전	+3.3%	-52.5%	서로 상쇄, 무의미
반전 단독	급락 후 반등 기대	-32.9%	-99.3%	원금 1% 남음

 

몇 가지 의미있는 발견이 있었다:

높은 MDD

어떤 팩터를 조합해도 MDD가 매우 높다. 일반적인 투자자들은 이런 높은 MDD를 견디지 못한다. MDD를 줄이기 위한 방어 전략은 필수로 있어야 한다. 

저변동성의 역설

미국에서 유명한 "저변동성 효과"가 한국에서는 정반대였다. 변동이 적은 종목은 "안정적인 종목"이 아니라 "아무도 관심 없는 종목"인 경우가 많았다. 넣으면 넣을수록 수익이 떨어졌다.

반전 팩터의 공포

"많이 빠진 종목을 사면 반등하겠지"라는 역발상 투자. 10년 백테스트 결과 원금의 1%만 남았다. 1억이 100만 원. 한국에서는 빠지는 종목은 빠지는 이유가 있어서 계속 빠졌다.

"많으면 좋다"의 함정

4개 팩터를 전부 넣으면 가장 균형 잡힐 줄 알았는데, CAGR 3%였다. 각 팩터가 서로 다른 방향을 가리키면서 상쇄된 것이다. 핵심 2~3개에 집중하는 게 전부 넣는 것보다 훨씬 나았다.

이 팩터 분리 테스트의 결론이 v2 전략의 핵심 설계로 이어졌다. 저PBR + 고ROE, 딱 두 가지에 집중. 복잡하게 여러 팩터를 섞는 것보다, 한국 시장에서 검증된 핵심 팩터에 올인하는 게 정답이었다.

---

"종목을 많이 담으면 안전하겠지"

팩터뿐 아니라 종목 수에서도 같은 실수를 했다.

• 20개 종목: 연평균 약 23%
• 30개: 약 20%
• 40개: 약 18%
• 50개: 약 16%

종목이 많아질수록 수익이 떨어졌다. 점수 순서대로 고르는 건데, 상위 20개와 하위 30개의 질이 다르다. 잘 고른 소수가 대충 고른 다수보다 낫다.

v2의 KOSDAQ 소형주 밸류가 12종목에 집중하는 것도 이 교훈에서 나왔다. 적은 종목에 확신을 가지고 집중하는 전략이다.

---

이동평균선 10일의 차이

시장 전체 추세를 판단할 때 이동평균선을 쓰는데, 기간을 며칠로 설정하느냐가 수익률을 크게 바꿨다.

• 200일 기준: 약 21% — 너무 느림, 반등을 놓침
• 120일 기준: 약 23% — 무난
• 110일 기준: 약 28% — 최적
• 60일 이하: 노이즈에 반응, 불필요한 매매 증가

10일 차이로 5%포인트가 갈렸다. 이건 이론으로 알 수 없고, 직접 돌려봐야 찾을 수 있는 값이었다.

v2의 KOSDAQ 밸류 안정형과 전체시장 퀄리티 안정형이 120일 이동평균을 시장 방어 기준으로 쓰는 것도 이 테스트 결과를 반영한 것이다. 110일이 최적이었지만, 과적합 우려를 줄이기 위해 약간 보수적인 120일을 택했다.

---

약세장 대응의 딜레마

시장이 하락할 때 어떻게 할 것인가? 이 문제로 가장 오래 고민했다.

• 완전 회피 — 하락 추세면 전부 현금. 안전하지만 반등을 놓침
• 일부 유지 — 20~40%는 들고 있기. 반등 시 빠르게 복구

재미있는 건, 정답이 전략마다 달랐다는 점이다. 안정형(LVQ)은 약세장에서 과감하게 빠지는 게 나았고, 최대수익형(섹터VQ)은 약세장에서도 40%를 유지하는 게 더 좋았다. 전략의 성격에 따라 약세장 대응도 달라야 했다.

v2에서도 이 교훈을 적용했다. KOSDAQ 소형주 밸류는 시장 타이밍 없이 풀 투자(최대수익 추구), KOSDAQ 밸류 안정형과 전체시장 퀄리티 안정형은 120MA 하회 시 전량 현금 전환(안정 추구). 전략의 목적에 맞게 약세장 대응을 달리한 것이다.

---

v1: 3개 → v2: 6개로 진화

15개 넘는 전략을 만들고, 5개는 아이디어 단계에서 폐기, 5개는 백테스트에서 탈락, 수백 가지 파라미터 조합을 그리드 서치로 돌린 끝에 — 처음 살아남은 건 3개뿐이었다(v1).

하지만 PIT 검증의 중요성을 깨닫고, filing_date 기반의 엄밀한 검증과 50회 이상의 반복 백테스트를 거쳐 새로운 3개 전략(v2)을 추가했다.

최종 성과표: 6가지 전략

전략명	유형	CAGR	MDD	샤프비율	PIT 검증
v1 안정형 (LVQ)	안정	15.6%	-18.9%	1.22	기본
v1 중수익형 (모멘텀가드)	중수익	22.7%	-16.2%	1.28	기본
v1 최대수익형 (섹터VQ)	최대수익	25.5%	-29.0%	1.12	기본
v2 KOSDAQ 소형주 밸류	최대수익	25.42%	-29.35%	1.18	filing_date
v2 KOSDAQ 밸류 안정형	중수익	18.49%	-15.37%	1.32	filing_date
v2 전체시장 퀄리티 안정형	안정	17.05%	-20.36%	1.11	date lag 60일

 

v1과 v2는 "대체"가 아니라 "보완" 관계다.

• v1의 장점: 다양한 팩터(변동성, 섹터, 모멘텀), 긴 백테스트 기간(2015년~)
• v2의 장점: 엄밀한 PIT 검증, 한국 시장 최적 팩터(저PBR+고ROE)에 집중
• 조합의 힘: 성격이 다른 6개 전략을 비교하면서 판단할 수 있다

솔직히 말하면, v1의 3개 전략은 벤치마크 초과 7년 기준을 통과하지 못했다. v2의 3개 전략은 PIT 검증은 철저하지만, 백테스트 기간이 2016년부터로 짧다. 6개 모두 완벽하지 않다. 현실에서는 "가장 덜 불완전한 것"을 고르고, 서로 다른 약점을 가진 전략들을 조합해서 보완하는 수밖에 없었다.

---

Phase 1에서 Phase 7까지

안정형(LVQ) 전략 하나만 놓고 봐도, 최종 형태가 나오기까지 7단계(Phase)를 거쳤다.

단계	질문	결론
Phase 1	기본적인 팩터 조합이 통하나?	가치+퀄리티로 연 26% — 가능성 확인
Phase 2	종목을 더 담으면?	20개가 최적, 50개는 오히려 나쁨
Phase 3	이동평균 기간을 바꾸면?	110일이 최적, 10일 차이로 5%p 격차
Phase 4	약세장에서 얼마나 들고 있어야?	전략마다 다름, 만능 해법 없음
Phase 5	저변동성 팩터를 살릴 수 있나?	한국에선 버리는 게 정답
Phase 6	퀄리티에 올인하면?	안정성 최고
Phase 7	극단적 조합은?	4팩터 전부 = 3%, 반전 = -33%

 

각 Phase에서 수십 가지 조합을 돌렸으니, 전체로 보면 수백 번의 백테스트를 한 셈이다. 한 번 돌리는 데 10년치 × 3,970종목 데이터를 처리하니 시간도 적지 않았다.

v2 전략은 여기에 추가로 50회 이상의 PIT 검증 백테스트를 더 거쳤다. v1의 수백 번 + v2의 50회 이상 = 총 수백 회의 시행착오 위에 6개 전략이 서 있는 것이다.

---

배운 것들

1. 검증 기준이 먼저다

기준 없이 전략을 만들면, "이 정도면 괜찮지 않나?" 하고 자기 합리화를 하게 된다. CAGR, MDD, 샤프비율, 벤치마크 초과 — 통과 기준을 먼저 정해놓으면 감정 없이 판단할 수 있다.

2. AI의 결과를 그대로 믿으면 안 된다

AI가 "CAGR 30%, 완벽합니다"라고 해도, 감사해보니 허상이었다. 스냅샷 편향, 생존자 편향, 거래비용 - 이런 기본적인 함정을 AI가 스스로 챙기지 못했다. 끊임없이 의심하고 검증해서 허점을 찾아야 한다.

3. PIT가 백테스트의 전부다

PIT 미적용 시 CAGR 39%가 적용 후 3.9%로 폭락한 경험은 결정적이었다. 아무리 화려한 수치도 PIT 검증 없이는 의미가 없다. filing_date 기반이든 date lag 방식이든, 미래 데이터 유입을 차단하는 게 가장 중요하다.

4. 상식은 시장마다 다르다

"많이 담으면 안전하다", "저변동성이 좋다", "교과서 팩터는 통한다" - 한국 시장에서는 전부 틀렸다. 직접 돌려보기 전까지는 아무것도 믿으면 안 된다.

5. 완벽한 전략은 없다, 하지만 진화할 수 있다

v1의 3개도 완벽하지 않았고, v2의 3개도 완벽하지 않다. 하지만 v1의 한계를 인식하고 v2로 보완하는 과정 자체가 진화다. 처음부터 완벽할 필요 없이, 꾸준히 개선하면 된다. 

 

우선 일정기간 모의 검증 후 실전 검증으로 갈 예정이다.

퀀트 전략은 내 돈 넣고 검증해서 돈벌면 좋은 전략 아니면 폐기해야 되는 전략이다.

---

정리

• 검증 기준: CAGR·MDD·샤프·벤치마크 초과, 4가지 필수 + 백테스트 규칙(PIT, 거래비용 0.4%, 익일 시가 체결)
• 전략 15개 이상: 섹터로테이션, 소형주, 턴어라운드, 거래량돌파... 대부분 탈락
• AI 전략 감사: "CAGR 30%" 허상 발견, 보정 후 -16%~-48%. 검증 프로세스 필수
• PIT 검증: 미적용 시 CAGR 39% → 적용 시 3.9%, 수익률 90% 폭락. v2의 핵심 교훈
• 팩터 분리 테스트: 퀄리티 최강(+19%), 저변동성 역효과(-7%), 반전 최악(-33%)
• 포트폴리오 크기: 20개 최적, 50개는 수익 하락. v2는 12종목 집중
• v1 → v2 진화: 3개 → 6개, PIT 검증 강화, 저PBR+고ROE 집중, 50회+ 4차 검증

7편에서 "퀀트 전략으로 종목을 자동 추천한다"고 했을 때, 그게 얼마나 많은 실패와 시행착오 위에 서 있는지 이제 조금은 전해졌으면 좋겠다. 좋은 결과 뒤에는 항상 수많은 험난한 과정이 있다. 

이렇게 어려운데 하는 이유는? 그래도 어려운 걸 하나씩 풀어나가는 재미가 있다. AI도 어려워하는 정도면 정말 난이도 극상의 문제이기 때문이다.

 

다음 편에서는 시장 전체를 한눈에 보는 시장지도(트리맵)를 만든 이야기를 다룬다.