docs: 전략 post-mortem — 7전 7패 분석 및 다음 방향 제안
- 공통 실패 패턴 3가지 (IS/OOS 격차, 대칭성 실패, 필터 역효과) - 근본 원인: 공개 시그널 방향 예측 패러다임 한계 - 다음 방향: 패러다임 변경(stat arb), 비용 절감(maker), 데이터 확장 Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -158,3 +158,4 @@ All design documents and implementation plans are stored in `docs/plans/` with t
|
|||||||
| 2026-04-21 | `mtf-oos-dryrun-result` | 중간 보고 — 24건 Raw PF 0.98 |
|
| 2026-04-21 | `mtf-oos-dryrun-result` | 중간 보고 — 24건 Raw PF 0.98 |
|
||||||
| 2026-05-04 | `mtf-oos-final-result` | **FAIL, 폐기** — 30건 fees_only PF 0.84, SHORT 대칭성 실패 |
|
| 2026-05-04 | `mtf-oos-final-result` | **FAIL, 폐기** — 30건 fees_only PF 0.84, SHORT 대칭성 실패 |
|
||||||
| 2026-05-04 | `mtf-btc-filter` (design + result) | **FAIL, 최종 폐기** — BTC 필터 추가해도 OOS PF 0.90, 베이스라인보다 악화 |
|
| 2026-05-04 | `mtf-btc-filter` (design + result) | **FAIL, 최종 폐기** — BTC 필터 추가해도 OOS PF 0.90, 베이스라인보다 악화 |
|
||||||
|
| 2026-05-04 | `strategy-post-mortem` | 7전 7패 분석 — 공개 시그널 방향 예측 패러다임 한계, 다음 방향 제안 |
|
||||||
|
|||||||
133
docs/plans/2026-05-04-strategy-post-mortem.md
Normal file
133
docs/plans/2026-05-04-strategy-post-mortem.md
Normal file
@@ -0,0 +1,133 @@
|
|||||||
|
# CoinTrader 전략 Post-Mortem (2026-05-04)
|
||||||
|
|
||||||
|
지금까지 시도한 모든 전략의 실패 원인을 분석하고, 다음 방향을 도출한다.
|
||||||
|
|
||||||
|
## 1. 사망자 명단
|
||||||
|
|
||||||
|
| # | 전략 | 기간 | IS PF | OOS PF(fees) | 사망 원인 |
|
||||||
|
|---|------|------|-------|-------------|----------|
|
||||||
|
| 1 | RSI+MACD+BB+EMA+StochRSI (기본) | 2026-03 | — | 0.89 | 수익성 부족 |
|
||||||
|
| 2 | ML Filter (LightGBM/ONNX) | 2026-03 | — | ML OFF > ML ON | 피처에 alpha 없음 |
|
||||||
|
| 3 | LS Ratio | 2026-03 | — | 0.86 (best) | r=0.12, 비용 커버 불가 |
|
||||||
|
| 4 | FR × OI | 2026-03 | — | SHORT 1.88 / LONG 0.50 | 대칭성 실패 |
|
||||||
|
| 5 | Taker Buy/Sell Ratio | 2026-03 | — | 0.93 | r=-0.08, 약함 |
|
||||||
|
| 6 | MTF Pullback (OOS dry-run) | 2026-04 | — | 0.84 (fees) | SHORT 역 edge |
|
||||||
|
| 7 | MTF Pullback + BTC 필터 | 2026-05 | 1.12 | 0.90 (fees) | 베이스라인보다 악화 |
|
||||||
|
|
||||||
|
**7전 7패.** 단 하나도 비용 반영 후 OOS PF > 1.0을 달성하지 못함.
|
||||||
|
|
||||||
|
## 2. 공통 실패 패턴
|
||||||
|
|
||||||
|
### 패턴 A: "IS에서 살고 OOS에서 죽는다"
|
||||||
|
|
||||||
|
| 전략 | IS fees PF | OOS fees PF | 격차 |
|
||||||
|
|------|-----------|-------------|------|
|
||||||
|
| 기본 시그널 | ~1.02 | 0.89 | -13% |
|
||||||
|
| MTF Pullback | 1.02 | 0.94 | -8% |
|
||||||
|
| MTF + BTC 1h | 1.12 | 0.90 | -20% |
|
||||||
|
|
||||||
|
IS에서 마진이 얇은 전략(PF 1.0~1.1)은 OOS에서 비용을 이기지 못한다. **IS PF < 1.3이면 OOS 통과 가능성 거의 0.**
|
||||||
|
|
||||||
|
### 패턴 B: "LONG/SHORT 중 한쪽만 작동"
|
||||||
|
|
||||||
|
| 전략 | 좋은 쪽 | 나쁜 쪽 | 진단 |
|
||||||
|
|------|---------|---------|------|
|
||||||
|
| FR × OI | SHORT PF 1.88 | LONG PF 0.50 | 시장 베타 |
|
||||||
|
| MTF OOS (4월) | LONG PF 1.28 | SHORT PF 0.73 | 상승장 편승 |
|
||||||
|
| MTF 백테스트 OOS | SHORT PF 1.06 | LONG PF 0.71 | 하락장 편승 |
|
||||||
|
|
||||||
|
한쪽만 좋은 건 "전략의 edge"가 아니라 **해당 기간의 시장 방향(beta)**을 타고 있을 뿐. 기간이 바뀌면 좋은 쪽과 나쁜 쪽이 뒤집힌다 (4월 OOS에서 LONG이 좋았고, 전체 백테스트 OOS에서는 SHORT가 좋았음).
|
||||||
|
|
||||||
|
### 패턴 C: "필터/피처를 추가할수록 악화"
|
||||||
|
|
||||||
|
| 레이어 | OOS fees PF |
|
||||||
|
|--------|-------------|
|
||||||
|
| 기본 시그널 | 0.89 |
|
||||||
|
| + ML Filter | 더 나빠짐 |
|
||||||
|
| MTF Pullback (베이스라인) | 0.94 |
|
||||||
|
| + BTC 추세 필터 | 0.90 (악화) |
|
||||||
|
|
||||||
|
필터를 추가하면 **좋은 거래도 같이 걸러진다**. 기본 시그널 자체에 edge가 없으면 필터로 구제 불가능. 오히려 거래 수 감소 → 통계적 불안정 → 악화.
|
||||||
|
|
||||||
|
## 3. 근본 원인 진단: Edge 부재 vs Regime Dependence?
|
||||||
|
|
||||||
|
**답: 둘 다. 그리고 이 둘은 연결되어 있다.**
|
||||||
|
|
||||||
|
1. **Edge 부재가 근본**: RSI/MACD/BB/EMA/StochRSI + 풀백 패턴은 너무 많은 참가자가 아는 시그널. 알파가 소진된 공공재. r < 0.15인 시그널은 수수료 8bps를 이길 수 없다.
|
||||||
|
|
||||||
|
2. **Regime dependence는 결과**: edge가 없는 전략은 시장 방향(beta)에 수익이 좌우된다. 상승장에선 LONG이, 하락장에선 SHORT가 좋아 보이지만 이건 전략의 alpha가 아니라 시장의 beta.
|
||||||
|
|
||||||
|
3. **검증 방법론은 정상 작동**: IS/OOS 분할, 비용 모델, 대칭성 체크, 사전 가설 확정 — 이 프레임워크가 7개 전략을 정확히 거부했다. 문제는 방법론이 아니라 **시그널 소스**.
|
||||||
|
|
||||||
|
## 4. "뭘 안 시도했나?" — 미탐색 영역 지도
|
||||||
|
|
||||||
|
### 이미 소진한 영역 (재시도 금지)
|
||||||
|
|
||||||
|
- Binance 공개 API 파생 피처 (전수 테스트 완료)
|
||||||
|
- 기술적 지표 조합 (RSI, MACD, BB, EMA, StochRSI, ADX)
|
||||||
|
- ML 피처 선택/앙상블 (LightGBM, ONNX — 피처 자체에 alpha 없음)
|
||||||
|
- 시간대 변경 (15m→1h→4h→1d sweep 완료)
|
||||||
|
- 상관 자산 필터 (BTC 추세 필터 검증 완료)
|
||||||
|
|
||||||
|
### 미탐색 영역
|
||||||
|
|
||||||
|
| 방향 | 구체적 아이디어 | 난이도 | 기대값 |
|
||||||
|
|------|---------------|--------|--------|
|
||||||
|
| **데이터 소스 변경** | 온체인 (whale wallet, exchange flow) | 높음 | 중 — 지연 있으나 독점 정보 가능성 |
|
||||||
|
| **데이터 소스 변경** | 크로스 거래소 (OKX/Bybit OI/FR 차이) | 중 | 중 — 차이 자체가 시그널 |
|
||||||
|
| **데이터 소스 변경** | 소셜/뉴스 센티먼트 | 높음 | 낮음 — 노이즈 많음, 지연 |
|
||||||
|
| **자산 변경** | BTC/ETH (유동성 높은 메이저) | 낮음 | 중 — 경쟁 치열하지만 유동성 풍부 |
|
||||||
|
| **자산 변경** | 저유동성 알트 (DYDX, APE 등) | 낮음 | 중 — 비효율성 클 수 있으나 슬리피지 |
|
||||||
|
| **패러다임 변경** | 통계적 차익 (pair trading, mean reversion) | 중 | 중상 — 방향 중립, beta 제거 |
|
||||||
|
| **패러다임 변경** | 마이크로 구조 (호가창 불균형, 체결 패턴) | 높음 | 높음 — 진입 장벽이 alpha 보호 |
|
||||||
|
| **패러다임 변경** | 변동성 전략 (vol expansion/compression) | 중 | 중 — 방향 아닌 "크기" 예측 |
|
||||||
|
| **실행 최적화** | 동일 시그널 + maker order (비용 절감) | 중 | 중 — 0.08%→0.04% 비용 반감 |
|
||||||
|
|
||||||
|
## 5. 다음 방향 제안
|
||||||
|
|
||||||
|
### 우선순위 1: 패러다임을 바꿔라
|
||||||
|
|
||||||
|
지금까지의 모든 전략은 **"방향 예측"** 패러다임:
|
||||||
|
- "XRP가 오를까 내릴까?" → LONG/SHORT
|
||||||
|
|
||||||
|
이 패러다임에서 공개 시그널로 alpha를 찾기는 극히 어렵다. 대안:
|
||||||
|
|
||||||
|
**(A) 통계적 차익 (Stat Arb / Pair Trading)**
|
||||||
|
- XRP/BTC 비율의 평균 회귀
|
||||||
|
- 여러 알트코인 간 상대 강도 기반 롱숏
|
||||||
|
- 장점: 방향 중립 → beta 제거, 대칭성 자동 충족
|
||||||
|
- 인프라: 현재 multi-symbol 아키텍처로 확장 가능
|
||||||
|
|
||||||
|
**(B) 변동성 전략**
|
||||||
|
- "방향"이 아니라 "크기"를 예측
|
||||||
|
- ATR 수축 → 확장 시 양방향 진입 (straddle-like)
|
||||||
|
- BB squeeze → breakout 방향은 예측하되, 비용 대비 마진이 큰 구간만
|
||||||
|
|
||||||
|
### 우선순위 2: 비용을 줄여라
|
||||||
|
|
||||||
|
현재 taker 왕복 8bps가 모든 전략의 적. 같은 시그널이라도:
|
||||||
|
- Entry를 limit order로 → 4bps 절감 (왕복 4bps)
|
||||||
|
- 이것만으로 MTF 베이스라인 OOS가 0.94 → ~1.02로 개선 가능
|
||||||
|
- 근본 해결은 아니지만, 마진이 얇은 전략을 BEP 위로 올릴 수 있음
|
||||||
|
|
||||||
|
### 우선순위 3: 데이터 소스를 넓혀라
|
||||||
|
|
||||||
|
Binance 공개 API는 소진. 외부 데이터가 필요:
|
||||||
|
- Glassnode/CryptoQuant (온체인)
|
||||||
|
- 크로스 거래소 OI/FR 차이
|
||||||
|
- 이 데이터는 접근 비용(유료 API)이 있으나 그만큼 경쟁자가 적음
|
||||||
|
|
||||||
|
## 6. 보존할 자산
|
||||||
|
|
||||||
|
7전 7패였지만 **인프라는 자산**:
|
||||||
|
|
||||||
|
| 자산 | 용도 |
|
||||||
|
|------|------|
|
||||||
|
| 비용 모델 (3 시나리오) | 어떤 전략이든 재사용 |
|
||||||
|
| IS/OOS 검증 프레임워크 | 자기기만 방지 |
|
||||||
|
| 사전 가설 확정 프로토콜 | sweep 과적합 방지 |
|
||||||
|
| multi-symbol 아키텍처 | pair trading 확장 가능 |
|
||||||
|
| kill switch (Fast/Slow) | 실전 리스크 관리 |
|
||||||
|
| 주간 리포트 파이프라인 | 모니터링 |
|
||||||
|
|
||||||
|
다음 전략이 뭐든, 이 검증 인프라 위에서 시작하면 실패를 빠르게 확인할 수 있다.
|
||||||
Reference in New Issue
Block a user