fix: evaluate_oos 판정 로직을 fees_only PF 기준으로 수정하고 MTF OOS 최종 결과 문서화

- 판정 기준을 Raw PF → fees_only PF로 변경 (Raw PF는 비현실적)
- LONG/SHORT 대칭성 체크 추가 (양쪽 PF >= 0.8)
- MTF OOS 최종 결과: FAIL 폐기 (30건, fees_only PF 0.84, SHORT PF 0.56)

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
This commit is contained in:
21in7
2026-05-04 09:01:40 +09:00
parent b6ba45f8de
commit 29e307d7b2
3 changed files with 263 additions and 27 deletions

View File

@@ -0,0 +1,48 @@
# MTF Pullback Bot OOS Dry-run 최종 결과
## 가설
MTF Pullback Bot의 멀티타임프레임 풀백 시그널이 XRPUSDT LONG/SHORT 양방향에서 수익을 낸다.
## 데이터
- 심볼: XRPUSDT
- 기간: 2026-04-02 ~ 2026-04-29 (28일)
- 거래 수: 30건 (LONG 18, SHORT 12)
- 실제 자금 투입: 0 (dry-run, 시그널+주문 기록만)
## 결과
### Raw (비용 미반영, 참고용)
| 방향 | 거래 수 | 승률 | PF | CumPnL(bps) | 평균보유 |
|------|---------|------|----|-------------|---------|
| Total | 30 | 43.3% | 1.06 | +61.6 | 237m |
| LONG | 18 | 50.0% | 1.28 | +167.7 | 272m |
| SHORT | 12 | 33.3% | 0.73 | -106.1 | 185m |
### 비용 보정 시나리오
| 시나리오 | Total PF | Total CumPnL | LONG PF | SHORT PF |
|----------|----------|-------------|---------|----------|
| fees_only | 0.84 | -178.4 | 1.04 | 0.56 |
| realistic | 0.79 | -250.4 | 0.98 | 0.52 |
| pessimistic | 0.69 | -382.4 | 0.87 | 0.45 |
### 4/21 중간 보고 대비 변화
| 지표 | 중간(24건) | 최종(30건) |
|------|-----------|-----------|
| Raw Total PF | 0.98 | 1.06 |
| fees_only Total PF | 0.79 | 0.84 |
| SHORT Raw PF | 0.58 | 0.73 |
| SHORT fees_only PF | 0.46 | 0.56 |
마지막 6건에서 소폭 개선됐으나 구조적 문제(SHORT 역 edge, 비용 흡수 불가) 불변.
## 결론
**FAIL** — 폐기 사유 2개 해당:
1. **OOS PF < 1.0 (비용 반영)**: fees_only 시나리오에서도 PF 0.84, 수수료를 이길 수 없음
2. **LONG/SHORT 대칭성 실패**: SHORT Raw PF 0.73 — 전략 자체에 SHORT edge 없음
Raw PF 1.06은 수수료(taker 왕복 8bps)를 흡수하기엔 마진이 너무 얇음. LONG만 분리 운영해도 fees_only PF 1.04로 거래 비용 감당 불가.