Backtest, що показує 200% річної доходності, п'янить. Ти знайшов золоту стратегію. От тільки ні — з високою ймовірністю ти знайшов стратегію, ідеально підігнану під минулі дані, яка провалиться тієї миті, коли зустріне живий ринок. Це проблема Overfitting, і вона знищує більше торгових рахунків, ніж будь-коли знищать невдалі ринкові рішення.
Walk-forward аналіз (WFA) — це протиотрута. Це сувора методологія валідації, яка перевіряє, чи є результати твоєї стратегії справжніми, чи артефактом curve fitting. Замість тестування на тих самих даних, на яких ти проводив оптимізацію, WFA систематично навчає на одному сегменті даних і тестує на повністю небаченому сегменті — потім повторює цей процес по всьому dataset.
Цей посібник навчить тебе, як реалізувати walk-forward аналіз крок за кроком, проєктувати тести надійності, що виявляють крихкі стратегії, застосовувати пороги статистичної значущості та будувати всеосяжний чек-лист валідації, який відокремлює стратегії, які варто торгувати, від стратегій, які варто відкинути.
Головне
- Простий Backtesting на історичних даних майже завжди завищує результати, тому що оптимізатор знаходить Parameter, які випадково спрацювали саме на цих конкретних даних — а не Parameter, що відображають справжній ринковий edge.
- Walk-forward аналіз ділить дані на ковзні In-sample (навчальні) та Out-of-sample (тестові) вікна. Співвідношення 3:1 (напр. 6 місяців оптимізації, 2 місяці тесту) — надійна відправна точка.
- Тест стабільності Parameter — варіювання кожного Parameter на ±20% і перевірка, чи деградують результати більш ніж на 50% — виявляє, чи стоїть твоя стратегія на надійному плато, чи на крихкому піку.
- Стратегію слід тестувати на різних парах, таймфреймах і ринкових режимах (бичачий/ведмежий/боковий), щоб підтвердити, що вона не curve-fit під один конкретний dataset.
- Статистична значущість вимагає мінімум 30 Trade для базової надійності та 100+ Trade для високої впевненості. Менша кількість Trade означає, що твої результати можуть бути випадковістю.
- Реальна DCA стратегія, що показує 45% річної доходності в Backtest, але лише 12% у walk-forward аналізі, демонструє типовий розрив у результатах, спричинений Overfitting.
Суми в доларах і відсотки в цьому посібнику — це розрахункові приклади, а не рекомендації. Торгівля криптовалютою може призвести до збитків — виділяйте на кожного бота лише кошти, втрату яких ви можете собі дозволити, і повністю прочитайте Розкриття ризиків, перш ніж запускати бота на реальному ринку.
Чому простого Backtesting недостатньо
Якщо ти читав наш посібник Як проводити Backtest крипто-торгової стратегії, ти розумієш основи Backtesting. Тепер розберемо його фундаментальну слабкість: Overfitting.
Проблема Overfitting
Overfitting виникає, коли Parameter твоєї стратегії налаштовані настільки точно під історичні дані, що вони захоплюють шум — випадкові патерни — замість сигналу — справжньої поведінки ринку. Переоптимізована стратегія виглядає блискуче в Backtest і розвалюється в живій торгівлі.
Ось чому це відбувається механічно:
Уяви, що в тебе є 12 місяців даних про ціну BTC і DCA bot з 6 налаштовуваними Parameter. Ти запускаєш оптимізатор, який тестує 10 000 комбінацій Parameter і обирає ту, що дає найвищий прибуток. Оптимізатор неминуче знайде комбінацію, яка «передбачила» точні просадки та відновлення в цьому 12-місячному вікні — не тому, що він виявив реальний патерн, а тому, що за 10 000 спроб якась комбінація випадково збігнеться з випадковим шумом у даних.
Аналогія: Кидання кубика 10 000 разів і знаходження послідовності, де випадання 6 завжди передувало ралі фондового ринку, не означає, що кубики передбачають ринки. За достатнього обсягу data mining ти завжди знайдеш хибні кореляції.
Числа за Overfitting
Розглянь простір Parameter із:
- 5 конфігурацій страхувальних ордерів (3, 5, 7, 10, 12)
- 5 значень масштабу кроку (1.0, 1.2, 1.4, 1.6, 1.8)
- 5 значень масштабу обсягу (1.0, 1.3, 1.5, 1.8, 2.0)
- 4 рівні Take Profit (1.0%, 1.5%, 2.0%, 3.0%)
- 3 значення початкового відхилення (1.5%, 2.0%, 3.0%)
Це 5 × 5 × 5 × 4 × 3 = 1 500 комбінацій. Найкращий результат практично гарантовано завищує реальні результати. За 10 000+ комбінацій (які тестують багато оптимізаторів) ризик Overfitting величезний.
Головне правило розробки стратегій: Ніколи не довіряй показникам результатів, отриманим на тих самих даних, які використовувалися для оптимізації стратегії. In-sample результати безглузді для прогнозування живих результатів. Лише Out-of-sample результати — тести на даних, які оптимізатор ніколи не бачив — дають валідні оцінки результатів.
Walk-Forward аналіз: крок за кроком
Walk-forward аналіз розв'язує проблему Overfitting, створюючи структурований процес, де оптимізація і тестування завжди розділені.
Чотирикроковий процес
Крок 1: розділи дані на вікна
Розділи свій загальний історичний dataset на послідовні пари вікон:
- In-sample вікно (Train): Дані, що використовуються для оптимізації Parameter
- Out-of-sample вікно (Test): Дані, що використовуються для тестування оптимізованих Parameter — оптимізатор ніколи не бачить ці дані
Крок 2: проведи оптимізацію на In-sample даних
Запусти оптимізатор Parameter лише на In-sample вікні. Знайди найкращий набір Parameter для цього конкретного періоду.
Крок 3: тестуй на Out-of-sample даних
Візьми Parameter, знайдені на кроці 2, і запусти їх — без жодної модифікації — на Out-of-sample вікні. Запиши результати. Це єдине число, яке має значення.
Крок 4: зсунься вперед і повтори
Зсунь усе вікно вперед на довжину Out-of-sample вікна і повтори кроки 1-3. Продовжуй, доки не покриєш увесь dataset.
Візуальне представлення ковзних вікон
Ось як 24-місячний dataset оброблявся б із 6-місячними In-sample та 2-місячними Out-of-sample вікнами:
| Прохід | In-Sample (Оптимізація) | Out-of-Sample (Тест) |
|---|---|---|
| 1 | Місяці 1-6 | Місяці 7-8 |
| 2 | Місяці 3-8 | Місяці 9-10 |
| 3 | Місяці 5-10 | Місяці 11-12 |
| 4 | Місяці 7-12 | Місяці 13-14 |
| 5 | Місяці 9-14 | Місяці 15-16 |
| 6 | Місяці 11-16 | Місяці 17-18 |
| 7 | Місяці 13-18 | Місяці 19-20 |
| 8 | Місяці 15-20 | Місяці 21-22 |
| 9 | Місяці 17-22 | Місяці 23-24 |
Кожен прохід дає Out-of-sample результат. Твоя підсумкова оцінка результатів — це сукупність усіх 9 Out-of-sample періодів — 18 місяців справжніх Out-of-sample результатів із 24-місячного dataset.
Зверни увагу, що In-sample вікна перекриваються (зсуваючись на 2 місяці щоразу, а не стрибаючи на 8). Це дає тобі більше Out-of-sample точок даних, що підвищує статистичну надійність твоєї підсумкової оцінки результатів. Компроміс — обчислювальні витрати: більше проходів означає більше запусків оптимізації.
Якірний проти ковзного Walk-Forward
У прикладі вище використовується ковзний підхід, де In-sample вікно рухається вперед. Альтернатива — якірний підхід, де In-sample вікно завжди починається із самого початку:
| Прохід | In-Sample (Якірне) | Out-of-Sample |
|---|---|---|
| 1 | Місяці 1-6 | Місяці 7-8 |
| 2 | Місяці 1-8 | Місяці 9-10 |
| 3 | Місяці 1-10 | Місяці 11-12 |
| 4 | Місяці 1-12 | Місяці 13-14 |
| ... | ... | ... |
Ковзний швидше адаптується до мінливих ринкових умов, але має менше навчальних даних на вікно. Якірний використовує більше даних на вікно (дедалі більше в міру просування), але повільніше адаптується до змін режиму. Для крипторинків, де режими часто змінюються, ковзний зазвичай переважніший.
Розмір In-sample вікна
Розмір твого In-sample вікна — одне з найвпливовіших рішень у walk-forward аналізі. Помилишся з ним, і твої результати будуть ненадійними незалежно від усього іншого.
Правило 3:1
Надійною відправною точкою є співвідношення 3:1 між In-sample та Out-of-sample вікнами:
| In-Sample | Out-of-Sample | Повний цикл | Застосування |
|---|---|---|---|
| 3 місяці | 1 місяць | 4 місяці | Швидкоадаптивні, короткострокові стратегії |
| 6 місяців | 2 місяці | 8 місяців | Стандартні DCA та свінг-стратегії |
| 9 місяців | 3 місяці | 12 місяців | Довгострокові трендові стратегії |
| 12 місяців | 4 місяці | 16 місяців | Дуже терплячі, низькочастотні стратегії |
Замале: проблема шуму
Якщо твоє In-sample вікно замале (напр. 1-2 місяці), оптимізатор працює з обмеженими даними, які можуть представляти лише один ринковий режим. Parameter, оптимізовані на 6 тижнях бичачого ринку, проваляться тієї миті, коли ринок розвернеться в боковик або вниз. Малі вікна дають нестабільні Parameter, які різко змінюються з кожним проходом — червоний прапорець.
Мінімальна рекомендація: Твоє In-sample вікно має містити щонайменше 30 завершених угод bot (Trade). Якщо твій bot у середньому робить 2 угоди на тиждень, тобі потрібно щонайменше 15 тижнів (~4 місяці) In-sample даних.
Завелике: проблема адаптації
Якщо твоє In-sample вікно завелике (напр. 18-24 місяці), оптимізатор усереднює по кількох ринкових режимах. Отримані Parameter — це компроміс, який працює «нормально» в усіх умовах, але не перевершує в жодних. У крипто, де зміни режимів різкі та драматичні, застарілі Parameter залишають гроші на столі.
Максимальна рекомендація: Для більшості крипто-стратегій 9-12 місяців In-sample даних — верхня межа. Понад це найраніші дані можуть представляти ринкові умови настільки відмінні від поточних, що вони додають шум, а не сигнал.
Практичний тест: якщо оптимальні Parameter змінюються більш ніж на 30% між послідовними walk-forward проходами, твоє In-sample вікно замале. Якщо вони майже не змінюються за 6+ проходів, воно може бути завеликим (або твій простір Parameter надто грубий). Помірна варіація — Parameter зсуваються на 5-15% між проходами — вказує на хороший розмір вікна.
Тест стабільності Parameter
Знаходження «найкращого» набору Parameter недостатньо. Тобі потрібно переконатися, що твоя стратегія стоїть на надійному плато — області простору Parameter, де сусідні Parameter також працюють добре — а не на крихкому піку — єдиній точці, яка працює блискуче, але де будь-яка мала зміна спричиняє катастрофічний провал.
Тест ±20%
Для кожного оптимізованого Parameter протестуй результати з Parameter, що варіюється на ±10% і ±20% від його оптимального значення. Перевір, наскільки деградують результати.
Приклад: Твій оптимізатор знайшов ці оптимальні Parameter для BTC DCA bot:
- Take Profit: 1.8%
- Масштаб кроку: 1.4
- Масштаб обсягу: 1.5
- Початкове відхилення: 2.5%
Тепер протестуй варіації:
| Parameter | -20% | -10% | Оптимум | +10% | +20% |
|---|---|---|---|---|---|
| Take Profit | 1.44% | 1.62% | 1.80% | 1.98% | 2.16% |
| Річна доходність | 18.2% | 21.5% | 24.1% | 22.8% | 20.3% |
| Max Drawdown | -12.1% | -11.4% | -10.8% | -11.2% | -12.5% |
Це надійне плато: варіювання Take Profit на ±20% змінює річну доходність із 24.1% до діапазону 18.2-22.8% — приблизно 25% деградації в найгіршому випадку. Стратегія стабільна.
Контраст із крихким піком:
| Parameter | -20% | -10% | Оптимум | +10% | +20% |
|---|---|---|---|---|---|
| Take Profit | 1.44% | 1.62% | 1.80% | 1.98% | 2.16% |
| Річна доходність | 3.1% | 14.2% | 38.7% | 11.8% | -2.4% |
| Max Drawdown | -28.3% | -18.1% | -8.2% | -22.5% | -35.1% |
Це крихкий пік: «оптимальна» доходність 38.7% обвалюється до 3.1% або навіть до від'ємної доходності за невеликих змін Parameter. Ця стратегія curve-fit і провалиться в живій торгівлі, бо реальні ринкові умови ніколи ідеально не збігаються з оптимізованими Parameter.
Правило деградації 50%: Якщо варіювання будь-якого окремого Parameter на ±20% спричиняє деградацію результатів більш ніж на 50%, стратегія крихка й імовірно переоптимізована. Зміна Parameter із 24% до 12% річної доходності — це 50% деградація — на межі. Зміна з 38.7% до 3.1% — це 92% деградація — відкинь стратегію повністю.
Тести надійності за вимірами
Стратегія, яка працює лише на одній парі, одному таймфреймі або одному ринковому режимі, не надійна — вона curve-fit. Справжні ринкові edge зберігаються в споріднених, але різних умовах.
Вимір 1: різні торгові пари
Якщо стратегію твого DCA bot було оптимізовано на BTC/USDT, протестуй ті самі Parameter (або переоптимізуй) на:
| Пара | Очікуваний результат за надійності | Червоний прапорець |
|---|---|---|
| ETH/USDT | Схожий напрям, дещо інша амплітуда | Від'ємна доходність |
| SOL/USDT | Схожий напрям, вищий вплив волатильності | Від'ємна доходність |
| BNB/USDT | Схожий напрям, інша амплітуда | Цілком інша поведінка |
Інтерпретація: Надійна DCA стратегія має працювати на будь-якій ліквідній крупнокапіталізованій крипто-парі — базова поведінка (повернення до середнього після просадок) універсальна для цих активів. Якщо твоя стратегія показує 30% річної доходності на BTC, але -5% на ETH, Parameter імовірно налаштовані під специфічні для BTC патерни, які не узагальнюються.
Правило великого пальця: Тестуй щонайменше на 3 різних парах. Якщо 2 з 3 показують додатну Out-of-sample доходність, стратегія має надійність між парами.
Вимір 2: різні таймфрейми
Parameter, оптимізовані для 1-годинних свічок, мають показувати спрямовано схожі результати на 4-годинних і денних даних. Амплітуда відрізнятиметься, але стратегія все одно має бути прибутковою.
| Таймфрейм | Що змінюється | Що має лишитися |
|---|---|---|
| 1h → 4h | Менше сигналів, більший рух на сигнал | Загальна прибутковість, напрям Win Rate |
| 4h → 1d | Ще менше сигналів, набагато більші рухи | Додатне матсподівання, співвідношення Drawdown |
| 1h → 15m | Більше сигналів, більше шуму, більше хибних тригерів | Має лишатися прибутковою (можуть знадобитися жорсткіші фільтри) |
Червоний прапорець: Стратегія, яка працює лише на 4h, але провалюється і на 1h, і на 1d, імовірно оптимізована під специфічні патерни шуму 4-годинних свічок на тестованій парі.
Вимір 3: різні ринкові режими
Це найкритичніший тест. Розділи свої дані на сегменти за режимами:
| Режим | Приклад періоду | Характеристики |
|---|---|---|
| Бичачий ринок | Жовт 2023 - Бер 2024 | BTC з ~$27K до ~$73K |
| Ведмежий ринок | Лист 2021 - Лист 2022 | BTC з ~$69K до ~$16K |
| Боковий | Черв 2023 - Вер 2023 | BTC у діапазоні $25K-$31K |
| Подія краху | Бер 2020 (COVID) | BTC -50% за 48 годин |
| Відновлення | Квіт 2020 - Лип 2020 | BTC з $5K назад до $12K |
Стратегія має показувати:
- Додатну доходність щонайменше в 2 з 3 основних режимів (бичачий/ведмежий/боковий)
- Контрольований Drawdown під час подій краху (не катастрофічний провал)
- Розумні результати відновлення після краху
| Вимір тесту | Мінімальна вимога | Сильний результат | Індикатор провалу |
|---|---|---|---|
| Між парами (3+ пари) | 2 з 3 пар прибуткові | Усі пари прибуткові зі схожою амплітудою | Працює лише на 1 конкретній парі |
| Між таймфреймами (3 ТФ) | Спрямовано схожі на всіх | Прибуткова на всіх з очікуваним масштабуванням | Прибуткова на 1, збиткова на інших |
| Між режимами (бичачий/ведмежий/боковий) | Додатна у 2 з 3 режимів | Додатна в усіх 3 з очікуваною варіацією | Працює лише в одному режимі |
| Стрес-тест (події чорного лебедя) | Drawdown < 2x норми | Drawdown < 1.5x норми | Стратегія повністю руйнується |
Стрес-тестування: події «чорного лебедя»
Звичайний Backtesting покриває нормальні ринкові умови. Стрес-тестування покриває події, які ламають стратегії. Якщо твій bot може пережити березень 2020, крах FTX (листопад 2022) і банківську кризу SVB (березень 2023), він імовірно зможе пережити все, що буде далі.
Критичні події для відтворення
| Подія | Дата | Рух BTC | Тривалість | Що тестує |
|---|---|---|---|---|
| Обвал COVID | 12-13 березня 2020 | -50% за 48h | 2 дні | Виживання за екстремального флеш-краху |
| Заборона майнінгу в Китаї | Трав-черв 2021 | -55% за 6 тижнів | 6 тижнів | Затяжне виснажливе зниження |
| Крах LUNA/UST | Трав 2022 | -35% за 1 тиждень | 1 тиждень | Крах від зараження |
| Крах FTX | Лист 2022 | -25% за 1 тиждень | 1 тиждень | Злив ліквідності через кризу довіри |
| Криза SVB | Бер 2023 | -10% потім +25% | 2 тижні | Різке V-подібне відновлення |
Що вимірювати в стрес-тестах
-
Максимальний Drawdown: Наскільки глибоко йде Position? DCA bot з 5 страхувальними ордерами і $3 000 капіталу — чи вичерпує він усі ордери? Чи отримує ліквідацію (якщо futures)?
-
Час відновлення: Після події скільки часу до того, як bot закриє прибуткову угоду? Якщо відновлення триває 6+ місяців, капітал фактично заблокований.
-
Перевірка ліквідації (лише futures): За 3x плеча чи досягає крах твоєї ціни ліквідації? Обвал COVID (-50%) ліквідував би будь-яку Long-позицію за плеча 2x або вище, якщо stop loss не встановлено.
-
Використання страхувальних ордерів: Який відсоток страхувальних ордерів спрацював? Якщо всі страхувальні ордери було використано із запасом, конфігурація добре підібрана. Якщо крах перевищив твій найглибший страхувальний ордер, тобі потрібні ширші кроки або більше ордерів.
Під час стрес-тестування не перевіряй лише підсумковий PnL — вивчай шлях. Стратегія, яка була в мінусі -40% усередині угоди перед відновленням до +1.5% прибутку, технічно «спрацювала», але така просадка змусила б більшість трейдерів панічно закрити bot вручну. Хороша стратегія має утримувати просадки всередині угоди в допустимих межах (зазвичай < 25% для spot, < 15% для позицій із плечем).
Статистична значущість
Стратегія, яка виграє 8 із 10 Trade, звучить вражаюче. Але всього за 10 Trade є 4.4% ймовірність, що випадкова стратегія (підкидання монети 50/50) теж дала б 8 виграшів. Це статистично незначуще. Тобі потрібно достатньо Trade, щоб бути впевненим, що твої результати не зумовлені випадковістю.
Мінімальна кількість Trade
| Кількість Trade | Статистична надійність | Рекомендація |
|---|---|---|
| < 10 | Дуже низька — результати легко можуть бути випадковими | Незастосовно |
| 10-29 | Низька — спрямовано наводить на думки, але ненадійна | Лише попередньо |
| 30-49 | Помірна — мінімум для базових висновків | Мінімальний поріг |
| 50-99 | Хороша — розумно надійна | Прийнятно |
| 100-199 | Сильна — статистично значуща | Переважно |
| 200+ | Дуже сильна — висока впевненість | Ідеально |
95% довірчі інтервали для доходності
Довірчий інтервал говорить тобі про ймовірний діапазон справжніх результатів твоєї стратегії. Ось як його розрахувати та інтерпретувати:
Формула (спрощена для доходності):
ДІ₉₅% = R̄ ± 1.96 × (σ / √n)
Де:
- R̄ = середня доходність за Trade
- σ = стандартне відхилення доходності за Trade
- n = кількість Trade
Приклад: Твій DCA bot завершив 80 Trade із середньою доходністю 1.5% за угоду і стандартним відхиленням 0.8%.
ДІ₉₅% = 1.5% ± 1.96 × (0.8% / √80) = 1.5% ± 0.175%
Результат: Ти можеш бути на 95% упевнений, що справжня середня доходність за угоду перебуває між 1.325% і 1.675%. Це вузький, корисний інтервал, бо в тебе 80 Trade.
Контраст: Та сама стратегія, але всього 15 Trade:
ДІ₉₅% = 1.5% ± 1.96 × (0.8% / √15) = 1.5% ± 0.405%
Результат: 95% ДІ — від 1.095% до 1.905% — набагато ширший, набагато менш визначений. За 15 Trade справжня доходність могла б бути на 27% нижчою за твоє виміряне середнє.
А всього за 8 Trade:
ДІ₉₅% = 1.5% ± 1.96 × (0.8% / √8) = 1.5% ± 0.554%
Результат: 95% ДІ — від 0.946% до 2.054% — твоя справжня доходність могла б бути на 37% нижчою. За 8 Trade ти, по суті, не знаєш своїх реальних результатів.
Оцінюючи стратегію, дивись на нижню межу 95% довірчого інтервалу, а не на середнє. Якщо нижня межа все ще додатна і прийнятна (напр. вище твого мінімально прийнятного порога доходності), стратегію варто торгувати. Якщо нижня межа близька до нуля або від'ємна, тобі потрібно більше Trade, перш ніж вкладати реальний капітал.
Реальний приклад: Overfitting виявлено
Пройдемо через повний walk-forward аналіз, який виявляє Overfitting у DCA стратегії.
Стратегія
DCA bot на ETH/USDT з таким простором Parameter:
- Take Profit: від 1.0% до 3.0% (крок 0.5%)
- Страхувальні ордери: від 3 до 8
- Масштаб кроку: від 1.0 до 2.0 (крок 0.2)
- Масштаб обсягу: від 1.0 до 2.0 (крок 0.25)
- Початкове відхилення: від 1.5% до 3.5% (крок 0.5%)
Усього комбінацій Parameter: 5 × 6 × 6 × 5 × 5 = 4 500
Результат простого Backtest (12-місячний період)
Оптимізатор знаходить найкращі Parameter на повному 12-місячному dataset:
- Take Profit: 2.5%
- Страхувальні ордери: 5
- Масштаб кроку: 1.8
- Масштаб обсягу: 1.75
- Початкове відхилення: 2.0%
Результат: 45.2% річної доходності, 87% Win Rate, Max Drawdown -14.3%, 62 завершені угоди.
Це виглядає чудово. Але чи реально це?
Walk-Forward аналіз (ті самі 12 місяців)
Використовуючи 6-місячні In-sample, 2-місячні Out-of-sample ковзні вікна:
| Прохід | In-Sample період | Out-of-Sample період | Доходність IS | Доходність OOS | Оптим. TP | Оптим. крок |
|---|---|---|---|---|---|---|
| 1 | Місяці 1-6 | Місяці 7-8 | 52.1% (річн.) | 8.3% (річн.) | 2.0% | 1.6 |
| 2 | Місяці 3-8 | Місяці 9-10 | 48.7% (річн.) | 15.1% (річн.) | 2.5% | 1.8 |
| 3 | Місяці 5-10 | Місяці 11-12 | 44.3% (річн.) | 12.8% (річн.) | 3.0% | 2.0 |
Результати
| Метрика | Простий Backtest | Walk-Forward (сукупний OOS) |
|---|---|---|
| Річна доходність | 45.2% | 12.1% |
| Win Rate | 87% | 79% |
| Max Drawdown | -14.3% | -19.7% |
| Profit Factor | 3.8 | 1.9 |
| Проаналізовано угод | 62 | 62 |
Walk-forward річна доходність — 12.1% — лише 27% від 45.2% простого Backtest. Простий Backtest завищив результати в 3.7 раза.
Що сталося?
-
Оптимальні Parameter зсувалися між проходами: Take Profit варіювався від 2.0% до 3.0%, масштаб кроку від 1.6 до 2.0. «Оптимальні» Parameter із Backtest повного періоду (TP=2.5%, Крок=1.8) були компромісом, який випадково виглядав добре в середньому по всьому періоду, але фактично не був найкращим для жодного конкретного підперіоду.
-
Ринковий режим змінювався: Місяці 1-6 були помірно бичачими (часті відскоки = висока доходність для DCA). Місяці 7-10 були боковими з низькою волатильністю (менше завершених угод). Місяці 11-12 були різкою корекцією (глибокі просадки перед відновленням). Parameter, оптимізовані для бичачої фази, показали гірші результати в наступних фазах.
-
45.2% були «удачею»: Оптимізатор повного періоду знайшов Parameter, які випадково збіглися з конкретною послідовністю просадок і відновлень у цих 12 місяцях. Зсунь дані навіть на 2-3 тижні, і ці точні Parameter дали б зовсім інші результати.
Чи варто торгувати 12.1%?
Можливо, так — 12.1% річної доходності на DCA стратегії, якщо вона надійна, — це гідний результат, який перевершує більшість пасивних стратегій утримання на бокових/ведмежих ринках. Ключ — розуміти, що 12.1% — це реалістичне очікування, а не 45.2%. Потім ти можеш оцінити, чи виправдовує 12.1% блокування капіталу, ризик і комісії.
Поширене співвідношення в добре спроєктованих стратегіях: walk-forward результати зазвичай становлять 25-50% від результатів простого Backtest. Якщо твоя walk-forward доходність вища за 50% від Backtest, стратегія незвично надійна. Якщо нижча за 25%, присутній серйозний Overfitting. Приклад ETH DCA на 27% (12.1/45.2) перебуває в нижній частині — помірний Overfitting, але стратегія все ще має edge.
Чек-лист валідації з 10 пунктів
Перш ніж вкладати реальний капітал у будь-яку стратегію bot, пройди через цей чек-лист. Стратегія має пройти щонайменше 8 із 10 перевірок, щоб вважатися готовою до продакшну.
| # | Перевірка | Критерій проходження | Як тестувати |
|---|---|---|---|
| 1 | Walk-forward OOS додатний | Сукупна доходність OOS > 0 на всіх проходах | Запустити WFA зі співвідношенням IS/OOS 3:1 |
| 2 | OOS ≥ 25% доходності Backtest | Відношення доходності OOS/Backtest ≥ 0.25 | Порівняти сукупний OOS із Backtest повного періоду |
| 3 | Стабільність Parameter | Зміна Parameter ±20% → < 50% втрати результатів | Варіювати кожен Parameter окремо |
| 4 | Надійність між парами | Прибуткова на ≥ 2 з 3 тестованих пар | Тестувати на BTC, ETH і одному альті (напр. SOL) |
| 5 | Виживання в різних режимах | Додатна доходність у ≥ 2 з 3 режимів | Тестувати на бичачому, ведмежому і боковому сегментах |
| 6 | Виживання стрес-тесту | Drawdown < 2x норми за відтворення чорного лебедя | Відтворити обвал COVID, крах FTX |
| 7 | Достатня кількість Trade | ≥ 30 OOS Trade (≥ 100 переважно) | Підрахувати Trade по всіх проходах WFA |
| 8 | Додатна нижня межа 95% ДІ | Нижня межа 95% ДІ для доходності > 0% | Розрахувати ДІ за формулою вище |
| 9 | Profit Factor ≥ 1.5 (OOS) | Загальний прибуток OOS / загальний збиток OOS ≥ 1.5 | Розрахувати з результатів WFA |
| 10 | Реалістична модель комісій/проковзування | Результати включають 0.04-0.1% комісії за Trade + проковзування | Перевірити налаштування комісій backtester |
Оцінка твоєї стратегії
| Бал | Оцінка | Дія |
|---|---|---|
| 9-10 | Відмінно — сильний edge з високою впевненістю | Розгорнути зі стандартним розміром Position |
| 7-8 | Добре — імовірно реальний edge з деякою невизначеністю | Розгорнути зі зменшеним розміром Position, уважно стежити |
| 5-6 | На межі — edge може існувати, але докази слабкі | Запустити на паперовій торгівлі 1-3 місяці перед вкладенням капіталу |
| 3-4 | Слабко — високий ризик Overfitting | Перепроєктувати Parameter стратегії, перетестувати |
| 0-2 | Провал — немає доказів реального edge | Відкинути стратегію повністю |
Багато трейдерів пропускають цей чек-лист, бо результати їхнього простого Backtest спокусливі. Від стратегії, що показує 80% річної доходності в Backtest, важко відмовитися, навіть якщо вона провалює 7 із 10 перевірок валідації. Дисципліна тут відокремлює стійких операторів bot від тих, хто розоряє свої рахунки за місяці. Довіряй процесу, а не Backtest.
Практичні поради з реалізації
Якість даних має значення
Walk-forward аналіз хороший рівно настільки, наскільки хороші дані, які ти в нього подаєш. Переконайся, що твої історичні дані:
- Включають реальні тіні свічок (high/low), а не лише open/close — страхувальні ордери DCA часто спрацьовують на внутрішньосвічкових тінях
- Не мають прогалин або відсутніх свічок (перевір у свого постачальника даних)
- Використовують послідовну обробку часових поясів
- Враховують специфічні для бірж різниці цін (BTC на Binance vs BTC на Bybit можуть відрізнятися на 0.1-0.3% під час волатильних періодів)
Обчислювальні витрати
WFA вимагає багаторазового запуску твого оптимізатора. Якщо кожен запуск оптимізації триває 5 хвилин і в тебе 9 проходів WFA, це 45 хвилин на варіант стратегії. З тестуванням стабільності Parameter (5 варіацій × 4 Parameter = 20 додаткових запусків) ти дивишся на 2+ години на стратегію.
Порада: Почни з грубої сітки Parameter (менше комбінацій) для первинного WFA-скринінгу. Запускай детальну оптимізацію лише на стратегіях, які проходять грубий відбір.
Уникання look-ahead bias
Переконайся, що твій backtester випадково не використовує майбутні дані. Поширені джерела look-ahead bias:
- Використання ціни закриття для виконання ордерів, коли ордер має виконатися на відкритті наступної свічки
- Використання Indicator, розрахованих на повному dataset, замість ковзних розрахунків
- Включення інформації про події (на кшталт краху FTX) у логіку стратегії до того, як вони сталися
Коли повторно валідувати
Розгорнуту стратегію слід повторно валідувати кожні 3-6 місяців або коли:
- Результати відхиляються від walk-forward очікувань більш ніж на 2 стандартних відхилення
- Ринкова структура фундаментально змінюється (нове регулювання, великий збій біржі)
- Ти змінюєш будь-який Parameter стратегії
Про поточну оптимізацію дивись наш посібник Оптимізація результатів торгового bot.
Часті запитання
Чим walk-forward аналіз відрізняється від простого Out-of-sample тестування?
Просте Out-of-sample тестування ділить дані на один навчальний набір і один тестовий (напр. навчити на 10 місяцях, тестувати на 2). Walk-forward аналіз робить це багаторазово з ковзними вікнами, створюючи безліч Out-of-sample результатів у різних ринкових умовах. Це дає тобі розподіл Out-of-sample результатів, а не одну точку даних — набагато надійніше для оцінки реальних результатів.
Яке співвідношення In-sample до Out-of-sample використовувати?
Почни з 3:1 (напр. 6 місяців IS / 2 місяці OOS). Якщо твоя стратегія торгує часто (кілька угод на день), ти можеш використовувати коротші вікна (3 місяці IS / 1 місяць OOS). Якщо вона торгує рідко (кілька угод на місяць), використовуй довші вікна (12 місяців IS / 4 місяці OOS). Ключове обмеження: кожне Out-of-sample вікно має містити щонайменше 8-10 Trade, щоб результати були мінімально значущими.
Мої walk-forward результати гірші за мій Backtest — чи варто відмовитися від стратегії?
Необов'язково. Walk-forward результати завжди гірші за результати Backtest — це нормально й очікувано. Питання в тому, наскільки гірші. Якщо WFA доходність становить 25-50% від доходності Backtest, стратегія імовірно має справжній edge. Якщо WFA доходність нижча за 10% від доходності Backtest (напр. Backtest показує 50%, WFA показує 4%), стратегія сильно переоптимізована і має бути перепроєктована або відкинута.
Скільки walk-forward проходів мені потрібно?
Мінімум 4-5 проходів для базової надійності. В ідеалі 8-12 проходів для надійних висновків. Більше проходів означає більше Out-of-sample точок даних, що звужує твої довірчі інтервали. За менш ніж 4 проходів твій сукупний Out-of-sample результат може бути викривлений одним незвично хорошим або поганим Out-of-sample періодом.
Чи можна використовувати walk-forward аналіз для Grid-ботів або інших стратегій, окрім DCA?
Так. WFA не залежить від стратегії — він працює для будь-якої параметризованої торгової стратегії. Grid-боти, стратегії повернення до середнього, моментум-стратегії і навіть системи входу на основі сигналів — усі виграють від walk-forward валідації. Методологія ідентична: оптимізувати Parameter на In-sample даних, тестувати на Out-of-sample даних, зсунутися вперед, повторити.
Що, якщо мої оптимальні Parameter різко змінюються між проходами WFA?
Великі зсуви Parameter між проходами вказують на одне з двох: (1) ринковий режим значно змінився між періодами (що є реальною і важливою інформацією), або (2) твій простір Parameter має кілька локальних оптимумів зі схожими результатами (оптимізатор випадково стрибає між ними). Щоб розрізнити, перевір, чи послідовний напрям зсуву. Якщо Take Profit продовжує зростати з часом, ринок рухається до нижчої волатильності. Якщо він коливається випадково, Parameter може не мати великого значення — що насправді хороший знак для надійності.