Інтерпретація результатів Backtest: кількісний посібник з кожного показника

#Інтерпретація результатів Backtest: кількісний посібник з кожного показника

Звіт Backtest — це щільна таблиця чисел. Загальна дохідність, Sharpe Ratio, Max Drawdown, Profit Factor, Win Rate — кожен показник відповідає на своє запитання про вашу стратегію. Прочитайте їх неправильно — і ви розгорнете стратегію, яка блискуче виглядає на папері, але спалює капітал на реальних ринках. Прочитайте правильно — і відсієте крихкі конфігурації ще до того, як вони коштуватимуть вам хоча б цента.

Цей посібник дає вам формули, орієнтири і — що найважливіше — систему суджень для розрізнення справді сильного Backtest та хитро переобробленого (Overfitting).

Якщо ви ще не запускали Backtest, почніть з нашого покрокового посібника з backtesting перед прочитанням цієї статті.

#Основні показники результатів з формулами

#Загальна дохідність vs. CAGR

Загальна дохідність — найпростіший показник: скільки ваш портфель заробив або втратив за весь період Backtest.

Total Return = (Ending Value - Starting Value) / Starting Value × 100

Якщо ви почали з $10,000 і завершили з $11,850, ваша загальна дохідність становить 18.5%.

Проблема загальної дохідності в тому, що вона ігнорує час. Дохідність 18.5% за 3 місяці — феноменальна. Ті ж 18.5% за 3 роки — розчаровують. CAGR (середньорічний темп зростання) виправляє це, нормалізуючи дохідність на річну базу:

CAGR = (Ending Value / Starting Value)^(365 / days) - 1

Приклад: $10,000 → $11,850 за 180 днів:

CAGR = (11850 / 10000)^(365/180) - 1 = 1.185^2.028 - 1 = 0.4036 = 40.36%

Ті ж $10,000 → $11,850 за 730 днів (2 роки):

CAGR = (11850 / 10000)^(365/730) - 1 = 1.185^0.5 - 1 = 0.0887 = 8.87%

#Sharpe Ratio

Sharpe Ratio — золотий стандарт оцінки ризик-скоригованих результатів. Він відповідає на запитання: «Скільки дохідності я заробив на кожну одиницю волатильності, яку витерпів?»

Sharpe Ratio = (Rp - Rf) / σp

Де:

• Rp = річна дохідність портфеля
• Rf = безризикова ставка (зазвичай 4–5% для USD або 0%, якщо порівнюються лише криптоактиви)
• σp = річне стандартне відхилення дохідності портфеля

Приклад розрахунку: Ваш bot приносить 42% річних за стандартного відхилення 18%. Безризикова ставка 5%.

Sharpe = (0.42 - 0.05) / 0.18 = 0.37 / 0.18 = 2.06

#Sortino

Sharpe Ratio штрафує всю волатильність однаково — але висхідна волатильність корисна. Якщо ваша стратегія злітає на 5% за день, Sharpe трактує це так само, як падіння на 5%. Sortino виправляє це, штрафуючи лише низхідне відхилення:

Sortino Ratio = (Rp - Rf) / σd

Де σd — стандартне відхилення лише від'ємних дохідностей.

Чому це важливо: Стратегія, яка ловить великі висхідні рухи, але обмежує збитки, матиме Sortino значно вищий за свій Sharpe Ratio. Це говорить вам, що волатильність «гарного ґатунку».

Приклад: Той самий bot з 42% річною дохідністю та безризиковою ставкою 5%, але низхідним відхиленням лише 11%:

Sortino = (0.42 - 0.05) / 0.11 = 3.36

Порівняйте це з Sharpe 2.06. Великий розрив говорить вам, що більша частина волатильності стратегії припадає на висхідні рухи — бажана характеристика.

#Max Drawdown

Max Drawdown (MDD) вимірює найбільше зниження вартості портфеля від піка до дна. Він відповідає на найособистіше запитання в trading: «Який найгірший біль я б витерпів?»

MDD = (Trough Value - Peak Value) / Peak Value × 100

Приклад: Ваш портфель піднімається з $10,000 до $13,200 (пік), потім падає до $10,890 перед відновленням:

MDD = (10890 - 13200) / 13200 × 100 = -17.5%

Два критично важливі суб-показники:

1. Тривалість Drawdown: Скільки днів від піка до дна. Drawdown -15% тривалістю 4 дні психологічно легший, ніж -15% тривалістю 2 місяці.
2. Час відновлення: Скільки днів від дна назад до попереднього піка. Швидке відновлення = стійка стратегія.

#Profit Factor

Profit Factor гранично простий і одразу застосовний на практиці:

Profit Factor = Gross Profit / Gross Loss

Приклад: Ваш bot заробив $4,200 на прибуткових Trade і втратив $2,100 на збиткових:

Profit Factor = 4200 / 2100 = 2.0

#Win Rate та мат. очікування

Win Rate — це відсоток угод, закритих у прибуток:

Win Rate = Winning Deals / Total Deals × 100

Win Rate сам по собі небезпечно вводить в оману. Win Rate 90% звучить неймовірно — але якщо ваш середній виграш $10, а середній збиток $200, ви втрачаєте гроші. Ось де вступає в гру мат. очікування:

Expectancy = (Win Rate × Average Win) - (Loss Rate × Average Loss)

Приклад: Win Rate 62%, середній виграш $85, середній збиток $120:

Expectancy = (0.62 × $85) - (0.38 × $120) = $52.70 - $45.60 = $7.10 per trade

Кожен Trade має додатне мат. очікування $7.10. За 100 Trade ви очікуєте заробити ~$710.

#Win Rate vs. ризик-дохідність: таблиця беззбитковості

Це одна з найважливіших концепцій у trading. Win Rate та співвідношення ризик-дохідність (R:R) обернено пов'язані: ви можете бути прибутковими за низького Win Rate, якщо ваші виграші достатньо великі відносно програшів.

Беззбитковий Win Rate для будь-якого співвідношення ризик-дохідність:

Breakeven Win Rate = 1 / (1 + Risk-Reward Ratio)

Практичний приклад: DCA bot з 40% Win Rate та ризик-дохідністю 1:3:

• Зі 100 Trade: 40 перемог × $300 = $12,000 прибутку
• 60 збитків × $100 = $6,000 збитків
• Чистий прибуток = $6,000 (Profit Factor = 2.0)

Порівняйте це з ботом з 70% Win Rate та ризик-дохідністю 1:0.5:

• 70 перемог × $50 = $3,500 прибутку
• 30 збитків × $100 = $3,000 збитків
• Чистий прибуток = $500 (Profit Factor = 1.17)

Стратегія з 40% Win Rate виробляє у 12× більше чистого прибутку. Win Rate — це марнославство; мат. очікування — здоровий глузд.

#Аналіз Equity Curve

Equity Curve відображає вартість вашого портфеля у часі. Це найбільш інформаційно насичений візуальний елемент у будь-якому звіті Backtest.

#Плавні сходи (ідеал)

Здорова Equity Curve зростає послідовними сходинковими приростами. Кожна сходинка представляє завершену угоду. Сходинки йдуть угору частіше, ніж униз, а drawdowns між сходинками неглибокі та короткочасні.

Про що це говорить: Стратегія генерує послідовну, повторювану перевагу за різних ринкових умов. Це крива стратегії, якій можна довірити реальний капітал.

#Пилкоподібна (тривожна)

Різкі рухи вгору, за якими йдуть так само різкі рухи вниз, створюючи зигзагоподібний візерунок. Загальна траєкторія може бути висхідною, але поїздка жорстка.

Про що це говорить: Висока дисперсія дохідності. Max Drawdown, ймовірно, великий, Sharpe Ratio, найшвидше, нижчий за 1.0, а реальна торгівля перевірить ваші емоційні межі. Навіть якщо загальна дохідність додатна, стратегія крихка.

#Хокейна ключка (небезпечна)

Пласка або трохи від'ємна більшу частину періоду, потім раптовий стрибок, що дає більшу частину прибутку в кількох Trade.

Про що це говорить: Стратегія залежить від конкретної ринкової події (обвалу, пампу чи однієї великої свічки). Приберіть ці кілька Trade — і стратегія збиткова. Це не систематична перевага, а удача, що збіглася з вашим вікном Backtest.

#Обрив (фатальна)

Стабільний підйом, за яким іде раптове катастрофічне падіння, що стирає більшу частину або всі прирости.

Про що це говорить: У стратегії немає захисту від падіння. Зазвичай спричинено відсутніми Stop Loss, надмірним плечем або стратегією, яка неявно шортить волатильність (збирає невеликі премії, доки хвостова подія не змете все).

#Виявлення Overfitting

Overfitting — тихий убивця backtest-стратегій. Стратегія, підігнана під криву (curve fitting), виглядає феноменально в Backtest, але провалюється на реальних ринках, бо вона запам'ятала історичний шум, а не вловила справжній ринковий патерн.

#Ознаки Overfitting

1. Працює на одній парі, не працює на схожих. Якщо ваша стратегія BTC/USDT приносить 35%, але ті самі налаштування на ETH/USDT дають -5%, стратегія, ймовірно, підігнана під конкретну цінову історію BTC.

2. Працює лише на одному таймфреймі. Стратегія, що дає 28% за останні 6 місяців, але -3% за попередні 6 місяців, запам'ятала один конкретний режим.

3. Забагато оптимізованих параметрів. Кожен додатковий параметр дає оптимізатору більше ступенів свободи для підгонки під шум. Якщо у вашої стратегії 8+ параметрів, що всі оптимізувалися окремо, Overfitting практично гарантований.

4. Нереалістичні показники. Sharpe > 4, Win Rate > 98%, нуль збиткових Trade або Profit Factor > 5 на 50+ Trade — усе це вказує на стратегію, яку катували, щоб підігнати під дані.

5. Результат деградує за незначних змін налаштувань. Стійкі стратегії демонструють поступові зміни результату за невеликого коригування параметрів. Переоброблені (Overfitting) стратегії обвалюються, якщо ви зсунете RSI з 27 на 28 або Take Profit з 1.87% на 1.90%.

#In-sample vs. Out-of-sample тестування

Стандартний метод виявлення Overfitting:

1. Розділіть дані. Візьміть усю доступну історію (наприклад, 12 місяців) і розділіть її: перші 8 місяців = In-sample (навчання), останні 4 місяці = Out-of-sample (валідація).

2. Оптимізуйте лише на In-sample. Знайдіть найкращі параметри, використовуючи лише перші 8 місяців.

3. Тестуйте на Out-of-sample без змін. Застосуйте ці точні параметри до останніх 4 місяців. Нічого не коригуйте.

4. Порівняйте результати. Якщо результат Out-of-sample перебуває в межах 30–40% від результату In-sample, стратегія, ймовірно, має справжню перевагу. Якщо результат Out-of-sample від'ємний або різко гірший, стратегія переоброблена (Overfitting).

Приклад:

• In-sample (січ–сер): дохідність 24%, Sharpe 1.8, Win Rate 67%
• Out-of-sample (вер–груд): дохідність 11%, Sharpe 1.2, Win Rate 61%
• Вердикт: Результат знизився, але залишився впевнено додатним. Це легітимна стратегія.

Порівняйте з переобробленим результатом:

• In-sample (січ–сер): дохідність 42%, Sharpe 3.1, Win Rate 88%
• Out-of-sample (вер–груд): дохідність -4%, Sharpe -0.3, Win Rate 43%
• Вердикт: Повний обвал. Стратегія запам'ятала навчальні дані.

#Walk-forward аналіз

Більш суворий підхід, ніж одиничне розділення in/out:

1. Оптимізуйте на місяцях 1–6, тестуйте на місяці 7
2. Оптимізуйте на місяцях 2–7, тестуйте на місяці 8
3. Оптимізуйте на місяцях 3–8, тестуйте на місяці 9
4. Продовжуйте котитися вперед

Кожен період Out-of-sample тестується з параметрами, оптимізованими на іншому вікні. Якщо стратегія послідовно показує гарний результат на всіх періодах Out-of-sample, вона пройшла найсильніший доступний тест на Overfitting.

#Червоні прапорці в результатах Backtest

Певні патерни у звіті Backtest мають викликати негайний скептицизм:

#Реальний приклад: Стратегія A vs. Стратегія B

Порівняймо два реальні результати Backtest на BTC/USDT за 6 місяців (січ–чер) з початковим капіталом $10,000.

#Стратегія A: «Високий Win Rate»

#Стратегія B: «Мисливець за трендами»

#Аналіз

Стратегія A має спокусливий Win Rate 95%, але досягає цього, забираючи крихітний прибуток і утримуючи збиткові Position. Кожен виграш у середньому $18.40, тоді як кожен збиток у середньому $142 — співвідношення ризик-дохідність приблизно 1:0.13. Чотири погані Trade можуть стерти 31 прибуткову угоду. Profit Factor 1.38 майже не залишає запасу на Slippage та комісії в реальній торгівлі. Низький Sharpe (0.72) підтверджує слабкі ризик-скориговані результати.

Стратегія B виграє лише в 55% випадків, але виграші у 2.3× більші за програші. Мат. очікування на Trade ($40.42) майже в 4× вище, ніж у Стратегії A ($10.86). Sharpe 1.64 та Profit Factor 2.48 показують сильні ризик-скориговані результати. Вищий Max Drawdown (-11.3% проти -6.8%) — це ціна стратегії, яка дійсно відкриває значущі Position.

#Що відбувається у стресових сценаріях?

Уявіть раптовий обвал BTC на 12% під час періоду Backtest:

• Стратегія A: Обвал одночасно тригерить 4 Stop Loss (у неї багато відкритих мікро-угод). Збиток: 4 × $142 = $568, стираючи 31 прибуткову угоду на $570. Одна подія обвалу стирає місяць приросту.
• Стратегія B: Обвал тригерить 2 Stop Loss. Збиток: 2 × $48.50 = $97. Дві прибуткові угоди ($224) покривають збитки із запасом. Стратегія структурно стійка.

#Збираємо все разом: система оцінки

Коли ви отримуєте звіт Backtest, оцінюйте показники в такому порядку:

1. Expectancy — Додатне? Наскільки на Trade?
2. Profit Factor — Вище 1.5? Вище 2.0?
3. Max Drawdown — Чи зможете ви психологічно та фінансово витримати 1.5× цього числа?
4. Sharpe Ratio — Вище 1.0? Якщо вище 3.0, розслідуйте на Overfitting.
5. Equity Curve — Це плавні сходи чи хаотичний зигзаг?
6. Результат Out-of-sample — Чи тримається стратегія на небачених даних?
7. Win Rate — Релевантний лише в контексті Average Win проти Average Loss.

Стратегії, що проходять усі сім перевірок, рідкісні — і їх варто розгортати. Стратегії, що провалюються на пунктах 1–3, слід відкинути або фундаментально перепроєктувати, незалежно від того, як виглядають інші показники.

Для рекомендацій з оптимізації стратегій, що пройшли цю систему, дивіться наш посібник з оптимізації ботів.

#Поширені запитання

#Який Sharpe Ratio гарний для крипто-trading бота?

Sharpe Ratio від 1.0 до 2.0 вважається гарним для крипто-стратегій. Крипторинки більш волатильні, ніж традиційні акції, тому стабільно досягати Sharpe вище 2.0 справді складно. Значення вище 3.0 слід перевіряти на Overfitting. Для контексту: багато успішних кількісних хедж-фондів націлюються на Sharpe Ratio між 1.5 та 2.5. Якщо ваш крипто-bot досягає Sharpe 1.5 у Backtest, що охоплює кілька ринкових режимів, це сильний результат.

#Як розрахувати Max Drawdown за кількох відкритих Position?

Max Drawdown слід розраховувати за загальним капіталом портфеля (Equity), а не за окремими Trade. У будь-який момент вартість вашого портфеля дорівнює готівка + нереалізований PnL за всіма відкритими Position. Відстежуйте це сукупне значення у часі, визначте найвищий пік та найнижче подальше дно, і обчисліть відсоткове зниження. Багато трейдерів роблять помилку, дивлячись лише на реалізований PnL, що ігнорує ризик Drawdown відкритих Position.

#Чому у моєї стратегії гарний Sharpe, але поганий Profit Factor?

Це може відбуватися, коли стратегія робить багато дрібних прибуткових Trade (створюючи послідовну дохідність з низькою волатильністю → високий Sharpe), але нечисленні збиткові Trade великі відносно окремих виграшів (знижуючи відношення Gross Profit до Gross Loss → низький Profit Factor). Це передбачає, що у стратегії є ризик товстого хвоста (fat-tail): вона добре працює більшу частину часу, але вразлива до рідкісних великих збитків. Затягування Stop Loss зазвичай виправляє Profit Factor ціною нижчого Win Rate.

#Використовувати Sharpe чи Sortino?

Використовуйте обидва, але надавайте більшу вагу Sortino для стратегій з асиметричним профілем дохідності. Якщо ваша стратегія ловить великі висхідні рухи, обмежуючи низхідні, Sortino буде значно вищим за Sharpe, відображаючи той факт, що висхідна волатильність корисна. Якщо Sharpe та Sortino близькі, волатильність вашої стратегії приблизно симетрична — рухи вгору й униз зіставної величини.

#Скільки Trade потрібно для статистично надійних показників?

Як мінімум, 30 Trade забезпечують базову статистичну надійність. Щоб Sharpe Ratio та Profit Factor значущо відрізнялися від випадкового шуму, бажані 50+ Trade. Щоб Win Rate стабілізувався в межах ±5% від істинного значення, зазвичай потрібно 100+ Trade. Якщо ваш Backtest показує лише 15 Trade, ставтеся до всіх показників як до грубих оцінок, а не надійних предикторів. Розширте період Backtest або використовуйте більш високочастотну стратегію для генерації більшої кількості точок даних.

#Чи можуть дві стратегії з однаковою загальною дохідністю сильно відрізнятися за якістю?

Безумовно. Стратегія X може приносити 20% з Sharpe 0.6, Max Drawdown -25% та Equity Curve типу «обрив». Стратегія Y може приносити 20% з Sharpe 1.8, Max Drawdown -8% та кривою типу «плавні сходи». Один пункт призначення, радикально різні шляхи. Стратегія Y переважає за кожним ризик-скоригованим виміром. Загальна дохідність — найменш корисний показник для порівняння стратегій з різними профілями ризику.