バックテストが手渡してくれるのは、たった1本の資産曲線です。それは上昇し、下落し、ある最終的な数字で終わり、まるであなたの戦略についての真実であるかのように感じられます。しかし、それは真実ではありません。それは、天文学的な数の可能な並び順のうち、あなたの取引がたまたま取った1つの順序にすぎず、あなたが手にした順序は、脆弱な戦略を実際以上に良く見せることも、堅実な戦略を埋もれさせることもあります。
モンテカルロシミュレーションは、その1つの幸運（または不運）なシーケンスの先を見通すための手段です。Freyaのバックテストエンジンはあなたの取引を1000回シャッフルし直し、結果の全範囲を報告します。その中には、1回のバックテストでは決して正直に示すことのできない数字も含まれます。それは、この戦略があなたの口座を吹き飛ばす確率です。
要点
- 1回のバックテストは、あなたの取引の1つの並び順にすぎません。同じ取引でも順序が違えば、利益に終わることも破綻に終わることもあります。
- モンテカルロはあなたの取引を1000回再サンプリングし、たまたま起きた1つの結果だけでなく、結果の分布全体を描き出します。
- 破綻確率とは、それらの並べ替えのうち口座が実質的に吹き飛んだ割合です。わずか数パーセントでも危険信号です。
- 実際に備えるべき痛みは、1回のバックテストのドローダウンではなく、95パーセンタイルのドローダウンです。
- Freyaがシミュレーションを実行するには最低10取引が必要で、結果は決定論的です。そのため同じバックテストからは常に同じ数字が得られます。
- モンテカルロはシーケンスリスクをストレステストします。市場レジームの変化はモデル化できないため、ウォークフォワード検証と組み合わせてください。
まだバックテストを実行していない場合は、ステップバイステップのバックテストガイドから始めてください。そして、本記事が土台とする中核的な指標については、バックテスト結果の解釈をお読みください。
本記事のドル金額やパーセンテージは計算例であり、推奨ではありません。暗号資産取引では損失が生じる可能性があります。各ボットには失っても差し支えのない資金だけを割り当て、本番運用の前にリスク開示の全文をお読みください。
なぜ1本の資産曲線は嘘をつくのか
40取引ある戦略を想像してください。24勝16敗です。あなたのバックテストは、市場が届けたそのままの順序でそれらを実行しました。しかし、その順序は運でした。もし最悪の3つの損失が、口座に利益のクッションができる前の序盤に立て続けに着地していたら、同じ40取引でも、口座を清算（リクイデーション）や二度と回復できないストップアウトを引き起こすほど深く引き下げていたかもしれません。もっと優しい順序で実行すれば、口座は新高値へと滑らかに上昇します。
同じ取引。同じ勝率。同じ平均利益と平均損失。それでも生き残りの結果はまったく異なります。これがシーケンスリスクです。1本の資産曲線は1つのシーケンスしか見せてくれないため、シーケンスリスクは1本の曲線の中では見えません。
モンテカルロシミュレーションは、このシーケンスリスクを可視化するために存在します。
Freyaでモンテカルロが実際に行うこと
Freyaのエンジンは、あなたのバックテストが生み出した取引のリストを受け取り、ブートストラップ再サンプリングを実行します。取引をランダムに、復元抽出で新しい順序に引き出し、その順序に沿って資産曲線をたどり、どこで終わったか、途中でどこまで深く下落したかを記録します。これを1000回繰り返し、あなたの戦略が経験しえた、もっともらしい1000通りの別の歴史の分布を構築します。
数字を信頼できるものにしているのは、知っておく価値のある次のいくつかの詳細です：
- 最低10取引が必要です。 それを下回ると、意味のある形にシャッフルし直すだけのサンプルが足りないため、Freyaは誤解を招く結果を返すのではなく、モンテカルロの結果を返しません。実際には、分布が意味を持つには10よりずっと多くの取引が欲しいところです。
- 決定論的です。 シミュレーションはあなたのバックテスト自身の結果からシードされるため、同じバックテストを実行すれば毎回同じモンテカルロの数字が得られます。ランダム性はシャッフルの中にあり、レポートの中にはありません。
- 各試行は破綻で停止します。 シミュレーション上の口座が破綻水準まで下落すると、その試行はそこで終了します。これは、ライブエンジンが枯渇した口座を停止させるのとまったく同じです。シミュレーションは、もはや資本のない口座に架空の取引を積み重ね続けることはしません。そのため、ドローダウンは実際に失うものがあった範囲に収まります。
Freyaがどう再サンプリングするかは、あなたのボットがポジションをどうサイジングするかによって決まります。固定サイジングでは、すべての取引がほぼ同じ絶対額をリスクにさらすため、エンジンは各取引の生の損益をシャッフルします。複利では、取引のドル建ての結果はそれが起きたときに口座がどれだけ大きかったかに依存するため、エンジンは代わりにパーセンテージリターンをシャッフルします。複利ボットで生のドル額をシャッフルすると、戦略が決して生み出せない結果を作り出してしまいます。だからこそFreyaは、再サンプリングをあなたのサイジング方法に意図的に合わせているのです。
モンテカルロの出力を読む
十分な取引数のバックテストの後、モンテカルロパネルは1000回の試行すべてにわたる分布を報告します。各数字が何を伝えているか、そしてそれにどう対応すべきかを次に示します。
破綻確率
最も重要な単一の数字です。これは、1000通りの並べ替えのうち、口座が実質的に吹き飛んだ、つまり開始時の残高のおおよそ10分の1まで下落した割合です。1000回のシャッフルで一度も破綻しなかった戦略は、構造的な強靭さを示しています。2〜5パーセントでも破綻確率がある戦略は、まったく同じ取引の1つの不運な並び順があなたの口座を終わらせること、そしてライブ市場がその順序をあなたに配ることは十分にありうることを告げています。
ゼロでない破綻確率は、無視してよい丸め誤差ではなく、本番運用の前に解決すべきサイジングの問題として扱ってください。
利益確率
その鏡像です。プラスで終わった並べ替えの割合です。ある戦略は美しい1回のバックテストを持ちながら、たとえば並べ替えの60パーセントでしかプラスで終わらないことがあります。これは、10回のうち4回は別のシーケンスなら損失を手渡していたことを意味します。この数字が100パーセントに近いほど、あなたの結果は取引の優しい順序に恵まれることに依存していなかったことになります。
信頼区間
95パーセントと99パーセントの信頼区間は、シミュレーション全体であなたの最終資産が着地した範囲を示します。あなたのバックテストが終わった単一の数字は、この範囲の中の1点にすぎず、多くの場合は真ん中ではありません。もしあなたのバックテストが95パーセント区間の上端で終わっていたなら、あなたの見出しの結果は、この戦略が現実的に出しうる範囲の楽観的な端に近かったということです。正直な期待値は、単一の数字ではなく区間のほうです。
中央値、ベストケース、ワーストケース
最終資産中央値は真ん中の結果であり、単一のバックテストの数字よりも堅牢な期待値です。並べ替えの半分はそれより良く、半分はそれより悪かったからです。ベストケースとワーストケースは両極端の裾です。シミュレーションが引いた、最も幸運なシーケンスと最も不運なシーケンスです。両者の差は、あなたの結果がどれだけ運に左右されるかを手早く読み取る指標になります。
中央値と95パーセンタイルのドローダウン
このペアこそ、モンテカルロが真価を発揮する場所です。あなたの1回のバックテストは、1つの最大ドローダウンを報告しました。モンテカルロは、すべての並べ替えにわたる中央値のドローダウンと、ほぼ最悪のケースである95パーセンタイルのドローダウンを報告します。もしバックテストのドローダウンが18パーセントでも、モンテカルロの95パーセンタイルのドローダウンが34パーセントなら、あなたのバックテストは穏やかな順序に恵まれたのであり、実際にサイジングして備えるべき痛みは34パーセントのほうに近いのです。1回の試行ではなく、95パーセンタイルに備えてください。
| モンテカルロのシグナル | その意味 | 取るべき対応 |
|---|---|---|
| 破綻確率が0%超 | あなたの取引の1つの不運な順序が口座を吹き飛ばす | 破綻確率が0%になるまでポジションサイズかレバレッジを下げる |
| 利益確率が約70%未満 | あなたのプラスの結果は優しい取引順序に頼っていた | 信頼する前にエッジを広げるかリスクを引き締める |
| 95パーセンタイルのドローダウンがバックテストのドローダウンを大きく上回る | あなたの1回のバックテストは幸運なシーケンスに恵まれた | バックテストのものではなく95パーセンタイルのドローダウンに合わせてサイジングする |
| ベストケースとワーストケースの差が大きい | 結果が運に大きく依存している | 見出しの数字ではなく中央値を期待値として扱う |
実例のウォークスルー
2つの戦略がどちらも$10,000に対してきれいな+22パーセントをバックテストで記録し、$12,200近くで終わったとします。1本の資産曲線で見ると、両者は双子のようです。しかしモンテカルロは両者を区別します：
- 戦略A： 破綻確率0パーセント、利益確率91パーセント、最終資産中央値$11,900、95パーセンタイルのドローダウン16パーセント。ほぼすべての並べ替えが生き残り、利益を出します。これは堅牢なエッジです。
- 戦略B： 破綻確率7パーセント、利益確率63パーセント、最終資産中央値$10,400、95パーセンタイルのドローダウン41パーセント。見出しの数字は同じですが、それは口座にクッションができた後にたまたま着地した少数の大きな勝ちに支えられていました。それらの勝ちをより早く、あるいはより遅くに並べ替えると、無視できない割合の試行が壊滅的に下落します。
1回のバックテストでは、この2つを区別できませんでした。モンテカルロはその違いを見逃しようのないものにします。そしてそれはまさに、自信を持ってサイジングできるボットと、いずれ最悪のケースをあなたに手渡すボットとの違いなのです。
モンテカルロが教えてくれないこと
モンテカルロは、1つの特定のリスク、つまりあなたの取引が届く順序についてのストレステストです。水晶玉ではありません。そう扱うこと自体が1つの罠です。
- あなたの取引が代表的であることを前提とします。 手元の取引をシャッフルし直しても、戦略が一度も行わなかった取引を生み出すことはできません。市場レジームが変化してあなたのエッジが効かなくなった場合、古い取引から構築されたモンテカルロは、古く、今や無関係になった結果をシャッフルし続けます。その失敗モードには、パラメータを一度もフィットさせていないデータでテストするウォークフォワード分析が必要です。
- ゴミを入れればゴミが出ます。 土台となるバックテストが過剰最適化されていれば、モンテカルロは空想の取引を1000通りの空想の歴史にシャッフルするだけです。まずバックテスト結果の解釈にある過剰最適化のチェックを使って、バックテストが正直であることを確認してください。
- これはシャッフルであり、予測ではありません。 ライブの結果は、レイテンシ、部分約定、資金調達（ファンディング）、そしてFreyaのパフォーマンス手数料のためにも、どのバックテストとも異なります。これらはいずれも並べ替えではモデル化されません。そのギャップについてはバックテストとライブ結果の比較をご覧ください。
これら3つのツールを組み合わせて使うと、見栄えの良いバックテストが失敗する3つの大きな道筋をカバーできます。シーケンスリスクにはモンテカルロ、過剰最適化にはウォークフォワード、そして執行の現実にはライブとバックテストの比較ガイドです。
よくある質問
バックテストにおける破綻確率とは何ですか？
それは、あなたの取引をシミュレーションで並べ替えたうち、口座が実質的に吹き飛んだ、つまり開始残高のおおよそ10分の1まで下落した割合です。Freyaは、あなたのバックテストの取引を1000回再サンプリングしてこれを計算します。ゼロを超える値は、あなた自身の取引のもっともらしい並び順が少なくとも1つは口座を終わらせることを意味し、これはサイズかレバレッジを減らすべきというシグナルです。
モンテカルロが機能するには何取引必要ですか？
Freyaはシミュレーションを実行する前に最低10取引を要求し、それを下回るとモンテカルロの結果を返しません。10は下限であって目標ではありません。取引数が多いほど、分布と破綻確率をより信頼できます。
なぜモンテカルロのドローダウンはバックテストのドローダウンより悪いのですか？
なぜなら、あなたの1回のバックテストは取引の1つの順序しか見ておらず、それはしばしば比較的優しい順序だったからです。モンテカルロは1000通りの順序にわたるドローダウンを明らかにし、95パーセンタイルの数字はほぼ最悪のケースです。それがバックテストのドローダウンよりずっと深い場合、あなたの見出しの結果は幸運なシーケンスに恵まれたのであり、95パーセンタイルの数字に合わせてサイジングすべきです。
同じバックテストは2回とも同じモンテカルロの結果を返しますか？
はい。Freyaのシミュレーションはあなたのバックテスト自身の結果からシードされるため、決定論的です。同一のバックテストを実行すれば、同一のモンテカルロの数字が生成されます。シャッフルはランダムですが、再現可能です。
破綻確率0パーセントは、戦略が安全であることを意味しますか？
いいえ。それは、バックテストした取引の1000通りの並べ替えにわたって、どれも吹き飛ばなかったことを意味し、これはシーケンスリスクに限っての強い強靭さのシグナルです。市場レジームの変化や過剰最適化されたバックテストについては何も語りません。本番運用の前に、ウォークフォワード検証と、バックテスト自体の健全性チェックと組み合わせてください。