Backtestiniz size tek bir öz sermaye eğrisi sunar. Yükselir, iner, bir nihai sayıda biter ve stratejiniz hakkındaki gerçekmiş gibi hissettirir. Değildir. Bu, astronomik sayıda olası sıralama içinden işlemlerinizin yalnızca bir sıralamasıdır ve denk geldiğiniz sıra, kırılgan bir stratejiyi olduğundan iyi gösterebilir ya da sağlam bir stratejiyi gömebilir.
Monte Carlo simülasyonu, o tek şanslı (ya da şanssız) sıralamanın ötesini görmenizi sağlar. Freya'nın backtest motoru işlemlerinizi bin kez yeniden karıştırır ve sonuçların tüm aralığını raporlar; tek bir backtestin size asla dürüstçe gösteremeyeceği şu tek sayı da buna dahildir: bu stratejinin hesabınızı sıfırlama olasılığı.
Önemli Noktalar
- Tek bir backtest, işlemlerinizin yalnızca bir sıralamasıdır; aynı işlemler farklı bir sırada kârla da iflasla da bitebilir.
- Monte Carlo, sonuç dağılımını haritalamak için işlemlerinizi 1000 kez yeniden örnekler; yalnızca gerçekleşen tek sonucu değil.
- İflas olasılığı, bu yeniden sıralamalar içinde hesabın fiilen sıfırlandığı durumların oranıdır; birkaç yüzde bile kırmızı bayraktır.
- Aslında hazırlanmanız gereken acı, tek backtestinizin düşüşü değil, 95. yüzdelik düşüştür.
- Freya simülasyonu çalıştırmak için en az 10 işleme ihtiyaç duyar ve sonuç deterministiktir, yani aynı backtest her zaman aynı sayıları verir.
- Monte Carlo, sıralama riskini stres testine tabi tutar. Bir piyasa rejimi değişikliğini modelleyemez, bu yüzden onu walk-forward doğrulamasıyla birlikte kullanın.
Henüz bir backtest çalıştırmadıysanız, adım adım backtest rehberiyle başlayın ve bu makalenin üzerine kurulduğu temel metrikler için backtest sonuçlarını yorumlama yazısını okuyun.
Buradaki dolar tutarları ve yüzdeler çalışılmış örneklerdir, öneri değildir. Kripto ticareti para kaybettirebilir. Her botu kaybetmeyi göze alabileceğiniz fonlarla boyutlandırın ve canlıya geçmeden önce Risk Bildirimi metninin tamamını okuyun.
Tek Bir Öz Sermaye Eğrisi Neden Yalan Söyler
40 işlemli bir strateji hayal edin: 24 kazançlı, 16 zararlı. Backtestiniz bunları piyasanın sunduğu tam sırada oynattı. Ama o sıra şanstı. En kötü üç zarar, hesabınızın bir kâr tamponu oluşturmasından önce, başlangıca yakın arka arkaya gelseydi, aynı 40 işlem hesabı asla toparlanamayacağınız bir tasfiyeyi veya stop çıkışını tetikleyecek kadar aşağı çekebilirdi. Aynı işlemleri daha nazik bir sırada oynatın, hesap yeni bir zirveye süzülür.
Aynı işlemler. Aynı kazanma oranı. Aynı ortalama kazanç ve ortalama zarar. Tamamen farklı bir hayatta kalma sonucu. İşte bu sıralama riskidir ve tek bir öz sermaye eğrisinde görünmez, çünkü tek bir eğri size yalnızca bir sıralamayı gösterir.
Monte Carlo simülasyonu, sıralama riskini görünür kılmak için vardır.
Freya'da Monte Carlo Gerçekte Ne Yapar
Freya'nın motoru, backtestinizin ürettiği işlem listesini alır ve bir bootstrap yeniden örnekleme çalıştırır: işlemlerinizi yerine koyarak rastgele çeker, yeni bir sıraya dizer, sonra bir öz sermaye eğrisini bu sıra boyunca yürütür ve nerede bittiğini, yol boyunca ne kadar derine düştüğünü kaydeder. Bunu 1000 kez tekrarlar ve stratejinizin yaşamış olabileceği binlerce makul alternatif tarihten oluşan bir dağılım kurar.
Bilmeye değer birkaç ayrıntı var, çünkü sayıları güvenilir kılan tam da bunlardır:
- En az 10 işleme ihtiyaç duyar. Bunun altında, anlamlı bir şeye yeniden karıştıracak kadar örnek yoktur, bu yüzden Freya yanıltıcı bir sonuç yerine hiç Monte Carlo sonucu döndürmez. Uygulamada, dağılımın gerçekten bir anlam ifade etmesi için 10'dan çok daha fazlasını istersiniz.
- Deterministiktir. Simülasyon, backtestinizin kendi sonuçlarından tohumlanır, bu yüzden aynı backtesti çalıştırmak her seferinde size aynı Monte Carlo sayılarını verir. Rastgelelik, raporda değil, yeniden karıştırmadadır.
- Bir çalıştırma iflasta durur. Simüle edilen bir hesap iflas seviyesine düştüğünde, o çalıştırma tam orada biter; tıpkı canlı motorun tükenmiş bir hesabı durdurması gibi. Simülasyon, artık sermayesi olmayan bir hesabın üstüne hayali işlemler yığmaya devam etmez, bu yüzden düşüşler gerçekte kaybedilecek olanın sınırları içinde kalır.
Freya'nın nasıl yeniden örneklediği, botunuzun pozisyonları nasıl boyutlandırdığına bağlıdır. Sabit boyutlandırmada her işlem benzer bir mutlak tutarı riske atar, bu yüzden motor her işlemin ham kâr ve zararını yeniden karıştırır. Bileşik büyümede bir işlemin dolar sonucu, işlem gerçekleştiğinde hesabın ne kadar büyük olduğuna bağlıdır, bu yüzden motor onun yerine yüzde getirileri yeniden karıştırır. Bileşik büyüyen bir bot için ham dolarları yeniden karıştırmak, stratejinin asla üretemeyeceği sonuçlar uydururdu, bu yüzden Freya yeniden örneklemeyi boyutlandırma yönteminize bilinçli olarak eşler.
Monte Carlo Çıktısını Okuma
Yeterli işleme sahip bir backtestin ardından Monte Carlo paneli, 1000 çalıştırmanın tamamındaki dağılımı raporlar. İşte her sayının size ne söylediği ve buna göre nasıl hareket edeceğiniz.
İflas olasılığı
En önemli tek sayı. Hesabın fiilen sıfırlandığı, yani başladığınız bakiyenin kabaca onda birine düştüğü 1000 yeniden sıralamanın yüzdesidir. Bin yeniden karıştırma boyunca bir kez bile iflas etmeyen bir strateji, yapısal bir dayanıklılık gösterir. %2 ila %5 iflas olasılığına sahip bir strateji bile size, tam da aynı işlemlerin şanssız bir sıralamasının hesabınızı bitirdiğini söyler ve canlı piyasalar size o sırayı dağıtmaya gayet muktedirdir.
Sıfırdan farklı her iflas olasılığını, göz ardı edilecek bir yuvarlama hatası değil, canlıya geçmeden önce çözülecek bir boyutlandırma sorunu olarak ele alın.
Kâr olasılığı
Ayna görüntüsü: artıda biten yeniden sıralamaların yüzdesi. Bir strateji tek başına güzel bir backteste sahip olabilir ve yine de yeniden sıralamaların yalnızca, diyelim, %60'ında pozitif bitebilir; bu da on kezden dördünde farklı bir sıralamanın size bir zarar verebileceği anlamına gelir. Bu değer %100'e ne kadar yakınsa, sonucunuz elverişli bir işlem sırası yakalamaya o kadar az bağlıydı demektir.
Güven aralıkları
%95 ve %99 güven aralıkları, nihai öz sermayenizin simülasyonlar boyunca hangi aralığa oturduğunu verir. Backtestinizin bittiği tek sayı, bu aralığın içindeki bir noktadır ve çoğu zaman ortadaki nokta değildir. Backtestiniz %95 aralığının tepesinde bittiyse, manşet sonucunuz bu stratejinin makul olarak yaptığı işin iyimser ucuna yakındı. Dürüst beklenti, tek rakam değil, aralıktır.
Medyan, en iyi durum ve en kötü durum
Medyan nihai öz sermaye ortadaki sonuçtur; tek backtest sayısından daha sağlam bir beklentidir, çünkü yeniden sıralamaların yarısı daha iyi, yarısı daha kötü performans gösterdi. En iyi durum ve en kötü durum, uç kuyruklardır: simülasyonun çektiği en şanslı ve en şanssız sıralamalar. Aralarındaki fark, sonucunuzun ne kadar şansa bindiğine dair hızlı bir okumadır.
Medyan ve 95. yüzdelik düşüş
Monte Carlo asıl değerini bu ikilide kazanır. Tek backtestiniz tek bir maksimum düşüş raporladı. Monte Carlo, tüm yeniden sıralamalardaki medyan düşüşü ve en kötüye yakın durum olan 95. yüzdelik düşüşü raporlar. Backtestinizin düşüşü %18 ama Monte Carlo'nun 95. yüzdelik düşüşü %34 ise, backtestiniz yumuşak bir sıralama yakalamış demektir ve aslında ona göre boyutlanmanız ve hazırlanmanız gereken acıya %34 daha yakındır. Tek çalıştırmaya göre değil, 95. yüzdeliğe göre plan yapın.
| Monte Carlo sinyali | Ne anlama gelir | Ne yapmalı |
|---|---|---|
| İflas olasılığı %0'ın üzerinde | İşlemlerinizin şanssız bir sıralaması hesabı sıfırlar | İflas %0'a inene kadar pozisyon büyüklüğünü veya kaldıracı azaltın |
| Kâr olasılığı ~%70'in altında | Pozitif sonucunuz elverişli bir işlem sırasına dayanıyordu | Güvenmeden önce avantajı genişletin veya riski sıkılaştırın |
| 95. yüzdelik düşüş, backtest düşüşünün çok üzerinde | Tek backtestiniz şanslı bir sıralama yakaladı | Backtest düşüşüne göre değil, 95. yüzdelik düşüşe göre boyutlandırın |
| En iyi ve en kötü durum arasında geniş fark | Sonuç büyük ölçüde şansa bağlı | Beklenti olarak manşet rakamı değil, medyanı esas alın |
Çalışılmış Bir Örnek
Diyelim ki iki strateji de 10.000$ üzerinde derli toplu bir +%22 backtest sonucu veriyor ve 12.200$ civarında bitiyor. Tek öz sermaye eğrisinde ikiz gibi görünüyorlar. Monte Carlo onları birbirinden ayırır:
- Strateji A: iflas olasılığı %0, kâr olasılığı %91, medyan nihai öz sermaye 11.900$, 95. yüzdelik düşüş %16. Neredeyse her yeniden sıralama hayatta kalır ve kâr eder. Bu, sağlam bir avantajdır.
- Strateji B: iflas olasılığı %7, kâr olasılığı %63, medyan nihai öz sermaye 10.400$, 95. yüzdelik düşüş %41. Aynı manşet sayı, ama bu, hesabın bir tamponu olduktan sonra denk gelen birkaç büyük kazançla taşındı. O kazançları daha erkene veya daha geriye alın, çalıştırmaların anlamlı bir dilimi felaket düzeyinde düşüşe girer.
Tek backtest bunları ayıramadı. Monte Carlo farkı gözden kaçırılamaz hale getirir ve bu, tam olarak güvenle boyutlandırabileceğiniz bir bot ile eninde sonunda size en kötü durumunu sunacak bir bot arasındaki farktır.
Monte Carlo Size Neyi Söyleyemez
Monte Carlo, belirli bir riskin stres testidir: işlemlerinizin geliş sırası. Bir kristal küre değildir ve onu öyle görmek başlı başına bir tuzaktır.
- İşlemlerinizin temsil edici olduğunu varsayar. Elinizdeki işlemleri yeniden karıştırmak, stratejinin hiç yapmadığı bir işlemi yoktan var edemez. Bir piyasa rejimi değişir ve avantajınız işlemez hale gelirse, eski işlemlerden kurulan Monte Carlo, eski ve artık geçersiz olan sonuçları yeniden karıştırmaya devam eder. Bu başarısızlık biçimi için walk-forward analizine ihtiyacınız var; bu yöntem parametrelerinizi, üzerinde hiç uydurulmadıkları verilerle test eder.
- Çöp girerse çöp çıkar. Temel backtest aşırı uydurulmuşsa, Monte Carlo yalnızca hayali işlemleri bin hayali tarihe karıştırır. Önce backtestin dürüst olduğunu doğrulayın; bunun için backtest sonuçlarını yorumlama yazısındaki aşırı uydurma kontrollerini kullanın.
- Yeniden karıştırır, tahmin etmez. Canlı sonuçlar da herhangi bir backtestten farklıdır; gecikme, kısmi gerçekleşmeler, fonlama ve Freya'nın performans ücreti yüzünden ki bunların hiçbirini bir yeniden sıralama modellemez. Bu fark için backtest ve canlı sonuçlar yazısına bakın.
Birlikte kullanıldığında bu üç araç, iyi görünen bir backtestin başarısız olabileceği üç büyük yolu kapsar: sıralama riski için Monte Carlo, aşırı uydurma için walk-forward ve icra gerçekliği için canlıya karşı backtest rehberi.
Sıkça Sorulan Sorular
Bir backtestte iflas olasılığı nedir?
İşlemlerinizin, hesabın fiilen sıfırlandığı, yani başlangıç bakiyenizin kabaca onda birine düştüğü simüle edilmiş yeniden sıralamalarının yüzdesidir. Freya bunu, backtestinizin işlemlerini 1000 kez yeniden örnekleyerek hesaplar. Sıfırın üzerindeki herhangi bir değer, kendi işlemlerinizin en az bir makul sırasının hesabınızı bitirdiği anlamına gelir; bu da boyutu veya kaldıracı azaltmanız gerektiğinin bir işaretidir.
Monte Carlo'nun çalışması için kaç işleme ihtiyacım var?
Freya, simülasyonu çalıştırmadan önce en az 10 işlem ister ve bunun altında hiç Monte Carlo sonucu döndürmez. On, hedef değil, tabandır. Ne kadar çok işleminiz olursa, dağılıma ve iflas olasılığına o kadar güvenilebilir.
Monte Carlo düşüşü neden backtest düşüşümden daha kötü?
Çünkü tek backtestiniz yalnızca bir işlem sıralaması gördü ve bu çoğu zaman görece nazik bir sıralamaydı. Monte Carlo, düşüşü binlerce sıralama boyunca ortaya koyar ve 95. yüzdelik rakam en kötüye yakın durumdur. Bu, backtest düşüşünüzden çok daha derinse, manşet sonucunuz şanslı bir sıralama yakalamış demektir ve 95. yüzdelik sayıya göre boyutlanmalısınız.
Aynı backtest iki kez aynı Monte Carlo sonucunu verir mi?
Evet. Freya'nın simülasyonu backtestinizin kendi sonuçlarından tohumlanır, bu yüzden deterministiktir. Aynı backtesti çalıştırmak aynı Monte Carlo sayılarını üretir. Yeniden karıştırma rastgeledir, ama yeniden üretilebilirdir.
%0 iflas olasılığı, stratejinin güvenli olduğu anlamına mı gelir?
Hayır. Backtest edilmiş işlemlerinizin binlerce yeniden sıralaması boyunca hiçbirinin sıfırlanmadığı anlamına gelir ki bu yalnızca sıralama riski için güçlü bir dayanıklılık sinyalidir. Bir piyasa rejimi değişikliği veya aşırı uydurulmuş bir backtest hakkında hiçbir şey söylemez. Canlıya geçmeden önce bunu walk-forward doğrulamasıyla ve backtestin kendisi üzerine bir mantık kontrolüyle birleştirin.