ARUSLABS · edukasi
Kenapa backtest bisa menipu

Dua Monte Carlo yang berbeda total

Keduanya disebut "Monte Carlo", tapi menjawab pertanyaan yang berlawanan. Yang satu ukur risiko dan hampir selalu terlihat bagus; yang satu uji apakah edge-nya nyata dan bisa membongkar backtest palsu. Ini contoh nyata dari sistem kami sendiri.

Tipe 1 · Resampling

Acak URUTAN trade-mu

Kioseff · BuildAlpha · MT5 · gambar yang biasa beredar

?Pertanyaan: kalau trade-ku terjadi di urutan berbeda, seberapa parah drawdown-ku?
Berguna untuk ukur risiko & position sizing.
Buta terhadap edge palsu — dia cuma mengocok ulang trade-mu sendiri. Kalau backtest-mu inflasi lookahead, cloud-nya ikut naik.
Tipe 2 · Permutation

Acak PASAR, jalankan ulang

Standar riset institusi (Masters · White's Reality Check)

?Pertanyaan: apakah profit-ku dari struktur market NYATA, atau cuma kebetulan?
Menangkap edge palsu — lookahead, overfit, numpang tren. Kalau nilai nyata ada di dalam awan acak → itu keberuntungan.
Lebih berat dihitung (jalankan ulang strategi ratusan kali).

Sistem yang sama — vonis berlawanan

Sistem APL+MB kami: resampling bilang 100% kurva profit (kiri, terlihat hebat). Tapi saat diuji cara kedua, nilai nyata jatuh tepat di dalam awan acak (kanan) — tak bisa dibedakan dari kebetulan. Sistem yang sama ini juga gagal audit lookahead kami. Resampling buta terhadap itu. Inilah kenapa hasil kami "tidak sesuai" gambar yang beredar — kami pakai tes yang lebih ketat.

Tingkat ketelitian
Level 1

Monte Carlo Resampling

Ukur risiko/drawdown. Tak bisa buktikan edge nyata.

Basic (untuk edge)
Level 2

Monte Carlo Permutation (MCPT)

Uji apakah edge beda dari acak. Menangkap lookahead & keberuntungan.

Rigor institusi
Level 3

+ Detrend & koreksi multiple-testing

Buang efek "numpang tren", dan koreksi karena mencoba banyak strategi (walk-forward).

Top tier

Yang benar: pakai keduanya, berurutan — permutation dulu untuk pastikan edge NYATA, baru resampling untuk hitung risiko. Kami fokus di permutation karena di situlah 95% trader tertipu. Lihat AUREUS →