ARUSLABS · edukasi
Kenapa backtest bisa menipu

Dua Monte Carlo yang berbeda total

Keduanya disebut "Monte Carlo", tapi menjawab pertanyaan yang berlawanan. Yang satu ukur risiko dan hampir selalu terlihat bagus; yang satu uji apakah edge-nya nyata dan bisa membongkar backtest palsu. Ini contoh nyata dari strategi uji internal kami (bukan fitur yang kami jual).

Tipe 1 · Resampling

Acak URUTAN trade-mu

Alat backtest umum · gambar yang biasa beredar

?Pertanyaan: kalau trade-ku terjadi di urutan berbeda, seberapa parah drawdown-ku?
✓Berguna untuk ukur risiko & position sizing.
✗Buta terhadap edge palsu — dia cuma mengocok ulang trade-mu sendiri. Kalau backtest-mu inflasi lookahead, cloud-nya ikut naik.
Tipe 2 · Permutation

Acak PASAR, jalankan ulang

Standar riset institusi (Masters · White's Reality Check)

?Pertanyaan: apakah profit-ku dari struktur market NYATA, atau cuma kebetulan?
✓Menangkap edge palsu — lookahead, overfit, numpang tren. Kalau nilai nyata ada di dalam awan acak → itu keberuntungan.
✗Lebih berat dihitung (jalankan ulang strategi ratusan kali).

Terlihat hebat ≠ edge nyata

Dua panel di atas memakai strategi uji internal kami (bukan fitur AUREUS). Kiri: resampling bilang 100% kurva profit — terlihat hebat. Kanan: uji permutation menaruh nilai nyata tepat di dalam awan acak — tak bisa dibedakan dari kebetulan. Resampling buta terhadap hal seperti itu. Inilah kenapa hasil kami "tidak sesuai" gambar yang beredar — kami pakai tes yang lebih ketat.

Tingkat ketelitian
Level 1

Monte Carlo Resampling

Ukur risiko/drawdown. Tak bisa buktikan edge nyata.

Basic (untuk edge)
Level 2

Monte Carlo Permutation (MCPT)

Uji apakah edge beda dari acak. Menangkap lookahead & keberuntungan.

Rigor institusi
Level 3

+ Detrend & koreksi multiple-testing

Buang efek "numpang tren", dan koreksi karena mencoba banyak strategi (walk-forward).

Top tier

Yang benar: pakai keduanya, berurutan — permutation dulu untuk pastikan edge NYATA, baru resampling untuk hitung risiko. Kami fokus di permutation karena di situlah 95% trader tertipu. Lihat AUREUS →