Backtest Itu Bohong Kalau Lima Hal Ini Diabaikan

Backtest itu bohong kalau datanya hanya berisi saham yang bertahan, kalau parameternya dipilih setelah melihat hasil, kalau biaya transaksi dianggap nol, dan kalau kita mengira order selalu terisi di harga yang kita lihat. Empat "kalau" itu sering muncul bersamaan. Dan backtest yang menawan biasanya yang paling banyak melanggar keempatnya.

Saya ingin menulis ini karena saya juga memakai pengujian historis, dan saya tahu betapa mudahnya mengelabui diri sendiri.

Kebohongan pertama: biaya yang dianggap nol

Di IDX, fee beli sekitar 0,15% dan fee jual sekitar 0,25% (termasuk pajak final penjualan; angka pastinya tergantung sekuritas Anda). Bolak-balik sekitar 0,4%. Kelihatan kecil. Mari hitung.

Strategi hipotetis: rata-rata untung bersih per transaksi sebelum biaya 0,6%, dengan 150 transaksi setahun. Setelah biaya 0,4%, sisa 0,2% per transaksi. 150 x 0,2% = 30% setahun, bukan 150 x 0,6% = 90%. Dua pertiga keuntungan menguap di biaya. Strategi dengan 400 transaksi setahun akan terlihat bagus bila biaya diabaikan, dan nol bila diperhitungkan.

Biaya bukan hanya fee. Ada slippage: selisih antara harga yang diasumsikan dan harga yang benar-benar didapat. Backtest sederhana biasanya mengisi order di harga penutupan. Padahal kita membeli di offer dan menjual di bid, dan di saham tipis spread itu besar.

Kebohongan kedua: tick size dan batas harga

Fraksi harga IDX: Rp1 untuk di bawah Rp200, Rp2 untuk Rp200 sampai di bawah Rp500, Rp5 untuk Rp500 sampai di bawah Rp2.000, Rp10 untuk Rp2.000 sampai di bawah Rp5.000, dan Rp25 untuk Rp5.000 ke atas. Setiap harga di backtest harus berada di kelipatan itu. Selisih bid-offer minimal satu tick.

Hitung dampaknya. Harga Rp300, tick Rp2: spread minimal 0,67%. Jika spread nyata 3 tick, 2%. Strategi swing dengan target 3% sudah kehilangan dua pertiga hanya karena menyeberangi spread bila masuk dan keluar. Untuk saham Rp5.000+ tick Rp25 = 0,5%.

Lalu ARA dan ARB. Backtest yang menganggap Anda bisa membeli di harga penutupan hari ARA, atau keluar di harga penutupan hari ARB, sedang berfantasi. Pada hari-hari itu antrean menumpuk. Yang tercatat di data adalah harga, bukan bahwa order Anda terisi. Batas ARA/ARB diatur bursa dan pernah beberapa kali berubah; sebagian besar backtest panjang melewati rezim aturan berbeda tanpa menyesuaikan.

Kebohongan ketiga: survivorship bias

Daftar saham yang kita pakai hari ini hanya berisi emiten yang masih hidup. Emiten yang delisting, disuspensi bertahun-tahun, atau bangkrut sudah hilang dari daftar. Menguji strategi pada daftar hari ini ke belakang sama dengan menguji pada pemenang yang sudah diketahui. Hasilnya melambung.

Ilustrasi hipotetis: ada 100 saham pada awal 2019. Lima tahun kemudian 18 sudah hilang atau ambruk. Kalau backtest dilakukan hanya pada 82 yang selamat, strategi "beli saham berkinerja bagus" akan tampak jenius, karena yang berkinerja sangat buruk sudah dikeluarkan dari data. Pilihan bersih: pakai daftar saham yang aktif pada tanggal itu (point-in-time), termasuk yang kemudian hilang. Kalau tidak tersedia, katakan terus terang bahwa hasilnya terlalu optimistis.

Kebohongan keempat: overfitting

Coba 200 kombinasi parameter (periode RSI, batas MA, stop loss) pada data yang sama lalu pilih yang terbaik. Kombinasi terbaik hampir pasti terbaik karena kebetulan, bukan karena menangkap sesuatu yang nyata. Bayangkan 200 strategi yang sebenarnya acak, dengan hasil tahunan tersebar di sekitar 0%, simpangan 15%. Yang terbaik dari 200 itu kira-kira di sekitar +40% (sekitar 2,7 simpangan baku di atas rata-rata). Bukan karena ia pintar; itu hasil memilih ekor atas dari sebaran.

Gejalanya khas: grafik ekuitas yang sangat mulus, parameter yang aneh (RSI 13, MA 37), dan hasil yang hancur begitu digeser satu angka. Strategi nyata biasanya tahan terhadap perubahan kecil parameter. Kalau RSI 14 menang tetapi RSI 13 dan 15 kalah telak, curigai.

Pembelaan standar: pisahkan data. Latih/pilih parameter di periode A, uji sekali di periode B yang belum pernah disentuh. Dan hanya sekali; kalau Anda mengulang karena hasilnya jelek, periode B sudah berubah jadi data latih. Pendekatan walk-forward (geser jendela latih lalu uji ke depan berulang) lebih jujur, tetapi tetap bukan jaminan.

Kebohongan kelima: look-ahead dan data yang belum ada

Contoh klasik: backtest memakai harga penutupan hari ini untuk memutuskan beli di harga penutupan hari ini. Di dunia nyata, kita baru tahu penutupan setelah pasar tutup, jadi order paling cepat terisi besok. Contoh lain: laporan keuangan kuartal yang dipakai pada tanggal akhir kuartal, padahal baru terbit sebulan kemudian. Dua kesalahan ini saja bisa membalik hasil.

Daftar periksa sebelum percaya hasil backtest (termasuk milik saya)

Dan untuk MESSE sendiri

Skor saya bisa jatuh ke jebakan yang sama. Saya tidak menerbitkan klaim akurasi di artikel-artikel ini karena belum bisa menyajikannya dengan penuh syarat yang jujur: periode, biaya, dan sampelnya. Skor saya hanya alat menyaring, seperti dijelaskan di Final Score dan keterbatasannya. Konteks tentang metode dan data ada di metodologi. Dan kalau Anda menguji sendiri, akun gratis memberi akses ke datanya.

Tiga artikel lain menyambung ke sini: RSI dan jebakan oversold, moving average, dan ukuran posisi. Semua angka contoh hipotetis, untuk edukasi.

Disclaimer: MESSE adalah alat analisis data dan edukasi, bukan Penasihat Investasi berizin OJK, dan tidak memberikan rekomendasi untuk membeli, menjual, atau menahan efek tertentu. Skor dan level dihasilkan otomatis dari data historis yang dapat tertunda atau tidak akurat. Investasi saham berisiko tinggi, termasuk kehilangan seluruh modal. Kinerja masa lalu dan hasil backtest tidak menjamin hasil di masa depan. Keputusan investasi sepenuhnya tanggung jawab pengguna.