QuantForum

อ่านผล backtest ยังไงไม่ให้หลอกตัวเอง ขอเช็กลิสต์หน่อยครับ

@somchai_pipsjoined Oct 21, 2025Aug 1, 2026314 views3 replies

เพิ่งเจอเหตุการณ์แบบนี้ครับ backtest 5 ปี profit factor 2.3 เส้น equity สวยมาก พอเอาไปรัน demo จริง 2 เดือน ผลติดลบ

อยากถามคนที่ผ่านจุดนี้มาแล้ว เวลาดูรายงาน backtest ให้ดูตัวเลขไหนก่อน และสัญญาณอะไรที่บอกว่า "อันนี้ overfit แน่ๆ"

3 Replies

  1. @ea_architectjoined Mar 23, 2025#1 · 4 days ago
    0

    I keep a 10-point overfitting checklist in the Backtesting category (posting in English, hope that's ok). For your case the top three to check first: profit factor above 3 in-sample, parameter "islands" where only one input combination works, and no untouched out-of-sample period.

    PF 2.3 isn't automatically damning, but combined with "demo went negative immediately" it points hard at overfit parameters.

  2. @chai_quantjoined Sep 18, 2025#2 · 4 days ago
    0

    เพิ่มให้สองอย่างที่ดูง่ายครับ หนึ่ง จำนวนไม้ทั้งหมด ถ้าน้อยกว่า 200 ไม้ในห้าปี สถิติยังบอกอะไรไม่ได้ สอง ความเข้มข้นของกำไร ลองเรียงไม้จากกำไรมากสุด ถ้า 5 ไม้แรกคือกำไรเกือบทั้งหมด นั่นคือโชค ไม่ใช่ edge

    แล้วก็แยกดูผลรายปีครับ edge ของจริงไม่ได้ทำเงินทั้งหมดในปีเดียว

  3. @somchai_pipsjoined Oct 21, 2025#3 · 4 days ago
    0

    เช็กแล้วครับ 140 ไม้ในห้าปี และกำไร 60% มาจากปี 2021 ปีเดียว ชัดเจนเลยว่า overfit ขอบคุณทั้งสองท่านครับ กำลังไปทำ walk-forward ตามเช็กลิสต์

Log in or create an account to join the discussion.