Cần bao nhiêu lệnh để tin được kết quả

Vì sao mẫu nhỏ nói dối theo cả hai chiều

Hãy tung đồng xu hai mươi lần: mặt ngửa sẽ không phải mười mà là từ sáu đến mười bốn, và đó là chuyện bình thường. Giao dịch cũng vậy: một hệ thống không hề có lợi thế vẫn cho ra bất kỳ kết quả nào trên một chuỗi ngắn. Nguy hiểm không nằm ở chỗ bạn thấy kết quả xấu từ một hệ thống tốt — điều đó ai cũng chấp nhận được. Nguy hiểm nằm ở chiều ngược lại: bạn thấy kết quả rực rỡ từ một quy tắc vô dụng, tin vào nó, rồi bắt đầu tăng kích thước lệnh.

Hệ thống KHÔNG có lợi thế sẽ cho thấy gì (giá trị thật 50%)

Dòng đầu tiên giải thích phần lớn những câu chuyện về việc tìm ra chén thánh. Hai mươi lệnh là một tuần giao dịch trong ngày, và trong tuần ấy một hệ thống không có lợi thế nào vẫn thản nhiên cho 70% thắng. Người ta rút ra kết luận, tăng kích thước, rồi mẫu lớn dần và kết quả trượt về phía sự thật. Cũng hãy để ý dòng cuối: ngay cả ở bốn trăm lệnh, độ tản mát vẫn còn ±5 điểm phần trăm.

Cần bao nhiêu lệnh để CHỨNG MINH một lợi thế

Trong khóa về rủi ro có nói rằng năm mươi lệnh là đủ cho một ước lượng thô về kỳ vọng, và điều đó đúng: ở đó vấn đề là có dương hay không và ở mức nào. Nhưng chứng minh một lợi thế cụ thể lại là việc khác và đắt hơn nhiều. Tính với độ tin cậy 95%: để phân biệt tỷ lệ thắng 60% với 50% cần 258 lệnh. Phân biệt 55% với 50% cần 1046. Phân biệt 53% với 50% cần 2912.

Cái giá của việc chứng minh

Kết luận chính: lợi thế nhỏ thì không thể chứng minh

Từ bảng này rút ra một điều làm thay đổi toàn bộ cách đi tìm ý tưởng. Một lợi thế ba điểm phần trăm có thể tồn tại, nhưng bạn sẽ không kịp kiểm chứng nó trong cả đời làm nghề — nghĩa là không thể xây quyết định trên nó, kể cả khi nó có thật. Từ đó có kết luận thực dụng: đừng tìm phần dôi bé xíu ở tỷ lệ thắng, hãy tìm một hiệu ứng rõ rệt nhìn thấy được trên hàng trăm lệnh, hoặc lợi thế ở ĐỘ LỚN của khoản thắng. Vế sau kiểm chứng nhanh hơn: khác biệt giữa khoản thắng trung bình 2R và 1R lộ ra ngay trong năm mươi lệnh, còn khác biệt giữa 53% và 50% thì đến một nghìn lệnh vẫn không thấy.

Chia lịch sử một cách trung thực

Mẫu không chỉ có thể nhỏ mà còn có thể bẩn — nếu bạn kiểm chứng trên chính đoạn đã tìm ra ý tưởng. Cách làm rất đơn giản và hiệu quả: chia phần lịch sử sẵn có thành hai phần không bằng nhau. Trên phần đầu, chẳng hạn hai phần ba, bạn tìm kiếm và tinh chỉnh. Một phần ba còn lại thì KHÔNG MỞ RA cho tới khi quy tắc được phát biểu dứt khoát. Sau đó chạy trên nó đúng một lần và nhận kết quả như nó vốn có. Nếu sau khi thất bại bạn quay lại tinh chỉnh rồi kiểm chứng tiếp trên đúng một phần ba ấy thì nó không còn sạch nữa: giờ bạn đang chỉnh tham số cho vừa với nó, và cần một mảnh mới chưa đụng tới.