3 / 5 · 9 phút
Bốn cách tự lừa mình khi kiểm chứng
Việc kiểm chứng thường xác nhận một ý tưởng không phải vì nó chạy được, mà vì người kiểm chứng đã lặng lẽ giúp nó. Cả bốn cách đều trông như làm việc cẩn thận.
Đây không phải chuyện trung thực
Không cách nào trong bốn cách đòi hỏi ý đồ xấu — ngược lại, cách nào cũng trông như sự tận tâm. Bạn tinh chỉnh tham số để quy tắc mô tả thị trường sát hơn. Bạn lấy các đồng hiện tại vì đồng cũ chẳng ai quan tâm. Bạn nhớ lại những lệnh mình còn nhớ. Tất cả đều hợp lý, và chính vì thế cái bẫy không nhìn thấy được từ bên trong. Phòng vệ duy nhất là biết tên bốn cái bẫy này và tự kiểm tra mình theo từng cái một.
Thứ nhất: gọt cho vừa quá khứ
Bạn lấy một quy tắc, chạy thử, được 52%. Nới dừng lỗ rộng hơn chút — 55%. Đổi chu kỳ trung bình — 58%. Thêm vài lần tinh chỉnh nữa, và trước mặt bạn là một hệ thống thắng 61%. Vấn đề là một quy tắc HOÀN TOÀN NGẪU NHIÊN cũng cho đúng kết quả ấy nếu ta dò tìm các biến thể theo cùng cách. Đo trên dữ liệu giả lập với giá trị thật 50%: tốt nhất trong mười biến thể cho 57.7%, tốt nhất trong năm mươi cho 61.2%, tốt nhất trong hai trăm cho 63.6%. Bạn không tìm ra quy luật, bạn tìm ra tổ hợp may mắn nhất.
Dò tìm trên dữ liệu ngẫu nhiên cho ra gì
| Số biến thể đã thử | Cái tốt nhất cho thấy | Sự thật |
|---|---|---|
| 1 | 50.0% | 50% |
| 10 | 57.7% | 50% |
| 50 | 61.2% | 50% |
| 200 | 63.6% | 50% |
Phòng vệ gồm hai quy tắc. Thứ nhất: hãy đếm số biến thể. Nếu bạn đã dò hai mươi tổ hợp thì kết quả của cái thắng phải được đọc không phải là 61% mà là tốt nhất trong hai mươi, và đó là một đại lượng hoàn toàn khác. Thứ hai: quy tắc càng ít con số chỉnh được thì bạn càng khó gọt nó cho vừa. Quy tắc một tham số rất khó làm giả; quy tắc năm tham số thì gọt vừa được với bất cứ thứ gì, kể cả nhiễu.
Thứ hai: nhìn trộm tương lai
Sai lầm khó thấy nhất, vì nó mang tính kỹ thuật. Bạn kiểm chứng quy tắc mua khi nến ngày đóng trên mức giá — và dùng giá đóng cửa của ngày để quyết định có vào lệnh buổi sáng hay không. Nhưng buổi sáng bạn đâu biết mức giá ấy. Cùng họ với nó: dùng khối lượng cuối ngày, dùng đỉnh của ngày, chọn đồng về sau đã tăng. Dấu hiệu của cái bẫy rất đơn giản: nếu để ra quyết định cần dữ liệu xuất hiện SAU thời điểm vào lệnh thì toàn bộ phép kiểm chứng là vô hiệu — và kết quả của nó thường rực rỡ, bởi thực chất bạn đang nhìn trộm.
Thứ ba: thiên lệch kẻ sống sót
Kiểm chứng một ý tưởng trên danh sách các đồng của hôm nay nghĩa là làm việc với những kẻ đã sống sót. Những cái đã chết không lọt vào danh sách, mà số đó không hề ít: trong kho lịch sử của chúng tôi có 1423 công cụ, còn bảng đang sống hiện chỉ có 1218 — tức 205 cái, cứ bảy cái có một, đã từng giao dịch rồi biến mất. Chiến lược mua các nhịp giảm của altcoin trông tuyệt vời trên nhóm sống sót: những cái không bật lại thì đã chẳng tới được danh sách hôm nay. Một phép kiểm chứng trung thực đòi hỏi lấy danh sách công cụ TẠI THỜI ĐIỂM ĐÓ chứ không phải hôm nay — đó là cách duy nhất để thấy đã bao nhiêu lần nhịp giảm hóa ra là con đường một chiều.
Thứ tư: chọn lọc sau khi mọi chuyện đã rồi
Kiểm chứng bằng trí nhớ luôn cho kết quả tốt, vì trí nhớ không được xây như một cơ sở dữ liệu. Những lệnh thắng thì nhớ rõ mồn một, những lệnh thua thì hiện về kèm lời bào chữa — chỗ đó tôi phá luật, không tính. Lời bào chữa thậm chí có thể đúng, nhưng nó được áp dụng một chiều: chẳng ai bắt bẻ một lệnh có lãi cả. Vì thế cách chữa duy nhất là cuốn nhật ký được điền TRƯỚC khi biết kết quả chứ không phải sau. Mọi thứ bạn nhớ về việc giao dịch của mình mà không có ghi chép đều là ý kiến về bản thân, không phải dữ liệu về hệ thống.
Cách tự kiểm tra mình theo cả bốn
Trước khi tin vào một kết quả, hãy hỏi bốn câu. Tôi đã thử bao nhiêu biến thể trước khi cái này cho kết quả đẹp? Tôi có dùng ở đâu đó dữ liệu chưa tồn tại vào thời điểm ra quyết định không? Danh sách công cụ từ đâu ra và những cái không có trong đó đã ra sao? Mọi lệnh có được tính hết không, kể cả những lệnh tôi đã gạt đi bằng lý do phá luật? Chỉ cần một câu trả lời gây khó chịu cũng có nghĩa là con số ấy phải được lấy lại từ đầu, chứ không phải đem ra tranh luận về cách diễn giải.
Chế độ tua lại nến chặn được hai trong bốn cái bẫy cùng lúc. Tương lai bị che thật nên không thể nhìn trộm; còn quyết định thì được ghi trước khi tua tiếp nên loại trừ được việc chọn lọc sau. Hai cái còn lại — gọt cho vừa và thiên lệch kẻ sống sót — không phụ thuộc vào công cụ và chỉ chữa được bằng kỷ luật: đếm số biến thể và lấy danh sách công cụ đúng theo ngày cần thiết.
Biểu đồ và tua lại nếnTính lại ý tưởng tâm đắc nhất của bạn có hiệu chỉnh
Hãy lấy quy tắc bạn tin tưởng nhất và thành thật nhớ lại bạn đã thử bao nhiêu biến thể tham số trước khi dừng ở cái này. Nếu hơn năm, hãy dùng bảng phía trên để ước lượng phần kết quả do chính việc dò tìm tạo ra. Sau đó kiểm tra xem quy tắc có dùng dữ liệu thuộc về tương lai so với điểm vào lệnh không. Cuối cùng, hãy đếm xem có bao nhiêu lệnh theo quy tắc này mà bạn đã KHÔNG ghi lại vì lúc đó không đúng hệ thống. Sau ba lần hiệu chỉnh, phần lợi thế còn lại thường ít hơn hẳn so với tưởng tượng — và đó là một kết cục tốt hơn nhiều so với việc biết điều đó qua kích thước vị thế.
Một quy tắc cho 61% thắng. Như thế là tốt đến đâu?
Còn tùy bạn đã dò bao nhiêu biến thể trước nó. Nếu bạn chỉ kiểm chứng một biến thể và được 61% trên một mẫu đủ lớn thì đó là kết quả đáng chú ý. Nếu bạn đã dò năm mươi tổ hợp rồi chọn cái tốt nhất thì nhiễu thuần túy cũng cho đúng chừng ấy: trên dữ liệu ngẫu nhiên với giá trị thật 50%, cái tốt nhất trong năm mươi cho 61.2%. Bản thân con số chẳng có nghĩa gì nếu thiếu câu trả lời cho câu hỏi chọn ra từ bao nhiêu cái. Vì vậy số biến thể được ghi kèm với kết quả, y như người ta ghi cỡ mẫu.
Vì sao không thể kiểm chứng chiến lược trên danh sách các đồng của hôm nay?
Vì danh sách ấy được tạo nên từ những kẻ sống sót. Kho lịch sử của chúng tôi có 1423 công cụ còn bảng đang sống có 1218 — cứ bảy cái thì một cái đã giao dịch rồi biến mất, và nó không nằm trong danh sách hôm nay. Bất kỳ ý tưởng nào giả định sự hồi phục sau khi rơi cũng sẽ trông đẹp hơn thực tế trên một danh sách như vậy: những ví dụ mà sự hồi phục không bao giờ đến đã bị chính cuộc đời xóa khỏi mẫu. Cách đúng là lấy tập công cụ tại ngày bắt đầu kiểm chứng và bao gồm tất cả, kể cả những cái sau này đã chết — nếu không, thứ bạn kiểm chứng không phải ý tưởng mà là sự sống sót.