2 / 5 · 6 мин
Сколько сделок нужно, чтобы результату верить
На двадцати сделках случайная система показывает от 28% до 72% побед. Чтобы доказать преимущество в пять процентных пунктов, нужна тысяча сделок — и это меняет то, какие идеи вообще стоит искать.
Почему малая выборка врёт в обе стороны
Подбросьте монету двадцать раз — орлов будет не десять, а от шести до четырнадцати, и это нормально. С торговлей то же самое: система без всякого преимущества на короткой серии показывает любой результат. Опасность не в том, что вы увидите плохой результат у хорошей системы, — с этим все смиряются. Опасность в обратном: вы увидите отличный результат у бесполезного правила, поверите в него и начнёте увеличивать размер.
Что покажет система БЕЗ преимущества (истинные 50%)
| Сделок | 95% результатов лягут между |
|---|---|
| 20 | 28% и 72% |
| 50 | 36% и 64% |
| 100 | 40% и 60% |
| 400 | 45% и 55% |
Первая строка объясняет большую часть историй про найденный грааль. Двадцать сделок — это неделя интрадея, и на этой неделе система без всякого преимущества спокойно даёт 70% побед. Человек делает вывод, увеличивает размер, а дальше выборка растёт и результат сползает к правде. Обратите внимание и на последнюю строку: даже на четырёхстах сделках разброс остаётся ±5 процентных пунктов.
Сколько нужно, чтобы ДОКАЗАТЬ преимущество
В курсе про риск сказано, что для грубой оценки матожидания хватает полусотни сделок, и это верно: речь там о том, есть ли плюс вообще и какого он порядка. Но доказать конкретное преимущество — задача другая и куда более дорогая. Расчёт для уверенности 95%: чтобы отличить 60% побед от 50%, нужно 258 сделок. Чтобы отличить 55% от 50% — 1046. Чтобы отличить 53% от 50% — 2912.
Цена доказательства
| Преимущество | Нужно сделок | У свингера это |
|---|---|---|
| 60% против 50% | 258 | около 2 лет |
| 55% против 50% | 1046 | около 7 лет |
| 53% против 50% | 2912 | около 19 лет |
Главный вывод: маленькое преимущество недоказуемо
Из таблицы следует вещь, которая меняет весь подход к поиску идей. Преимущество в три процентных пункта существовать может, но проверить его вы не успеете за жизнь трейдера — а значит, строить на нём решения нельзя, даже если оно есть. Отсюда практическое: искать надо не крошечный перевес в частоте побед, а либо заметный эффект, который виден на сотнях сделок, либо преимущество в РАЗМЕРЕ выигрыша. Второе проверяется быстрее: разница между средним выигрышем в 2R и в 1R заметна уже на полусотне сделок, тогда как разница между 53% и 50% не заметна и на тысяче.
Считать значимой прибыльную серию
Десять прибыльных сделок подряд впечатляют, но при 50% побед такая серия случается примерно раз на тысячу попыток — а попыток у рынка много. Замер на ста сделках: серия из пяти убытков подряд возникает в 95% случаев даже у системы без преимущества, из семи — в половине случаев. Вывод в обе стороны одинаков: ни серия побед не доказывает, что система работает, ни серия убытков не доказывает, что она сломалась. Доказывает только выборка нужного размера, и она известна заранее из расчёта.
Как честно разделить историю
Выборка бывает не только маленькой, но и грязной — если проверять на том же участке, где идея найдена. Приём простой и работает: разделите доступную историю на две неравные части. На первой, скажем на двух третях, вы ищете и настраиваете. Вторую треть НЕ ОТКРЫВАЕТЕ вообще, пока правило не сформулировано окончательно. Потом прогоняете на ней один раз — и результат принимаете как есть. Если после неудачи вы вернулись к настройке и снова проверили на той же трети, она перестала быть чистой: теперь вы подбираете параметры под неё, и нужен новый нетронутый кусок.
Бумажная торговля в сервисе ведёт журнал: каждая сделка с ценой входа, выхода и результатом. Это самый дешёвый способ набрать выборку, не рискуя деньгами, и единственный, где вы не сможете задним числом «вспомнить» сделку иначе, чем она была. Полсотни сделок в журнале дают грубую оценку, несколько сотен — уже основание для выводов.
Про бумажную торговлюПосчитайте, за сколько вы получите ответ
Возьмите своё правило и оцените, какое преимущество вы от него ждёте — в процентных пунктах побед или в среднем R. Найдите по таблице нужное число сделок. Разделите на своё число сделок в неделю из курса про стили. Полученный срок — это когда вы узнаете правду. Если получились годы, у вас два выхода: искать эффект покрупнее или переносить проверку в бар-реплей, где неделя рынка проходит за час. Третьего выхода — «поверить и увеличить размер» — нет.
Система дала 70% побед на 20 сделках. Можно увеличивать размер?
Нет, потому что такой результат укладывается в обычный разброс системы БЕЗ преимущества: на двадцати сделках 95% исходов лежат между 28% и 72%. Семьдесят процентов здесь — не свидетельство качества, а свидетельство малой выборки. Что делать: продолжать с прежним размером и набирать сделки, пока их не станет хотя бы сотня. Увеличивать размер по результату короткой серии — самый распространённый способ превратить случайную удачу в закономерный убыток.
Почему преимущество в размере выигрыша проверяется быстрее, чем в частоте побед?
Потому что частота побед — доля, и её разброс на малой выборке огромен: чтобы отличить 55% от 50%, нужна тысяча наблюдений. А средний результат в R меряется в других единицах, и разница между 2R и 1R на средний выигрыш видна уже на десятках сделок — она попросту крупнее шума. Практический вывод для поиска идей: правило «беру редко, но с целью втрое дальше стопа» проверяется за месяцы, а правило «угадываю чуть чаще половины» не проверяется никогда.