3 / 5 · 6 мин
Четыре способа обмануть себя при проверке
Проверка чаще подтверждает идею не потому, что та работает, а потому, что проверяющий незаметно помог ей. Все четыре способа выглядят как аккуратная работа.
Почему это не про честность
Ни один из четырёх способов не требует злого умысла — наоборот, каждый выглядит как добросовестность. Вы уточняете параметры, чтобы правило лучше описывало рынок. Вы берёте современные монеты, потому что старые никому не интересны. Вы вспоминаете сделки, которые помните. Всё это разумные действия, и именно поэтому подвох не виден изнутри. Единственная защита — знать эти четыре ловушки по именам и проверять себя на каждую отдельно.
Первый: подгонка под историю
Вы взяли правило, прогнали, получили 52%. Попробовали стоп чуть шире — 55%. Взяли другой период усреднения — 58%. Ещё пара уточнений, и вот перед вами система с 61% побед. Проблема в том, что ровно этот результат даёт и ЧИСТО СЛУЧАЙНОЕ правило, если так же перебирать варианты. Замер на выдуманных данных с истинными 50%: лучший из десяти вариантов показывает 57.7%, лучший из пятидесяти — 61.2%, лучший из двухсот — 63.6%. Вы не нашли закономерность, вы нашли самую удачливую комбинацию.
Сколько даёт перебор на случайных данных
| Проверено вариантов | Лучший покажет | Истина |
|---|---|---|
| 1 | 50.0% | 50% |
| 10 | 57.7% | 50% |
| 50 | 61.2% | 50% |
| 200 | 63.6% | 50% |
Защита состоит из двух правил. Первое: считать варианты. Если вы перебрали двадцать комбинаций, результат лучшей надо оценивать не как «61%», а как «лучшее из двадцати», и это совсем другая величина. Второе: чем меньше настраиваемых чисел в правиле, тем меньше вы способны его подогнать. Правило с одним параметром подделать трудно, правило с пятью подгоняется под что угодно, включая шум.
Второй: заглядывание в будущее
Самая незаметная ошибка, потому что она техническая. Вы проверяете правило «покупать, когда дневная свеча закрылась выше уровня» — и берёте цену закрытия дня, чтобы решить, входить ли утром. Но утром вы этой цены не знали. Сюда же: использование итогового объёма суток, максимума дня, «монета, которая позже выросла». Признак ловушки простой: если для принятия решения нужны данные, появившиеся ПОСЛЕ момента входа, проверка неверна целиком — и её результат обычно блестящий, потому что вы фактически подсматриваете.
Третий: ошибка выжившего
Проверяя идею на списке сегодняшних монет, вы работаете с теми, кто дожил. Умершие в список не попали, а их было немало: в нашей базе истории 1423 инструмента, а в живой таблице сейчас 1218 — то есть 205 штук, каждый седьмой, торговались и исчезли. Стратегия «покупать просадки на альткоинах» на выживших выглядит прекрасно: те, кто не отскочил, до сегодняшнего списка не добрались. Честная проверка требует брать список инструментов НА ТУ ДАТУ, а не на сегодня, — и это единственный способ увидеть, сколько раз просадка оказалась дорогой в один конец.
Четвёртый: отбор задним числом
Проверка по памяти всегда даёт хороший результат, потому что память устроена не как база данных. Удачные сделки помнятся ярче, неудачные вспоминаются с оговорками — «там я нарушил правило, это не считается». Оговорка может быть даже верной, но применяется она односторонне: к прибыльным сделкам никто не придирается. Отсюда единственное лечение — журнал, который заполняется ДО исхода, а не после. Всё, что вы вспомнили о своей торговле без записей, — это мнение о себе, а не данные о системе.
Как проверить себя на все четыре
Перед тем как поверить результату, задайте четыре вопроса. Сколько вариантов я перебрал, прежде чем этот показал хороший результат? Использовал ли я где-нибудь данные, которых в момент решения не существовало? Откуда взялся список инструментов и что стало с теми, кого в нём нет? Все ли сделки попали в подсчёт, включая те, которые я объяснил нарушением правил? Хотя бы один неудобный ответ означает, что цифру надо получать заново, а не спорить о её толковании.
Бар-реплей закрывает сразу две ловушки из четырёх. Будущего не видно по-настоящему, поэтому заглянуть в него невозможно; а решение записывается до прокрутки, поэтому отбор задним числом исключён. Оставшиеся две — подгонка и выжившие — от инструмента не зависят и лечатся только дисциплиной: считать варианты и брать список инструментов на нужную дату.
График и бар-реплейПересчитайте свою лучшую идею с поправкой
Возьмите правило, в которое вы больше всего верите, и честно вспомните, сколько вариантов параметров вы попробовали, прежде чем остановились на этом. Если больше пяти — по таблице выше прикиньте, какую долю результата объясняет сам перебор. Затем проверьте, не участвуют ли в правиле данные из будущего относительно входа. И наконец, посчитайте, сколько сделок по этому правилу вы НЕ записали, потому что «там было не по системе». Обычно после трёх поправок от преимущества остаётся заметно меньше, чем казалось, — и это лучший исход, чем узнать то же самое размером позиции.
Правило дало 61% побед. Насколько это хорошо?
Зависит от того, сколько вариантов было перебрано до него. Если вы проверили один вариант и получили 61% на достаточной выборке — это заметный результат. Если вы перебрали полсотни комбинаций и выбрали лучшую — ровно столько же даёт чистый шум: замер на случайных данных с истинными 50% показывает у лучшего из пятидесяти 61.2%. Само число ничего не значит без ответа на вопрос «из скольких выбрано». Поэтому число вариантов записывают вместе с результатом, как записывают размер выборки.
Почему нельзя проверять стратегию на сегодняшнем списке монет?
Потому что этот список составлен из выживших. В нашей базе истории 1423 инструмента, в живой таблице 1218 — каждый седьмой торговался и исчез, и в сегодняшнем списке его нет. Любая идея, которая предполагает восстановление после падения, на таком списке будет выглядеть лучше, чем есть: примеры, где восстановления не случилось, из выборки удалены самой жизнью. Правильно брать состав инструментов на дату начала проверки и включать всех, даже тех, кто позже умер, — иначе вы проверяете не идею, а факт выживания.