3 / 5 · 7 min
Quatro maneiras de enganar a si mesmo ao testar
Um teste confirma a ideia mais vezes não porque ela funcione, e sim porque quem testa a ajudou sem perceber. As quatro maneiras têm cara de trabalho cuidadoso.
Por que isso não é sobre honestidade
Nenhuma das quatro maneiras exige má intenção — pelo contrário, cada uma parece diligência. Você afina parâmetros para a regra descrever melhor o mercado. Você pega moedas atuais, porque as antigas não interessam a ninguém. Você lembra as operações de que se lembra. Tudo isso são ações razoáveis, e é justamente por isso que a pegadinha não é visível por dentro. A única defesa é conhecer essas quatro armadilhas pelo nome e se conferir contra cada uma separadamente.
Primeira: ajustar ao histórico
Você pegou uma regra, rodou e obteve 52%. Testou um stop um pouco mais largo: 55%. Pegou outro período de média: 58%. Mais um par de ajustes e você tem diante de si um sistema com 61% de vitórias. O problema é que esse mesmo resultado é dado também por uma regra PURAMENTE ALEATÓRIA, se as variantes forem testadas do mesmo jeito. Medição em dados inventados com 50% verdadeiros: a melhor de dez variantes mostra 57.7%, a melhor de cinquenta 61.2%, a melhor de duzentas 63.6%. Você não achou uma regularidade, você achou a combinação mais sortuda.
Quanto dá testar variantes em dados aleatórios
| Variantes testadas | A melhor vai mostrar | A verdade |
|---|---|---|
| 1 | 50.0% | 50% |
| 10 | 57.7% | 50% |
| 50 | 61.2% | 50% |
| 200 | 63.6% | 50% |
A defesa consiste em duas regras. Primeira: contar as variantes. Se você testou vinte combinações, o resultado da melhor deve ser avaliado não como «61%» e sim como «a melhor de vinte», e é uma grandeza bem diferente. Segunda: quanto menos números ajustáveis a regra tiver, menos capaz você é de sobreajustá-la. Uma regra com um parâmetro é difícil de forjar; uma com cinco se ajusta a qualquer coisa, inclusive ao ruído.
Segunda: olhar para o futuro
O erro mais invisível, porque é técnico. Você testa a regra «comprar quando a vela diária fechou acima do nível» — e pega o preço de fechamento do dia para decidir se entra de manhã. Mas de manhã você não conhecia esse preço. Aqui entra também usar o volume final do dia, a máxima do dia, «uma moeda que depois subiu». O sinal da armadilha é simples: se para tomar a decisão são precisos dados surgidos DEPOIS do momento da entrada, o teste está errado por inteiro — e o resultado dele costuma ser brilhante, porque na prática você está espiando.
Terceira: o viés do sobrevivente
Ao testar uma ideia na lista de moedas de hoje, você trabalha com as que sobreviveram. As mortas não entraram na lista, e não eram poucas: na nossa base de histórico há 1423 instrumentos e na tabela viva há agora 1218 — ou seja, 205, um em cada sete, foram negociados e sumiram. A estratégia «comprar quedas em altcoins» sobre sobreviventes fica ótima: os que não repicaram não chegaram à lista de hoje. Um teste honesto exige pegar a lista de instrumentos DAQUELA DATA e não a de hoje — e é o único jeito de ver quantas vezes a queda foi uma viagem só de ida.
Quarta: seleção depois do fato
Testar de memória sempre dá bom resultado, porque a memória não é montada como um banco de dados. As operações boas se lembram com mais vivacidade; as ruins se lembram com ressalvas: «ali eu quebrei a regra, não conta». A ressalva pode até ser verdadeira, mas é aplicada de forma unilateral: das operações lucrativas ninguém reclama. Daí o único remédio: um diário preenchido ANTES do desfecho e não depois. Tudo o que você lembra da sua operação sem registros é uma opinião sobre você, não dados sobre o sistema.
Como se conferir contra as quatro
Antes de acreditar num resultado, faça quatro perguntas. Quantas variantes eu testei antes de esta dar um bom resultado? Usei em algum lugar dados que não existiam no momento da decisão? De onde veio a lista de instrumentos e o que aconteceu com os que não estão nela? Todas as operações entraram na conta, inclusive as que expliquei como quebra de regra? Basta uma resposta incômoda para a cifra ter de ser obtida de novo, em vez de se discutir a interpretação dela.
O bar replay fecha duas das quatro armadilhas de uma vez. O futuro não é visível de verdade, então olhar para ele é impossível; e a decisão é anotada antes de avançar, então a seleção depois do fato fica excluída. As outras duas — o sobreajuste e os sobreviventes — não dependem da ferramenta e só se curam com disciplina: contar variantes e pegar a lista de instrumentos da data devida.
Gráfico e bar replayRefaça a conta da sua melhor ideia com correções
Pegue a regra em que você mais acredita e lembre com honestidade quantas variantes de parâmetros você testou antes de ficar com esta. Se forem mais de cinco, estime pela tabela acima que fatia do resultado é explicada pelo próprio ato de testar. Depois confira se na regra participam dados do futuro em relação à entrada. E por fim conte quantas operações dessa regra você NÃO anotou porque «aquilo não foi pelo sistema». Normalmente, depois de três correções, da vantagem sobra bem menos do que parecia — e é um desfecho melhor do que descobrir o mesmo pelo tamanho da posição.
Uma regra deu 61% de vitórias. Quão bom é isso?
Depende de quantas variantes foram testadas antes dela. Se você testou uma variante e obteve 61% numa amostra suficiente, é um resultado notável. Se testou cinquenta combinações e escolheu a melhor, exatamente o mesmo é dado pelo puro ruído: uma medição em dados aleatórios com 50% verdadeiros mostra 61.2% na melhor de cinquenta. O número sozinho não significa nada sem a resposta a «de quantas foi escolhido». Por isso o número de variantes se anota junto com o resultado, como se anota o tamanho da amostra.
Por que não dá para testar uma estratégia na lista de moedas de hoje?
Porque essa lista é composta de sobreviventes. Na nossa base de histórico há 1423 instrumentos e na tabela viva 1218 — um em cada sete foi negociado e sumiu, e na lista de hoje ele não está. Qualquer ideia que pressuponha recuperação depois de uma queda vai parecer melhor do que é nessa lista: os exemplos em que a recuperação não veio foram removidos da amostra pela própria vida. O correto é pegar a composição de instrumentos da data de início do teste e incluir todos, inclusive os que morreram depois; senão você não está testando a ideia e sim o fato de sobreviver.