3 / 5 · 7 min
Cuatro maneras de engañarte al comprobar
Una comprobación confirma la idea más a menudo no porque funcione, sino porque quien comprueba la ayudó sin darse cuenta. Las cuatro maneras tienen aspecto de trabajo cuidadoso.
Por qué esto no va de honestidad
Ninguna de las cuatro maneras requiere mala intención; al contrario, cada una parece diligencia. Afinas parámetros para que la regla describa mejor el mercado. Coges monedas actuales, porque las viejas no le interesan a nadie. Recuerdas las operaciones que recuerdas. Todo eso son acciones razonables, y justo por eso la trampa no se ve desde dentro. La única defensa es conocer esas cuatro trampas por su nombre y comprobarte contra cada una por separado.
Primera: ajustar al historial
Cogiste una regla, la pasaste y obtuviste un 52%. Probaste un stop algo más ancho: 55%. Tomaste otro periodo de media: 58%. Un par de afinados más y tienes delante un sistema con un 61% de victorias. El problema es que ese mismo resultado lo da también una regla PURAMENTE ALEATORIA si se prueban igual de variantes. Medición sobre datos inventados con un 50% verdadero: la mejor de diez variantes muestra un 57.7%, la mejor de cincuenta un 61.2%, la mejor de doscientas un 63.6%. No has encontrado una regularidad, has encontrado la combinación más afortunada.
Cuánto da probar variantes sobre datos aleatorios
| Variantes probadas | La mejor mostrará | La verdad |
|---|---|---|
| 1 | 50.0% | 50% |
| 10 | 57.7% | 50% |
| 50 | 61.2% | 50% |
| 200 | 63.6% | 50% |
La defensa consta de dos reglas. Primera: contar las variantes. Si probaste veinte combinaciones, el resultado de la mejor no hay que valorarlo como «61%» sino como «la mejor de veinte», y es una magnitud muy distinta. Segunda: cuantos menos números ajustables tenga la regla, menos capaz eres de sobreajustarla. Una regla con un parámetro es difícil de falsear; una con cinco se ajusta a lo que sea, incluido el ruido.
Segunda: mirar al futuro
El error más invisible, porque es técnico. Compruebas la regla «comprar cuando la vela diaria cerró por encima del nivel» y coges el precio de cierre del día para decidir si entras por la mañana. Pero por la mañana no conocías ese precio. Aquí entra también usar el volumen final del día, el máximo del día, «una moneda que después subió». La señal de la trampa es simple: si para tomar la decisión hacen falta datos aparecidos DESPUÉS del momento de entrada, la comprobación es errónea por completo — y su resultado suele ser brillante, porque en la práctica estás espiando.
Tercera: el sesgo del superviviente
Al comprobar una idea sobre la lista de monedas de hoy, trabajas con las que sobrevivieron. Las muertas no entraron en la lista, y no eran pocas: en nuestra base de historial hay 1423 instrumentos y en la tabla viva hay ahora 1218 — es decir, 205, uno de cada siete, se negociaron y desaparecieron. La estrategia «comprar caídas en altcoins» sobre supervivientes se ve estupenda: los que no rebotaron no llegaron a la lista de hoy. Una comprobación honesta exige tomar la lista de instrumentos DE AQUELLA FECHA y no la de hoy, y es la única forma de ver cuántas veces la caída resultó ser un viaje de ida.
Cuarta: selección a posteriori
Comprobar de memoria siempre da buen resultado, porque la memoria no está montada como una base de datos. Las operaciones afortunadas se recuerdan con más viveza; las malas se recuerdan con salvedades: «ahí incumplí la regla, no cuenta». La salvedad puede ser incluso cierta, pero se aplica de forma unilateral: a las operaciones ganadoras nadie les pone pegas. De ahí el único remedio: un diario que se rellena ANTES del desenlace y no después. Todo lo que recuerdas de tu operativa sin registros es una opinión sobre ti, no datos sobre el sistema.
Cómo comprobarte contra las cuatro
Antes de creerte un resultado, hazte cuatro preguntas. ¿Cuántas variantes probé antes de que esta diera un buen resultado? ¿Usé en algún sitio datos que no existían en el momento de la decisión? ¿De dónde salió la lista de instrumentos y qué fue de los que no están en ella? ¿Entraron todas las operaciones en el recuento, incluidas las que expliqué como incumplimientos de la regla? Basta una respuesta incómoda para que la cifra haya que obtenerla de nuevo, en vez de discutir su interpretación.
El bar replay cierra dos de las cuatro trampas a la vez. El futuro no se ve de verdad, así que mirarlo es imposible; y la decisión se anota antes de avanzar, así que la selección a posteriori queda excluida. Las otras dos — el sobreajuste y los supervivientes — no dependen de la herramienta y solo se curan con disciplina: contar variantes y tomar la lista de instrumentos de la fecha correspondiente.
Gráfico y bar replayRecalcula tu mejor idea con correcciones
Toma la regla en la que más crees y recuerda con honestidad cuántas variantes de parámetros probaste antes de quedarte con esta. Si son más de cinco, estima con la tabla de arriba qué parte del resultado la explica el propio hecho de probar. Después comprueba si en la regla participan datos del futuro respecto a la entrada. Y por último cuenta cuántas operaciones de esa regla NO anotaste porque «aquello no fue según el sistema». Normalmente, tras tres correcciones, de la ventaja queda bastante menos de lo que parecía — y es mejor desenlace que enterarse de lo mismo con el tamaño de la posición.
Una regla dio un 61% de victorias. ¿Cómo de bueno es eso?
Depende de cuántas variantes se probaron antes. Si probaste una variante y obtuviste un 61% con muestra suficiente, es un resultado notable. Si probaste medio centenar de combinaciones y elegiste la mejor, exactamente lo mismo da el puro ruido: una medición sobre datos aleatorios con un 50% verdadero muestra un 61.2% en la mejor de cincuenta. El número por sí solo no significa nada sin la respuesta a «¿de cuántas se eligió?». Por eso el número de variantes se anota junto al resultado, igual que se anota el tamaño de la muestra.
¿Por qué no se puede comprobar una estrategia sobre la lista de monedas de hoy?
Porque esa lista está compuesta de supervivientes. En nuestra base de historial hay 1423 instrumentos y en la tabla viva 1218 — uno de cada siete se negoció y desapareció, y en la lista de hoy no está. Cualquier idea que suponga una recuperación tras una caída se verá en esa lista mejor de lo que es: los ejemplos en que no hubo recuperación los ha eliminado de la muestra la propia vida. Lo correcto es tomar la composición de instrumentos de la fecha de inicio de la comprobación e incluirlos a todos, incluso a los que murieron después; si no, no estás comprobando la idea sino el hecho de sobrevivir.