3 / 5 · 5 분
검증하면서 자신을 속이는 네 가지 방법
검증이 아이디어를 확인해 주는 것은 그것이 통해서가 아니라 검증하는 사람이 슬쩍 도와줬기 때문인 경우가 더 많습니다. 네 가지 방법 모두 꼼꼼한 작업처럼 보입니다.
이건 정직함의 문제가 아닙니다
네 가지 중 어느 것도 나쁜 의도를 필요로 하지 않습니다. 오히려 하나같이 성실함처럼 보입니다. 규칙이 시장을 더 잘 설명하도록 매개변수를 다듬습니다. 옛날 코인은 아무도 관심 없으니 요즘 코인을 씁니다. 기억나는 거래를 떠올립니다. 전부 합리적인 행동이고, 바로 그래서 안에서는 함정이 보이지 않습니다. 유일한 방어는 이 네 가지 함정을 이름으로 알고 각각에 대해 따로 자신을 점검하는 것입니다.
첫째: 과거에 맞춰 끼워 맞추기
규칙을 가져와 돌렸더니 52%가 나왔습니다. 손절을 조금 넓혔더니 55%. 평균 기간을 바꿨더니 58%. 몇 번 더 다듬으니 승률 61%짜리 시스템이 눈앞에 있습니다. 문제는 완전히 무작위인 규칙도 똑같이 변형을 뒤지면 정확히 같은 결과를 낸다는 것입니다. 참값 50%인 가상 데이터로 측정한 결과: 열 개 중 최고가 57.7%, 쉰 개 중 최고가 61.2%, 이백 개 중 최고가 63.6%. 당신은 규칙성을 찾은 것이 아니라 가장 운 좋은 조합을 찾은 것입니다.
무작위 데이터에서 변형을 뒤지면
| 시도한 변형 | 최고가 보여 주는 값 | 참값 |
|---|---|---|
| 1 | 50.0% | 50% |
| 10 | 57.7% | 50% |
| 50 | 61.2% | 50% |
| 200 | 63.6% | 50% |
방어는 두 가지 규칙으로 이루어집니다. 첫째, 변형의 수를 세십시오. 스무 개 조합을 뒤졌다면 우승자의 결과는 61%가 아니라 스무 개 중 최고로 읽어야 하고, 그것은 전혀 다른 값입니다. 둘째, 규칙에 조정 가능한 숫자가 적을수록 끼워 맞추기 어렵습니다. 매개변수 하나짜리 규칙은 위조하기 힘들고, 다섯 개짜리 규칙은 잡음을 포함해 무엇에든 맞출 수 있습니다.
둘째: 미래 훔쳐보기
가장 눈에 안 띄는 실수입니다. 기술적인 것이기 때문이죠. 일봉이 레벨 위에서 마감하면 산다는 규칙을 검증하면서, 아침에 들어갈지 정하는 데 그날의 종가를 씁니다. 하지만 아침에는 그 가격을 몰랐습니다. 같은 부류: 하루 최종 거래량 쓰기, 그날 고점 쓰기, 나중에 오른 코인 고르기. 함정의 표시는 간단합니다. 결정을 내리는 데 진입 시점 이후에 생긴 데이터가 필요하다면 검증 전체가 무효이고, 그 결과는 대개 눈부십니다. 사실상 훔쳐보고 있으니까요.
셋째: 생존 편향
오늘의 코인 목록으로 아이디어를 검증한다는 것은 살아남은 것들만 다룬다는 뜻입니다. 죽은 것들은 목록에 없고, 그 수가 적지 않습니다. 저희 이력 데이터에는 1423개 종목이 있는데 살아 있는 표에는 지금 1218개입니다. 즉 205개, 일곱에 하나가 거래되다가 사라졌습니다. 알트코인 하락을 사 모은다는 전략은 생존자들 위에서 훌륭해 보입니다. 반등하지 못한 것들은 오늘의 목록에 닿지도 못했으니까요. 정직한 검증은 오늘이 아니라 그 시점의 종목 목록을 쓰라고 요구합니다. 하락이 편도 티켓이었던 경우가 몇 번인지 보는 유일한 방법입니다.
넷째: 사후에 골라내기
기억으로 하는 검증은 언제나 좋은 결과를 냅니다. 기억은 데이터베이스처럼 만들어지지 않았으니까요. 잘된 거래는 선명하게 남고, 잘못된 거래는 단서를 달고 떠오릅니다. 거기선 규칙을 어겼으니 안 쳐도 된다고요. 그 단서가 사실일 수도 있지만 한쪽에만 적용됩니다. 수익 난 거래에는 아무도 트집을 잡지 않으니까요. 그래서 유일한 처방은 결과가 나오기 전에 채우는 일지입니다. 기록 없이 자기 매매에 대해 떠올린 모든 것은 시스템에 대한 데이터가 아니라 자신에 대한 의견입니다.
네 가지 모두에 대해 자신을 점검하는 법
결과를 믿기 전에 네 가지를 물으십시오. 이 변형이 좋은 결과를 내기까지 몇 개를 시도했는가. 결정 시점에 존재하지 않던 데이터를 어딘가에서 쓰지 않았는가. 종목 목록은 어디서 왔고 거기 없는 것들은 어떻게 되었는가. 규칙 위반이라고 설명해 버린 것들까지 포함해 모든 거래가 집계에 들어갔는가. 불편한 답이 하나라도 있다면, 그 숫자는 해석을 다툴 것이 아니라 다시 구해야 합니다.
바 리플레이는 네 함정 중 둘을 한꺼번에 막습니다. 미래가 진짜로 가려져 있으니 훔쳐볼 수 없고, 결정을 넘기기 전에 적으니 사후 선별도 배제됩니다. 남은 둘, 끼워 맞추기와 생존 편향은 도구와 무관하며 오직 규율로만 고쳐집니다. 변형의 수를 세고, 종목 목록을 해당 날짜 기준으로 가져오는 것입니다.
차트와 바 리플레이가장 믿는 아이디어를 보정해 다시 계산하기
가장 믿는 규칙을 골라, 이것으로 정하기까지 매개변수 변형을 몇 개나 시도했는지 정직하게 떠올리십시오. 다섯 개가 넘는다면 위 표로 결과 중 얼마만큼을 탐색 자체가 설명하는지 어림하십시오. 그다음 규칙에 진입 시점 기준 미래의 데이터가 들어가지 않았는지 확인하십시오. 마지막으로, 시스템대로가 아니었다는 이유로 기록하지 않은 거래가 몇 건인지 세십시오. 세 번의 보정을 거치면 대개 생각보다 우위가 훨씬 적게 남습니다. 그리고 그것을 포지션 크기로 알게 되는 것보다 나은 결말입니다.
규칙이 승률 61%를 냈습니다. 얼마나 좋은 건가요?
그 앞에 변형을 몇 개나 뒤졌는지에 달렸습니다. 하나만 검증해서 충분한 표본으로 61%가 나왔다면 눈에 띄는 결과입니다. 쉰 개 조합을 뒤져 최고를 골랐다면 순수한 잡음도 정확히 같은 값을 냅니다. 참값 50%인 무작위 데이터에서 쉰 개 중 최고가 61.2%였으니까요. 숫자 자체는 몇 개 중에서 골랐는가에 대한 답 없이는 아무 의미가 없습니다. 그래서 표본 크기를 적듯이 변형의 수도 결과와 함께 적습니다.
왜 오늘의 코인 목록으로 전략을 검증하면 안 되나요?
그 목록이 생존자들로 이루어져 있기 때문입니다. 저희 이력에는 1423개 종목이 있고 살아 있는 표에는 1218개입니다. 일곱에 하나가 거래되다 사라졌고, 오늘의 목록에는 없습니다. 하락 뒤 회복을 전제하는 어떤 아이디어든 그런 목록에서는 실제보다 좋아 보입니다. 회복이 오지 않은 사례들은 삶 자체가 표본에서 지워 버렸으니까요. 올바른 방법은 검증 시작 시점의 종목 구성을 가져오고, 나중에 죽은 것들까지 전부 포함하는 것입니다. 그러지 않으면 아이디어가 아니라 생존이라는 사실을 검증하게 됩니다.