프래랜서 플랫폼이나 오픈마켓 등에서 전략 코드 혹은 매매법 강의를 구매하시는 분들이 많은 것으로 보입니다. 구매한 전략 코드를 기반으로 한 자동매매 시스템을 구축해달라고 요청하시거나, 전자책 등에 소개되어 있는 매매법을 기반으로 백테스팅 및 자동매매 프로그램 구축을 요청하시는 분들이 많습니다.

자체제작이 아닌, 누군가가 만들어 둔 매매 방식이기 때문에 실제 자금 투입 전 전략의 유효성에 대해서 충분히 검증하는 것이 정말 중요하겠습니다. 이러한 검증을 원하시는 분들도 많은 것으로 보이고요. 얼마 전, 구입한 전자책에 적힌 매매법을 과거 데이터에 대해 백테스팅하고 파라미터를 최적화하기 위한 통계분석 소프트웨어를 구축해달라는 요청이 있었습니다. 이번 포스트에서는 이 통계분석 소프트웨어의 구현 과정부터 실제 작동 화면까지를 자세히 공유해드리겠습니다.

한눈에 보기

클라이언트 프로필

• 전업 트레이더이며, 가상자산 선물 매매를 주력으로 하고 있습니다.

• 다양한 자동매매 시스템을 구축하여 직접 개인 자금을 운용하고 있습니다.

• 최근, 오픈마켓에서 특정 알트코인 매매법이 기술되어 있는 전자책을 유료 구매하였습니다.

• 해당 매매법을 실제 계좌에서 운용하기 이전, 백테스팅을 통해 해당 매매법의 유효성과 수익성을 사전 검증하고자 합니다.

• 단순히 백테스팅하여서 결과를 관찰하는 것 뿐만 아니라, 여러가지 수치를 조절하고 옵션을 조절하여 그에 따른 결과를 확인하고, 파라미터 공간을 탐색하여 안정적인 파라미터셋을 찾고 싶습니다.

• 백테스팅 및 최적화 결과를 확인하고 실전 투입 여부를 결정하며, 실전투입하게 된다면 자동매매 시스템으로 구축하여 자동화 운영하고 싶습니다.

핵심 요구사항

• 전자책의 매매법을 그대로 백테스팅 할 수 있는 시스템을 구성해야 합니다.

• 매매조건이나 타점, 체결 시뮬레이션 등이 최대한 엄밀하고 정확하게 이루어져야 합니다.

• 매매법 상의 특정 조건 사용여부나 파라미터 수치 등을 변경해가면서 반복 백테스팅할 수 있어야 합니다.

• 바이낸스, OKX, GateIo 거래소의 데이터를 자동으로 불러와 사용할 수 있어야 합니다.

• Grid Search 기반의 파라미터 최적화가 가능해야 하며, 그 결과를 대시보드를 통해 조회할 수 있어야 합니다.

한코랩의 솔루션

가. 시장 전체 데이터의 수집 아키텍쳐에 대하여

전자책의 내용을 확인한 결과, 단일 종목의 차트와 OHLCV 데이터 뿐 아니라 해당 시점의 시장 전체 데이터를 기반으로 매매 조건이 구성되어 있었습니다. 가령, 알트코인 시장 전체의 평균 상승률을 매매 조건으로 삼는다면 과거 해당 시점, 거래소에 상장되어있던 모든 코인의 상승률 데이터가 필요합니다. 이 데이터를 올바르게 수집하고 데이터에 이상이 없는지를 검사하여 저장하는 것이 정밀한 백테스팅의 전제 조건이 되겠습니다.

세 거래소의 데이터를 받아올 때, API만을 통해 데이터를 호출하면 속도가 심각하게 느리며 API의 Rate Limit을 초과할 가능성이 크므로 바람직한 아키텍쳐라고 보기 어려습니다. 따라서 한코랩은 대부분의 데이터는 Zip 파일로 병렬 다운로드 하고, 누락 부분만 API 호출로 채워넣는 하이브리드 아키텍쳐를 구성하였습니다.

또한, 수집된 데이터에 잘못된 데이터가 섞여있지는 않은지, 누락된 구간은 없는지 등을 자체적으로 검사하는 ‘무결성 검사 알고리즘’을 탑재하여 데이터 이상이나 누락을 발견하면 이를 사용자에게 고지하고, 재다운로드를 권장하도록 구성했습니다. 검사를 통과한 데이터는 백테스팅 및 최적화의 속도를 위해 일반 CSV 파일이 아니라, 읽기(Read) 작업에 최적화된 형식으로 변환해 저장하도록 구성하였습니다.

나. 생존편향에 대하여

알트코인 전 종목을 매매대상으로 삼아 백테스팅 하는 경우 주의해야할 점이 있습니다. 백테스팅 데이터의 경우 ‘현재 시점에서 거래소에 상장되어있는 종목’을 기준으로 과거로 거슬러 올라가며 다운로드하는 것이 일반적입니다. 따라서 과거 특정 시점에는 존재하였으나 상장폐지된 종목의 경우 백테스팅 데이터 풀에 반영되지 못합니다. 결과적으로 “마치 백테스팅 시점에, 미래를 미리 아는 듯이 살아남은 종목만 매매하게 되는” 생존편향이 발생하게 되어 백테스팅 자체가 왜곡될 수 있습니다.

한코랩은 이 위험성을 선제적으로 예측하여 현실적으로 전 거래소의 모든 상장 코인의 상장일, 상장폐지일, 그 사이의 캔들 데이터를 모두 추적해 관리하는 것이 기술적으로 어렵다는 검토 의견을 고객 측에 제시하였습니다. 고객과의 논의 후 생존편향에 대해서는 별다른 조치 없이 진행하되, 추후 거래목록을 확인해 그 영향을 고려하는 것으로 결정하였습니다.

생존편향과 같은 부분은 백테스팅에서 매우 중요한 포인트이지만, 트레이딩 이론에 대한 깊이가 깊지 않으면 놓치기 쉬운 부분이기도 합니다. 트레이딩 소프트웨어 전문 개발사가 아닌 일반적인 범용 소프트웨어 개발사의 경우, 이러한 부분까지 고려하여 안내하지 않는 것은 물론, 이러한 편향 자체를 인지하는 것 자체가 쉽지 않을 것으로 보입니다. 한코랩과 같은 트레이딩 도메인 전문 개발사가 필요한 이유입니다.

다. 1분봉 해상도의 체결 로직에 대하여

1분봉 해상도 백테스팅의 경우, 하나의 1분봉 캔들 내(인트라바)의 움직임을 정확히 추적할 수 없다는 한계점으로 인해, 유리하거나 불리하게 체결이 편향되는 경우가 발생할 수 있습니다. 이러한 편향을 제거하거나 최대한 방지하기 위해서는 백테스팅 체결 로직에 대한 이해를 바탕으로 정밀한 설계가 필요합니다.

한코랩은 1분봉 해상도 데이터만으로 인트라바 진입 및 청산을 최대한 모사하도록 구성하였으며, 체결이 유리하거나 불리하게 편항될 수 있는 지점들에 대하여 의도적으로 ‘불리하게’ 체결되도록 안전장치를 넣어두었습니다. (예를 들어, TP와 SL 둘 중 무엇이 먼저 발생했는지를 1분봉 데이터만으로 확정할 수 없는 경우, 의도적으로 SL이 발생한 것으로 처리합니다. 굳이 TP가 아닌 SL로 처리하는 이유는, TP로 처리하는 경우 백테스팅이 좋은 방향으로 심하게 편향되어서 과대평가된 결과가 나오는 것을 방지하기 위해서입니다.)

사실 1분봉 데이터가 아니라 틱 데이터를 기준으로 백테스팅하면 가장 높은 정밀도를 확보할 수 있습니다. 하지만 틱 데이터를 기반으로 백테스팅하는 것은 상당한 용량과 컴퓨팅 파워, 그리고 소프트웨어 설계가 필요하게 되어 고객 인프라의 수용범위와 예산을 초과하는 방식이었습니다. 한코랩은 하나의 선택지만을 고집하기보다는 각 선택지마다의 장단점과 트레이드오프(Trade-off)를 고려하여 고객의 상황, 인프라, 예산에 맞는 방안을 제시하고 이를 정밀하게 구현합니다.

라. Grid Search 기반의 파라미터 최적화와 파라미터 민감도 그래프에 대하여

본 백테스팅 소프트웨어의 꽃이라고 부를 수 있는 파라미터 최적화 기능입니다. 한 번의 설정만으로 수천만 가지의 파라미터 영역을 탐색하고 그 결과를 데이터베이스화하여 사용자가 최적의 파라미터를 선택할 수 있도록 돕습니다.

Grid Search 기반의 파라미터 최적화는 본래 컴퓨터의 연산 부하가 엄청난 작업이며, 800개 이상의 종목 데이터에 대해서 반복 연산을 수행하는 경우 연산 완료까지 상당한 시간이 소요됩니다. 따라서 한코랩은 반복 사용되는 데이터를 캐시(Cache)화하여 별도 저장 후 재사용하도록 설계하여 파라미터 최적화에 소요되는 시간을 기존의 100분의 1 수준으로 단축했습니다.

또한 단순 백테스팅 기능과 파리미터 최적화 기능의 연산 코어가 물리적으로 동일한 코드를 공유하도록 설계함으로써, 백테스팅 결과와 최적화 결과에 차이가 발생할 수 있는 가능성을 원천 제거하였습니다.

마지막으로, 단순히 수익률이 높은 파라미터셋을 나열하는 것이 아닌, 파라미터 영역의 민감도를 그래프로 나타내어 파라미터 최적화 시 너무 민감한 영역을 걸러낼 수 있도록 하는 시각화 기능을 추가하였습니다.

주요 기능 및 핵심 성과

• 구매한 전자책에 기술되어있는 매매법을 그대로 반복 백테스팅할 수 있도록 구현

• 바이낸스, OKX, GateIo 거래소 데이터를 모두 사용할 수 있도록 데이터 출처 분리

• 800개 이상의 종목을 원클릭으로 백테스팅하고 최적화할 수 있는 엔진 코어와 아키텍쳐 설계

• 생존편향에 대한 선제적인 고려 및 체결 편향을 방지하기 위한 고급 설계

• 최대 1분봉 해상도의 정교한 체결 · 청산 로직 구현

• 초고속 병렬 연산 아키텍쳐를 통한 수천만 개의 파라미터 공간 탐색

• 백테스팅 및 최적화 결과를 조회하고 분석하기 위한 전용 대시보드 UI 제공

완성된 소프트웨어 · 시스템 살펴보기

• 프로그램이 실행되며, GateIo 거래소에 상장된 914종목의 데이터가 다운로드되는 모습

  

• 데이터 무결성 검사가 실행되고, 검사 결과 리포트가 생성되는 모습. (리포트에 심볼마다의 검사 통과 여부가 뜨며 에러가 0건으로 표시되는 중.)

  

• 초고속 백테스팅 및 파라미터 최적화를 위하여 사전 캐시(Cache)를 생성하는 모습

  

• 백테스팅이 수행되어 그 결과를 대시보드에서 조회하는 모습

  

• 파라미터 최적화가 수행되어 그 결과를 대시보드에서 조회하는 모습

  

한코랩과 함께, 트레이딩 소프트웨어의 세계로

간단한 지표 개발부터, 맞춤형 자동매매 시스템 구축, 백테스팅 및 전략 데이터 분석, 파라미터 및 세팅값 최적화, 대규모 통계 분석까지 한코랩이 함께합니다. 모든 상담은 무료로 제공되니, 바로 문의해보세요!