시계열 파운데이션 모델 변동성 예측, HAR 벤치마크부터 재보세요
제로샷 예측 모델은 정말 계량모델을 이겼을까요?
지난주 슬랙에 링크 하나가 올라왔어요. 제목만 보면 마음이 흔들립니다. 추가 학습 없이 어떤 시계열이든 예측한다는 문구였죠. 이런 톤의 홍보 문구는 시계열 파운데이션 모델 쪽에 흔합니다. 퀀트 작업을 하다 보면 자주 만납니다.
제 주장은 단순합니다. 범용 시계열 파운데이션 모델을 변동성 예측 파이프라인에 붙이기 전에, HAR 같은 단순 계량 벤치마크와 같은 조건으로 정량 비교부터 하세요. 순서를 바꾸면 모델을 평가할 기준선이 사라집니다.
근거가 있습니다. 알레시오 브리니가 낸 실현변동성 예측 비교 연구는 제로샷 파운데이션 모델 9종과 HAR 계열 계량 벤치마크 8종을 개별주식·외환·선물 50개 자산에 같이 태웠습니다. 결과는 마케팅 문구와 달랐어요. 9종 가운데 8종은 평균 손실비율이 1.0을 넘겼습니다. 기준선인 HAR보다 못했다는 뜻입니다.
왜 HAR 같은 단순 모델이 변동성 예측에서 버티나요?
변동성은 성격이 유별납니다. 한번 커지면 한동안 커진 채로 머물고, 잠잠해지면 또 한동안 잠잠하죠. 이 군집성과 장기기억은 수십 년 동안 계량경제 쪽에서 파고든 주제입니다.
HAR는 그 구조를 모델 식 안에 직접 박아 넣은 회귀입니다. 하루·일주일·한 달 단위로 평균 낸 실현변동성을 설명변수로 같이 넣죠. 파라미터는 손에 꼽을 정도고, 추정도 최소자승 한 번이면 끝납니다. 위 연구가 예측 기간을 1일·5일·22일 세 구간으로 잡은 것도 시장의 거래일 주기와 맞물립니다.
제 해석은 이렇습니다. 범용 모델은 수많은 도메인의 시계열을 두루 학습해 평균적으로 무난한 패턴을 익힙니다. 반면 HAR는 변동성이라는 한 가지 대상에 사전지식을 얹은 상태로 출발해요. 데이터가 좁고 신호 대비 잡음이 큰 영역에서는 이 사전지식이 파라미터 수보다 강하게 작동합니다.
그래도 이긴 모델이 하나 있었습니다
이분법으로 정리하면 틀립니다. 같은 연구에서 TTM 계열 모델 하나는 세 예측 구간 전부에서 Log-HAR를 앞섰어요. QLIKE 손실비율이 1일 0.982, 5일 0.986, 22일 0.987입니다.
숫자를 읽는 방식이 중요합니다. 0.982는 기준선 대비 손실을 2% 남짓 줄였다는 뜻이지, 판을 뒤집었다는 뜻이 아닙니다. 논문도 근소한 차이라고 적었죠. 그리고 이 근소한 우위는 꾸준함으로 뒷받침됐어요. Model Confidence Set에 포함된 비율이 50개 자산 가운데 98%였습니다.
같은 지표에서 나머지 파운데이션 모델은 0에서 34% 사이에 흩어졌습니다. 특정 자산에서 우연히 잘 맞은 모델과, 자산을 바꿔도 최상위 집합에 남는 모델은 다르죠. 저는 후자만 도입 후보로 봅니다.
파인튜닝하면 결과가 달라지지 않나요?
첫 번째 반론부터 받겠습니다. 제로샷이 약한 건 인정하되 파인튜닝하면 뒤집힌다는 주장이죠. 절반은 맞는 말이에요. 다만 파인튜닝을 시작한 순간 추가 학습 없이 쓴다는 전제가 무너집니다. 재학습 주기와 검증 절차가 붙고, 그 비용은 HAR 회귀 한 줄과 비교됩니다.
두 번째 반론은 표본입니다. 자산 50개와 손실함수 하나로 일반화하냐는 지적이죠. 일리 있어요. 그래서 제 요지가 특정 모델을 쓰라는 게 아니라 각자 데이터로 직접 재라는 쪽입니다. 참고로 이 연구는 단일 지표 비교에 그치지 않고 Model Confidence Set이라는 통계적 선별 절차까지 얹었습니다.
세 번째 반론은 현장 경험입니다. 이미 붙여 봤는데 잘 되더라는 이야기요. 그럼 무엇 대비 잘 되던가요? 기준선 없이 잘 된다는 판단은 백테스트 기록이 아니라 인상입니다. 저는 새 모델을 검토할 때 가장 단순한 벤치마크를 먼저 돌려 두고, 그 숫자를 지우지 않고 남겨 둡니다.
도입 전에 무엇을 재봐야 할까요?
체크는 네 가지면 충분합니다. 손실함수를 먼저 고정하세요. 변동성 예측이라면 QLIKE처럼 과소예측에 벌점을 주는 지표가 자주 쓰입니다.
예측 기간을 하나만 보지 마세요. 1일에서 이긴 모델이 22일에서 뒤집히는 일은 흔합니다. 세 구간 이상을 나란히 놓고 손실비율 표를 만들면 판단이 빨라집니다.
기준선은 낮게 잡지 마세요. 랜덤워크 같은 허수아비가 아니라 Log-HAR처럼 강한 계량 벤치마크를 세워야 비교가 의미를 갖습니다. 마지막으로 이겼다는 말의 크기를 확인하세요. 손실비율 0.98과 0.75는 완전히 다른 의사결정을 부릅니다. 운영 비용과 지연 시간까지 넣으면 2% 우위는 쉽게 사라집니다.
마무리 — 벤치마크 없는 도입은 비용만 남깁니다
저는 파운데이션 모델을 반대하지 않습니다. 팀에 도입 제안이 올라오면 딱 한 가지를 요청해요. 같은 자산, 같은 손실함수, 같은 예측 구간으로 HAR와 나란히 세운 표를 가져와 달라고요.
표가 나오면 논쟁이 30분 만에 끝납니다. 표가 없으면 몇 주를 소모하고도 판단이 안 섭니다.
업계로 넓혀 보면 부담이 더 큽니다. 제로샷 모델 아홉 가운데 도입 근거를 실제로 확보한 쪽은 하나였어요. 그런데도 인프라 비용을 먼저 태우는 팀이 늘고 있죠. 오늘 검토 중인 모델의 기준선 표를 가지고 계신가요? 없다면 이번 주에 그것부터 만드시길 권합니다.
자주 묻는 질문
Q. HAR 벤치마크는 어떻게 구현하나요?
A. 일·주·월 실현변동성 평균 세 개를 설명변수로 두는 선형회귀라 통계 패키지 기본 함수로 스무 줄 안에 끝납니다. 로그를 씌운 Log-HAR도 한 줄 차이입니다.
Q. Model Confidence Set은 왜 같이 보나요?
A. 단일 평균 손실은 자산 몇 개의 운으로 흔들립니다. MCS는 최상위 모델 집합을 통계적으로 남기는 절차라, 자산별 포함률이 안정성 지표가 됩니다.
Q. 예측 기간을 22일까지 보는 이유는 뭔가요?
A. 22거래일이 대략 한 달입니다. 옵션·리스크 한도처럼 월 단위 의사결정에 쓰는 구간이라, 1일 성능만으로 판단하면 위험합니다.
Q. 이 비교 결과로 매매 전략을 만들어도 되나요?
A. 아니요. 이 연구는 변동성 예측 정확도 비교이지 수익률 검증이 아닙니다. 매매로 넘어가려면 수수료·슬리피지·체결 지연을 포함한 별도 백테스트가 필요합니다.