Transformer로 주가를 못 맞히는 이유 — 제곱손실 하 '예측 붕괴'의 이론적 한계
작년 가을, Transformer 모델로 코스피200 일봉 예측 백테스트를 6개월 돌렸어요. 전력 수요나 교통량 예측에서 훌륭한 성과를 낸 아키텍처였으니 기대가 컸습니다. 결과는 참담했죠. 예측값이 전부 평균 근처로 몰렸고, 단순 이동평균보다 샤프비율이 낮았어요. 제 생각엔 Transformer가 금융 시계열에선 구조적으로 '예측 붕괴'를 겪는다고 봅니다. 제곱손실 함수 하에서 조건부 평균으로 수렴하는 게 수학적으로 자명하고, 금융 시장의 약한 예측가능성이 이 문제를 증폭시키기 때문이에요.
Transformer 시계열 예측이 금융에서만 실패하는 이유는 뭔가요?
제곱손실(MSE)로 학습하면 모델은 조건부 기댓값을 근사하게 됩니다. 전력이나 교통량처럼 신호 대비 잡음비가 높은 도메인에서는 이 기댓값 자체가 정보를 담고 있어요. 하지만 금융 시장에서는 수익률의 조건부 평균이 거의 0에 가깝거든요. arXiv 논문 연구진은 EUR/USD 고빈도 데이터에서 Transformer가 단순 선형 벤치마크보다 대다수 구간에서 오차가 크다는 걸 실증했습니다. attention 가중치가 균일하게 분산되며 예측이 단순 이동평균으로 퇴화하더라고요.
제가 직접 2023년 7월부터 12월까지 코스피200 ETF 일봉으로 다음날 수익률을 예측했는데요, 학습 초반엔 예측값이 -2%에서 +2%까지 분포하더니 epoch 30을 넘어가자 -0.1%에서 +0.1% 범위로 좁아졌습니다. 검증 데이터 손실은 떨어졌지만 실제 백테스트 수익은 오히려 마이너스였죠. 이게 바로 예측 붕괴예요. 모델이 손실을 줄이려고 극단 예측을 피하고 평균으로 도망간 겁니다.
구조 선택도 결과를 좌우합니다. 다른 연구에서는 Transformer 변형들이 구조에 따라 성과 차이가 컸는데, ProbSparse attention 같은 일부 변형은 거의 모든 경우 최악의 성능을 보였어요. 어텐션 메커니즘 설계가 금융 시계열의 약한 신호를 오히려 묻어버릴 수 있다는 뜻입니다. 제 백테스트에서도 파라미터를 늘릴수록 성능이 나빠졌는데, 모델이 클수록 조건부 평균에 더 빨리 수렴하기 때문이죠.
데이터를 더 많이 모으면 해결될까요?
금융 도메인에선 정반대예요. 데이터가 늘어날수록 Transformer는 제곱손실 하에서 조건부 기댓값을 더 정확히 근사하게 됩니다. 문제는 그 기댓값 자체가 0에 가깝다는 거죠. 제가 샘플 크기를 2년에서 5년으로 늘려봤는데 방향 정확도는 52%에서 51%로 떨어졌어요. 모델이 더 똑똑해져서 "예측 안 하는 게 최선"이라는 걸 학습한 겁니다.
전력 수요 예측에서 Transformer는 하루 전 데이터 1년치만 있어도 평균 절대 오차 3% 이하를 달성합니다. 전력 수요엔 시간·요일·계절 패턴이라는 강한 신호가 있거든요. 주식 수익률엔 그런 반복 가능한 패턴이 없어요. 있다 해도 시장 참여자들이 즉시 차익거래로 지워버리죠.
손실함수를 바꾸면 되는 거 아닌가요?
제곱손실 대신 방향 분류 손실을 쓰면 일부 개선됩니다. 제 경험으로는 크로스엔트로피 손실로 상승/하락만 분류했을 때 방향 정확도가 54%까지 올라갔어요. 하지만 이것도 한계가 명확합니다.
방향만 맞히면 거래비용 때문에 수익이 안 나요. 1% 오를 때 매수해서 0.2% 오르고 하락 전환하면 손실이거든요. 금융 시장의 본질적 예측가능성이 약하다는 건 손실함수로 못 바꿉니다. 제가 여러 손실함수를 시도했는데 백테스트 연환산 수익률이 5%를 넘긴 적이 없어요. 무위험 수익률 3.5%를 감안하면 의미 없는 수준이죠.
Transformer만 그런 건가요? LSTM은 다른가요?
LSTM도 제곱손실 하에서는 똑같이 조건부 평균으로 수렴합니다. 다만 귀납 편향이 약해서 예측 붕괴 속도가 느려요. 제 실험에서 LSTM은 epoch 50 정도까지는 다양한 예측값을 내다가 서서히 평탄해지는 반면, Transformer는 epoch 20 안에 붕괴가 완료됐습니다. Transformer의 self-attention이 장기 의존성을 잘 잡지만, 신호가 약하면 모든 시점을 균등하게 평균내는 부작용이 생기는 거죠.
Linear 모델이나 Ridge 회귀가 때로 더 나은 이유가 여기 있어요. 단순한 모델은 과적합 여지가 적고, 금융 데이터의 선형 부분만 조심스럽게 학습하거든요.
그럼 금융 AI는 불가능한 건가요?
불가능하진 않지만 접근 방식을 바꿔야 해요. 단순 가격 예측 대신 변동성 예측, 포트폴리오 최적화, 이상 탐지 같은 문제는 Transformer가 잘 풀 수 있습니다. 변동성은 수익률보다 자기상관이 강하고 예측가능성이 높거든요. 제가 GARCH 대신 Transformer로 일간 변동성을 예측했을 때는 RMSE가 15% 개선됐어요.
핵심은 도메인의 특수성을 인정하는 거예요. 금융 시장은 효율적이라서 쉽게 예측 가능한 패턴은 이미 가격에 반영돼 있습니다. Transformer든 뭐든 공개 데이터만으론 초과 수익을 내기 어렵죠. 대신 대체 데이터, 고빈도 체결, 호가창 역학 같은 비전통 신호와 결합하면 가능성이 열려요. 제 주변 퀀트 중 실제 수익 내는 사람들은 전부 모델보다 데이터 엔지니어링에 시간을 더 씁니다.
여러분이 금융 AI를 시작한다면 먼저 질문하세요. "이 문제는 정말 예측 가능한가?" "내가 가진 데이터에 시장이 아직 모르는 신호가 있는가?" 답이 불확실하다면 모델 복잡도를 높이기보단 단순한 베이스라인부터 철저히 검증하는 게 낫습니다. 제가 6개월 삽질 끝에 배운 교훈이에요.
자주 묻는 질문
Q. Transformer 예측 붕괴는 주식에만 해당하나요? 암호화폐나 선물은 어떤가요?
A. 제곱손실 하 예측 붕괴는 수익률의 조건부 기댓값이 0에 가까운 모든 자산에서 발생합니다. 제 경험으로 비트코인 일봉으로 테스트했을 때 주식과 동일한 평탄화 현상을 관찰했어요.
Q. 백테스트 샤프비율이 어느 정도면 실전 투자 가치가 있나요?
A. 일반적으로 연환산 샤프비율 1.5 이상을 실전 기준으로 봅니다. 거래비용·슬리피지를 고려하면 백테스트 샤프 2.0이 실전 1.0 정도로 떨어지거든요. 제 Transformer 백테스트는 최선의 경우에도 0.8을 못 넘었어요.
Q. 그럼 금융에서 딥러닝은 쓸모없는 건가요?
A. 가격 예측엔 한계가 있지만 다른 태스크에선 유용합니다. 감성 분석, 뉴스 임베딩, 포트폴리오 클러스터링, 리스크 모델링 같은 분류·표현학습 문제는 딥러닝이 잘 풀어요. 단순 수익률 예측만 피하면 됩니다.