LLM 강화학습 퀀트 논문 샤프비율 72% 주장, 검증되는 것과 아닌 것

타임라인을 넘기다 카드 한 장에서 손이 멈췄어요. LLM이 강화학습 트레이딩 에이전트에 전략을 얹으니 샤프비율이 72퍼센트 뛰었다는 문구였습니다. 원문 초록을 열었더니 그 숫자가 없더라고요. 논문을 깎아내리려는 게 아닙니다. 퀀트 글에서 숫자가 출처를 잃고 떠돌면, 그걸 믿고 백테스트를 짜는 사람이 몇 주를 버립니다.

논문 초록과 요약 카드는 어디서 갈라지나요?

원문은 몰타 대학교의 두 저자가 쓴 arXiv 2508.02366 입니다. 2025년 8월 4일 공개 후 10월 25일까지 두 번 고쳐졌어요. 부록과 참고문헌 4쪽을 포함해 12쪽, 그림은 6개, FLLM 2025 발표 채택 표기가 붙어 있습니다.

초록이 말하는 건 이렇습니다. LLM이 고수준 트레이딩 전략을 만들어 RL 에이전트를 가이드하고, 그 에이전트를 가이드 없는 RL 베이스라인과 샤프비율·최대낙폭으로 비교했다는 겁니다. 결과 문장은 "수익 지표와 위험 지표가 모두 나아졌다"는 정성 서술로 끝나요. 숫자는 한 개도 없습니다.

초록에 수치를 안 적는 건 흠이 아니라 관행이죠. 문제는 옮기는 쪽입니다. 샤프비율 같은 지표에 두 자리 퍼센트가 붙는 순간, 독자는 검증할 수 없는 것을 검증된 것으로 읽어요.

LLM 신호를 스칼라 하나로 뭉개면 무엇이 사라지나요?

설계 핵심은 기여 항목에 그대로 적혀 있어요. LLM은 불확실성으로 가중된 스칼라 값 하나를 RL 관측공간 끝에 덧붙일 뿐, RL 알고리즘 자체는 손대지 않습니다.

통제 실험으로는 깔끔한 선택이죠. 성능 차이의 원인을 알고리즘 교체가 아니라 입력 한 칸으로 좁히니까요. 다만 "금리 인상 국면이라 모멘텀 전략의 유효기간이 짧다" 같은 판단이 숫자 하나로 압축되면 조건과 이유가 날아갑니다.

논문 서론은 RL의 채택을 막는 요인으로 근시안적 행동과 불투명한 정책을 듭니다. 관측 벡터에 칸 하나가 늘어난 DDQN은 여전히 불투명해요. 설명 가능성을 기대하고 복제하면 어긋납니다.

프롬프트 한 줄이 바뀌면 같은 결과가 나올까요?

논문은 트레이딩에 LLM을 쓸 때의 약점을 네 가지로 정리해 둡니다. 고정된 지식 컷오프, 실시간 환경 변화에 적응하지 못하는 성질, 프롬프트 설계에 대한 취약성, 그럴듯하지만 유효하지 않은 출력.

여기에 저자들이 인용한 프롬프트 서베이가 겹칩니다. 문구의 사소한 차이가 모델 행동을 체계적으로 바꾼다는 정리예요. 재현 조건이 하나 더 생기는 셈입니다. 코드와 데이터가 같아도 프롬프트 문자열이 다르면 스칼라가 달라지고, 강화학습 정책도 따라 달라져요.

저는 작년에 뉴스 감성 점수를 피처로 넣은 백테스트를 두 번 돌렸습니다. 프롬프트에서 "간결하게" 한 단어를 빼고 다시 돌렸더니, 같은 기간 같은 종목군인데 점수 분포가 눈에 띄게 옮겨갔어요. 그때 프롬프트도 하이퍼파라미터라고 노트에 적었습니다.

그래도 이 논문이 잘한 부분

깎을 것만 있는 글은 아니에요. 저자들은 비교 대상을 직접 만들지 않고 기존 TDQN 벤치마크를 가져왔습니다. DDQN으로 과대추정 편향을 줄이고 행동을 이산화하며 자본 제약을 거는 환경이죠.

그리고 자산 유니버스와 데이터 전처리, 평가지표까지 원 설정을 복제했고 재현 결과가 원 논문과 비슷했다고 밝힙니다. 불일치도 감추지 않고 적었고요. LLM이 만든 전략을 RL에 붙이기 전에 과거 데이터 백테스트와 전문가 검토로 먼저 걸렀다는 점도 성의 있습니다.

트레이딩 논문에서 베이스라인을 자기 손으로 약하게 만든 사례를 여러 번 봤어요. 이 논문은 그 함정을 피했습니다.

예상 반론 세 가지

"초록에 숫자가 없는 건 당연하고 본문에 다 있잖아요." 맞는 지적입니다. 그런데 유통되는 카드는 본문을 보여 주지 않고, 제가 확인한 초록과 서론, 방법론 앞부분에는 대상 종목 수와 검증 기간, 수수료·슬리피지 반영 여부가 없어요. 그 조건 없이 샤프 개선폭을 목표로 삼으면 소문을 쫓는 셈이죠.

"LLM과 강화학습을 붙이는 방향 자체는 옳지 않나요." 동의합니다. 다만 방향이 옳다는 것과 이 설계가 개인 계좌로 옮겨진다는 건 다릅니다. 논문의 목표는 기존 RL 구조를 그대로 두고 개선이 관측되는지였고, 수익 재현을 약속하진 않았어요.

"저는 비슷하게 짜서 잘 나왔는데요." 그 결과가 시드 하나, 기간 하나에서 나왔다면 우연과 구분되지 않습니다. 샤프비율은 표본 기간에 민감한 지표라, 구간을 옮기고 시드를 여러 개 돌려 분포를 봐야 해요.

복제하기 전에 확인할 네 가지

• 대상 자산 수와 검증 구간: 종목 수와 표본 외 기간
• 비용 가정: 수수료와 슬리피지를 몇 bp로 넣었는지
• 반복 횟수: 시드 개수와 샤프비율 분산
• 프롬프트 원문: 스칼라를 만든 문자열이 실려 있는지

네 칸이 다 채워지지 않으면 그 결과는 참고 자료지 목표치가 아닙니다. 저는 백테스트 노트에 "조건 없는 숫자는 기록하지 않는다"를 한 줄 더 넣었어요. 논문 요약이 초 단위로 재생산되는 지금, 조건을 지우는 건 요약이 아니라 왜곡이니까요.

자주 묻는 질문

Q. 샤프비율이 개선됐다는 결과만으로 실전 성과를 기대해도 되나요? A. 아니요. 이 논문의 평가는 과거 데이터 위의 백테스트이고, 초록은 수익 재현이 아니라 지표 개선을 보고합니다. 실전에서는 체결 지연과 시장 충격이 추가로 붙어요.

Q. LLM 스칼라를 관측공간에 넣는 방식 말고 다른 선택지도 있나요? A. 논문이 인용한 선행 연구에는 계층적 강화학습이나 순환 구조로 장기 의존성을 보완하자는 제안, 메모리와 검색 증강으로 판단을 쌓는 프레임워크가 있습니다.

Q. 알고리즘 트레이딩 비중은 어느 정도인가요? A. 논문 서론은 미국 주식 거래량의 60퍼센트 이상을 알고리즘 트레이딩이 차지한다고 인용합니다. 고빈도 매매가 그 중심이라고 덧붙여요.