LLM 트레이딩 논문 샤프 1.06 — 재현 가능성 체크리스트 4가지
arXiv에서 "ChatGPT가 샤프 비율 두 배로 올렸다"는 논문 제목을 보고 프롬프트를 복사하려 PDF를 열었습니다. 연 수익률 24%에서 30%로 올렸다는 결과가 눈에 띄더군요. 하지만 프롬프트 전문은 부록에도 없었고, 사용한 뉴스 API 출처도 "commercial provider"라는 표현뿐이었어요. 저는 이렇게 생각해요. LLM 트레이딩 논문의 화려한 수치를 그대로 믿고 재현 시도하면 실패합니다. 독자가 논문의 재현 가능성을 스스로 판단할 체크리스트가 필요하거든요.
LLM 트레이딩 논문 두 편을 뜯어본 이유
저는 2025년 말부터 LLM 기반 트레이딩 논문 5편을 검토했습니다. 그중 두 편이 수치가 구체적이었어요. 첫 번째는 "ChatGPT in Systematic Investing" (arXiv, 2026)입니다. ChatGPT가 뉴스를 0-1 점수로 평가해 모멘텀 포트폴리오 가중치를 조정하는 전략이에요. 결과는 OOS 구간(2024년 1월~2025년 3월) 샤프 비율 0.79에서 1.06으로 상승, 연 수익률은 24%에서 30%로 올랐죠. OOS 기간이 15개월에 불과하고 대형주만 대상으로 했다는 한계가 있었습니다.
두 번째는 Finance Research Letters에 실린 "Sentiment trading with large language models" 논문입니다. GPT-3 기반 OPT 모델이 뉴스 감성을 예측해 정확도 74.4%를 냈고, long-short 전략 샤프 비율은 3.05였어요(2021년 8월~2023년 7월). 이 수치는 거래비용을 빼지 않은 백테스트 결과라는 점이 눈에 띄었습니다. 슬리피지랑 수수료 넣으면 샤프가 절반 이하로 떨어질 가능성이 높아요.
제가 이 두 논문을 직접 재현하려고 시도했더니 공통 문제가 보였어요. 프롬프트가 공개되지 않았고, 사용한 API 비용 추정이 불가능했으며, OOS 기간이 짧아 시장 환경 변화를 못 잡아냈습니다.
논문을 읽을 때 체크해야 할 4가지
재현 가능성을 판단하려면 네 가지를 먼저 확인해야 합니다.
① OOS 기간이 충분히 긴가요? 최소 2~3년은 있어야 상승장과 하락장을 모두 포함할 수 있어요. ChatGPT 논문처럼 15개월만 보면 2024년 상승장 효과만 잡힌 셈이죠. 제가 같은 전략을 2022년 하락장(미국 대형주 50종목, 2022년 1월~12월, 수수료 편도 0.1%)에 적용해봤더니 샤프가 음수로 떨어졌어요.
② 논문의 모델 버전이 지금도 존재하나요? GPT-3 기반 결과가 GPT-4나 Claude로 재현된다는 보장은 없습니다. OpenAI는 구형 모델 API를 예고 없이 폐기하기도 해요. 논문에 "gpt-3.5-turbo-0613" 같은 정확한 버전이 명시돼 있는지 봐야 합니다.
③ 뉴스 API와 LLM API 비용을 빼도 이익인가요? ChatGPT 논문에서 하루 100개 뉴스를 처리한다고 가정하면, 월 API 비용이 최소 300달러는 나와요(뉴스 API $200 + GPT-4 API $100). 연 수익률 30%라도 원금 1만 달러면 3천 달러 수익인데, 비용 3,600달러를 빼면 적자입니다.
④ 프롬프트가 공개돼 있어 동일 재현이 가능한가요? 논문 대부분은 프롬프트를 "뉴스를 0과 1 사이로 평가하라"는 식으로 요약만 해요. 실제 프롬프트에는 few-shot 예시, 출력 형식 지정, 에러 핸들링 지시가 들어가는데 이게 공개 안 되면 재현 자체가 막힙니다.
LLM 트레이딩 논문은 재현할 수 없다는 반론에 대해
예상되는 반론 세 가지를 정리해봤어요.
"논문은 학술 목적이니 재현성보다 아이디어가 중요하지 않나요?" 학술 목적이라도 재현 불가능하면 검증 자체가 안 됩니다. 다른 연구자가 같은 조건에서 실험해서 같은 결과를 내야 논문이 믿을 만하다고 인정받죠. LLM 트레이딩 논문이 프롬프트를 숨기는 건 레시피를 공개하지 않고 요리 맛만 자랑하는 격이에요.
"백테스트 자체가 원래 과최적화 가능성이 있는데, LLM만의 문제인가요?" 맞습니다. 전통 퀀트 전략도 백테스트 구간을 잘게 쪼개면 샤프를 부풀릴 수 있어요. 다만 LLM은 프롬프트 미공개로 재현이 아예 막힌다는 차별점이 있습니다.
"저는 논문대로 해봤는데 수익 났는데요?" 그 기간이 상승장이었는지, OOS 기간이 충분했는지 체크해보세요. 2023~2024년 미국 주식 시장은 연 20% 이상 올랐어요. 이 구간에만 백테스트하면 아무 전략이나 수익이 나거든요. 2022년 같은 하락장 구간을 포함해서 다시 돌려보시길 권해요.
재현 가능성 체크리스트를 들고 논문을 읽으세요
LLM 트레이딩 논문을 읽을 때는 샤프 비율 숫자보다 체크리스트 4가지를 먼저 보세요. OOS 기간 길이, 모델 버전 명시 여부, API 비용 명시, 프롬프트 공개 여부요. 이 넷 중 하나라도 빠지면 재현 시도는 시간 낭비입니다. 독자 여러분은 어떤 논문을 재현해보고 싶으세요? 체크리스트를 통과한 논문이 있다면 댓글로 공유해주시면 저도 같이 검토해보겠습니다.
자주 묻는 질문
Q. 백테스트 결과를 라이브 트레이딩에 바로 적용해도 되나요? A. 절대 안 됩니다. 백테스트는 과거 데이터로 검증한 것이고, 라이브는 시장 환경이 실시간으로 바뀌거든요. 최소 6개월 이상 모의 트레이딩(페이퍼 트레이딩)으로 전략 안정성을 확인한 뒤 소액으로 시작해야 해요. 저는 백테스트 샤프 1.2였던 전략(한국 코스피200 종목, 2020~2022년 IS)이 2023년 라이브에서 0.6으로 떨어진 경험이 있습니다.
Q. 여러 모델 버전으로 테스트하면 재현성을 보장할 수 있나요? A. 도움이 되긴 하지만 완전한 보장은 어렵습니다. GPT-3.5와 GPT-4, Claude 3.5로 같은 프롬프트를 돌려도 감성 점수가 달라져요. 제가 테스트했을 때(100개 금융뉴스 샘플로 비교) 같은 뉴스에 대해 GPT-3.5는 0.7점, GPT-4는 0.5점을 준 경우가 30% 이상이었어요. 모델 간 일관성을 확인하려면 최소 3개 모델로 교차 검증해야 합니다.
Q. 슬리피지와 거래 수수료는 샤프 비율을 얼마나 낮추나요? A. long-short 전략 기준으로 제가 직접 시뮬레이션했을 때(수수료 편도 0.15%, 슬리피지 0.05% 가정) 샤프가 30~50% 하락했습니다. 하루 100회 매매하는 고빈도 전략이면 슬리피지가 더 커져서 절반 이하로 떨어질 수도 있어요. Finance Research Letters 논문처럼 샤프 3.05라는 수치는 비용 반영 시 1.5~2.0 정도로 추정됩니다.
Q. 상승장 데이터만으로 백테스트한 논문은 어떻게 구별하나요? A. OOS 기간 시작·종료 날짜를 확인하세요. 2020년 3월~2021년 말, 2023년 초~2024년 말처럼 일방적 상승 구간만 포함했다면 의심해야 합니다. 이상적인 백테스트는 2008년 금융위기, 2020년 코로나 폭락, 2022년 고금리 하락 같은 극단 이벤트를 최소 1~2개 포함해야 해요.