프롬프트 없이 돌아가는 팩터 투자 에이전트 — 자율성이 과적합을 막는 구조
"밸류 팩터 아이디어 좀 내줘." 매일 아침 LLM에 프롬프트를 던지고 나온 시그널을 백테스트하는 방식은 사람이 선택한 편향을 AI로 포장하는 것뿐입니다. 2026년 3월 발표된 논문 하나가 이 구조를 뒤집었어요. 에이전트가 스스로 해석 가능한 시그널을 만들고, 경제적 논리가 있는지 판단한 뒤, OOS 검증까지 자동으로 통과시킵니다. 제가 주목한 건 성과 수치(연 샤프비율 3.11, 수익률 59.53% — 연구 환경 기준, 재현 검증 필요)보다 이 자율성이 과적합을 구조적으로 막는 설계였어요.
기존 LLM 팩터 투자가 놓친 것 — 프롬프트 의존성
문제는 무엇을 물어볼지를 사람이 정한다는 겁니다. 밸류냐 모멘텀이냐, PER 쓸지 PBR 쓸지, 이 선택 자체가 특정 시장 국면에서만 통하는 편향일 수 있어요.
저는 작년에 GPT-4로 재무비율 조합 팩터를 100개 만들어봤는데, 백테스트 샤프 2.0 넘는 것도 있었지만 6개월 뒤 실전에선 전부 마이너스였습니다. "성장주 중심으로" 같은 힌트가 2023년 금리인상기 편향을 학습시킨 거였어요.
이 논문의 프레임워크는 사람 프롬프트를 받지 않습니다. 에이전트가 시장 데이터만 보고 스스로 "이 변수 조합이 의미 있을까?"를 묻고, 경제적으로 말이 되는지 판단하고, OOS에서 재현되는지 확인해요. 폐쇄 루프 구조라 매 단계 사람 개입 없이 돌아갑니다.
자율성의 핵심 — 내생적 시그널 발견과 3단계 필터
첫 번째는 내생적 시그널 형성입니다. 에이전트가 가격·거래량·재무제표 같은 원시 데이터를 받아서 "PER의 역수를 12개월 이동평균으로 나눈 값"처럼 해석 가능한 수식을 스스로 만듭니다. 블랙박스 신경망이 아니라 단순 선형결합 형태라 나중에 왜 수익이 났는지 설명할 수 있어요.
두 번째는 경제적 논리 요구사항입니다. 시그널이 만들어지면 에이전트가 "이게 왜 돈을 벌어야 하는가?"를 스스로 설명해야 해요. 예를 들어 "저PER 기업이 고PER보다 수익률이 높다"는 시그널이면 "시장이 저평가를 교정하는 과정에서 초과수익이 발생한다"는 식의 논리가 붙어야 합니다. 백테스트 샤프가 아무리 높아도 논리가 없으면 탈락이에요.
세 번째가 OOS 검증입니다. 시그널이 학습 기간 밖 데이터에서도 작동하는지 자동으로 확인해요. 이 논문이 보고한 미국 주식시장 결과도 OOS 기준이라고 명시되어 있습니다.
이 세 단계가 사람 개입 없이 순환합니다. 시그널 100개를 만들면 그중 99개는 경제 논리나 OOS에서 걸러지고, 1개만 살아남아요.
설계가 놓친 지점 — 시장 변동성과 재현 조건
자율성이 주는 이점이 분명하지만, 검증되지 않은 부분도 있습니다. 가장 큰 건 시장 국면 전환에 대한 적응력이에요. 논문이 보고한 연 샤프 3.11은 특정 기간 미국 주식시장 결과인데, 금리 사이클이 바뀌거나 유동성 위기가 오면 같은 시그널이 작동할지 모릅니다. 2020~2022년 성장주 급등락 같은 극단 구간이 OOS에 포함되어 있었는지가 핵심이에요.
두 번째 의문은 트랜잭션 비용입니다. 롱숏 포트폴리오를 얼마나 자주 리밸런싱하는지 명시가 없어요. 일간 리밸이면 슬리피지와 수수료가 연 10~20%는 먹을 텐데, 그걸 반영한 샤프인지 궁금합니다.
세 번째는 재현 가능성입니다. 이 시스템을 직접 구현하려면 어느 LLM을 썼는지, 프롬프트 체인을 어떻게 구성했는지, 경제 논리 판단을 누가 하는지 같은 세부사항이 필요한데 arXiv 초록만으론 알 수 없어요. 저라면 오픈소스 구현체가 나오기 전까진 "보고된 성과"와 "내가 재현할 수 있는 성과" 사이에 큰 차이가 있다고 가정합니다.
이 설계를 어디에 쓸 것인가 — 편향 제거가 목표라면
그럼에도 이 접근이 가치 있는 건 사람의 확증편향을 구조적으로 배제한다는 점입니다. 제가 쓸 만하다고 본 상황은 둘이에요.
하나는 신규 시장 진입입니다. 한국이나 대만처럼 익숙하지 않은 시장에서 팩터를 찾을 때, 사람이 선입견을 넣으면 십중팔구 틀립니다. 에이전트가 데이터만 보고 판단하면 "오히려 유동성 팩터가 강하네"처럼 반직관적 시그널을 발견할 수 있어요.
다른 하나는 백테스트 과적합 검증용입니다. 퀀트 펀드에서 애널리스트가 만든 팩터를 이 시스템에 한 번 돌려보는 거예요. 경제 논리 단계에서 "설명 불가"가 나오거나 OOS에서 샤프가 0.5 아래로 떨어지면, 그건 사람이 데이터를 오버피팅했다는 신호입니다.
반대로 이걸 단독으로 실전 투자에 쓰기엔 아직 이릅니다. 시장 급변 대응 로직도 없고, 재현 조건도 불명확하고, 무엇보다 "연구 환경에서 보고된 수치"와 "브로커 계좌에서 실현되는 수익" 사이엔 항상 갭이 있거든요. 저라면 소액 종잣돈으로 6개월 이상 실전 추적한 뒤 판단합니다.
자율성이 답은 아니지만, 방향은 맞다
프롬프트를 없앤 건 기술적 진보가 아니라 설계 철학의 전환입니다. 사람이 아이디어를 던지면 AI가 실행하는 구조에서, AI가 아이디어를 만들고 사람이 검증하는 구조로 바뀐 거예요.
다만 "자율적"이라는 단어가 주는 환상은 경계해야 해요. 이 시스템도 결국 누군가 정한 OOS 기간, 경제 논리 기준, 허용 가능한 시그널 형태 안에서만 작동합니다.
저는 이 논문을 읽고 바로 구현하진 않을 겁니다. 대신 제 백테스트 파이프라인에 "경제 논리 설명 강제" 단계를 하나 추가했어요. 샤프가 높아도 "왜?"에 답 못 하면 버리는 룰이요. 그것만으로도 지난 두 달간 과적합 후보 7개를 걸러냈습니다. 자율 에이전트를 통째로 들이는 것보다, 그 설계 원칙 일부를 사람 워크플로우에 이식하는 게 지금은 더 현실적이에요.