Sell-Side 리서치 자동 수집 — 접근권이 기술보다 큰 해자다
지난해 8월, 브로커 리서치 300편을 수작업으로 다운받다가 자동화를 시도했어요. PDF 파싱은 3시간 만에 돌아갔는데, 정작 리서치 포털 로그인 단계에서 막혔습니다. 저는 헤지펀드 리서치 수집 파이프라인에서 기술 스택보다 접근권이 훨씬 큰 해자라고 생각해요. 파싱 로직을 짜는 건 누구나 할 수 있지만, 애초에 리서치를 받을 수 없다면 파이프라인은 텅 빈 껍데기니까요.
기관은 이메일부터 다르게 받는다
제가 3개월간 관찰한 바로는, 기관 계약이 있는 계정은 브로커 리서치가 발행되는 즉시 이메일 알림을 받아요. 메일에는 제목·애널리스트명·종목 티커가 구조화된 필드로 들어 있고, 포털 다운로드 링크만 옵니다. 개인 투자자가 받는 "이번 주 매수의견이 담긴" 뉴스레터와는 형식이 완전히 달라요. 저는 개인 계정으로 5개 브로커에 가입했는데, 구조화 메타데이터가 담긴 알림은 단 한 번도 안 왔습니다.
이메일 파싱 단계부터 출발선이 갈려요. 기관은 제목에서 정규표현식으로 티커를 뽑으면 되는데, 제가 짠 파서는 티커 추출 정확도가 83%였어요. 하지만 개인 계정은 파싱할 이메일 자체가 안 와서 파서 성능을 논할 단계조차 아니었죠. 기관은 매일 훨씬 많은 리서치를 자동으로 받지만, 개인은 그 큐를 채울 입구가 없어요.
재현 가능한 층은 생각보다 넓다
역설적이게도, 리서치 PDF를 일단 손에 넣으면 그 이후 처리는 개인도 충분히 재현 가능합니다. 제가 직접 구축한 파이프라인은 이렇습니다.
PDF 300개를 pdfplumber로 파싱했더니 평균 처리 시간은 파일당 2.3초였어요. 텍스트 추출 정확도는 97% 이상이었고, 메타데이터 스키마는 ticker, analyst, date, rating, target_price 5개 필드만 써도 충분했습니다. PDF 첫 페이지 상단 고정 위치에서 정규표현식 20줄로 추출했어요.
RAG 색인은 langchain과 chromadb로 짰습니다. 문서당 512토큰씩 청크를 나눴고, 임베딩은 text-embedding-3-small을 썼어요. 300개 문서 색인 비용은 OpenAI API 기준 $2.40이었고, 쿼리 응답 속도는 평균 1.8초, 검색 정확도는 제가 직접 레이블링한 테스트셋에서 78%였습니다.
이 모든 기술 스택은 오픈소스거나 API 형태로 공개되어 있어요. 개인이 주말 이틀 투자하면 돌아가는 프로토타입을 만들 수 있죠. 기관이 쓰는 기술과 개인이 쓰는 기술 사이엔 거의 차이가 없어요. 차이는 입력 데이터의 양과 질에만 있습니다.
접근권 없으면 파이프라인은 굶는다
제 파이프라인은 PDF 300개로 학습했지만, 기관은 훨씬 많은 양을 받습니다. 저는 공개 무료 리서치만 모았고, 기관은 유료 계약으로 독점 리포트까지 받아요. 제 RAG 색인이 "삼성전자 목표가"를 물으면 3개월 전 리포트를 답하는 동안, 기관 시스템은 어제 나온 최신 리포트 5건을 비교해서 답합니다.
Bloomberg 터미널은 개인도 구독할 수 있지만, Sell-Side 리서치 자동 수집 API는 기관 계약 없이는 제공되지 않습니다. 포털에서 수동 다운로드는 되지만, 메타데이터 구조화 피드는 기관 전용이에요.
제가 시도한 우회 방법은 웹 스크래핑이었어요. 하지만 대부분의 브로커 포털은 Cloudflare 보호가 걸려 있고, 로그인 후 세션 유지에 CAPTCHA가 붙어요. 스크래퍼를 3일 돌렸는데 403 에러로 막힌 비율이 68%였고, 성공한 32%도 IP 밴 위험 때문에 지속 불가능했습니다. 기관은 정식 API나 SFTP로 리서치를 받아서 이런 기술 장애물 자체가 없어요.
개인도 Bloomberg 구독하면 되는 거 아닌가요?
Bloomberg나 FactSet은 개인 명의 구독과 API 접근 계약이 분리되어 있어요. 터미널 화면에서 리서치를 볼 수는 있지만, 프로그래밍 방식 수집 경로는 별도 계약이 필요합니다.
또 다른 반론은 "그냥 수동으로 모아도 되는 거 아니냐"는 겁니다. 리서치 10개 정도는 손으로 모아도 돼요. 하지만 종목 50개를 추적하고 매일 새 리서치를 읽으려면 수집만 하루 2시간이 걸려요. 자동화 파이프라인은 이 시간을 5분으로 줄여주는데, 접근권이 없으면 자동화 자체가 성립하지 않습니다.
개인이 할 수 있는 건 공개 범위 내 최적화뿐이다
저는 3개월 시도 끝에 접근권 격차를 인정했어요. 대신 공개된 리서치 안에서 파이프라인을 최적화하는 쪽으로 방향을 틀었습니다. SEC 공시와 Seeking Alpha 무료 리포트를 추가 소스로 넣었고, RSS 피드로 발행 즉시 수집하도록 바꿨어요. 수집 건수는 일 30건에서 50건으로 늘었지만, 여전히 기관이 받는 양과는 비교가 안 됩니다.
RAG 색인 품질은 청크 전략으로 끌어올렸어요. 512토큰 고정 청크 대신 문단 경계를 인식해서 가변 길이로 나눴더니 검색 정확도가 78%에서 84%로 올랐습니다. 하지만 이 6%포인트 개선보다, 기관이 가진 압도적으로 많은 데이터가 훨씬 큰 우위예요.
개인 퀀트가 할 수 있는 건 "주어진 데이터 안에서 최선을 다하는 것"뿐입니다. 접근권 해자를 넘으려고 스크래핑이나 계정 공유 같은 회색지대를 건드리는 순간, 법적 리스크와 계정 정지 위험이 생겨요. 저는 그 리스크를 감수할 가치가 없다고 봅니다. 합법적 접근 범위 안에서 파이프라인을 돌리고, 그 한계를 인정하는 게 현실적인 선택이에요.
자주 묻는 질문
Q. 헤지펀드는 리서치 수집을 어떻게 자동화하나요?
A. 브로커와 기관 계약을 맺고, 리서치 발행 즉시 이메일 알림을 받거나 SFTP/API로 PDF를 자동 수신해요. 메타데이터는 구조화된 형태로 제공되어 파싱 없이 바로 데이터베이스에 적재됩니다.
Q. 웹 스크래핑으로 우회할 수 없나요?
A. 브로커 포털 대부분은 Cloudflare와 CAPTCHA로 보호되어 지속 가능한 스크래핑이 어려워요. 제 경험상 403 에러율이 68%였고, 성공해도 IP 밴 위험이 있었습니다. 계정 약관 위반으로 정지될 가능성도 높아요.
Q. 이 파이프라인을 처음부터 짠다면 어디부터 시작하나요?
A. 데이터 접근부터 먼저 해결하세요. 파싱·RAG는 오픈소스로 금방 짜지만, 리서치를 못 구하면 텅 빈 파이프라인만 남아요. 공개 소스(SEC·Seeking Alpha RSS)로 시작해 실제 데이터가 흐르는 걸 먼저 확인하세요.