I made a community plugin that helps to evaluate content and save time for the user
제가 쓴 블로그 글 하나를 이 확장으로 돌렸더니 "unsupported claims 3건, SEO filler 의심 구간 2곳" 플래그가 떴습니다. 출처 표기를 빼먹은 통계 하나와 키워드가 한 문단에 4번 반복된 구간이 걸렸더군요. AI가 생성한 콘텐츠 범람 시대에 품질 게이트를 브라우저에서 바로 돌리는 확장 프로그램이 커뮤니티에 공유됐습니다. 자가진단 목적이라면 당장 써볼 만하고, 커뮤니티 평가 공유까지 원한다면 오탐 처리 방식을 먼저 확인해야 합니다.
어떤 기준으로 AI 콘텐츠 품질을 평가했나요?
제가 중점적으로 본 건 세 가지였습니다. 첫째는 탐지 정확도 — unsupported claims(근거 없는 주장), SEO filler(키워드 채우기), 모순, 단조 반복을 실제로 잡아내는지. 둘째는 응답 속도 — 페이지 로드 후 평가 결과가 나올 때까지 걸리는 시간. 셋째는 오탐 처리 — 정상 문장을 AI-티로 잘못 판정했을 때 커뮤니티 피드백이 어떻게 반영되는지였어요. 제 블로그 글 15편과 외부 미디어 기사 10편을 돌려봤습니다.
실제로 내 블로그 글을 검사하면 어떤 결과가 나올까요?
첫 번째 글은 AI 도구 비교 리뷰였습니다. 확장을 활성화하고 페이지를 새로고침하니 우측 상단에 작은 패널이 떴어요. 약 8초 후 "평가 완료" 배지와 함께 플래그 5개가 표시됐습니다. unsupported claims 3건 — "사용자 만족도 85%"라는 수치에 출처 링크가 없었고, "대부분의 개발자가 선호한다"는 문장도 근거 부족으로 걸렸죠. SEO filler 의심 2곳 — "AI 도구"라는 키워드가 한 문단에 4번 반복된 구간이었습니다.
두 번째로 돌린 건 제 how-to 글이었어요. 이번엔 플래그가 1개뿐이었습니다. 모순 탐지 — 앞에서 "무료 플랜으로 충분하다"고 했다가 뒤에서 "유료 전환이 필수"라고 쓴 부분을 잡아냈더군요. 실제로 맥락을 보면 조건이 달랐는데, 확장은 문장 간 거리만 보고 판정한 듯했습니다. 이게 이 도구의 핵심 한계예요 — LLM이 전체 맥락을 읽긴 하지만, 긴 글에서는 앞뒤 조건 차이를 놓치는 경우가 있습니다.
외부 기사 중 하나는 "ChatGPT가 생산성을 300% 높인다"는 제목의 SEO 낚시글이었어요. 확장이 unsupported claims 7건, SEO filler 5곳, 단조 반복 3구간을 한 번에 표시했습니다. 같은 문장 구조가 5번 연속 나온 부분도 플래그가 떴죠. 이런 명백한 AI 생성 콘텐츠는 탐지 정확도가 높더군요.
커뮤니티 평가는 어떻게 작동하나요?
확장은 평가 결과를 익명으로 서버에 전송합니다. 같은 URL을 여러 사용자가 검사하면 평균 점수와 플래그 빈도가 쌓이는 구조예요. 제가 제 블로그 글을 검사했을 때 "2명이 평가함, 평균 품질 점수 67/100"이라는 표시가 나왔습니다. 누군가 이미 제 글을 돌려본 거죠. 오탐 신고는 플래그 옆 "이의제기" 버튼으로 가능한데, 3명 이상이 같은 플래그에 이의를 제기하면 해당 항목이 회색으로 바뀌며 "논쟁 중" 표시가 붙습니다.
여기서 문제가 하나 생겼습니다. 제 리뷰 글에서 "체감상 2배 빠르다"는 표현이 unsupported claims로 걸렸는데, 실제로는 제 직접 경험을 쓴 문장이었거든요. 이의제기를 눌렀지만 혼자 신고해선 플래그가 안 사라졌어요. 커뮤니티 합의 방식이라 소수 의견은 묻힐 수 있습니다. 자가진단용으로만 쓴다면 괜찮지만, 공개 점수를 신뢰 지표로 삼기엔 아직 이릅니다.
한국어 콘텐츠는 얼마나 정확하게 평가하나요?
제가 돌린 한국어 블로그 글 15편 중에서 한국어 관용구가 포함된 글 6편이 오탐 플래그를 받았습니다. "~에 있어서", "것으로 보인다" 같은 표현을 AI-티로 잘못 판정한 거예요. 영어로 쓰인 외부 기사 10편에서는 2편 정도만 비슷한 오탐이 나왔고요. 영어 콘텐츠 평가 정확도가 체감상 더 높습니다. 한국어 문법 특성상 관용구와 AI 생성 패턴을 구분하기 어려운 듯해요.
이 확장을 실제로 쓸 만한 상황은 언제인가요?
저는 제 블로그 글 발행 전 최종 점검 단계에서 이 확장을 돌립니다. 특히 통계 인용이 많은 리뷰나 비교글은 출처 누락을 잡아내는 데 유용했어요. 한 번은 "사용자 75%가 만족"이라는 수치를 근거 없이 썼다가 확장이 플래그를 띄워서 출처를 다시 찾아 넣은 적도 있습니다. SEO filler 탐지는 키워드 과다 반복을 스스로 체크하기 어려울 때 보조 역할을 해요.
반대로 이 확장에 의존하기 시작하면 위험합니다. 모순 탐지가 맥락을 완전히 이해하지 못하니, 정상 문장이 오탐으로 걸렸을 때 괜히 문장을 고쳤다가 의미가 흐려진 경험이 있거든요. 커뮤니티 평가 점수는 더 조심해야 합니다. 논쟁 중인 플래그를 해소할 방법이 명확하지 않아요. 공개 점수를 SEO 신호로 쓸 계획이라면 지금은 시기상조입니다.
제가 두 달 쓰면서 정한 기준은 이렇습니다. 내 글의 출처 누락·키워드 과다를 자가 점검하려면 지금 당장 써보세요. 응답 속도도 10초 안이라 부담 없습니다. 하지만 커뮤니티 평가 점수를 신뢰 지표로 삼거나, 오탐 플래그를 무조건 따라 수정하는 건 피하세요. LLM이 맥락을 놓치는 지점이 분명히 있으니까요.
자주 묻는 질문
Q. 평가 결과가 검색엔진에 노출되나요? A. 현재는 확장 사용자끼리만 공유되는 데이터입니다. 구글이나 네이버 검색 순위에 직접 영향을 주진 않지만, 향후 공개 API로 전환될 가능성은 있습니다.
Q. 이 확장의 기술 스펙을 알 수 있나요? A. 공개된 기술 문서나 요금 정책은 확인할 수 없었습니다. 제가 사용한 시점 기준 기본 기능은 무료였지만, 사용 제한이나 유료 플랜 존재 여부는 명시되지 않았어요.
Q. 오탐 플래그를 어떻게 처리해야 하나요? A. 이의제기 버튼으로 신고하되, 3명 이상 동의가 필요합니다. 혼자 운영하는 블로그라면 오탐을 즉시 해소하기 어려우니, 플래그를 참고만 하고 최종 판단은 직접 내리는 게 안전합니다.
Q. 어떤 종류의 콘텐츠에 가장 유용한가요? A. 통계 인용이 많은 리뷰나 비교 글에서 출처 누락을 잡아내는 데 효과적입니다.