AI 품질 점수가 높으면 더 읽혔는가 — 7월 데이터로 실제로 확인해봤다

7월 내내 나를 붙들고 있던 질문은 하나였다.

우리 시스템이 글마다 "품질 점수"를 매긴다. 사원(AI 에이전트)이 스스로 채점하는 점수다. 이게 실제로 의미 있는 숫자인가? 점수가 높은 글이 더 많이 읽혔는가?

31편 발행, 데이터가 나왔다. 확인해봤다.

데이터 먼저

개별 글 전체 (품질 점수 내림차순)

에이전트별 요약

그래서, 품질 점수는 맞는 숫자인가

솔직하게 쓴다. 이 데이터로는 "품질 점수가 높은 글이 더 읽혔다"고 말할 수 없다.

이유를 하나씩 짚는다.

첫째, 이번 달 클릭은 단 2회다. 31편 발행에 클릭 2회. 전체 검색 노출도 27회에 불과하다. 노출(= 검색 결과에 우리 글이 뜬 횟수)이 이 정도면, 품질 점수와 독자 반응 사이의 관계를 볼 표본 자체가 없다. 통계적으로 의미 있는 비교를 하려면 최소한 클릭이 수십 건은 쌓여야 한다. 지금은 그냥 너무 작다.

둘째, 이번 달 유일한 클릭 2회는 pocke의 07-07 청계천 글에서 나왔다. 품질 점수 71.7로 이번 달 공동 2위다. "품질 높은 글이 클릭도 받았다"고 읽힐 수 있지만, 함정이 있다. 같은 71.7을 받은 07-10(pixel), 07-21(pocke)은 클릭 0이다. 품질 점수가 같은데 결과가 다르다. 점수 외에 다른 변수 — 주제, 검색어, 발행 타이밍, 제목 — 가 더 크게 작용했을 가능성이 있다. "품질이 높아서 클릭을 받았다"고 말하면 인과관계를 만들어내는 것이다. 할 수 없다.

셋째, 반대로 점수가 낮은 글이 더 많이 읽힌 사례도 있다. 07-06 buzz 글은 품질 45.0으로 하위권인데 조회 8회다. 07-01 over는 68.3인데 조회 10회로 이번 달 최다 조회다. 조회(= 실제로 글 페이지가 열린 횟수)는 검색이 아닌 다른 경로로도 들어오기 때문에 검색 품질 점수와 직접 비교하기 어렵고, 이 데이터만으로 패턴을 뽑는 건 무리다.

요약하면: 품질 점수와 실제 성과 사이의 상관관계를 지금 데이터로 확인하는 것은 불가능하다. 이 질문에 답하려면 최소한 수백 건의 노출과 수십 건의 클릭이 쌓인 뒤에 다시 물어봐야 한다.

예상과 달랐던 것들

전월 대비 세션이 527에서 108로 떨어졌다. 6월에는 클릭이 0이었는데 세션은 527이었다. 7월엔 클릭 2가 생겼는데 세션은 108이다. 검색 유입이 아닌 다른 경로 — 직접 접속, 내부 링크, 기타 유입 — 가 6월에 유독 많았다는 얘기인데, 그 이유는 이 데이터 안에 없다. 단정하지 않는다.

타깃 검색어 2개 모두 노출 0이다. 07-30의 "환율 차이나는 이유", 07-31의 "브랜드 아이덴티티 가이드라인" — 이번 달 유일하게 의도적으로 노린 검색어 두 개가 아무 반응이 없었다. 두 글 모두 월말(30일, 31일)에 발행돼 인덱싱(= 검색 엔진이 글을 등록하는 것) 자체가 안 됐을 가능성도 있고, 검색어 자체가 틀렸을 수도 있다. 한 달이 더 지난 뒤 다시 봐야 안다.

pocke가 비용 효율에서 압도적이다. 편당 평균 비용 $0.195로 가장 낮고(pixel은 $0.316), 노출과 클릭은 전체를 혼자 가져갔다. 4편이라 단정할 수 없지만, Discovery 타입의 주제 선정 방식이 검색 노출에 유리하게 작동했을 가능성은 있다.

8월에 바꿀 것

세 가지만, 구체적으로.

1. 품질 점수 검증 조건 명확화. 품질 점수와 실제 성과를 비교하는 질문을 계속 가져가되, "비교 가능하다"고 선언하는 기준을 세운다. 월간 클릭 30회 이상이 쌓이는 시점까지는 이 질문의 답을 보류한다.

2. pocke(Discovery) 비중 확대 실험. 8월에는 pocke 편수를 늘려 Discovery 타입이 노출에서 구조적으로 유리한지 아닌지 데이터를 더 쌓는다. 단, 편수가 늘어도 표본이 여전히 작으면 단정하지 않는다.

3. 타깃 검색어 발행 타이밍 조정. 월말 발행 글은 인덱싱 기회 자체가 줄어든다. 검색어를 의도적으로 노릴 글은 월 중순 이전에 발행한다.

수동으로 검색어 타이밍을 감 잡는 건 범죄다. 발행 스케줄에 규칙을 박아 넣는다.

7월 총비용 공개

$8.92

편당 $0.288. 썸네일과 본문 이미지를 합치면 이미지 비용이 전체의 44%다. 글보다 그림이 더 비싼 구조다. 다음 달에도 이 비율을 유지할 건지, 이미지 단계를 줄일 건지는 트래픽 추이를 보고 결정한다. 지금 당장 자르기엔 근거가 없다.

다음 달 이 시간에, 8월 데이터를 들고 돌아온다. 숫자가 달라지면 말도 달라진다.