워드클라우드로는 왜 부족한가요?

자주 나온 단어는 보여 주지만 그 단어가 어떤 맥락에서 나왔는지는 보여 주지 않습니다. '배터리'가 많이 나와도 수명 불만인지 교체 비용 불만인지는 원문을 다시 읽어야 압니다.

LLM이 붙인 분류를 믿어도 되나요?

유형 목록을 사람이 먼저 정하고, 결과 일부를 사람이 정기적으로 표본 확인할 때 믿을 수 있습니다. 표본에서 자주 어긋나는 유형은 기준 설명을 고치고, LLM이 확신이 낮다고 답한 글은 사람이 보는 목록으로 보냅니다.

리뷰가 얼마나 쌓여야 분석할 수 있나요?

유형을 나누고 대표 원문을 정리하는 일은 지금 있는 글로 바로 할 수 있습니다. 월별 추이와 급증 알림은 비교할 과거 기간이 있어야 하므로 몇 달 치가 쌓인 뒤에 의미가 생깁니다.

고객 글을 외부 AI 서비스에 보내도 되나요?

이름, 연락처, 주소, 주문번호는 보내기 전에 가립니다. 고객 정보가 섞인 글을 외부 AI 서비스로 처리하면 개인정보 처리 위탁에 해당할 수 있어 처리방침에 적어야 합니다.

고객 불만 글 4,130건을 지금 다시 분석한다면: 워드클라우드에서 LLM 분류까지

루코 웍스 설립 전에 지식iN과 트위터 글을 분석한 적이 있습니다. '고장'이 들어간 스마트폰 글 1년 치 4,130건을 텍스트마이닝으로 살펴봤더니, 건수를 세기 전에 제조사마다 불만의 성격이 다르다는 점이 먼저 눈에 들어왔습니다. 같은 고장 글인데 A사 글은 리퍼 같은 서비스 정책에 대한 불만이 중심이었고, B사 글은 기기 결함에 몰려 있었습니다. 아래에 그 분석을 정리하고, 같은 일을 지금 한다면 바꿀 부분과 쇼핑몰 리뷰·문의에 옮겨 쓰는 방법을 이어서 적었습니다.

4,130건을 분석해서 무엇을 알았나요?

글을 단어로 나누고 브랜드별로 자주 나온 단어를 비교했습니다. 결과는 워드클라우드와 빈도표로 정리했습니다.

항목	내용
데이터	지식iN · Twitter에서 '고장'이 들어간 스마트폰 글, 1년 치 4,130건
방법	단어 빈도와 워드클라우드로 브랜드별 비교
결론	A사는 리퍼와 수리 같은 서비스 정책 불만, B사는 기기 결함 불만이 중심

이 결론이 쓸모 있는 이유는 대응할 부서가 달라지기 때문입니다. 서비스 정책 불만이 많으면 고객센터 안내와 보상 기준을 먼저 봐야 하고, 기기 결함 불만이 많으면 품질 쪽을 먼저 봐야 합니다. 불만 글 수만 세었다면 두 회사 모두 "불만이 많다"로 끝났을 것입니다.

그때 방법의 한계

단어는 맥락을 잃습니다. '배터리'가 많이 나왔다는 사실만으로는 수명이 짧다는 불만인지, 교체 비용이 비싸다는 불만인지 알 수 없습니다. 결국 원문을 다시 검색해서 읽어야 했습니다.
한 번 하고 끝납니다. 분석은 그 시점의 사진입니다. 다음 달에 특정 불만이 갑자기 늘어도 다시 분석하기 전까지는 모릅니다.
구어체에 약합니다. 줄임말, 오타, 비꼬는 말투("아주 잘 꺼지네요")는 단어 빈도로는 제대로 잡히지 않습니다.
근거 원문까지 거리가 멉니다. 보고서를 읽은 사람이 "그래서 실제로 뭐라고 썼는데?"라고 물으면 다시 찾아야 합니다.

지금 다시 한다면 무엇을 바꾸나요?

지금은 문장의 의미를 숫자로 바꾸는 임베딩과, 글을 읽고 정해진 형식으로 답하는 LLM을 저렴하게 쓸 수 있습니다. 분석 흐름은 이렇게 바뀝니다.

단계	그때	지금
묶기	단어 빈도와 워드클라우드	문장 임베딩으로 의미가 비슷한 글끼리 군집
유형 정하기	사람이 단어 목록을 보고 해석	LLM이 군집의 대표 원문을 읽고 이름 초안을 쓰고, 사람이 확정
글마다 태그	하지 않음	확정한 유형으로 LLM이 유형, 대상, 감성, 한 줄 요약을 정해진 형식으로 붙임
감성	글 전체의 긍정·부정	대상별 감성 (배송은 만족, 포장은 불만)
확인	분석자가 보고서 작성	사람이 표본을 정기적으로 확인, 확신 낮은 글은 사람에게
주기	한 번	매일 수집하고 직전 기간보다 크게 늘면 알림
질문	보고서를 다시 읽음	관련 원문을 찾아 근거 링크와 함께 요약

군집으로 먼저 보고, 유형 목록은 사람이 정합니다

처음부터 LLM에 "알아서 분류해 줘"라고 맡기면 실행할 때마다 유형 이름이 조금씩 달라집니다. 같은 불만이 어떤 날은 '배터리 수명', 어떤 날은 '충전 문제'로 들어가면 추이를 볼 수 없습니다.

그래서 순서를 나눕니다. 먼저 임베딩 군집으로 어떤 덩어리들이 있는지 보고, 군집마다 대표 원문 몇 건을 LLM에 보여 줘 이름과 설명 초안을 받습니다. 사람이 이 초안을 보고 합칠 것은 합치고 나눌 것은 나눠 유형 목록을 확정합니다. 목록에는 '기타'를 꼭 두고, 기타가 늘어나면 목록을 다시 봅니다.

글마다 정해진 형식으로 태그를 붙입니다

유형 목록이 정해지면 LLM이 글 하나하나를 읽고 같은 형식으로 답하게 합니다. 쇼핑몰 리뷰라면 이런 모양입니다.

{"유형": "교환·반품", "대상": "사이즈", "감성": "부정", "요약": "평소 사이즈로 샀는데 작아서 교환 요청", "확신": "높음"}

형식을 고정하면 결과를 그대로 표에 쌓고 집계할 수 있습니다. 지시문에는 유형마다 정의와 예시 글을 넣고, 어느 유형에도 맞지 않으면 '기타', 판단이 어려우면 확신을 '낮음'으로 쓰게 합니다.

감성은 대상별로 나눕니다

"배송은 빨랐는데 포장이 터져서 왔어요"를 글 전체로 보면 중립에 가깝습니다. 대상별로 나누면 배송은 긍정, 포장은 부정입니다. 담당자에게 필요한 정보는 뒤쪽입니다. 포장 불만이 쌓이고 있다는 신호가 글 전체 감성에서는 묻혀 버립니다.

사람이 표본을 봅니다

LLM 분류도 틀릴 때가 있습니다. 매주 일정 수의 글을 뽑아 사람이 직접 분류해 보고, LLM 결과와 어긋난 글을 모아 봅니다. 어긋남이 특정 유형에 몰려 있으면 그 유형의 정의나 예시가 모호하다는 뜻이므로 지시문을 고칩니다. 확신이 '낮음'인 글은 처음부터 사람이 보는 목록으로 보냅니다.

늘어나면 알려 줍니다

유형별로 이번 주 글 수를 직전 몇 주 평균과 비교해 기준을 넘으면 담당자에게 알립니다. 알림에는 숫자만 넣지 않고 대표 원문과 요약을 같이 넣어, 받은 사람이 바로 무슨 일인지 알 수 있게 합니다. 글 수가 적은 유형은 몇 건만 늘어도 비율이 크게 흔들리므로 최소 건수 조건을 같이 둡니다.

질문하면 근거와 함께 답합니다

"A사 리퍼 불만은 주로 무엇 때문인가요?" 같은 질문을 받으면 관련 원문을 먼저 찾고, 찾은 원문만 근거로 요약해 원문 링크를 함께 보여 줍니다. 찾은 글에 없는 내용은 답하지 않게 해 두면, 그럴듯하지만 근거 없는 답을 줄일 수 있습니다.

쇼핑몰 리뷰와 문의에 옮겨 쓰기

스마트폰 고장 글에서 했던 일은 쇼핑몰이 이미 가진 글에 그대로 옮길 수 있습니다.

원천	보이는 것	이어지는 조치
상품 리뷰	상품별로 불만이 몰린 대상 (사이즈, 색감, 두께, 마감)	상세페이지 실측표와 사진 보강
문의 게시판·톡톡	반복해서 들어오는 문의 유형	답변 초안 규칙과 자주 묻는 질문 정리
교환·반품 사유	사유별 추이	특정 상품의 입고 검수 강화
배송 관련 글	출고일이나 택배사별로 몰린 불만	출고 마감 시간 안내 수정

가상 사례 아래는 이해를 돕기 위해 만든 예시입니다. 실제 고객 사례가 아닙니다.

여성 의류 쇼핑몰이 리뷰를 매일 분류한다고 가정합니다. 어느 주에 바지 상품 하나에서 '사이즈 · 부정' 리뷰가 평소보다 크게 늘어 알림이 옵니다. 알림에 붙은 대표 리뷰를 보니 "지난번 산 것보다 허리가 작다"는 글이 반복됩니다. 담당자는 해당 주에 들어온 입고 차수의 실측을 다시 재고, 상세페이지에 차수별 실측 안내를 붙입니다. 리뷰를 사람이 하나씩 읽었다면 몇 주 뒤에야 알아챘을 일입니다.

문의를 유형으로 나누는 일은 문의 답변 초안의 첫 단계와 같습니다. 분류가 되어 있으면 유형별 답변 초안으로 바로 이어집니다. 문의 답변 데모에서 문의를 붙여 넣으면 분류와 초안이 어떻게 나오는지 볼 수 있습니다.

시작하려면 무엇이 필요한가요?

최근 몇 달 치 리뷰와 문의를 내려받은 파일. 이름과 연락처는 지운 사본이면 됩니다.
지금 쓰고 있는 문의 유형 구분이 있다면 그 목록. 없으면 군집 결과로 같이 만듭니다.
결과를 볼 사람과 보는 주기. 주간 회의에서 한 장으로 볼지, 급증할 때만 알림을 받을지 정합니다.
외부 AI 서비스를 쓴다면 개인정보 처리방침에 넣을 문구. 확인할 항목은 외주에 고객 데이터를 맡길 때 글에 정리했습니다.

정리하면

4,130건 분석에서 가장 쓸모 있었던 결론은 "제조사마다 불만의 성격이 다르다"였습니다. 이 결론은 지금 방법으로도 그대로 얻을 수 있습니다. 바뀌는 것은 결론에 닿는 속도와, 결론을 한 번으로 끝내지 않고 매일 다시 확인할 수 있다는 점입니다. 쇼핑몰이라면 리뷰와 문의가 이미 쌓여 있으니, 지난 몇 달 치를 한 번 분류해 보는 것으로 시작할 수 있습니다.