합성패널 평가는 실제 소비자 평가와 얼마나 일치할까? 아이디어 69개 검증 결과

합성패널의 평가 결과를 실제 의사결정에 활용하려면, 어떤 데이터를 어떤 기준으로 검증했으며, 그 결과가 어떤 판단을 뒷받침하는지 명확해야 합니다. 실제 소비자 조사와의 유사성을 나타내는 수치도 이러한 맥락에서 이해할 때, 데이터를 활용하려는 목적에 맞는 근거가 됩니다.

컨셉스튜디오는 아이디어를 비교하고 후속 조사 후보를 선정하는 목적에 맞춰 평가 성능을 검증했습니다. 동일한 아이디어에 대한 실제 소비자 조사와 합성패널 평가를 비교해, 더 높게 평가한 후보와 더 낮게 평가한 후보가 일치하는지 확인했습니다. 그 결과, 실제 소비자 조사에서 99% 신뢰수준으로 유의한 차이가 확인된 아이디어 쌍의 평가 순서는 전체 비교에서 89.1%, 동일 카테고리 내 비교에서 94.2% 일치했습니다.

이 글에서는 이러한 일치 정도를 나타내는 검증 지표 ‘재현율’의 정의와 선택 이유, 실제 소비자 조사와의 비교 설계 및 결과를 소개합니다. 이를 통해 컨셉스튜디오가 어떤 성능을 확인했으며, 그 결과가 아이디어 선정에 어떤 근거가 되는지 설명합니다. 

1. 검증 지표 ‘재현율’의 정의와 산출 방식

컨셉스튜디오의 아이디어 평가 검증에서는 실제 소비자 조사에서 구매 의향에 유의한 차이가 있는 아이디어 쌍 가운데, 합성패널 평가에서도 높고 낮은 순서가 일치하는 비율을 ‘재현율’로 정의합니다. 여기서 재현하는 대상은 두 아이디어 사이의 상대적인 평가 순서입니다.

이를 계산하기 위해 먼저 전체 아이디어를 두 개씩 짝지어 가능한 모든 비교 쌍을 구성합니다. 아이디어 1을 아이디어 2, 3, 4와 각각 비교하고, 다른 아이디어 사이에서도 같은 방식으로 쌍을 만듭니다. 그런 다음 실제 소비자 조사에서 구매 의향에 통계적으로 유의한 차이가 나타난 쌍을 비교 대상으로 선정합니다.

이렇게 선정한 쌍에서 실제 소비자 조사와 합성패널 평가의 순서를 비교합니다. 예를 들어 실제 소비자 조사에서 아이디어 1이 아이디어 4보다 높게 평가됐다면, 합성패널 평가에서도 아이디어 1이 더 높을 때 일치로 판정합니다. 비교 대상 쌍 중 이러한 일치가 나타난 비율이 재현율입니다.

재현율 = 평가 순서가 일치한 아이디어 쌍 수 ÷ 비교 대상 아이디어 쌍 수 × 100

[Figure]그림 1. 실제 소비자 조사에서 구매 의향에 유의한 차이가 있는 아이디어 쌍을 비교 대상으로 선정합니다. 수치는 선정 방식을 설명하기 위한 가상 예시입니다.

[Figure]그림 2. 선정된 아이디어 쌍에서 두 평가의 순서가 같으면 ‘일치’, 반대이면 ‘불일치’로 판정합니다. 재현율은 비교 대상 쌍 가운데 평가 순서가 일치한 쌍의 비율입니다.

2. 검증 지표로 ‘재현율’을 선택한 이유

검증 지표를 선택할 때는 후보 선정에 필요한 차이를 확인할 수 있는지, 전체 아이디어와 개별 카테고리에 동일한 비교 기준을 적용할 수 있는지를 중요하게 고려했습니다.

재현율은 실제 소비자 조사에서 유의한 차이가 확인된 모든 아이디어 쌍을 비교하므로, 어떤 후보를 비교했고 그중 얼마나 같은 순서로 평가했는지 명확하게 설명할 수 있습니다. 또한 전체 아이디어를 함께 비교할 때뿐 아니라 음료는 음료끼리, 디저트는 디저트끼리 비교할 때도 같은 원칙을 적용할 수 있습니다. 따라서 각 식음료 제품군 안에서 후보를 구분하는 성능도 일관된 방식으로 확인할 수 있습니다.

평가 결과의 유사성을 확인할 때는 스피어만 순위상관을 활용하는 방법도 있습니다. 다만 스피어만 순위상관은 표본오차로 생길 수 있는 순위 차이도 반영합니다. 실제 소비자 조사에서 두 아이디어의 우열이 명확하지 않다면, 그 순서만으로 후보를 선정하거나 제외할 근거는 충분하지 않습니다. 그래서 컨셉스튜디오는 실제 소비자 조사에서 유의한 우위와 열세가 확인된 아이디어 쌍에 초점을 맞췄습니다.

아이디어 스크리닝에서는 우위에 있는 아이디어를 우선 검토할 후보로 남기고, 열세에 있는 아이디어는 제외를 검토할 후보로 구분해야 합니다. 따라서 검증에서도 합성패널이 후보의 우위와 열세를 실제 소비자와 같은 방향으로 구분하는지 확인하는 것이 중요합니다. 이러한 스크리닝 목적에 맞춰, 평가 순서의 일치 정도를 보여주는 ‘재현율’을 컨셉스튜디오의 대표 검증 지표로 선택했습니다.

3. 실제 소비자 조사와의 비교 설계 및 검증 결과

동일한 아이디어 69개에 대한 실제 소비자 응답과 AI 예측 비교

이 기준을 적용한 검증 대상은 브랜드를 노출하지 않은 식음료 8개 카테고리의 아이디어 69개입니다. 실제 소비자 조사는 아이디어별 400명의 응답을, 컨셉스튜디오는 합성패널 400명에 대한 예측 결과를 사용했습니다.

이 과정에서 합성패널 구축에 데이터를 제공한 소비자와 성능 검증 조사에 참여한 소비자는 서로 중복되지 않는 별도 표본으로 구성했습니다. 동일 응답자의 정보가 구축과 검증에 중복 활용되지 않도록 분리하고, 별도로 모집한 실제 소비자 집단의 평가 결과도 합성패널이 유사하게 재현하는지 확인하기 위한 설계입니다.

비교한 지표 측면에서 실제 소비자 조사에서는 구매 의향을 5점 척도로 측정하고, 5점인 ‘꼭 구매하고 싶다’ 또는 4점인 ‘구매하고 싶다’를 선택한 소비자의 비율을 집계했습니다. 반면 컨셉스튜디오에서는 AI가 개인별 식생활 태도와 취식 기록 등이 담긴 페르소나를 읽고 구매 의향을 긍정·중립·부정으로 예측했습니다. 이 중 ‘긍정’으로 예측된 합성패널의 비율을 ‘구매 가능성’으로 정의하고, 실제 소비자의 구매 의향과 합성패널의 구매 가능성을 바탕으로 평가 순서를 비교했습니다.

전체 아이디어 비교에서 89.1%, 동일 카테고리 내 비교에서 94.2%의 재현율을 확인했습니다

먼저 카테고리를 구분하지 않고 전체 아이디어를 비교한 결과, 실제 소비자 조사에서 99% 신뢰수준으로 유의한 차이가 확인된 쌍의 재현율은 89.1%였습니다. 비교 대상의 선정 기준을 90% 신뢰수준으로 적용했을 때도 재현율은 84.6%로 나타나, 두 기준 모두에서 실제 소비자 평가와 높은 수준의 순서 일치를 확인했습니다.

이어서 같은 제품군 안에서 후보를 구분하는 성능도 살펴봤습니다. 동일 카테고리 내에서 99% 신뢰수준으로 유의한 차이가 확인된 쌍의 통합 재현율은 94.2%였습니다. 8개 카테고리 모두 재현율이 80% 이상이었으며, 특히 간식·디저트, 한식, 분식·면의 3개 카테고리에서는 비교 대상 쌍의 평가 순서가 100% 일치했습니다. 이처럼 전체 아이디어를 함께 비교할 때와 같은 제품군 안에서 비교할 때 모두, 실제 소비자 평가와 높은 일치율을 확인했습니다.

[Figure]그림 3. 전체 아이디어 비교에서는 99%·90% 신뢰수준으로 선정한 쌍의 재현율이 각각 89.1%·84.6%였습니다. 동일 카테고리 내 99% 기준 비교에서는 8개 카테고리 모두 80% 이상, 통합 94.2%의 재현율을 확인했습니다.

4. 활용 목적에 맞는 검증이 신뢰의 근거가 됩니다 

컨셉스튜디오의 비교 검증은 아이디어 스크리닝에 필요한 성능을 확인하는 데 초점을 맞췄습니다. 실제 소비자 조사에서 유의한 차이가 확인된 후보의 평가 순서를 비교하고, 전체 아이디어와 동일 카테고리 내 비교에서 그 순서가 얼마나 일치하는지 확인했습니다. 따라서 재현율은 후보의 우선순위를 정하고 선정·제외를 검토할 때, 합성패널의 평가를 활용할 근거가 됩니다.

합성패널의 검증 결과를 활용할 때도 이처럼 ‘얼마나 유사한가’와 함께 ‘무엇을 판단하는 데 쓸 수 있는가’를 살펴봐야 합니다. 사용하려는 목적이나 대상이 검증에서 다룬 범위와 다르다면, 어떤 근거가 더 필요한지도 확인할 수 있습니다. 검증의 기준과 범위를 이해하는 것은 결과를 제한적으로 읽기 위해서가 아니라, 필요한 의사결정에 자신 있게 활용하기 위해서입니다.