컨셉 스튜디오, AI가 쓴 컨셉을 품평회에 올릴 수 있나요

오픈서베이가 신제품 개발을 위한 AI 제품 ‘컨셉 스튜디오’를 출시하게 되었습니다.

‘컨셉 스튜디오’는 본격적인 컨셉 조사를 실행하기 전, 아이디어 스크리닝 단계에서 활용할 수 있는 AI를 기반으로 한 기능입니다. ‘컨셉 스튜디오’에서는 식음료 도메인의 신제품 아이디어를 만들고, 만든 아이디어는 가상의 합성 소비자에게 그 즉시 구매 의향을 물어볼 수 있습니다. 오픈서베이가 10년간 쌓아온 소비자 데이터를 근거로 아이디어를 만들고, 오픈서베이의 자체 보유 패널 정보로부터 만들어진 합성 소비자가 그 아이디어를 보고 구매 의향과 이유를 답하는 구조입니다.

이번 글에서는 ‘컨셉 스튜디오’의 주요 기능 소개를 바탕으로 이 기능은 어떤 차별점을 기획하고 만든 것인지 설명드리려 합니다.

아이디어의 재료는 어디에서 오나

지금까지 아이디어의 재료는 기억이었습니다.

신제품 아이디어를 만들어야 할 때 무엇부터 하시나요?

대개는 최신 트렌드를 알기 위해 리포트를 뒤지고, 경쟁사 신제품을 훑고, 작년 조사 결과까지 다시 열어보기도 합니다. 그런데 어디에 무엇이 있었는지 다 기억나지도 않고, 무엇보다 모든 걸 완벽하게 처리하기에는 주어진 시간은 늘 부족합니다. 그러다 보면 결국 지금 머릿속에 남아 있는 것들 안에서 출발하게 됩니다. 그게 가장 빠르니까요.

제한된 시간 안에서 가장 빠른 검색창은 결국 자신의 기억입니다. 그래서 팀 안에서 아이디어를 모으고, 안건을 올려 후보를 줄이고, 몇 개를 컨셉으로 구체화하는 과정을 다 거쳐도, 사실상 후보군 전체가 한 사람의 머릿속에 있던 생각에서 파생됩니다.

아이디어를 만드는 일은 창의성의 문제처럼 보이지만, 실제로는 관련 있는 맥락을 기억해내고 모으는 일의 문제에 가깝습니다. 무엇이 관련 있는지 찾고, 읽고, 연결하는 데 시간의 대부분이 들어갑니다.

AI를 쓰면 몇 분 만에 쓸 만한 아이디어가 쏟아집니다. 그런데 왜 그 아이디어인지는 나도 모릅니다.

사실 LLM만 있다면 타겟 유저, 사용 장면, 주요 키워드를 반영한 컨셉을 짧은 시간 안에 만들 수 있습니다. 더 솔직한 팩트는, 그만한 정보를 주지 않아도 LLM은 이미 놀라울 정도로 높은 퀄리티의 결과물을 만들어낸다는 겁니다. 이제 컨셉을 만드는 비용은 0에 가깝게 낮아졌습니다.

그러면 생성 속도가 빨라진 만큼 우리가 기대한 신제품 개발 혁신도 이뤄지는 걸까요? 오히려 정반대일 수 있습니다. 후보가 많아지면 무엇을 발전시키고, 무엇을 버리고, 무엇을 실제 소비자에게 가져갈 것인지 결정하는 일이 더 어려워집니다. 후보가 많은 게 문제라기보단, 내 머릿속에서 나오지 않은, 그러니까 의사결정 과정을 보지 못한 내가 LLM이 만들어준 결과물을 놓고 무엇을 고를 수 있느냐의 문제입니다.

게다가 우리는 실제로 물건을 만드는 회사에 있습니다. 그럴듯해 보인다는 이유만으로 비용을 투입해 생산하겠다는 결정을 내리기는 어렵습니다. "이 컨셉 왜 이걸로 정했어요"라는 질문에 "AI가 뽑아줬습니다"라고 답할 수는 없으니까요.

LLM은 컨셉을 씁니다. 컨셉스튜디오는 컨셉의 출처를 씁니다.

컨셉 스튜디오는 빈 화면에서 시작하는 게 아니라, 10년치 식탁에서 시작합니다.

컨셉스튜디오가 근거로 쓰는 데이터는 오픈서베이가 10년 동안 쌓아온 ‘푸드 다이어리(Food Diary)’ 데이터에서 출발합니다. 응답자가 일주일 동안 무엇을 먹고 마셨는지를 시즌별로 기록해온 데이터인데, 무엇을 좋아한다고 답했는지뿐 아니라 실제 취식한 내용까지 적혀 있다보니, 그 사람의 가치관/태도와 행동이 함께 남아 있는 보기 드문 데이터입니다.

같은 사람이 어떤 가치를 중요하게 여기는지, 그런데 평일 저녁에는 실제로 무엇을 차려 먹는지, 그 둘이 어떻게 어긋나는지까지 함께 기록되어 있습니다. 저희 경험으로는 신제품 아이디어에 필요한 맥락이 대부분 그 어긋남에서 나옵니다.

컨셉 스튜디오에서는 카테고리와 타겟, 출시 목적을 넣으면 데이터에서 관련된 것을 찾아 연결합니다. 아이디어는 그 근거 위에서 만들어집니다. 그래서 컨셉스튜디오의 결과물에는 컨셉 문장만 나오지 않고, 어떤 소비자 변화에서 출발했고, 어떤 데이터가 그 가능성을 뒷받침하며, 왜 다른 후보가 아니라 이것인지가 함께 붙어 나옵니다.

LLM을 쓰기 전, 학습시킨 자체 방법론을 기준으로 신호와 잡음을 걸러냅니다.

여기까지 보시면 범용 LLM으로도 비슷하게 할 수 있지 않나 싶으실 겁니다. 실제로 범용 LLM도 그럴듯한 신제품 아이디어를 만들고 가상의 소비자 반응까지 만들어냅니다. 다만 그 결과는 대체로 모델이 학습한 일반적인 세상 지식과 말의 개연성에 기댑니다. 실제 소비자가 어떻게 생활했고 무엇을 골랐는지가 직접 근거가 되지는 않습니다. 이는 이후 결과물(예. 구매 의향 비중과 그 근거)에 큰 차이를 만듭니다.

오픈서베이 팀은 LLM을 가장 잘 활용하는 방법은 LLM이 추론을 잘 할 수 있도록 어떤 재료를 LLM의 지식에 넣어주냐로 정의하고, 노력을 기울였습니다.

컨셉스튜디오가 학습한 것은 기존 제품의 이름이나 패턴이 아닙니다. 소비자가 반응한 속성과 속성의 조합입니다. 10년치 식생활 데이터에서는 사람들의 행동이 시간에 따라 어떻게 변해왔는지를 보고, 실제 컨셉 조사 데이터에서는 어떤 맛과 재료의 조합을 선호하고 무엇을 피하는지를 봅니다. 그 조합을 누구와 언제 어떤 상황에서 먹는지까지 함께 들어갑니다. 그리고 이 학습을 하는 건 LLM이 아니라, 오픈서베이가 직접 수집한 데이터 위에 설계한 머신러닝 모델입니다.

정리하면 무엇이 유망한지는 이 모델들이 찾아내고, LLM은 그 결과를 받아 사람이 검토할 수 있는 아이디어를 만듭니다.

이 아이디어를 소비자는 어떻게 평가할까

새로 만든 조합에 대한 평가는 누가 할까요?

여기까지 오면 컨셉이 어디에서 왔는지는 설명할 수 있게 됐습니다. 사람들이 어떤 속성에 어떻게 반응해왔는지, 그 흐름이 어디로 향하고 있는지까지 데이터가 말해주니까요.

그런데 컨셉스튜디오가 방금 만든 건 지금까지 없던 조합일 것입니다. 기존 속성 각각에 대한 반응은 데이터 안에 있지만, 이번에 새로 묶인 이 조합을 실제로 본 사람은 아직 아무도 없을 수 있습니다. 그래서 이 컨셉이 앞으로 팔릴지에 대한 답은 데이터 어디에도 없습니다.

그러면 실제 소비자에게 물어보면 될 텐데, 그렇게 쉬운 일은 아닙니다. 신제품 담당자 250명에게 물었더니 72%가 개발 과정에서 소비자 반응을 미리 테스트하기 어렵다고 답했습니다.

이유는 비단 돈과 시간 때문만이라고는 생각하지 않습니다. 조사를 열려면 먼저 무엇을 물을지 정해야 하는데, 그러려면 어떤 답이 나올 수 있는지, 그 답이 나오면 또 무엇이 궁금해질지까지 미리 그려두어야 합니다. 결국 내가 아는 만큼만 물어볼 수 있다는 뜻인데, 나도 처음 생각해보는 아이디어에서 이 모든 걸 미리 상상해 두기란 쉽지 않습니다.

소비자에게 묻는 일이 컨셉이 구체화된 뒤로 밀리는 것도, 어쩌면 이런 이유 때문일 겁니다.

합성 소비자는 당신의 작은 질문에도 대답할 준비가 되어있습니다.

시작이 어렵다면 질문을 통해 시작의 장벽을 낮추는 방법이 있습니다.

우리는 종종 전체 큰 그림에서 보이는 내 마음 속의 사소한 우려 때문에 시작 자체가 어려울 때가 있습니다. 그런데 여기서, 진짜 사람이 아닌 합성 소비자는 유저의 같은 고민을 훨씬 줄여줍니다. 유저가 어떤 질문을 해도 질문의 퀄리티를 판단하지 않고 성실히 답해주는 합성 소비자는 내가 가야할 방향을 찾는 데 아주 큰 기여를 합니다.

그래서 컨셉 스튜디오에서는 합성 소비자를 활용합니다. 컨셉 스튜디오는 방금 만든 아이디어에 대해 바로 합성 소비자를 이용해 구매 의향을 받아보도록 설계되어 있습니다. 그리고 살 것 같은지 아닌지 이유도 함께 알려줍니다.

오픈서베이의 합성 소비자는 그저 지어낸 인물이 아닙니다.

그럼 오픈서베이 팀은 이 합성 소비자를 어떻게 만들었을까요? 출발점은 푸드다이어리에 실제로 기록을 남긴 응답자들입니다. 이 사람이 어떤 음식들을 함께 먹는지, 맛과 재료는 어떤 조합을 선호하는지, 그걸 누구와 언제 어떻게 먹는지를 통계 방법론을 통해 뽑아냅니다.

푸드다이어리는 한 끼를 묻는 조사가 아니라 일주일을 통째로 기록한 데이터입니다. 그래서 한 사람 안에서 시간대와 평일/주말에 따라 식사가 어떻게 흘러가고, 누구와, 어디서, 어떤 음식에서 어떤 음식으로 넘어가는지가 보입니다. 취향을 한 줄로 요약한 프로필이 아니라, 일주일치 생활로 보는 셈입니다.

여기에 어떤 가치를 중요하게 여기는지를 얹어 그 사람의 내러티브를 만들고, LLM은 그 내러티브에 근거해서 답합니다. 앞에서 컨셉을 만들던 구조와 같습니다. 통계와 머신러닝이 패턴을 찾아내고, LLM은 그 결과를 받아 말로 옮깁니다.

실제 소비자와 대조해 확인하고 고칩니다

모든 예측 혹은 시뮬레이션 시스템을 만들 때는 평가가 가장 중요합니다. 평가할 수 없는 AI 시스템은 1회 사용 말고는 반복해서 쓸 계획이 없다는 이야기와 같습니다.

저희는 컨셉 스튜디오에 필요한 시스템을 만들자고 다짐 했을 때부터 가장 먼저 논의한 것은 ‘무엇을, 어떻게 평가할 것인지’, ‘지속적으로 평가하고 개선할 수 있는 구조’ 두 가지 였습니다.

평가 지표란 소비자와 완전히 똑같은가가 아니라, 맡기려는 역할을 하기에 충분히 정확한가라고 생각합니다.

내러티브는 한 사람을 그대로 옮긴 게 아니라 특징을 요약한 것입니다. 그래서 개인의 응답을 똑같이 맞히는 걸 목표로 두지 않았습니다. 아이디어 스크리닝에 쓰이는 ‘컨셉 스튜디오’의 목적에 맞게 여러 후보 가운데 무엇을 선호하고 무엇을 불호하는지, 초기 후보를 좁히는 기준으로 지표를 잡았습니다. 저희는 실제 오픈서베이가 보유한 패널에게 합성 패널이 응답한 동일한 무브랜드 컨셉 69개(8개 카테고리)를 보여주고 응답 비교를 진행했습니다. 카테고리별 순위상관 계수(Spearman ρ)의 평균은 0.8이였습니다.

순위상관에서 0.8은 두 집단의 순서가 강하게 일치한다는 뜻이지만, 순위를 하나하나 그대로 맞히는 수준은 아닙니다. 다만 살려서 가져갈 후보와 여기서 접을 후보를 가르는 데는 충분히 쓸 만합니다. 초기 스크리닝에 맡긴 역할이 정확히 그것입니다.

그리고 실제 패널로 확인한 결과는 다시 모델로 돌아옵니다. 합성 소비자의 답과 실제 소비자의 답이 어디에서 얼마나 어긋났는지가 모델을 고치는 입력이 되는 겁니다. 실제 패널을 가지고 있다는 건 검증할 수 있다는 뜻이고, 검증할 수 있다는 건 개선할 수 있다는 뜻입니다.

저희가 권하는 사용 방향은 분명합니다. 초기 후보를 넓게 만들고 좁히는 데는 합성 소비자를 쓰시고, 틀렸을 때 비용이 커지는 결정은 실제 소비자에게 확인하시는 겁니다. 둘은 경쟁하거나 대체하는 관계가 아니라, 의사결정의 위험에 따라 역할을 나눠 갖는 관계입니다.

그래서, 품평회에 올릴 수 있습니다

처음의 질문으로 돌아가 보겠습니다. AI가 쓴 컨셉 그 자체만으로는 품평회에 올릴 수 없습니다. 무슨 근거를 토대로 나온 아이디이언지, 소비자가 어떻게 반응했는지가 같이 남아 있어야 올릴 수 있습니다. 컨셉스튜디오가 만드는 것은 아이디어가 아니라, 그 아이디어를 고른 이유입니다.

저희가 만들고 싶은 건 컨셉을 그럴듯하게 써주는 AI도, 실제 소비자를 대체하는 AI도 아닙니다. 소비자가 실제로 남긴 기록이 아이디어의 재료가 되고, 그 아이디어에 대한 답이 다시 근거로 남는 제품입니다.