AI 시대, 크래프트는 어디로 가는가

Craft of research를 시작하며 (2)

리서치의 크래프트에 대해 이야기했던 지난 아티클에 이어, 이번에는 리서치의 크래프트가 어디로 이동할지에 대한 힌트를 다른 산업의 예를 통해 찾아보려고 합니다.

가장 자동화된 자동차 공장에 장인이 있는 이유

일본 아이치현의 렉서스 타하라 공장은 세계에서 가장 자동화된 생산 시설 중 하나로 꼽힙니다. 그런데 이 공장에는 다쿠미(匠)라 불리는 사람들이 있습니다. 하루 8시간씩 30년, 6만 시간을 한 가지 기술에 쌓은 마스터 장인들입니다.[1]

흥미로운 것은 이들과 로봇의 관계입니다. 도장 직전, 차체를 물과 함께 연마하는 공정이 있습니다. 완벽한 표면을 만드는 손동작은 숙련된 장인만이 아는 것이어서, 이 공정의 로봇은 장인의 손놀림을 그대로 재현하도록 학습됩니다. 그리고 도장 검사 라인의 다쿠미는 매일 일부러 흠집 있는 차체를 라인에 올려 팀의 눈을 시험합니다. 지금까지 단 한 번도 흠집이 통과된 적이 없다고 합니다.[1]

가장 자동화된 공장이 장인을 내보내는 대신, 장인의 감각을 기계에 가르치고 장인의 눈으로 기계를 검증합니다. 자동화와 크래프트는 반대말이 아닙니다.

기술은 일의 하한선을 높입니다

AI가 일의 바닥을 끌어올린다는 것은 이제 데이터로 확인된 사실입니다. 2023년 하버드경영대학원 연구진과 보스턴컨설팅그룹(BCG)이 컨설턴트 758명을 대상으로 진행한 실험에서, GPT-4를 사용한 컨설턴트는 사용하지 않은 쪽보다 과제를 12.2% 더 많이, 25.1% 더 빠르게 끝냈고 품질 평가도 유의미하게 높았습니다. 특히 기준선 성과가 하위 절반이었던 컨설턴트의 개선 폭은 43%로, 상위 절반의 17%보다 훨씬 컸습니다.[2] AI는 격차를 줄이는 방향으로, 즉 하한선을 올리는 방향으로 작동했습니다.

그런데 같은 실험에는 덜 알려진 결과가 하나 더 있습니다. 연구진은 AI의 역량 범위를 살짝 벗어나도록 설계된 과제를 하나 끼워 넣었습니다. 이 과제에서는 결과가 뒤집혔습니다. AI를 사용한 쪽의 정답 확률이 사용하지 않은 쪽보다 19%포인트 낮았던 것입니다.[2] AI는 자신이 못하는 과제 앞에서도 자신 있게, 그럴듯하게 답했고, 사람들은 그것을 걸러내지 못했습니다.

연구진은 이 현상에 '들쭉날쭉한 경계(jagged frontier)'라는 이름을 붙였습니다. AI가 잘하는 일과 못하는 일의 경계는 겉보기 난이도와 일치하지 않아서, 어디까지가 경계 안인지는 결과물만 봐서는 알 수 없다는 것입니다. 크래프트의 핵심 능력은 만들기가 아니라 알아보기, 좋은 것과 그럴듯한 것을 식별하는 눈이라 생각합니다. 이 실험이 보여주는 것은 정확히 그 눈의 값이 올라가고 있다는 사실입니다. 만들기가 쉬워질수록, 그럴듯한 것도 같은 속도로 쉬워집니다.

크래프트는 사라지지 않고 이동합니다

지난 아티클에서 데이비드 파이의 구분을 빌려, 기술이 어떤 작업을 '확실성의 작업'으로 바꿀 때마다 크래프트의 위치가 이동한다고 썼습니다. 대패질이 자동화되면 크래프트는 어떤 나무를 고를지, 어떤 형태여야 할지의 판단으로 올라간다고요.

지금 리서치에서 일어나는 일이 그것입니다. 문항 작성, 교차분석, 보고서 초안 같은 실행의 영역은 빠르게 '확실성의 작업'이 되어가고 있습니다. 그렇다면 크래프트는 두 방향으로 이동합니다.

하나는 상위로의 이동입니다. 단순한 수행이 아닌 무엇을 물을 것인가, 이 결과를 믿어도 되는가라는 판단으로 올라갑니다. 실행에 드는 비용이 적어지고 빨라질수록 잘못된 질문이 실행될 가능성도 더 커지기 때문에 문제를 정의하고 결과를 검증하는 판단의 역량의 가치는 오히려 더 올라갈 것입니다.

다른 하나는 도구로의 이동입니다. 타하라 공장이 장인의 손동작을 로봇에 가르쳤듯, 전문가의 기준이 도구의 기본값으로 이동합니다. 이 방향의 사례는 소프트웨어에도 있습니다. 리걸 AI 기업 하비(Harvey)는 변호사를 제품 개발의 전 과정에 배치하는 방식으로 만들어졌고, 최근에는 "변호사가 만들었다(Built by Lawyers)"를 전면에 내걸었습니다.[3] 법률 AI의 품질은 AI 기술이 아니라, 무엇이 좋은 법률 업무인지 아는 사람이 제품을 만드는 과정에 참여하는 것이 중요하다는 주장입니다.

리서치 산업은 지금 그 시험대에 있습니다

리서치 업계에서 이 문제가 가장 첨예하게 드러난 곳은 합성 데이터 혹은 합성 소비자에 대한 논쟁이라 생각합니다. LLM으로 가상의 응답자를 만들어 설문에 답하게 하는 방식을 두고 업계가 논쟁해 왔는데, 지금 시점의 합의는 이렇습니다. 합성 데이터는 실제 인간 데이터에 정박시키고 검증할 때만 유효한 보완재이지 대체재가 아니라는 것입니다. 리서치 산업의 국제 협회인 ESOMAR도 강령을 개정하며 합성 데이터의 투명한 사용과 인간 감독을 전면에 두었습니다.[4]

이 합의가 말해주는 것이 있습니다. AI 리서치의 성패를 가르는 것은 AI 자체가 아닌 검증하는 쪽의 크래프트라는 사실입니다. 무엇이 좋은 데이터인지 아는 사람이 없으면, 합성이든 실측이든 그럴듯한 숫자와 믿을 수 있는 숫자를 가를 방법이 없습니다.

유사한 고민을 가진 디자인 산업이 내린 결론도 같습니다. 디자인은 AI에 가장 크게 위협받는다고 평가되는 분야인데, 디자인 툴 피그마(Figma)의 CEO 딜런 필드는 올해 컨퍼런스 키노트를 이렇게 열었습니다. "AI는 바닥을 낮췄지만, 천장을 올리지는 못했습니다. 천장을 올리는 것은 여러분입니다."[5] 대체 담론의 한복판에 있는 산업일수록 크래프트를 크게 말하고 있습니다. 저는 리서치가 서 있는 자리도 정확히 같다고 생각합니다.

크래프트의 변화에는 조건이 있습니다

정리하면 이렇습니다. AI가 일의 하한선을 높일 때, 크래프트는 사라지지 않고 상위의 판단으로 옮겨가며 새로운 도구의 기준이 됩니다. 다만 이 변화는 저절로 일어나지 않습니다. 상위의 판단은 경험의 축적에서 나옵니다. 대패질을 해본 사람이 나무를 고를 수 있듯, 수많은 프로젝트를 통과해본 경험 없이 무엇을 물을지, 이 결과를 믿어도 될지를 판단할 수는 없습니다. 또한, 도구 안으로의 이식은 기준을 가진 사람과 도구를 만드는 사람이 한 몸일 때 가능합니다. 타하라 공장의 로봇이 장인의 손동작을 배울 수 있었던 것은 장인이 그 공장 안에 있었기 때문입니다.

오픈서베이 역시 마찬가지입니다. 리서치를 아는 조직과 기술을 만드는 조직이 분리되어 있다면 AI 시대를 따라가기 쉽지 않았을 것입니다. 다음 글에서는 그 두 가지가 처음부터 한 몸이었던 오픈서베이의 이야기를 하고 싶습니다. 지난 15년 간 지켜본 우리 팀의 이야기입니다.

참고 문헌

[1] 렉서스 다큐멘터리 보도자료: "Could you become a Takumi? In Japan it takes 60,000 hours to reach the highest level of craftsmanship", Lexus Europe Newsroom, 2019년 3월. https://newsroom.lexus.eu/documentary--takumi---a-60000-hour-story-on-the-survival-of-human-craft/ 물 연마 로봇과 도장 검사 일화: Discover Lexus, "The Harmony of Man and Machine" 및 "There Are No Shortcuts". https://discoverlexus.com/experiences/takumi-the-60000-hour-story-of-human-craft/the-harmony-of-man-and-machine

[2] Fabrizio Dell'Acqua, Edward McFowland III, Ethan Mollick, Hila Lifshitz-Assaf, Katherine Kellogg, Saran Rajendran, Lisa Krayer, François Candelon, Karim R. Lakhani, "Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality", Harvard Business School Working Paper 24-013, 2023. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4573321 (과제 12.2% 증가, 속도 25.1% 향상, 하위 절반 43% 대 상위 절반 17% 개선, 경계 밖 과제에서 정답 확률 19%p 하락. 이후 Organization Science, 2025에 게재)

[3] "Built by Lawyers, Tailored by You", Harvey 공식 블로그, 2026년 5월. https://www.harvey.ai/blog/built-by-lawyers-tailored-by-you 개발 과정에 변호사를 배치하는 방식에 대해서는 OpenAI 고객 사례 "Customizing models for legal professionals" 참고. https://openai.com/index/harvey/

[4] ICC/ESOMAR 국제 강령 개정과 합성 데이터 조항: Research World(ESOMAR 발행), "AI in Market Research: Five rules to live by", 2025년 8월. https://researchworld.com/articles/ai-in-market-research-five-rules-to-live-by 합성 응답자에 대한 업계 인식: Rival Group, "2026 Market Research Trends Report", 2025년 12월 보도자료 참고. https://www.prnewswire.com/news-releases/rival-groups-2026-market-research-trends-report-covers-ai-in-insights-synthetic-respondents-evolving-qualitative-research-and-more-302633126.html

[5] Dylan Field, Figma Config 2026 오프닝 키노트, 2026년 6월 24일. 발언 원문은 "AI has lowered the floor, but it has not raised the ceiling. Designers, creatives, builders: You will raise the ceiling." https://config.figma.com/san-francisco/session/829e6ced-3257-4f5c-b675-aa72f4d1f98f/