크래프트란 무엇인가

크래프트란 무엇일까요

사회학자 리처드 세넷은 장인 정신을 ‘일 자체를 위해 일을 잘하려는 지속적이고 기본적인 인간의 충동’이라 정의했습니다.[1] 보는 사람이 없어도, 결과물에서 티가 나지 않아도 잘하려는 것. 크래프트는 특정 기술이 아니라 품질에 대한 태도입니다.

‘내가 알잖아’ 이 다섯 글자가 세넷의 정의를 대표할 수 있겠습니다. 

크래프트는 위험이 있는 곳에 존재합니다

가구 디자인 이론가 데이비드 파이는 '위험의 작업(workmanship of risk)'과 '확실성의 작업(workmanship of certainty)'을 구분했습니다.[2] 손으로 대패질을 하면 매 순간 결과가 작업자의 판단에 달려 있고, 공장 프레스로 찍으면 결과가 기계에 의해 보장됩니다. 크래프트는 전자, 즉 결과가 매 순간의 판단과 숙련에 의존하는 작업에서 생깁니다.

이 구분이 중요한 이유는, 기술이 어떤 작업을 '확실성의 작업'으로 바꿀 때마다 크래프트의 위치가 이동하기 때문입니다. 대패질이 자동화되면 크래프트는 사라지는 것이 아니라 '어떤 나무를 고를 것인가, 어떤 형태여야 하는가'라는 상류의 판단으로 올라갑니다.

크래프트의 본체는 언어화되지 않은 지식입니다

철학자 마이클 폴라니는 ‘우리는 말할 수 있는 것보다 더 많이 알고 있다’는 말로 암묵지(tacit knowledge)라는 개념을 남겼습니다.[3] 인간의 경험과 지식은 언제나 언어로 온전히 옮겨지지 않는다는 뜻입니다.

장인은 매뉴얼을 따르는 사람이 아니라, 매뉴얼에 적을 수 없는 것을 아는 사람입니다. 만 번의 반복이 만드는 건 작업의 속도가 아니라 '뭔가 이상하다'를 느끼는 감각입니다. 그래서 크래프트의 핵심 능력은 만들기가 아니라 알아보기, 좋은 것과 그럴듯한 것을 식별하는 눈입니다.

크래프트의 완성은 절제입니다

공예의 정점에 조선 백자가 있습니다. 단순한 선과 흰빛뿐이지만 우리는 백자에서 보편적인 아름다움을 느낍니다. 피카소 같은 위대한 화가들의 그림은 나이가 들수록 단순해지는 경향이 있습니다. 무수히 많은 시도의 끝에서 알게 되는 것은 무엇을 더할지가 아니라 무엇을 뺄지입니다. 초보자는 할 수 있는 것을 다 하고, 장인은 하지 않을 것을 압니다.

잘 만들어진 것은 매끄럽기 때문에 쉬워 보입니다. 그러나 그 안에는 무수히 많은 고민과 결정, 경험이 압축되어 있습니다. 크래프트란 결과물에서는 보이지 않는 판단들의 총합입니다.

AI의 등장 이후 모든 산업이 대체될 것과 남겨질 것에 대해 이야기 합니다. 대패질은 빠르게 자동화되고 있습니다. 그러나 데이비드 파이 파이의 구분을 다시 떠올려보면, 자동화 이후 상류의 판단을 내릴 수 있는 사람은 결국 대패질을 해본 사람입니다. 좋은 것과 그렇듯한 것을 식별하는 눈은 몸에 쌓인 감각에서 나오기 때문입니다. 그래서 역설적이게도 지금이 크래프트를 이야기 하기 가장 좋은 시점이라 생각합니다.

그리고 지난 15년간 제가 지켜봤던 리서치 업계는 이 이야기가 유난히 잘 들어맞는 분야입니다. 

리서치의 크래프트는 무엇일까요

보이지 않아도 쌓아올린 것에 있습니다 

허술해보이는 의자에는 아무도 앉지 않습니다. 위험한 것은 멀쩡해보이지만 나사가 빠져있는 의자입니다. 리서치 역시 마찬가지입니다. 데이터가 있다면 응답률도 나오고 차트도 그려지고 보고서도 완성됩니다. 결과물만 봐서는 좋은 리서치와 나쁜 리서치를 구분하기 어렵습니다.

거꾸로 말하면 좋은 리서치의 품질 역시 보이지 않는 곳에 쌓여 있다는 뜻입니다. 문제를 정의하고, 단어를 고르고, 해석의 선을 긋는 크고 작은 판단들. 이 판단을은 이론이 아니라 어깨 너머로, 프로젝트를 거듭하며 익힌 감각에서 나옵니다. 바꿔 말하면 여전히 리서치에는 문서화 되지 않은 암묵지가 많다는 뜻이기도 합니다.

이것이 리서치에서 크래프트가 중요한 이유이자, 크래프트를 말하기 어려운 이유입니다. 

문제 정의의 크래프트 - 문제를 제대로 정의하는 것

통계학자 존 튜키의 유명한 말이 있습니다. "틀린 질문에 대한 정확한 답보다, 옳은 질문에 대한 근사적인 답이 훨씬 낫다."[4] 리서치의 가장 큰 실패는 잘못된 답이 아니라, 잘못된 질문에 대한 정확한 답입니다.

'이 광고가 좋은가요'를 물어야 할 때와 '이 광고를 기억하나요'를 물어야 할 때를 구분하는 것. 데이터를 요청한 사람이 가져온 질문 뒤에 숨은 진짜 의사결정이 무엇인지 되묻는 것. 이 문제 정의의 역량이야말로 암묵지의 영역이며, 오랜 프로젝트 경험을 통해서만 길러집니다.

설계의 크래프트 - 단어 하나의 무게를 아는 것

설문 설계는 정의된 문제를 질문으로 바꾸는 일인 동시에 응답자의 머릿속에서 일어날 일을 미리 시뮬레이션하는 일입니다.

단어 하나가 결과를 바꿉니다. Pew Research Center의 실험에서, 지역에 '일자리(jobs)'가 충분한지 물었을 때는 60%가 그렇다고 답했지만 '좋은 일자리(good jobs)'가 충분한지 물었을 때는 48%로 떨어졌습니다.[5] 같은 정책도 '금지해야 하는가'로 물을 때와 '허용해야 하는가'로 물을 때 응답이 달라진다는 사실은, 설문방법론에서 수십 년간 검증되어 온 고전적 현상입니다.[6]

문항의 순서가 만드는 프라이밍, 선택지가 은근히 암시하는 정상 범위, 응답자의 피로가 데이터를 오염시키기 시작하는 지점. 설문을 설계하는 사람은 이 모든 것을 미리 내다봐야 합니다. 좋은 설문지가 짧은 이유는 성의가 없어서가 아니라, 뺄 수 있는 모든 것을 뺐기 때문입니다. 

해석의 크래프트 - 데이터가 말하지 않는 것과 말하는 것을 아는 것 

숫자를 읽는 능력이 아니라 숫자의 한계를 아는 능력입니다. 이 표본으로 말할 수 있는 부분에 대한 인지, 통계적으로 유의하지만 실무적으로는 무의미한 차이, 응답자가 말한 것과 실제로 할 것 사이의 간극을 아는 것입니다. 

해석의 실패에는 두 종류가 있습니다. 데이터가 말하지 않는 것까지 말하는 과장과 데이터가 말하는 것을 말하지 않는 회피. 좋은 리서처는 그 사이에서 데이터가 말하는 것을 이해하고, 데이터의 활용자가 더 나은 판단을 내릴 수 있게 통역해야 합니다. 이는, 단순히 보고서를 써서 읽는 사람에게 판단을 넘기는 것보다 더욱 더 많은 역량을 필요로 합니다. 

책임의 크래프트 - 응답자를 잊지 않는 것

데이터의 반대편에는 귀한 시간을 내어준 ‘사람’이 있습니다. 좋은 리서처는 응답자의 시간을 존중하는 설문 길이, 답할 수 있는 질문만 묻는 예의, 응답 경험 자체의 품질을 고려합니다.  

이것은 윤리인 동시에 좋은 데이터를 얻을 수 있는 방법론이기도 합니다. 지루하고 지친 응답자는 사람이기 때문에 부정확한 답을 남길 수 있습니다. 물론 응답자를 배려하지 않아도 데이터는 수집됩니다. 다만 그 데이터가 믿을 수 있는 답이 되어줄지는 다른 문제입니다. 

믿을 수 있는 답과 그럴듯한 답

지금까지의 이야기를 이어본다면 리서치의 크래프트란 좋은 답을 만드는 기술을 넘어 믿을 수 있는 답과 그럴듯한 답을 구분하는 능력인 것 같습니다. 그리고 그 능력은 품질에 대한 태도에서 옵니다. 보고서에 티가 나지 않아도 단어를 고르고, 응답자를 직접 만나지 않아도 그를 위한 설계를 하는, 내가 알잖아의 태도.

다음 아티클로 넘어가기 전, 명확히 하고 싶은 것이 있습니다. 제가 말하고 있는 크래프트는 오래된 방법을 고집하는 일은 아닙니다. 기술이 자동화될 때 크래프트가 상류로 올라갔듯, 도구가 바뀌어도 지켜야 할 것은 방법이 아니라 기준입니다. 새로운 기술을 받아들이면서 기준을 지키는 것. 저는 그것이 도구를 직접 만드는 사람들이 가장 잘 할 수 있는 일이라고 믿습니다.

오픈서베이는 아티장이 쌓아올린 경험과 감각을 모두가 사용할 수 있는 도구로 옮기는 일을 하고 있습니다. 크래프트란 결과물에서 보이지 않는 판단의 총합이라고 썼습니다. 그렇다면 크래프트를 이야기 한다는 것은 그 보이지 않는 판단들을 보이게 만드는 일일 겁니다. Craft of Research에서는 리서치와 리서치를 위한 도구를 만드는 과정의 무수한 결정들을 기록하고 공개합니다. 

다음 글에서는 이 질문을 다루려고 합니다. 리서치의 크래프트는 이제 어디로 이동할까요? 다른 산업에서 그 실마리를 찾아보겠습니다.

참고 문헌

[1] Richard Sennett, The Craftsman, Yale University Press, 2008. 국내 번역서: 리처드 세넷, 『장인: 현대문명이 잃어버린 생각하는 손』, 김홍식 옮김, 21세기북스, 2010. 원문은 "Craftsmanship names an enduring, basic human impulse, the desire to do a job well for its own sake." (원서 9쪽)

[2] David Pye, The Nature and Art of Workmanship, Cambridge University Press, 1968. '위험의 작업'과 '확실성의 작업' 구분은 이 책 1장에서 제시됩니다.

[3] Michael Polanyi, The Tacit Dimension, Doubleday, 1966. 원문은 "We can know more than we can tell." (원서 4쪽) 국내 번역서: 마이클 폴라니, 『암묵적 영역』, 김정래 옮김, 박영사, 2015.

[4] John W. Tukey, "The Future of Data Analysis", The Annals of Mathematical Statistics, 33(1), 1962. 원문은 "Far better an approximate answer to the right question, which is often vague, than an exact answer to the wrong question, which can always be made precise." (13~14쪽)

[5] Adam Hughes & Bradley Jones, "'Good jobs' vs. 'jobs': Survey experiments can measure the effects of question wording – and more", Pew Research Center, 2019년 1월 29일. https://www.pewresearch.org/short-reads/2019/01/29/good-jobs-vs-jobs-survey-experiments-can-measure-the-effects-of-question-wording-and-more/ (일자리 60% 대 좋은 일자리 48%)

[6] 이른바 forbid/allow 비대칭. 최초 실험: Donald Rugg, "Experiments in Wording Questions: II", Public Opinion Quarterly, 5(1), 1941. 메타분석: Bregje Holleman, "Wording Effects in Survey Research: Using Meta-Analysis to Explain the Forbid/Allow Asymmetry", Journal of Quantitative Linguistics, 6(1), 1999.