Judd Antin은 15년 동안 야후, 메타, 에어비앤비 등의 회사에서 리서치 및 디자인 팀을 이끌었습니다. 그의 직속 상사들은 Figma, Notion, Slack, Robinhood, Duolingo, AllTrails 등에서 사용자 연구를 이끌었습니다. 이번 대담에서는 사용자 조사 분야가 겪고 있는 변화에 대해 이야기해 보았습니다.
“User-centered performance 는 그저 고객에 대한 집착이고, 관행적인 작업입니다. 무언가를 배우기위한 작업이 아니에요. 이런 작업들은 매우 흔하게 일어난다고 생각합니다. 이는 우리가 얼마나 고객에게 집착하는지 보여주기식의 작업이지, 어떤 결정을 내리기 위한 작업이 아닙니다. 만약 이걸 들으시는 분들중에 “나는 안그래” 라고 이야기한다면 저는 “잠깐만 다시 생각해보세요. 이건 정말 흔하게 일어납니다.” 라고 이야기 할거에요. 매번 PM들이 Product 제작단계 마지막에와서 “혹시 빠르게 사용자조사를 해줄 수 있어요? 우리가 생각하는 가정들에 검증이 필요해요”라고 이야기하는 것들이 지금 이야기하는 User-centered performance 입니다. 그때가서 하기엔 너무 늦었죠. 그땐 바로 제품을 출시해해요. 제 만트라중 하나는 “우리는 맞는 것을 증명하지 않는다. 우리는 틀린 것을 증명한다. 우리는 틀릴 수 있다.” 에요. 많은 PM 들과 디자이너들은 그런 입장에 있지 않아요. 그들은 틀리길 원하지 않습니다. 그들은 맞는 것을 증명하고 싶어하고, 그게 제가 이야기하는 User-centered performance 입니다.”
-Jud Antin ( Yahoo, Meta, Airbnb )
지난 10년간 사용자 리서치가 잘못한 점
Judd Antin은 지난 10년간 사용자 연구의 근본적인 실수를 지적하며, 연구자들의 노력을 너무 많이 차지하는 '중간 범위' 연구라는 개념에 중점을 두고 있습니다. 이 범주의 연구는 '매크로'(전략적, 비즈니스 중심)와 '마이크로'(세부적, 사용성 중심) 연구 사이에 위치하며, 비즈니스에 직접적인 영향을 미치지 않고 다소 모호한 질문을 던지는 경향이 있습니다. Antin은 이러한 이해에 대한 추구가 흥미로울 수는 있지만 궁극적으로 비즈니스에 필수적인 결정을 내리거나 중요한 가치를 창출하지는 못한다고 강조합니다. 그는 이러한 강조점이 잘못 배치되어 연구자들이 흥미롭기는 하지만 실행 가능한 인사이트나 비즈니스에 대한 명확한 혜택으로 직접 연결되지 않는 연구를 수행하는 상황이 발생했다고 주장합니다. 이러한 관찰은 연구자들이 자신의 연구가 영향력 있고 더 큰 비즈니스 목표와 연계되도록 하기 위해 연구자의 노력을 어디에 어떻게 배분할 것인지에 대한 전략적 전환을 요구합니다.
매크로, 미드레인지, 마이크로의 세 가지 연구 유형과 각각의 목적
Judd Antin은 매크로, 미드레인지, 마이크로 리서치를 구분하여 각 유형이 제품 개발과 전략 프로세스에 가져다주는 고유한 목적과 가치를 강조합니다. 매크로 리서치는 전략적이고 미래 지향적이며 광범위한 시장 동향, 경쟁 환경, 혁신의 잠재적 영역을 이해하는 데 필수적인 것으로 설명됩니다. 그러나 중간 범위 연구는 보다 구체적인 사용자 행동과 선호도에 초점을 맞추는 경향이 있으며, 즉각적인 비즈니스 목표나 결과와 직접적으로 연결되지 않는 경우가 많아 실행 가능한 인사이트를 도출하는 맥락에서 그 효과에 의문이 제기되기도 합니다. 반면, 마이크로 리서치는 제품 사용성과 사용자 상호 작용의 세분화된 측면을 탐구하여 제품 설계 및 개선에 직접적인 영향을 미치는 중요한 인사이트를 제공함으로써 사용자 경험과 비즈니스 지표에 실질적인 영향을 미칩니다. 이러한 연구 범주에 대한 Antin의 인사이트는 조직이 연구 노력을 보다 효과적으로 배분하여 제품의 우수성과 비즈니스 성공에 의미 있는 기여를 할 수 있도록 하는 귀중한 프레임워크 역할을 합니다.
User researcher를 제품 개발 프로세스에 효과적으로 통합하는 방법
Judd Antin은 User researcher을 제품 개발 프로세스에 철저히 통합하는 것이 중요하다고 강조하며, 그들을 너무 늦게 참여시키거나 서비스 중심의 제한된 역량으로 참여시키는 일반적인 관행을 비판합니다. 그는 그들이 처음부터 참여하여 제품 관리자, 디자이너, 엔지니어와 긴밀한 파트너십을 형성하는 모델을 옹호합니다. 이러한 접근 방식은 비즈니스 목표, 사용자 요구 사항, 기술적 제약에 대한 상호 간의 심층적인 이해를 촉진하여 User researcher가 중요한 의사 결정에 필요한 정보를 보다 정확하게 제공하기 위해 문의 사항과 인사이트를 맞춤화할 수 있게 해줍니다. Antin은 이러한 임베디드 협업이 미묘한 증거 기반 관점으로 개발 프로세스를 풍부하게 할 뿐만 아니라 User researcher가 보다 전략적으로 기여하여 전반적인 제품 품질과 비즈니스 영향력을 향상시킬 수 있다고 말합니다.
이와 관련해 '수백만 달러짜리 버튼' 이라는 사례를 공유합니다. 이 사례는 에어비앤비가 제품 경험에서 문제 영역, 특히 예약 과정에서 전환 퍼널이 눈에 띄게 감소하는 현상을 파악하는 것으로 시작됩니다. 안틴의 지휘 아래 사용자 연구팀은 예약 프로세스 내에 잠재 게스트가 예약 시도를 망설이거나 포기하게 만드는 요소가 있을 수 있다는 가설을 세우고 이 문제를 심층적으로 조사하기로 결정했습니다.
연구팀은 사용자 연구와 데이터 분석을 결합하여 예약 과정에서 사용되는 CTA 버튼이 의도치 않게 사용자들의 불안감을 유발한다는 사실을 발견했습니다. 버튼의 텍스트는 실제 의도가 단지 프로세스의 다음 단계로 이동하기 위한 것이었음에도 불구하고 사용자에게 버튼을 클릭하면 즉시 예약이 시작될 것이라고 암시했습니다. 이러한 오해는 사용자들이 조기에 예약을 확정하는 것에 대해 확신이 없거나 두려움을 느끼면서 전환을 가로막는 장벽이 되었습니다.
이러한 인사이트를 바탕으로 사용자 연구팀은 사소해 보이지만 영향력 있는 변화를 제안했는데, 바로 CTA 버튼의 문구를 변경하여 유도하는 행동을 보다 정확하게 반영하는 것이었습니다. 버튼을 클릭한다고 해서 바로 예약이 확정되는 것이 아니라는 점을 명확히 하여 사용자의 불안감을 줄이고 더 많은 사용자가 예약 절차를 진행하도록 유도하는 것이 이 변경의 목표였습니다.
연구에 기반한 이 개입의 결과는 매우 중요했습니다. 버튼의 텍스트를 조금만 변경하는 것만으로도 사용자의 우려를 완화할 수 있었고, 그 결과 전환율이 눈에 띄게 개선되었습니다. 사소해 보이는 이 작은 조정이 에어비앤비 비즈니스에 수백만 달러의 영향을 미쳤으며, 사용자 중심의 사려 깊은 조사가 제품 성공에 얼마나 큰 영향을 미치는지 잘 보여줍니다.
'사용자 중심 성과' 현상과 그것이 시간 낭비인 이유
Judd Antin은 '사용자 중심 성과'라는 용어를 설명합니다. 이는 사용자 인사이트를 의사결정 프로세스에 진정으로 통합하지 않고 사용자 중심이라는 피상적인 약속만 퍼뜨리는 현상을 말합니다. 이러한 현상은 일반적으로 팀이 사용자 조사를 제품 전략이나 디자인에 진정으로 도움이 되기보다 그저 형식적으로 수행하거나 기존의 의사 결정을 검증하기 위해 수행할 때 나타납니다. Antin은 이러한 접근 방식이 솔직하지 못하고 비효율적이라고 비판하며, 귀중한 연구 리소스를 낭비할 뿐만 아니라 사용자의 요구를 진정으로 이해하고 해결할 수 있는 기회를 놓친다고 주장합니다. 그는 사용자 연구를 통합하는 데 있어 보다 진정성 있고 증거에 기반한 접근 방식을 주장하며, 이를 통해 보다 의미 있고 영향력 있는 제품 결정을 내릴 수 있다고 믿습니다.
연구자들이 말하는 PM에 대한 일반적인 고정관념
Judd Antin은 연구자들이 인식하는 제품 관리자(PM)에 대한 일반적인 통념을 공유하며 이러한 역할 간의 긴장된 역학 관계에 대해 조명합니다. 이러한 고정관념에는 PM이 유저리서치를 너무 느리게 보고, 스스로 연구를 수행할 수 있다고 믿으며, 더 깊은 인사이트를 찾지 않고 A/B 테스트에 지나치게 의존하고, 새로운 연구 결과를 '당연한 것'으로 무시하는 등의 관념이 포함됩니다. Antin은 이러한 오해를 파헤치며 PM이 연구자들이 제공하는 고유한 인사이트와 방법론을 소중히 여기고 활용하는 보다 협력적이고 통합적인 접근 방식을 옹호합니다. 이러한 상호 이해는 더 많은 정보를 바탕으로 효과적인 제품 전략과 결정을 내릴 수 있는 기반을 마련할 수 있습니다.
Autin은 Facebook에서의 '숨기기' 버튼을 둘러싼 오해에 대한 설득력 있는 사례를 공유합니다. 이 사례는 사용자 조사를 통해 기존의 통념에 도전하고 더 나은 제품 결정을 내릴 수 있는 예상치 못한 인사이트를 발견할 수 있는 강력한 예시입니다.
처음에 Facebook의 제품팀은 사용자가 게시물을 숨기는 빈도가 게시물의 품질을 나타내는 명확한 신호가 될 수 있다고 가정했습니다. 자주 숨겨지는 게시물은 '나쁜' 게시물로, 거의 숨겨지지 않는 게시물은 '좋은' 게시물로 간주하는 것이죠. 이러한 가정은 사용자가 게시물을 숨긴다면 그 게시물이 가치가 없거나 적절하지 않다고 생각한다는, 표면적으로는 일리가 있어 보이는 단순한 논리에 근거한 것이었습니다.
하지만 사용자 연구를 통해 이 문제를 더 깊이 파고들면서 안틴과 그의 팀은 이 가정에 결함이 있음을 발견했습니다. 이들은 페이스북에서 '슈퍼 히더', 즉 숨기기 기능을 자주 사용하는 사용자를 대상으로 연구를 진행했습니다. 연구팀은 이러한 사용자들이 게시물을 선호하지 않는 특성에 대한 인사이트를 발견할 수 있을 것으로 기대했습니다. 하지만 연구팀이 발견한 것은 초기 가설과 놀랍도록 다르고 직관적이지 않은 결과였습니다.
연구 도중 한 참가자가 팀원들에게 놀라운 행동을 보여주었습니다. 연구팀은 이 참가자가 페이스북 피드를 사용하는 모습을 관찰하던 중, 이 참가자가 게시물을 읽은뒤 그 내용에 관계없이 거의 모든 게시물을 숨기는 것을 발견했습니다. 왜 그런지 물어봤더니, 이 참가자는 게시물의 질에 대한 판단이 아니라 "읽은 것을 지우기위해" 숨기기 기능을 사용하고 있었다는 놀라운 사실을 알게 되었습니다. 단순히 읽었기 때문이 숨기는 것이었습니다.
이 인사이트는 제품팀이 사용자 행동에 대해 크게 잘못 이해하고 있었다는 점을 밝혔습니다. 이를 통해 숨기기가 게시물의 품질을 직접적으로 나타내는 지표라는 가정에 결함이 있음을 알게 되었습니다. 이 발견은 사용자 행동과 동기에 대한 심층적인 이해 없이 표면적인 데이터 분석에 기반하여 제품 결정을 내리는 것의 위험성을 강조했습니다.
회사 내 이상적인 User researcher 비율
회사 내 User researcher와 다른 팀원의 이상적인 비율을 결정하는 문제에 대해 설명하며, 만능의 정답은 없다고 말합니다. 대신 리서처가 팀과 구축하는 관계의 질에 초점을 맞추고 그들이 프로젝트에 너무 많이 분산되지 않도록 해야 한다고 조언합니다. Antin은 User researcher이 핵심 프로젝트에 깊이 관여하여 강력한 파트너십을 형성하고 개발 프로세스에 크게 기여할 수 있도록 하는 것이 많은 수의 리서처들을 다양한 업무에 배치하는 것보다 더 유리하다고 제안합니다. 이러한 접근 방식은 양보다 영향력 있는 연구의 중요성을 강조하며, 제품 성공에 대한 기여도를 극대화하기 위해 연구 자원의 전략적 배분을 옹호합니다.
Judd가 NPS가 쓸모없다고 말하는 이유와 대신 사용할 수 있는 방법
Judd Antin은 고객 만족도를 측정하는 데 있어 순추천지수(NPS)가 비효율적인 지표라고 비판하며, 그 한계와 편견이 개입될 수 있다고 지적합니다. 그는 NPS가 응답 범위가 좁고 고객 정서를 파악하는 데 있어 구체성이 부족하다는 등의 문제를 안고 있다고 지적합니다. 대신 안틴은 고객 만족도 점수(CSAT)가 더 나은 대안이라고 주장하며, 그 정확성과 비즈니스 성과와의 강력한 상관관계를 강조합니다. 전반적인 고객 만족도를 측정하는 CSAT의 간단한 접근 방식은 NPS보다 더 명확하고 실행 가능한 인사이트를 제공하므로 사용자 경험을 이해하고 개선하는 데 더 신뢰할 수 있는 도구입니다.
young.
리서치 팀과 디자인 팀을 이끄는 Antin이 페이스북에서 있었던 일화로 “숨기기 버튼” 에 대한 인사이트가 재밌습니다. 페이스북이라는 큰 기업에서 하나의 기능을 런칭할때나 작은 스타트업이 0 to 1 할때, 작은 가정 하나하나를 그저 데스크에서 추측하지 말고 실제 고객들과 부딪히며 검증 하는게 역시 중요한 것 같습니다.