제품 실험을 망치지 않는 방법

사람들이 저에게 “Leah, 우리 제품/온보딩 별로인가요?”라고 물을 때, 그들은 단순한 “네” 또는 “아니요”라는 대답을 원하지 않습니다.

실제로 그들이 묻고 있는 질문은 “우리 제품/온보딩이 구체적으로 어디가 문제인가요?”입니다.

그러나 여기서도 그들은 혼란스러워합니다. 그들은 올바른 기준점을 찾고 있다고 생각하죠—프레젠테이션에서 똑똑해 보이는 멋진 이야기를 만들 수 있는 완벽한 데이터 포인트 말입니다. “여기 보시면, 우리는 이 기준점에 있습니다. 물론 목표는 저 기준점에 도달하는 것입니다.” 이런 말이 똑똑해 보이죠. 마치 무엇을 해야 할지 알고 있는 것처럼요.

그러나 그 기준점은 거짓된 약속일 뿐입니다.

여기서 진짜 질문은: 왜 여러분의 팀은 이미 고쳐야 할 문제를 고치지 않고 있나요?

보통 제가 받는 대답은 이런 식입니다. “음, 이 문제를 고치고 싶지만 뭔가 다른 것들이 우리를 막고 있습니다.” 또는 “어떻게 고쳐야 할지 100% 확신이 없습니다.”

번역: 우리는 올바른 기준점을 찾고 슬라이드 덱에 넣었고, 모두가 그것에 동의했지만, 이상하게도 그 곡선은 전혀 움직이지 않습니다. 모두가 문제를 알고 있음에도 불구하고 어떻게 고쳐야 할지 모르기 때문입니다. 하지만 그 차트 보셨나요??

조심하세요, 영업 담당 Gary가 왔다고 생각했는데 이제 차트 담당 Charlie가 와서 분기 계획 보고서를 두 주 전에 내놓고는 자리를 지키기 위해 안간힘을 씁니다.

시도하고 결과를 보세요, 하지만 실행하세요

영업 담당 Gary와 차트 담당 Charlie는 예측 가능성을 좋아합니다. 그들은 레버를 당기면 끝에선 사탕이 나올 거라는 확신을 원합니다.

그러나 제품 개발과 성장은 그렇게 단순하지 않습니다.

제품 및 성장 관리는 때로는 단순히 “행동”을 해야 하는 경우가 많습니다. 우리는 종종 우리의 아이디어가 틀렸다는 사실을 나중에 깨닫습니다. 이 업계에서 많은 경험을 쌓았지만, 여러분의 회원 가입 및 온보딩 과정을 개선했을 때 얼마나 성과가 날지 예측할 수는 없습니다.

어떤 변화가 효과가 있을지 정확히 말할 수도 없습니다.

하지만 확실하게 말할 수 있는 것은, 몇 가지는 반드시 효과가 있을 것이라는 점입니다.

그리고 확실히 효과가 없을 것을 장담할 수 있는 것도 있는데, 그것은 바로 아무것도 하지 않는 것입니다.

이건 마치 6면체 주사위를 굴리는 것과 같습니다. 어느 숫자가 나올지 정확히 알 수는 없지만, “6”이 나올 것이고 그 빈도도 예측할 수 있다는 점은 확신할 수 있습니다.

때로는 멍청해 보이는 실험이 꽤 큰 변화를 일으킨 경우도 있었고, 그 이유를 지금도 모릅니다. 물론 모든 실험이 그런 것은 아니지만, 성과가 날 때는 그냥 받아들여야 합니다.

여기서 중요한 점은? 여러분의 제품이 별로인지 묻는 것을 멈추고, 빠르게 개선할 수 있는 방법을 마련하는 것입니다.

방법은 다음과 같습니다:

먼저, 관리하는 제품 부분을 나타내는 좋은 지표를 찾으세요. 특정 기능을 책임지고 있는 PM이라면, 사용자가 해당 기능과 상호작용할 때 무엇을 하는지 추적하는 지표를 찾아서 그것이 회사에 이익이 되는 무언가와 상관관계가 있는지 확인하세요—예를 들어, 수익과 같은 것 말이죠. 제품 전체를 관리하고 있다면, 더 높은 수준에서 동일한 작업을 수행하세요.

그러나 수십 개의 지표를 도입해서 과도하게 복잡하게 만들지 마세요. 그렇게 하면 무엇을 해야 할지 모를 겁니다. 먼저 몇 가지 실험을 통해 간단히 분석하고, 제품에 미치는 영향을 신뢰할 수 있게 판단할 수 있는지 확인하세요.

“간단하다”는 의미는, A/B 실험의 결과를 몇 초 만에 대시보드로 확인할 수 있는지, 아니면 Data 팀의 Dingleberry에게 부탁해야 하는지를 의미합니다. 그는 아마도 항상 기분이 나쁘니 하루가 걸릴 수도, 며칠이 걸릴 수도 있습니다.

간단한 실험은 엔지니어링 팀이 쉽게 배포할 수 있고, 디자이너와 PM이 쉽게 분석할 수 있으며, 실패를 팀을 비난하는 이유가 아니라 학습 기회로 추적할 수 있도록 해야 합니다.

PM, 제품 리더, 또는 제품 관련 일을 하는 사람으로서, 여러분은 제품 개발 프로세스를 개선하는 반복적인 절차에 집중해야 합니다.

실험할 아이디어 / 시작하는 방법

빠르게 달리는 법을 먼저 배우세요.

많은 면에서 직관에 반할 수 있지만 대부분의 회사는 좋은 실험을 하는 방법을 배우기 전에 먼저 실험을 빠르게 수행하는 법을 배워야 합니다. 여기서 중요한 것은 속도입니다.

여러분의 제품이 별로인 이유는 제품 팀이 작고 점진적인 개선을 테스트하지 못하고 큰 변화를 기대하며 헤매고 있기 때문입니다. 이런 방식은 초기 스타트업 시절에는 통했을지 모르지만, 회사가 성장함에 따라 더 이상 통하지 않습니다. 실제로, 이는 회사가 성장하면서 실패하는 주요 이유 중 하나이며, 강력한 제품 리더십이 그 전환을 관리하지 않으면 문제가 됩니다.

전화를 걸어보세요

사용자를 활성화했다고 해서 그들이 장기적으로 남아 있을 것이라는 보장은 없습니다. 활성화 이탈은 실제로 존재합니다. 이는 파워 유저들이 제품을 통해 무언가를 배우고, 일정 기간 동안 열심히 사용하다가 갑자기 사용을 멈추는 경우입니다.

이런 사용자들은 기술적으로 이탈한 것은 아닙니다(왜냐하면 그들은 실제 고객이 아니었으니까요), 하지만 제품 사용을 멈췄습니다. 왜 그랬을까요? 이것이 여러분이 물어봐야 할 질문입니다. 그들에게 연락해서 왜 처음에 파워 유저가 되었고, 왜 제품 사용을 중단했는지 알아보세요. 이건 그들에게 무언가를 팔거나 다시 데려오기 위한 것이 아니라, 무엇이 잘못되었는지 이해하는 과정입니다.

여러분은 아마 이 부분을 대충 넘어갔을 겁니다. 다시 한 번 읽어보세요—실제로 그들에게 연락하세요. 미래의 고객을 이해하는 최고의 방법은 그 길을 가고 있었던 사람들과 이야기하는 것입니다. 설문조사도 좋지만 앱 내에서 메시지를 보내는 것이 훨씬 더 좋습니다. 그리고 무엇보다도 여러분도 이미 알고 계시겠지만 전화 통화가 가장 좋습니다. 1990년대 고대 역사에서 사람들이 했던 것처럼 말이죠.

현지 부머에게 연락하여 전화 대화가 어떻게 진행되는지 확인하세요. 아니면 영업팀의 Gary에게 문의하세요. 그도 잘할 수 있습니다.

시작하려면 제품의 무료 부분에서 파워 유저가 무엇인지 정의하기만 하면 됩니다. ICP와 몇 가지 사용량 지표를 중심으로 정의하는 것이 좋습니다. 예를 들어 파워 유저의 정의는 다음과 같을 수 있습니다:량 지표를 중심으로 정의하는 것이 좋습니다.

• 사용자가 직원 50명 이상의 회사에 소속됨 (여러분의 ICP)
• 사용자가 특정 작업을 5회 이상 성공적으로 완료함 (사용량)

활성화와 유지의 차이를 기억하세요

활성화와 유지는 중요한 차이가 있습니다. 누군가를 활성화시키는 것은 단지 시작일 뿐이며, 그들을 유지시키는 것이 진짜 도전입니다. 만약 사용량이 감소하는 것을 보면, 그것은 신호입니다. 아마도 제품이 정기적으로 사용하기에 너무 번거롭거나 불안정했을 수 있습니다. 이런 통찰력은 무시할 수 없습니다. 하지만 대부분의 회사는 분석에서 두 가지를 구분할 줄 모릅니다.

고객이 핵심 순간에 도달하기 전에 왜 그만두었는지 물어보세요. 초기 설정과 큰 "아하" 순간 사이에 하위 순간들을 도입하세요. 이러한 하위 순간들도 측정하세요—예를 들어, 얼마나 많은 사람들이 초대를 수락했는지 또는 특정 작업을 완료했는지 같은 것들입니다. 이런 작은 성공들은 실행 가능한 데이터를 제공하며, 전체 경험을 점진적으로 개선할 수 있도록 도와줍니다.

미니 순간들을 만들어라

그렇다면 어떻게 시작할까요? 사용자가 제품에서 가치를 얻어야 하는 순간을 살펴보세요. 좋은 순간이 정의되어 있다면, 예를 들어 사용자가 30일 이내에 특정 행동을 해야 1주일 리텐션과 상관관계가 있다고 가정하면 그 순간이 벤치마크가 됩니다.

하지만 그 순간에 ICP의 3~5%만 도달한다면 뭔가 잘못되었다는 뜻입니다. 20~60% 사이의 활성화율을 확인해야 최적화가 효과를 발휘하고 있는지 확인할 수 있습니다. 수치가 너무 낮으면 10%만 개선되어도 의미 있는 방식으로 바늘이 움직일 수 있지만 비즈니스의 일반적인 노이즈와 분리할 수 없습니다. 효과가 있는지 알 수 없습니다.

이 점을 간단한 예로 설명해 보겠습니다:

영업 담당 Gary는 특정 제품 부분을 볼 때마다 고객들이 열광하며 결제 고객이 될 가능성이 크다고 확신에 차서 말했습니다. 우리가 그의 말을 믿고 이 순간을 'A Moment'라고 정의했다고 가정합시다. 이 A Moment에 도달하기 위해서는 사용자들이 일련의 행동을 해야 합니다(예: 데이터를 입력하거나 회원 가입 과정을 거치는 것).

이제 데이터를 들여다보면, ICP의 5%만이 회원 가입에서 A Moment까지 도달하고 있음을 발견할 수 있습니다. 우리는 전환율이 낮은 이유에 대한 몇 가지 아이디어가 있습니다(예: 회원 가입 과정이 불편하게 느껴진다). 그래서 실험을 해보았지만 통계적으로 유의미한 변화를 확인할 수 없습니다. 왜냐하면:

• 5%만 발생하는 것을 유의미하게 변화시킬 데이터를 얻기 위해서는 엄청난 양의 데이터와 사용자가 필요하기 때문입니다. 여러분에게는 그럴 여력이 없을 수도 있습니다.
• 어느 정도의 자연스러운 변동은 모든 지표에서 발생하므로, 우리가 바꾸는 것이 그 변동을 뚫고 지나갈 정도로 의미 있게 변해야 합니다. 아무것도 하지 않아도 11월에는 4%의 전환율을, 12월에는 6%의 전환율을 볼 수 있을 겁니다(이는 50% 차이입니다!).

이 경우, A Moment을 변경하는 것이 아니라 그 순간에 도달하기 위한 하위 순간들을 도입하고 그것들을 측정해야 합니다. 예를 들면:

회원 가입 -> 첫 번째 로그인 성공 -> 데이터 제공 -> A Moment

그런 다음 이 하위 순간들을 개별적으로 측정합니다. 결과는 다음과 같을 수 있습니다:

• 회원 가입 -> 첫 로그인 (전환율 60%) -> 데이터 제공 (전환율 30%) -> A Moment (전환율 30%)

전체 흐름의 전환율은 여전히 5%이지만, 우리는 이 과정의 하위 순간을 개선할 수 있습니다. 예를 들어, 첫 번째 단계를 20% 개선하여 60%에서 72%로 만들면, 자연스러운 변동에도 불구하고 그 변화를 볼 수 있을 겁니다. 그리고 훨씬 적은 데이터를 필요로 할 것입니다.

주의: 이 방법은 A Moment에 도달하기 위해 반드시 완료해야 하는 순간들에만 적용됩니다.

사람들을 끌어들이고 유지하는 것은 다릅니다

제품의 기능과 차별화 요소에는 두 가지 다른 특성이 있습니다. 일부는 끌어들이는 데 탁월하지만 유지에는 실패하고, 그 반대도 있습니다. 이 문제는 회사의 핵심 가치 제안으로 여겨지는 기능이 유지되지 않을 때 발생합니다(자동차의 경우 “A에서 B로 가는 것”).

예를 들어, 사람들이 문서와 대화를 나눌 수 있도록 해주는 AI 기능이 있는 제품을 가지고 있다고 합시다.

분석을 통해 이 기능을 사용하는 전환율이 높다는 것을 확인할 수 있습니다. 이 기능은 유지도 잘 됩니다. (전환율 80% 이상, 8주 유지율 20% 이상)

하지만 시간이 지나면서 하루에 많은 문서와 대화를 나누는 사용자들이 드물게 사용하는 사용자들보다 더 유지되지 않는다는 것을 발견할 수 있습니다.

여러분의 핵심 제품이 잘 활성화되긴 했지만, 더 무거운 사용 사례를 가진 전문가들에게는 사용하기에 너무 번거로울 수 있습니다. 이는 큰 문제입니다. 왜냐하면 바로 그런 사람들이 여러분의 서비스에 비용을 지불할 가능성이 높은 사람들이기 때문입니다. 여러분은 직업적 사용자와 회사들에게는 적합하지 않은 무언가를 설계한 셈입니다.

다시 말해, 제품의 핵심 부분이 여러분의 ICP(예: B2B의 헤비 유저)와 일치하지 않음에도 불구하고 강력한 매력을 가지고 있습니다.

결론

빠른 실험 주기를 설정하고 긍정적인 변화를 보는 데 필요한 요소를 이해하는 것이, 항상 다음 큰 기회를 찾으려고 애쓰는 것보다 더 중요합니다.

최고의 회사들은 CEO가 최고의 아이디어를 내는 것이 아니라, 반복 가능한 실험 문화를 가지고 있습니다. 궁극적으로 이러한 이해는 사용하기 쉽고, 이해하기 쉬우며, 더 복잡한 사용 사례에도 여전히 작동하는 제품으로 나타납니다.

이런 제품은 차트 담당 Charlie가 발표하기에도, 영업 담당 Gary가 판매하기에도 더 쉽습니다. 모두가 행복하죠... Data 팀의 Dingleberry만 빼고요. 그 친구는 절대 행복하지 않거든요.