[북 리뷰] 조직을 성공으로 이끄는 프로덕트 오너- 김성한

https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=235698335 

조직을 성공으로 이끄는 프로덕트 오너

 

---

 

 언제부턴가 '쿠팡 PO'라고 하면 '프로페셔널'을 상징하게 된 것 같다. 영어도 잘하고 커뮤니케이션도 잘하고 개발/디자인도 잘하고 자기관리도 철저할 것 같은 느낌. 표지에 적힌 '쿠팡의 PO가 말하는 애자일 혁신 전략'이라는 부제 덕분에 이 책을 발견하게 됐다.

 

 저자 김성한은 포브스 선정 '아시아 30세 이하 30인'에 선정될 정도의 네임드 PO이다. 미국/프랑스/북경/영국에서 학교를 다녔고 NHN NEXT의 소프트웨어 엔지니어 과정을 거쳐 쿠팡/코빗에서 PO로 근무했다. (인터뷰 기사) 

 

 이 책을 통해 크게 세 가지를 배웠다. 첫째는 PO가 하는 일이 무엇인지 보다 명확하게 알게 되었다. 특히 실제 케이스 예시를 많이 들어주어서 보다 쉽게 잘 이해가 되었다. 둘째는 데이터 기반 의사결정에 대해 보다 깊게 생각해보게 되었다. 다들 데이터 데이터 하는데 데이터 기반 의사결정이 왜 중요한지, 리더 입장에서는 데이터를 어떤 식으로 활용해야 하는지를 알게 되었다. 마찬가지로 몇 가지 좋은 케이스가 나오는데 내 것으로 잘 습득하려고 한다. 셋째는 실제적으로 A/B테스트 혹은 개발 배포를 진행할 때 꿀팁을 얻게 되었다. 이론도 좋지만 실제 업무에서 어떻게 하고 있는지 알 기회가 많지 않은데 이 부분이 좋았던 것 같다.

 

 PO를 꿈꾸거나 궁금한 사람들, 스타트업에 종사하거나 신규 사업을 시작하는 사람들에게 적극 추천하고 싶다.

 

 

---

 

1. PO(Product Owner)가 하는 일

• 미니 CEO. 하나의 프로덕트에 대한 책임을 지고 기획, 분석, 디자인, 개발, 테스트. 출시, 운영까지 주도하는 사람.
• 학력(전공), 업무경험, 성향/능력 중 성향/능력이 절대적으로 중요함. 논리적인 사고, 다양한 정보 속에서 깊이 생각하는 능력, 우선순위를 정할 수 있는 거시적인 시야, 커뮤니케이션 능력, 디자인 소양, 추진력과 결단력, 끈질김.
• 고객이 '어떤 일을 해결하기 위해 제품을 고용하는지'에 대한 명확한 이해가 필요함.
  • 밀크쉐이크 사례 : 유저 리서치를 통해 밀크쉐이크 제품을 개선했지만 판매량이 증가하지 않는 상황. 크리스텐슨 교수는 직접 매장에 머물며 고객을 조사했다. 오전에는 직장인들이 많이 구매했는데 지루한 출근길에서 운전하면서 편하게 한 손으로 먹을 수 있고 적당히 배가 부르면서 오랜시간 먹을 수 있기 때문이었다. 오후에는 부모님들이 많이 구매했는데 자녀들에게 간식을 먹이기 위함이었다. 교수는 오전에 방문하는 출근 고객을 위해서는 걸죽한 농도의 밀크쉐이크를(오래 먹도록), 오후에 방문하는 부모님 고객을 위해서는 묽은 농도의 밀크쉐이크를(빨리 먹도록) 개발하도록 하여 판매량을 증가시킬 수 있었음.
• 서비스는 하나여도 고객 유형은 다양하다.
  • 아마존 사례 : 아마존을 비롯한 전자상거래 고객의 유형은 크게 세 가지로 분류.
    (1) '구체적 목적이 있는 고객'은 이미 구매할 상품을 결정하고 방문한 고객.
    (2) '목적은 있지만 발견해야 하는 고객'은 동일 상품군에서 여러 상품을 비교해보고 결정을 내리는 고객.
    (3) '발견을 원하는 고객'은 목적 없이 구경하러 방문한 고객.
    -> (1) 고객에게는 '자주 구매하는 상품'이나 '최근 구매한 상품'을 보여주고 상품평 보다는 가격을 크게 노출하여 최대한 의사결정을 빨리 할 수 있도록 해야 함. (2) 고객에게는 검색 시점에 최대한 관심 있을 상품을 우선 노출해야하고 필터나 상품평을 잘 비교할 수 있도록 해야 함. 
• BA/DA는 PO가 데이터 기반 의사결정을 할 수 있도록 데이터를 추출하고, 리포트를 생성해주는 분석 전문가이다. 만약 데이터를 단기간에 추출하는 것에서 머무르지 않고, 그것을 적절하게 시각화하며, 매일 특정 시간에 자동 업데이트까지 하는 작업이 숙련되어 있다면 같이 일하기 좋은 동료이다.

 

2. 데이터 기반 의사결정 하는 법

• 고객 데이터를 집요하게 분석하여 결론 내린다.
  • 넷플릭스 사례 : 초기에 '5점 평점'을 운영하다가 '유저의 취향과 얼마나 유사한지를 퍼센트로 보여주는 방식'으로 변경함. 유저가 평점이 5점이라고 무조건 즐기는 것도 아니고 2점이라고 해서 무조건 즐기지 않는 것도 아니라는 사실을 데이터를 통해 검증하였기 때문. 대신 고객 경험 최적화가 중요하다는 사실을 발견함. '퍼센트 방식'에서 더 나아가 영화 당 최소 9개 이상의 대표 이미지를 가지고 각 유저에 맞는 이미지를 노출하는 알고리즘을 도입함. <굿 윌 헌팅>을 예로 들면 로맨틱 영화를 좋아하는 사람은 '맷 데이먼과 미니 드라이버가 있는 장면', 코미디를 좋아하는 사람은 '로빈 윌리엄스가 미소 짓고 있는 장면'을 노출함.
• 행동을 부르지 않는 데이터는 과감히 버린다. 모든 데이터 분석의 결과는 액셔너블(어떤 행동으로 옮겨야 하는지 명확히 제시)해야 한다. 데이터를 볼 때 '그래서 뭐?', '그래서 우리가 무엇을 할 수 있지'라는 질문을 던지고 명확한 답이 나오지 않는 데이터는 과감하게 무시해야 한다.
• 기능 개선을 위해 가설을 수립할 때 최대한 구체적이고 명확하게 세워야 한다.
  • 예시 : 동일 상품 페이지가 최소 3번 이상 방문하면서 최소 5분 이상 체류하다 세션을 종료하는 고객층이 지난 30일간 2만 3천 명 있습니다. 그리고 그들 중 25.8%는 곧바로 검색 사이트로 옮겨가는 것으로 보아, 구매 결정에 필요한 추가 정보를 원하는 것으로 생각됩니다. 그들에게 실제 여행지에서 계절마다 360도로 촬영한 자체 컨텐츠를 제공하면 구매를 말설이게 하는 불확실성을 줄여줄 것이고, 상품 구매율이 8% 증가할 거라 예상합니다. 가설을 증명하기 위해, 최근 30일 내 동일 상품 페이지를 3번 이상 방문한 고객을 두 그룹으로 나눠, 한쪽에만 새로운 기능을 제공할 예정입니다. 이 테스트는 50% 대 50% 비율로 총 7일간 진행할 예정이며, 검증에 사용될 주요 지표는 상품 구매 전환율, 매출 기여도, 360도 촬영 콘텐츠 소비율 등 입니다.

 

3. A/B테스트 혹은 개발 배포 시 꿀팁

• 일반적인 상황이라면 소수에게 먼저 보여준 다음 점차적으로 노출 빈도를 높이는 것을 권장한다. 시스템 혹은 회사 매출 데이터를 보면서 악영향을 끼치지 않는지 검증할 수 있기 때문이다. 첫 날은 트래픽의 5%만 B그룹에 보내서 여러 수치를 검토한다. 이용률/1인당매출/시스템에러율 등에 별다른 이슈가 없다면 둘째 날부터 트래픽을 20%로 늘린다. 이때는 고객센터와도 협업하여 접수되는 고객 문의 및 불만 건수 증가율도 확인한다. 문제가 없다면 3일차 부터는 트래픽을 5:5로 나눈다. 이 시점부터 유의미한 통계적 분석을 위해 최소 7일간 이 비율을 유지한다. 이 기간 동안 문제가 발생하지 않았다고 해도 최소 3일 정도는 80%로 올려본 후 문제가 없을 경우 전체 배포 한다.
• PO는 P값을 보며 테스트 결과를 판단해야 한다. P값이 0으로 수렴할수록 A/B테스트의 통계적 유의도는 100%에 가까워진다. 특정 테스트 플랫폼은 일정 기간에 걸쳐 P값이 매우 낮게 수렴하는 트렌드를 보일 때 유의미하다고 표기해준다. 이런 기능이 없을 경우 P값이 0.01보다 낮을 때까지 테스트를 신뢰하지 않는다.
• PO는 A/B테스트를 설계할 때, 어떤 수치를 봐야 할지 결정해야 한다. 이 때, '특정 기능과 직결된 수치' & '프로덕트 전반의 수치'를 모두 봐야 한다. 예를 들어 음식 배달 서비스 앱에서 주문 화면 디자인 개편을 했다고 가정해보자. 시나리오1에서 '주문 화면 메모 건수'가 A그룹 보다 B그룹이 잘 나왔지만 고객 1인당 매출은 더 감소했을 수 있다. 이 경우 '프로덕트 전반의 수치'를 보지 않으면 실험 결과를 전혀 다르게 해석할 수 있으니 주의해야 한다.
• 만약 P값이 낮아지지 않아 유의미한 결과를 얻을 수 없다면 PO는 여러 선택지 중 하나를 신속하게 결정해야 한다. (1) 더 많은 고객에게 노출될 수 있도록 테스트 기간을 연장한다. (2) 테스트를 중단하고 신규 디자인/기능이 의미 없다고 판단한다. (3) 유의미한 결과가 없었으나 프로덕트 전체에 악영향을 끼치지 않아 B그룹이 이겼다고 판정한다.