TOSS MAKERS CONFERENCE 25 토스 메이커스 컨퍼런스 25 Product Day 참가 후기

👇토스 메이커스 컨퍼런스 25 참가 대상자 선정 후기👇

TOSS MAKERS CONFERENCE 25 토스 메이커스 컨퍼런스 25 - 참가 대상자 선정

 

Toss Makers Conference 25
Product Day

 

🗓️ 일정 : 25년 7월 23일 (수) Product Day

🚩장소 : COEX 그랜드 볼룸

 

 

지난 번 포스팅 했듯이, 7월 23일에 진행한 토스 메이커스 컨퍼런스 25 Product day에 참가하게 되었다.

토스의 데이터 문화가 잘 정착되어있다는 이야기를 정말 많이 들었기에 이번 컨퍼런스가 기대 되었다.

토스의 데이터분석가, 기획자 등 많은 사람들의 실제 업무 이야기를 들어보면 내가 앞으로 어떻게 해야 할지 감이 잡히지 않을까😎

 

 

메이커 스타일 테스트존, 메이커스 노트존 등 다양한 이벤트 부스들이 있었고

일찍 온 덕에 세션이 시작하기 전에 미리 부스에 가서 체험을 했다!

 

 

메이커 스타일 테스트 존에서 테스트한 나는 '설계형 메이커 요리사'

설명을 보니 맞는 것 같애,,, 

자주 하는 말 : "큰 것부터 정하고 세부사항 넘어갈까요?" ,,, → 내가 제일 원하는 거,,, 진짜 많이 하는 말 같음..!

 

 

"DA가 일하기 편한, 전문성을 갖출 수 있는 환경을 만들고 싶어요."

"일할 때 가장 중요한 기준은, 이 경험이 사용자 입장에서 충분히 만족스럽고 편한거에요."

 

여러 이야기들 중 가장 와닿는 말!💬

 

---

 

Product Day 세션

오프닝 세션을 듣고 10시 30분부터 세션을 들으러 갔다!

 

처음에는 골고루 들을 생각이었으나 결국 나의 관심은 DA분들의 이야기.

그래서 한 곳에 계속 있었음!

빨간색 박스처리가 되어 있는 세션이 내가 들은 세션이고, 나머지 분홍색 처리가 되어 있는 세션은 듣고 싶은 세션이다. 나는 '토스플레이스'에 관심이 있어서 토스플레이스에 대한 이야기가 궁금했다. 8월 말 쯤에 다시보기 영상을 주신다고 해서 그 때 들어볼 예정이다.

---

 

내가 들었던 세션을 위주로 간단한 내용과 내 생각을 정리하였다.

세션을 정리해두었지만 이번 포스팅에서는 4개의 세션에 대해서만 정리하였다.

(사진 없이 제가 세션을 들으며 정리한 내용 위주이니 참고만 해주세요! 자세한 내용은 다시보기 영상으로~)

 

세션 #1. 글로벌 수준의 DA 조직을 만들기 위해 꼭 갖춰야 할 것

방태모 - 토스증권 Data Analyst
#분석 품질과 생산성 #실험 기술과 문화 #DA 직무의 전문화
분석 품질과 속도의 트레이드오프는 DA의 전문화, 조직의 확장 가능성과 지식 자산화를 어렵게 만들어요. 그렇다고 더 많은 DA를 채용하는 것으로는 한계가 있죠. 글로벌 수준의 DA 조직을 만들기 위해서는 다른 차원의 해결책이 필요해요. 제가 생각하는 2가지 핵심 요소에 대해 소개해볼게요.

 

 

DA가 전문성을 갖출 수 있는 환경이 필요하지만, 분석 품질과 속도의 트레이드오프가 존재하기에 이를 극복할 수 있는 해결책이 필요하다.

분석 품질의 일관성 부족, 속도의 한계, 분석 역량 및 효율성 저하, 확장성 부족, 지식 공유의 어려움 등 여러 문제점이 있으며, 이러한 문제점은 개인의 문제가 아닌 시스템의 문제이다.

 

[글로벌 수준의 DA 조직을 만들기 위한 노력]

1. 기술적 관점

1) 실험 할당 프로세스에 관한 개발

- Multi Armed Bandit

- Switchback Test

2) Metric store 및 지표 관리 포탈 연구 개발

3) 대시보드 UI/UX 연구 개발

4) 통계엔진 연구 개발

- Non-parametric method

-  Scalable Power Analysis

-  CUPED

-  Sequential testing

 

2. 문화적 관점

1) A/B 테스트의 복잡성

2) 중앙 집중식 지원의 한계

3) 필요한 노력

4) 문화적 로드맵 실행, 팀 차원

 

그리고 요즘 좋은 툴들이 많이 있지만 그래도 가장 중요한 것은 사람의 이해도이다.

▶  도구 <<<<<<<< 사람의 이해도

 

분석 품질과 생산성 혁신을 위해서는 다음과 같은 단계를 거쳐 '고도화된 실험 플랫폼'이 만들어져야 한다.

▶ DA가 개별적으로 직접 분석하는 단계 → 초기 실험 플랫폼 → 고도화된 실험 플랫폼

 

결론은,

실험 플랫폼을 고도화하여 기본적인 것은 모든 직원들이 할 수 있도록 하며 전문적인 영역을 DA가 하기. 그리고 데이터 문화를 확산하여 실험의 이해도를 높이고 데이터 리터러시를 확대하기

 

💡데이터 분석가들이 전문적인 분야에서 일할 수 있도록 하는 환경, 그렇게 되려면 많은 직원들이 쉽게 실험을 할 수 있도록 프로세스를 개선하는 것. 데이터 분석가라면 너무나도 필요한 환경이지 않을까.
이제는 많은 회사들에도 데이터 문화가 자리잡고 데이터 분석가들이 해야 하는 일에 집중할 수 있는 환경이 되면 좋겠다. 그만큼 데이터 분석가의 전문적인 역량이 더욱 중요해지겠지만...!

 

 

세션 #2. 토스 데이터 분석가가 하는 진짜 A/B 테스트

고은솔 - 토스 Data Analyst
#A/B 테스트 설계 #데이터 기반 의사결정 #앱푸시 최적화 사례
토스 데이터 분석가가 일하는 방식을 소개해요. 전사적으로 임팩트가 컸던 ‘앱푸시 효율화 룰 설정 프로젝트’를 중심으로, 토스에서 A/B 테스트를 어떻게 설계하고 실행했는지, 또 그 과정에서 어떤 인사이트를 도출해 실제 액션 아이템으로 연결했는지를 실제 사례와 함께 나눌 예정이에요.

 

[A/B 테스트 프로세스]

1. EDA를 통해 수많은 가설을 세우고 검증하기

2. 액션 아이템 도출과 정교한 시뮬레이션 실행

3. 실험 설계

   - 실험 모수, 실험 기간, success metric, guardrail metric 설정

   - 실험 환경 셋팅

4. 공감대 형성하기

5. 실험 시작

6. 중간 점검

7. 실험 확대

 

▶ 데이터를 통해 액션 아이템을 생각해내는 것도 데이터 분석가의 역할임

▶ 문제 정의 (CTR 감소)를 데이터 분석 기반으로 진행 + 이 문제를 해결했을 때의 결과 예상치도 분석을 통해 공유하였으며, 내부 직원들에게 공감대를 형성함

 

💡A/B테스트를 진행한 실제 사례를 들어서 도움이 되었다. 한 번도 실험, A/B테스트를 진행하지 않았어서 실제로 어떻게 진행되는지 궁금했었다. 내가 모르는 부분이 많았으며, 많은 공부를 해야겠다고 느꼈다.
그리고 액션 아이템을 생각해내는 것도 데이터 분석가의 역량이라는 점에서 많은 생각을 하게 되었다. 토스처럼 데이터 분석가가 서비스팀에 있지 않고 분리되어 있는 환경이면 주로 분석 결과 도출 단계에서 그치는 경우가 많은데, 이럴 경우는 어떻게 해야 할까.🤔

 

 

세션 #3. Metric Review, 실행을 이끌다

박종익 - 토스플레이스 Data Platform Team Leader
#데이터 중심 문화 #Metric Review 운영 #실행 연결 지표 관리
‘Metric Review’는 토스플레이스 데이터 조직의 단 하나의 원칙이에요. 왜 우리가 ‘Metric Review’를 하게 되었는지, 어떻게 이 리뷰가 제품과 사업 실행을 실제로 이끌어내고 있는지, 그리고 그 과정이 조직에 어떤 변화를 만들고 있는지를 공유합니다.

 

 

- Data Platform Team : 데이터 퀄리티 높이기

- Data Analyst Chapter : 데이터 딜리버리 능력 높이기

▶ 데이터 딜리버리 능력을 높이기 위해 Metric Review를 실행

 

Metric Review를 통해 데이터 분석가로서 임팩트에 집중할 수 있으며, 조직의 목표와 얼라인된 분석 목표를 기반으로 분석을 할 수 있다.

 

제품 사업 이터레이션

• 목표 설정 → 가설 수립 → 검증 및 실행 → 인사이트 발굴 (반복됨)
• 지표들과의 관계로 제품과 사업의 목표를 트래킹하고 있음

분석 이터레이션

• 지표 분석 → 가설 검증 → 인사이트 제시 → 실행 독려
• “지표 분석”을 매주 꾸준히 진행 해야 함
• 분석 이터레이션 x 횟수 = Impact (사업과 제품의 임팩트를 만든다)
• 지표 분석을 통해 도출된 가설을 통해 더 파고드는 EDA를 하고 있음
• 데이터분석가는 Metric Owner의 역할을 하고 있음

▶ 지표 분석이 꾸준히 지속되어야 하며, Metric Review를 통해 전사 직원이 지표 기반의 운영 효율화, 전략 수립 등을 할 수 있다.

 

💡데이터 리터러시, 많은 회사의 고민이지 않을까.
회사에서 막연히 어떻게 데이터 문화를 정착시킬 수 있을까 머릿속으로만 고민하다가 "퀄리티, 딜리버리" 2가지 방향으로 나눠 전략을 수립하는 것을 보고 정리가 되었다.
둘 다 너무나 중요한 영역이나, 전 직원이 데이터를 잘 이해하고 활용하는 것이 주요 목적이라면 '딜리버리 능력'이 더 필요해보인다. 어느 정도 데이터 문화가 정착되어 있는 회사라면 Metric Review를 적극 활용하면 더욱 데이터의 활용도가 높아질 것 같다.

 

 

세션 #4. ‘전환율’이 아닌 ‘정답률’

김지수 - 토스 Data Analyst
#탐색 경험 정량화 #TNS 지표 설계 #UX 개선 사례
정량 지표만으로는 사용자가 원하는 서비스를 잘 찾았는지 판단하기 어려워요. 토스는 탐색 경험의 완성도를 정량화하기 위해, 무인 UT 방식으로 ‘정답률’을 측정하는 TNS (Toss Navigation Score)를 설계했어요. TNS의 구조와 실제 적용 사례를 중심으로, 탐색 경험을 평가하고 개선하기 위한 새로운 접근 방식을 소개합니다.

 

 

데이터로 유저의 의도를 구분한다. 탐색한 서비스의 이전 사용 여부에 따라 케이스를 두 그룹으로 분류한다.

• Navigation 케이스 : 최근에 사용한 서비스를 전체 탭에서 진입한 경우
• Discovery 케이스 : 최근에 사용하지 않은 서비스를 전체 탭에서 진입한 경우

하지만 데이터로 유저를 그룹화하는게 쉽지 않다. 유저가 하나의 목적 만을 가지고 서비스에 들어오지 않을 수 있기 때문이다. (Navigation 하러 왔다가 Discovery를 하는 경우 존재) 

그렇기 때문에 유저 행동 데이터 만으로는 그 의도를 완전히 파악하기 어렵다.

 

그래서 토스에서는 TNS (Toss Navigation Score)를 설계하였다.

 

TNS는 라이브한 환경에서 무인 UT (User Test)를 하는 툴로 제품팀이 원하는 지표를 측정할 수 있다. 이전에는 캡쳐한 이미지로 UT를 하는 서비스가 있었지만 이미지라 뎁스가 존재하지 않았다. 라이브한 환경에서도 UT를 하고 싶다는 니즈가 있어 이번에 개발하게 되었다고 한다.

 

서비스별 TNS 대시보드도 있다.

TNS 점수 및 순위, 서비스 화면 전환 수, 유저의 져니, 오답 서비스 UV 비율 등을 확인할 수 있다.

 

UT는 모수가 너무 적으며, 데이터는 유저들의 의도를 파악하는 데에 한계가 있는 반면,

TNS는 짧은 시간 내에 많은 모수의 응답을 확보할 수 있으며, 내비게이션 관점에서 유저의 응답을 확보할 수 있다. 그리고 유저 행동을 직접 확인하여 응답의 원인과 과정을 파악할 수 있다.

 

💡가장 인상 깊게 들었던 세션이다.
데이터 수집, 로깅 설계 업무를 했기 때문에 데이터 수집이 얼마나 중요한지, 어떻게 해야 하는지 대략 알고 있었다. 
사용자 행동 데이터가 중요하지만 의도 파악에는 한계를 느꼈었다. 어떻게 하면 행동 패턴 + 의도를 알 수 있을지에 대한 고민을 했었다.
이번 세션을 통해 TNS라는 지표를 측정하기 위해 라이브한 환경에서 진행할 수 있는 UT 서비스를 알게 되었고, 데이터를 수집하는 것에 다양한 방법이 있다는 것을 깨닫게 되었다. 무엇보다 이러한 데이터 수집의 중요성과 필요성을 많은 사람들이 인지하고 함께 새로운 툴을 만들어 갈 수 있다는 것이 정말 부러웠다!

 

---

 

후기

데이터 분석가로 일하면서 늘 궁금했던 것, '다른 회사는 어떻게 일할까? 우리 회사랑 비슷할까?'였다. 정말 궁금해서, 또는 조금은 답답해서 그런 생각을 많이 했던 것 같다. 

이번 컨퍼런스에서 데이터 분석가 세션을 들으면서 제일 처음 들었던 생각은 '모두가 똑같이 고민, 생각하는 구나'였다. 고민과 생각은 똑같다. 다만 이 고민을 해결하고 내 생각을 실현하기 위한 실행력이 지금의 토스를 만들었다고 생각한다. 나도 일을 할 때 늘 똑같은 방식으로만 하려고 하지 말아야 겠다는 생각도 들었고,  토스라는 집단에서 일해보고 싶다는 생각이 많이 들었다. 하지만 그만큼 배워야 할게 너무 많다,,, 컨퍼런스에서 나왔던 이야기 중에 모르는 것에 대해서도 하나씩 공부해보려고 한다!