전체 글 217

회귀분석 - 선형회귀와 다중회귀

1.회귀분석이란?여러 요인이 섞인 데이터에서 특정 요인의 영향만 확인하는 도구로인과는 알 수 없다. 원인 후보 중 틀린 것을 하나씩 지워나가는 것까지가 회귀의 역할이다. 2. 회귀분석의 목적세그먼트 비교가 명확하지 않을 때 : A가 B보다 높은데, 원래 다른 사람들이 아닌지?A/B 테스트 전에 후보를 좁힐 때 : 아이디어 20개 중 3개만 실험하고 싶을 때요인별 기여를 볼 때 : 결제에 영향을 주는 요인이 무엇인지? 회귀분석을 통해 방향, 크기, 불확실성은 얻을 수 있으나 인과는 얻지 못한다.그래서 회귀분석을 통해 후보를 좁힌 다음, A/B 테스트를 통해 정답을 확정하는 방향으로 갈 수 있다. 3. 3가지 도구 (상관계수, 선형회귀, 다중회귀) 비교상관계수, 선형회귀, 다중회귀 등 여러 가지 헷갈리는 ..

A/B 테스트가 불가능할 때 : PSM과 DID로 인과추론하기

요즘 회사에서 데이터 분석을 하면서 하나씩 배우고 실무에 적용하고 있다.클로드의 도움으로 다양한 분석 기법을 적용하고 있는데, 내가 잘 알고 있어야 더 분석을 잘 할 수 있겠다는 생각이 들었다.그래서 하나씩 실무에서 진행한 분석에 대해서 공부용으로 블로그에 정리해보려고 한다. 🧐오늘의 요약 데이터 분석을 하다보면 'A를 했더니 B가 늘었다'라는 결과 리포트를 보게 되는데, 이것이 정말 A 때문인지 (인과), 단순 상관관계인지 정확하게 알 수 없을 때가 있다. 인과관계와 상관관계는 다르다. 1. 인과추론 (Causal Inference)이란?1) 인과추론단순히 두 변수 간의 상관관계 (Correlation)를 보는 것을 넘어, "A라는 처치(Treatment)가 있었기 때문에 B라는 결과가 발생했는가?"..

[DataOps Manager] 입사 4개월 차 후기

원래 매달 지날 때마다 회고를 작성하려고 했으나,, 현생이 넘 바쁜 바람에 1달차 후기 → 4달차 후기로 뛰었음..벌써 4개월차라니, 회사에서의 나는 많은 변화가 있었다! 4개월을 뛰어넘었으니 간단한 타임라인을 그려볼까 〰💨 🎬 입사 후 4개월 간 타임라인**26년 3월 : 입사하고 적응하기 (3월 30일 첫 출근이라,, 이틀 밖에 없음)26년 4월 : AI 콘텐츠 서비스의 신규 기능 이벤트 로그 설계 및 QA26년 5월 : 이벤트 로그 설계 + 추천 모델 개발 (스터디 및 구현)26년 6월 : 이벤트 로그 설계 + 신규 기능 분석26년 7월 : 이벤트 로그 설계 + 신규 기능 분석 / AB 테스트 실험 설계 및 분석 1) 26년 4월 (1개월 차)새로운 분야의 서비스에 로그 설계를 담당하게 되면..

[DataOps Manager] 입사 1달차 후기

💪 우리 존재 화이팅 💪 👋 새로운 커리어 시작!많은 고민 끝에 결정한 새로운 커리어 방향을 향해 많은 시도들을 해온 지난 몇 개월.그 결과, 현재 DataOps Manager로서 입사를 해서 약 1달 정도 지나갔다. 아직 회사 서비스를 익히고 시스템에 적응하는 중이다.이전 회사에서 해왔던 업무와 유사해서 업무는 빠르게 적응하고 진행하고 있다.그 외에 다른 점이라고 한다면, AI 활용도이다. AI 콘텐츠 회사답게, AI를 적극적으로 활용하도록 지향하고 있으며 전체 업무에 AI를 활용할 수 있도록 환경이 조성되어 있다.AI를 어떻게 활용해야 업무 효율성을 높일 수 있을지에 대한 고민과 공부가 필요하다는 것을 많이 느꼈다. 🤔 입사 1달차, 무엇을 하고 있는지?현재 회사 서비스의 신규 기능에 대한..

데이터 아키텍처 준전문가 (DAsP) 자격증 공부 방법 & 시험 합격 후기

🎉제 60회 데이터 아키텍처 준전문가 (DAsP) 합격 🎉 약 2주 정도 공부하고 (사실상 1주 동안 빠짝 공부함) DAsP 자격증 시험을 합격했다! 나의 향후 커리어를 생각했을 때, 데이터 전반을 볼 수 있는 시야와 데이터 구조를 파악하는 능력을 보유하고 있어야 한다고 생각했다. 그래서 데이터 아키텍처 쪽으로 관심이 생겼고, 관련되어서 DAsP(데이터 아키텍처 준전문가) 자격증이 있다고 해서 찾아보았다.다들 이 자격증은 큰 의미가 없다고 한 글들이 많이 있었다.나는 자격증으로써 증명하기 위한 수단으로는 약할 수 있다고는 생각하지만, 내가 이 분야에 입문하기에는 큰 도움이 될 수 있을 것이라는 생각이 들었다. 마침 관심있던 데이터 표준화와 모델링 과목도 있어서 이 김에 공부하면 좋을 것 같았다. 그..

[데이터 아키텍처 준전문가(DAsP)] 과목 4. 데이터 모델링 (4) 물리 데이터 모델링

1. 물리 데이터 모델링 이해1) 물리 데이터 모델논리 데이터 모델을 특정 데이터베이스로 설계하여 생성된 데이터를 저장할 수 있는 물리적인 스키마RDBMS 환경에 맞게 명칭 및 데이터 타입을 논리 데이터 모델링 산출물 기반으로 지정실제 RDBMS 환경에 최적화된 물리적 테이블명과 컬럼명, 데이터 타입 등을 지정2) 물리 데이터 모델 의의논리 데이터 모델링에서 도출된 내용 변환을 포함하여 데이터 저장공간, 데이터의 분산, 저장 방법 등을 함께 고려하는 단계3) 논리 데이터 모델 → 물리 데이터 모델논리 모델링물리 모델링EntityTableAttributeColumnPrimary UIDPrimary KeySecondary(Alternate) UIDUnique KeyRelationshipForeign KeyM..

[데이터 아키텍처 준전문가(DAsP)] 과목 4. 데이터 모델링 (3) 논리 데이터 모델링

1. 논리 데이터 모델링 이해1) 논리 데이터 모델링항목상세 내용논리 데이터 모델링 정의• 데이터베이스 설계 프로세스 기초 설계 단계• 비즈니스 정보의 구조와 규칙을 표현할 수 있는 기법• ERD로 표현된 개념적 구조를 데이터베이스에 저장할 형태로 표현한 논리적 구조• 물리적인 스키마 설계 전 단계논리 데이터 모델의 구성요소• 엔터티• 관계 (연관도 및 관계 수)• 슈퍼타입 및 서브타입• 속성 및 도메인• 주요키, 후보키, 대체키, 외래키• 업무 규칙논리 데이터 모델링 이해• 개념 데이터 모델링에서 정의한 핵심 엔터티와 관계를 바탕으로 속성을 정의하고 식별자를 확정하는 과정• 정규화를 통해 새로운 엔터티가 생성되거나 새로운 관계 생성• M:N 관계들이 해소되면서 새로운 행위 엔터티가 생성되는 과정• 사용..

[데이터 아키텍처 준전문가(DAsP)] 과목 4. 데이터 모델링 (2) 개념 데이터 모델링

1. 주제 영역 정의1) 주제 영역 분류 원칙 및 기준항목상세 내용주제 영역 분류 원칙• 데이터 중복 최소화• 데이터 확장성 보장• 데이터 관련성 및 편의성 확보주제 영역 명명• 업무에서 사용되는 업무 영역 부여• 유일한 단수형 명사 사용• 데이터 그룹 의미 이름 부여주제 영역 정의 절차데이터 현황 분석/DA 원칙 및 방향성 분석/선진 모델 분석→ 데이터 분류 지침 정의→ 주제 영역 분류 및 정의→ 주제 영역 도식화주제 영역 분류 방법• 1차 분류 : 기존 시스템별 데이터 성격 및 특성을 고려하여 주요 데이터 집합 유형 정의• ex) 데이터 발생 주체, 데이터 발생 주체 간의 상호작용으로 발생하는 대상, 공통/관리 성격의 상위 개념으로서 분류• 2차 분류 : 비즈니스 활동에 필요한 분석 주제와 현황 등의..

[데이터 아키텍처 준전문가(DAsP)] 과목 4. 데이터 모델링 (1) 데이터 모델링 이해

1. 데이터 모델링 개요1) 데이터 모델링 ✅️항목상세 내용모델링이 필요한 이유• 파급효과 : 시스템 구축이 완성되어 가는 시점에 데이터 모델을 변경해야 하는 것이 큰 위험 요소임• 정보 시스템의 간결한 표현 : 데이터 모델은 정보 요구사항을 정확하고 간결하게 표현할 수 있음• 데이터 품질 : 잘못 설계된 모델링은 데이터의 정확성을 떨어뜨림데이터 모델링의 필요성• 애플리케이션과 데이터의 통합• 개발자의 시스템 이해데이터 모델링 시 주의할 점• 중복• 비유연성• 비일관성 ✔️ 개발자가 시스템 이해에 데이터 모델링이 필요한 이유데이터 정의, 생명주기 정보, 언제 어떻게 데이터가 사용되었는지 등 추적할 수 있는 정보를 제공물리적인 것과 논리적인 것을 구별하여 데이터를 사용하는 사람과 물리적인 모든 것으로부터 ..

[데이터 아키텍처 준전문가(DAsP)] 과목 3. 데이터 표준화

[1장] 데이터 표준화 개요1. 데이터 표준화 정의항목내용데이터 활용 상의 문제점• 데이터 중복 및 조직/업무/시스템별 데이터 불일치 • 데이터 의미 파악 지연으로 정보 제공의 적시성 결여 • 데이터 통합의 어려움 • 정보시스템 변경 및 유지 보수 어려움데이터 문제점의 원인 • 동시다발적인 정보 시스템 개발 • 전사 데이터 관리 마인드 미형성 • 전사 데이터 관리 인력 부재 • 전사 데이터 표준 관리 도구 부재데이터 관리 개선 방안 • 데이터 표준화, 규격화를 위한 기본 방침 설정 • 전사적인 정보 공유를 위해 유지되어야 할 공통 데이터 요소 도출 • 전사적인 데이터 요소 등록 및 관리 체계 구축 • 정보 시스템 개발 및 유지 보수 시 승인된 데이터 요소를 활용하여 효..