반응형

Data Analysis 23

CHAP3. 머신러닝을 위한 선형대수

해당 포스팅은 책 '선형대수와 통계학으로 배우는 머신러닝 with 파이썬'으로 공부하여 정리한 포스팅입니다.  1. 선형대수와 머신러닝의 관계선형대수를 이해하고 학습하면 머신러닝 알고리즘의 원리와 작동 방식을 이해하고 데이터를 효과적으로 다루고 모델을 설계 및 개선하는데에 도움이 됨 1) 데이터 표현 : 행렬과 벡터- 데이터는 행렬이나 벡터 형대로 표현됨- ex. 이미지 데이터 : 픽셀 값을 요소로 하는 행렬로 표현됨 2) 선형변환과 행렬 연산- 선형대수는 행렬과 벡터의 연산에 대한 이론과 기법을 제공- 연산은 머신러닝 모델의 학습과 예측에 사용됨 (ex. 행렬 곱셈)- 입력 데이터에 선형 변환을 적용하는데, 선형 변환은 행렬 곱셈으로 나타내며 이를 통해 데이터는 새로운 형태로 변환되거나 다른 공간으로 ..

2. xAPI Statements

xAPI란? 1. 표준 데이터 xAPI란? 학습 분석 데이터 현재 에듀테크 분야가 지속적으로 발전하고 있으며 이 분야에서도 데이터가 매우 중요한 역할을 하고 있다 하지만 데이터를 수집하기 위한 사용자의 플랫폼, 기기 등 매우 다 ars420.tistory.com xAPI Statements - xAPI에서 추적할 경험 및 이벤트의 증거 - JSON 형태 - 개별 경험들을 합쳐 전체적인 의미를 제공하기 위해 집계 및 분석되도록 의도됨 ✅ 필수요건 - Statements와 다른 객체는 빈 객체의 값을 포함해서는 안된다 - Statements는 각 Property를 한 번 이상 사용해서는 안된다 - Statements는 actor, verb, object를 사용해야 한다 - Statements는 Propert..

Data Analysis/xAPI 2024.04.10

1. 표준 데이터 xAPI란?

학습 분석 데이터 현재 에듀테크 분야가 지속적으로 발전하고 있으며 이 분야에서도 데이터가 매우 중요한 역할을 하고 있다 하지만 데이터를 수집하기 위한 사용자의 플랫폼, 기기 등 매우 다양해졌기 때문에 정확한 데이터가 수집이 어려우며 각각의 환경에 맞춰진 데이터가 수집되고 있다 학습 분석(Learning Analytics)은 학습 데이터를 교육적 목적이나 문제 해결을 위한 행동으로 전환시키기 위해 진행된다. 이를 통해서 개개인의 환경을 이해하고 맞춤 환경을 조성하여 학습에 대한 동기 부여를 하고자 한다. 다양한 디지털 기기에서 방대한 양의 학습 데이터가 수집되고 있기 때문에 서로 다른 유형의 데이터들을 통합하여 분석하는 것도 중요해지고 있다. 이러한 역할을 하기 위해 국제 표준화 기구에서 학습 분석 기술 ..

Data Analysis/xAPI 2024.04.10

지식그래프/그래프DB 서베이 정리

1. 워드넷 (WordNet) - Thesaurus 방법의 일종 - 영어 어휘 데이터베이스 - python NLTK 라이브러리를 활용 - 단어가 동의어 별로 그룹지어져 있기 때문에 단어 사이의 유사도를 계산할 수 있음 - 유사도는 0~1까지의 값을 가짐 - 유사도의 값이 높을수록 의미가 비슷한 단어 [참고] 시소러스(Thesaurus) - 단어의 의미에 따라 분류, 배열한 일종의 유의어 사전 - 문제점 - 시대 변화에 대응하기 어려움 - 사람을 쓰는 비용이 큼 - 단어의 미묘한 차이를 표현할 수 없음 시소러스를 활용한 단어 의미 파악 - Natural Language Processing with PyTorch 그림을 보면 'bank'라는 단어에 대해 명사noun일 때의 의미 10개, 동사verb일 때의 ..

Data Analysis 2023.12.19

[MODE] Understanding Search Functional 리뷰 - 1

Understanding Search Functionality | SQL Analytics Training - Mode In this lesson we'll cover: Before starting, be sure to read the overview to learn a bit about Yammer as a company. The product team is determining priorities for the next development cycle and they are considering improving the site's search functionality mode.com 우리 다음 분기에 검색 기능 개선을 하려고 하는데, 지금 사람들이 어떻게 쓰고 있는지, 어떻게 개선되면 좋을지 데이터..

Data Analysis 2022.11.11

[혼공SQL] 7-2 스토어드 함수와 커서

본 포스팅은 '한빛출판네트워크'의 '혼공SQL' 책을 기반으로 작성한 포스팅입니다. 1. 스토어드 함수 스토어드 프로시저와 비슷하지만 사용방법과 용도가 조금 다르다. 1.1 스토어드 함수의 개념과 형식 MySQL에서 제공하는 내장 함수 외에 직접 함수를 만드는 기능을 제공 DELIMITER $$ CREATE FUNCTION 스토어드_함수_이름(매개변수) RETURNS 반환형식 BEGIN 이 부분에 프로그래밍 코딩 RETURN 반환값; END $$ DELIMITER ; SELECT 스토어드_함수_이름(); RETURNS 문으로 반환할 값의 데이터 형식을 지정하고, 본문 안에서 RETURN 문으로 하나의 값을 반환해야 함 스토어드 함수의 매개변수는 모두 입력 매개변수 이며 IN을 붙이지 않음 SELECT 문..

[혼공SQL] 7-1 스토어드 프로시저 사용 방법

본 포스팅은 '한빛출판네트워크'의 '혼공SQL' 책을 기반으로 작성한 포스팅입니다. ✏️ 스토어드 프로시저(stored procedure) : SQL에 프로그래밍 기능을 추가해서 일반 프로그래밍 언어와 비슷한 효과를 냄 1. 스토어드 프로시저 기본 1.1 스토어드 프로시저의 개념과 형식 MySQL에서 제공하는 프로그래밍 기능으로 내부에서 사용할 때 적절한 프로그래밍 기능을 제공 데이터베이스의 개체 중 한 가지로 테이블처럼 각 데이터베이스 내부에 저장 쿼리 문의 집합 / 어떠한 동작을 일괄 처리하기 위한 용도로 사용 → 자주 사용하는 일반적인 쿼리를 반복하는 것보다 스토어드 프로시저로 묶어 놓고 필요할 때 호출하면 편리함 📌 스토어드 프로시저 만드는 형식 DELIMITER $$ -- 구분자 / 스토어드 프..

[혼공SQL] 6-3 인덱스의 실제 사용

본 포스팅은 '한빛출판네트워크'의 '혼공SQL' 책을 기반으로 작성한 포스팅입니다. 인덱스 생성 : CREATE INDEX 인덱스 제거 : DROP INDEX 1. 인덱스 생성 문법 테이블을 생성할 때 특정 열을 기본 키, 고유 키로 설정하면 인덱스가 자동 생성됨 Primary Key 문법 사용 : 클러스터형 인덱스 생성 Unique 문법 사용 : 보조 인덱스 생성 그 외 직접 보조 인덱스를 생성하려면 CREATE INDEX문을 사용해야 함 (CREATE INDEX 로 생성되는 인덱스는 보조인덱스임) CREATE [UNIQUE] INDEX 인덱스_이름 ON 테이블_이름 (열_이름) [ASC | DESC] UNIQUE는 중복이 안 되는 고유 인덱스를 만듦 (생략하면 중복 허용) CREATE UNIQUE로 ..

[혼공SQL] 6-2 인덱스의 내부 작동

본 포스팅은 '한빛출판네트워크'의 '혼공SQL' 책을 기반으로 작성한 포스팅입니다. 1. 인덱스의 내부 작동 원리 1.1 균형 트리 노드 (node) : 데이터가 저장되는 공간 루트 노드 (root node) : 상위노드로 모든 출발의 시작 리프 노드 (leaf node) : 마지막 노드 중간 노드 (internal node) : 루트노드와 리프 노드 사이의 노드 MySQL에서는 노드를 페이지(page) 라고 부름 최소한의 저장 단위 16KByte(16384byte) 크기를 가짐 ex. 데이터를 1건만 입력해도 1개 페이지가 필요함 💡 데이터를 균형 트리로 구성 vs 구성하지 x 데이터를 균형 트리로 구성하지 않는다면? 전체 테이블 검색(Full Table Scan)을 해야 함 균형트리로 구성되어있다면?..

[혼공SQL] 6-1 인덱스 개념을 파악하자

본 포스팅은 '한빛출판네트워크'의 '혼공SQL' 책을 기반으로 작성한 포스팅입니다. 1. 인덱스 1.1 인덱스의 장점과 단점 장점 SELECT 문으로 검색하는 속도가 매우 빨라짐 컴퓨터의 부담이 줄어들어 전체 시스템의 성능이 향상됨 단점 데이터베이스 안에 추가적인 공간이 필요함 처음 인덱스를 만드는 데 시간이 오래 걸림 인덱스는 잘 사용하면 SELECT의 검색 속도가 빨라지지만, 잘못 사용하면 오히려 성능이 나빠짐 2. 인덱스의 종류 클러스터형 인덱스 (Clustered Index) → 영어사전 보조 인덱스 (Secondary Index) → 찾아보기 2.1 클러스터형 인덱스 📌 자동 생성됨 기본 키로 지정하면 자동으로 클러스터형 인덱스 가 생성됨 (기본 키는 테이블에 하나만 지정할 수 있으므로 클러스터..

반응형