데이터 파이프라인

★ 데이터 파이프라인

 > 다양한 데이터 소스로부터 원시 데이터를 수집하여 분석을 위해 데이터 웨어하우스와 같은 별도의 데이터 저장소로 이전하는 과정

 

데이터 파이프라인을 만드는 이유 > 다양한 경로로부터 수집되는 데이터를 웨어하우스에 적재한 후, 적재한 데이터를 바탕으로 효과적으로 분석하기 용이하게 만들기 위함

> MLOps의 필수 과정

 

OLTP vs. OLAP

- OLTP(Online Transaction Processing) 데이터베이스 : 그 목적이 트랜잭션(기본적인 CRUD 작업)에 포커스가 맞추어져 있는 데이터베이스

 

- OLAP(Online Analytical Processing) 데이터베이스는 적재된 데이터를 다양한 방법으로 분석하는 데 포커스

  > 다양한 데이터소스로부터 수집되는 데이터를 통합

 

                                                   OLTP                                                                                                OLAP

목적	CRUD 작업과 같은 트랜잭션 처리	분석, 빅데이터 수집
데이터 종류	정형적이며, 정규화된 데이터	정형 및 비정형 데이터
특징	테이블 간 관계, 데이터의 무결성, 정규화 여부가 중요	빠른 분석과, 다차원 정보 제공이 중요