AWS :: DataWarehouse

 

데이터 웨어하우스 ?

• 의사결정에 도움을 주기 위해, 분석 가능한 형태로 변환한 데이터들이 저장되어 있는 중앙저장소
• 애플리케이션이나 운영 시스템의 내부에서 raw data를 모아두고, 이들 중 분석할 수 있는 데이터들을 창고처럼 쌓아둔 다음, BI 또는 SQL을 이용해서 데이터를 엑세스한다.

 

 

 

 

 

 

데이터 웨어하우스가 필요한 이유 ?

• 데이터베이스(DataBase)는 '분석'하기에는 너무 작은 단위이기 때문
• 대규모 데이터의 분석 작업을 처리하는데는 기존 개념에 한계가 있기 때문

 

 

 

 

 

기존의 데이터베이스의 문제점

• 데이터를 신속하게 분석 및 예측하기 어렵다.
• 통합된 보고서를 작성하기 어렵다.
• 비정형화된 장표를 만드는 시간이 많이 걸린다.

 

 

 

 

데이터베이스 vs 데이터 웨어하우스

구분	데이터베이스	데이터 웨어하우스
기능	업무 프로세스	의사결정
데이터 형태	기능별 상세 데이터	주제별 요약 데이터
데이터 조작	read, write, update, delete	read only
지향점	신속한 처리	다차원 분석 제공

 

 

 

 

데이터 웨어하우스 아키텍처

• Bottom Tier : 데이터 load 및 store
• Middle Tier : 데이터 access 및 analysis
• Top Tier : 분석 결과 시각화

 

 

 

 

데이터 웨어하우스 동작 방식

• 데이터 웨어하우스는 layout과 data type을 포함한 스키마를 바탕으로 데이터를 구성하고 있다.
• 데이터를 수집할 때 스키마를 기반으로 저장하며, 데이터에 접근 및 분석할 때 또한 스키마를 기반으로 동작하게 된다.

 

 

 

 

 

유사 개념 정리

• 데이터 베이스(base)
  • 트랜잭션의 세부사항을 기록하는 것 같이, 데이터를 캡쳐하고 저장하는 데에 사용
  • 트랜잭션이 목적임

 

• 데이터 레이크(lake)
  • 정형, 반정형, 비정형 데이터를 비롯한 모든 데이터를 한 곳에 모아둔 저장소
  • 빅데이터를 효율적으로 분석하고 사용하고자 다양한 영역의 raw 데이터를 한 곳에 모아서 관리

 

• 데이터 마트(mart)
  • 특정 팀 또는 사업 단위의 요구를 충족시킴
  • 규모가 더 작고, 집중적이며 사용자 커뮤니티에 가장 잘 맞는 데이터의 요약본