DataEngineer :: Data Lake

 

 

1.

가공되지 않은 다양한 종류의 데이터를 한 곳에 모아둔 저장소의 집합

 

2.

빅데이터와 인공지능 기술의 중요성이 커지면서, 다양한 영역의 다양한 영역의 다양한 데이터가 만나 새로운 가치를 만들어내기 시작했다. 이 과정에서, 빅데이터를 효율적으로 분석하고 사용하고자 다양한 영역의 Raw 데이터(가공되지 않은 데이터)를 한 곳에 모아 관리하고자 하는 것을 Data Lake라고 한다.

 

3. Data Lake Framework

• Data Lake에 모든 데이터를 모은 뒤, 데이터 준비 과정에 도움을 주는 도구가 필요했고, 그것이 바로 Data Lake Framework이다.
• [수집], [가공 및 제공], [관리] 기능을 제공한다.