DataEngineer :: ETL vs ELT

ETL

1.

워크플로우가 잘 정의되어 있어야 하며, 연속적이고 지속적인 프로세스를 가진다.

 

2.

데이터 엔지니어 및 개발자의 상세 계획, 감독 및 코딩이 필요하다.

 

3. 

최신 ETL 솔루션은 쉽고 빠르다.

 

4.

transform된 데이터의 빠르고 효율적이고 안정적인 분석이 가능하다.

 

5.

데이터를 데이터 웨어하우스에 넣기 전에 변환하기 때문에, 보안 규정 위반 위험성을 줄여준다.

 

6.

오래된 프로세스이기 때문에, 잘 개발된 도구와 플랫폼이 많다.

 

 

 

---

 

 

ELT

 

1.

기술의 발전 덕분에 가능해진 고속 클라우드 서버 기반 프로세스이다.

 

2.

정형, 비정형, 반정형 등의 모든 데이터를 수집 가능하다.

 

3.

필요한 데이터만 변환된다.

 

4.

ETL과 비교하여, 신뢰성이 낮다. 

 

5.

ETL과 비교하여, 빠르고, 유지 보수 비용이 낮고, 짧은 load 시간을 가진다.

 

 

 

---

 

 

언제 ELT를 사용할까?

 

1.

대용량 데이터를 다룰 경우

 

2.

가능한 빨리 모든 데이터를 한 곳에 보관해야 할 경우

 

3.

데이터를 처리할 수 있는 리소스를 가지지 못했을 경우