AWS
-
AWS :: RedshiftAWS 2021. 6. 11. 16:46
레드시프트 ? AWS가 서비스하는 클라우드 데이터 웨어하우스 온 프레미스에서 쿼리 툴을 통해 레드프레스에 쿼리를 보내면, 레드프레스는 데이터를 분석, 가공하여 기업에게 필요한 정보로 리턴한다. 레드시프트 특징 머신러닝, 대량 병렬 쿼리 실행, 컬럼 기반 스토리지 등으로 인해 매우 빠르다. 간단하고 신속한 확장과 백업이 가능하다. 데이터 레이크 쿼리를 사용한다. 일반적인 사용 방식 kinesis로 realtime으로 요청오는 data를 수집 및 S3에 적재 적재된 파일을 레드시프트 스펙트럼을 이용하여 분석 분석된 결과를 오로라 DB에 넣어 BI 등으로 시각화하거나, 별도의 화면을 구축(실시간 조회)
-
AWS :: DataWarehouseAWS 2021. 6. 11. 16:35
데이터 웨어하우스 ? 의사결정에 도움을 주기 위해, 분석 가능한 형태로 변환한 데이터들이 저장되어 있는 중앙저장소 애플리케이션이나 운영 시스템의 내부에서 raw data를 모아두고, 이들 중 분석할 수 있는 데이터들을 창고처럼 쌓아둔 다음, BI 또는 SQL을 이용해서 데이터를 엑세스한다. 데이터 웨어하우스가 필요한 이유 ? 데이터베이스(DataBase)는 '분석'하기에는 너무 작은 단위이기 때문 대규모 데이터의 분석 작업을 처리하는데는 기존 개념에 한계가 있기 때문 기존의 데이터베이스의 문제점 데이터를 신속하게 분석 및 예측하기 어렵다. 통합된 보고서를 작성하기 어렵다. 비정형화된 장표를 만드는 시간이 많이 걸린다. 데이터베이스 vs 데이터 웨어하우스 구분 데이터베이스 데이터 웨어하우스 기능 업무 프로..
-
-
AWS :: Glue :: 시작AWS 2021. 6. 11. 11:19
공식 홈페이지의 출처 및 참고 : https://aws.amazon.com/ko/glue/?whats-new-cards.sort-by=item.additionalFields.postDateTime&whats-new-cards.sort-order=desc AWS Glue - 관리형 ETL 서비스 - Amazon Web Services AWS Glue는 새 데이터가 도착하면 ETL 작업을 실행할 수 있습니다. 예를 들어 AWS Lambda 함수를 통해 ETL 작업을 트리거하여 Amazon S3에 새로운 데이터가 저장되는 대로 ETL 작업이 실행되도록 할 수 있습 aws.amazon.com 공식 Youtube 소개 영상 : https://www.youtube.com/watch?v=LkkgtNtuEoU