AWS
-
AWS :: Multi Lambda ControlAWS 2021. 8. 6. 17:52
0-1. 가상 시나리오 Amazon S3에 저장된 데이터(ALL)를 Main Lambda를 통해, 특정 기준에 따라 각각의 Sub Lambda로 분기한다. 분기된 데이터(SPLIT)는 각각의 Sub Lambda의 각자의 python 코드를 통해 처리된다. 처리된 결과 데이터(RESULT)를 다시 Main Lambda를 통해 trigger받아 S3에 다른 경로에 저장한다. 0-2. Work Flow 1. 데이터 형식 및 S3 구조 정의 Amazon S3에 저장되는 데이터는 API Gateway와 Kinesis Firehose를 통해 들어오고 저장된다. AWS :: API Gateway를 통해 S3에 데이터 저장하기 (1/2) 1. Amazon S3 버킷 생성 Amazon S3에서 데이터를 저장할 버킷을 생..
-
AWS :: API Gateway를 통해 S3에 데이터 저장하기 (2/2)AWS 2021. 7. 27. 13:20
** 이전 글 참고 AWS :: API Gateway를 통해 S3에 데이터 저장하기 (1/2) 0-1. API Gateway 란? 규모와 관계없이 REST 및 WebSocket API를 생성, 게시, 유지, 모니터링 및 보호하기 위한 AWS 서비스 API Gateway의 아키텍처는 다음과 같다. 0-2. Kinesis Firehose 란? 스트리밍 데이터를.. kxmjhwn.tistory.com 0. Work Flow 1. 실시간 데이터 생성 및 전송 데이터가 실시간으로 생성되고 전송되는 가상의 상황을 python 코드를 통해 자동화하였고, 해당 코드의 관리의 편리함을 위해 AWS의 서비스 중 Cloud9을 활용하였다. 이번 예제에서 Cloud9의 사용은 필수 조건이 아니다. 편리한 방법을 이용하면 된다..
-
AWS :: Rest API를 이용하는 Data Pipeline 생성AWS 2021. 7. 19. 11:23
**수정 중입니다. 0. 프로세스 요약 조회하고자 하는 user_id의 값을 input data로 주어지면, data pipeline을 통해 user_id에 해당하는 user_level을 output data로 출력한다. 1-1. Oracle DB 설정 AWS RDS를 활용하여, Oracle DB를 구축하고, 예제로 사용할 sample 데이터를 삽입한다. DB 생성 시 사용할 DB 이름과 user, password 등을 기억한다. 생성한 DB를 외부에서 접속하기 위해 '퍼블릭 엑세스 허용', 'VPC 설정'을 필수로 진행한다. DBeaver에서 생성한 DB에 대한 새로운 연결을 설정한다. 연결 설정 후, 다음과 같이 sample 데이터를 생성한다. 위의 테이블을 기준으로 앞으로의 예제가 진행된다. 1-2..
-
AWS :: S3 데이터를 slack에 notify하기 (AWS Lambda)AWS 2021. 7. 8. 13:18
** 이전 게시물 참고 AWS :: API Gateway + Kinesis Firehose >> S3에 데이터 저장하기 0-1. API Gateway 란? 규모와 관계없이 REST 및 WebSocket API를 생성, 게시, 유지, 모니터링 및 보호하기 위한 AWS 서비스 API Gateway의 아키텍처는 다음과 같다. 0-2. Kinesis Firehose 란? 스트리밍 데이터를.. kxmjhwn.tistory.com 0-1. AWS Lambda ? 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있는 컴퓨팅 서비스 0-2. 프로세스 요약 1. Slack Webhook 생성 및 등록 Slack Webhook를 생성하면, Webhook URL이 만들어진다. 해당 URL은, 특정 이벤트가 발생할 ..