분류 전체보기
-
AWS :: Rest API를 이용하는 Data Pipeline 생성AWS 2021. 7. 19. 11:23
**수정 중입니다. 0. 프로세스 요약 조회하고자 하는 user_id의 값을 input data로 주어지면, data pipeline을 통해 user_id에 해당하는 user_level을 output data로 출력한다. 1-1. Oracle DB 설정 AWS RDS를 활용하여, Oracle DB를 구축하고, 예제로 사용할 sample 데이터를 삽입한다. DB 생성 시 사용할 DB 이름과 user, password 등을 기억한다. 생성한 DB를 외부에서 접속하기 위해 '퍼블릭 엑세스 허용', 'VPC 설정'을 필수로 진행한다. DBeaver에서 생성한 DB에 대한 새로운 연결을 설정한다. 연결 설정 후, 다음과 같이 sample 데이터를 생성한다. 위의 테이블을 기준으로 앞으로의 예제가 진행된다. 1-2..
-
AWS :: S3 데이터를 slack에 notify하기 (AWS Lambda)AWS 2021. 7. 8. 13:18
** 이전 게시물 참고 AWS :: API Gateway + Kinesis Firehose >> S3에 데이터 저장하기 0-1. API Gateway 란? 규모와 관계없이 REST 및 WebSocket API를 생성, 게시, 유지, 모니터링 및 보호하기 위한 AWS 서비스 API Gateway의 아키텍처는 다음과 같다. 0-2. Kinesis Firehose 란? 스트리밍 데이터를.. kxmjhwn.tistory.com 0-1. AWS Lambda ? 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있는 컴퓨팅 서비스 0-2. 프로세스 요약 1. Slack Webhook 생성 및 등록 Slack Webhook를 생성하면, Webhook URL이 만들어진다. 해당 URL은, 특정 이벤트가 발생할 ..
-
AWS :: API Gateway를 통해 S3에 데이터 저장하기 (1/2)AWS 2021. 7. 7. 14:58
1. Amazon S3 버킷 생성 Amazon S3에서 데이터를 저장할 버킷을 생성한다. ex) bucket name : bucket-test-kinesis 2. Role 생성 API Gateway와 Kinesis에서 사용할 role을 생성한다. ex) Role name : api-gateway-to-kinesis 생성 후, "AmazonKinesisFirehoseFullAccess" policy를 추가한다. 3. Kinesis Firehose 생성 Kinesis 생성 시, destination 설정 과정에서 S3와 Buffer conditions를 다음과 같이 설정한다. (테스트 용이기 때문에, 최대한 빠른 시간 안에 데이터 흐름을 파악하기 위함) 4. API Gateway 생성 및 연결 [API Ga..
-
AWS :: EC2에 접속하여 S3 조회하기 (SSH, WSL, AWS CLI)AWS 2021. 7. 6. 15:32
0. SSH 란 ? SSH = Secure SHell, 즉 '보안 쉘' 원격 호스트 컴퓨터에 접속하기 위해 사용되는 인터넷 프로토콜 쉘을 통해 원격 접속을 하는 것이므로 기본적으로 CLI 환경에서 작업한다. 기본 포트는 22번이다. ssh 키(key)는 공개키(public key)와 개인키(private key)로 이루어진다. 개인키는 로컬 환경에 위치해야 하고, 공개키는 원격 환경에 위치해야 한다. ssh 접속을 시도하면 ssh Client가 두 키의 일치 여부를 확인한다. 1. EC2의 생성 및 WSL 환경 설정 Amazon EC2 인스턴스를 한 개 생성한다. 별도의 조작 없이 default 설정을 유지하여 생성하여도 무방하다. (접속이 잘 되는지만 확인할 것이기 때문) 사용할 AMI(Amazon M..