Recently Created Posts
-
AWS :: Multi Lambda ControlAWS 2021.08.06 17:52
0-1. 가상 시나리오 Amazon S3에 저장된 데이터(ALL)를 Main Lambda를 통해, 특정 기준에 따라 각각의 Sub Lambda로 분기한다. 분기된 데이터(SPLIT)는 각각의 Sub Lambda의 각자의 python 코드를 통해 처리된다. 처리된 결과 데이터(RESULT)를 다시 Main Lambda를 통해 trigger받아 S3에 다른 경로에 저장한다. 0-2. Work Flow 1. 데이터 형식 및 S3 구조 정의 Amazon S3에 저장되는 데이터는 API Gateway와 Kinesis Firehose를 통해 들어오고 저장된다. AWS :: API Gateway를 통해 S3에 데이터 저장하기 (1/2) 1. Amazon S3 버킷 생성 Amazon S3에서 데이터를 저장할 버킷을 생..
-
AWS :: API Gateway를 통해 S3에 데이터 저장하기 (2/2)AWS 2021.07.27 13:20
** 이전 글 참고 AWS :: API Gateway를 통해 S3에 데이터 저장하기 (1/2) 0-1. API Gateway 란? 규모와 관계없이 REST 및 WebSocket API를 생성, 게시, 유지, 모니터링 및 보호하기 위한 AWS 서비스 API Gateway의 아키텍처는 다음과 같다. 0-2. Kinesis Firehose 란? 스트리밍 데이터를.. kxmjhwn.tistory.com 0. Work Flow 1. 실시간 데이터 생성 및 전송 데이터가 실시간으로 생성되고 전송되는 가상의 상황을 python 코드를 통해 자동화하였고, 해당 코드의 관리의 편리함을 위해 AWS의 서비스 중 Cloud9을 활용하였다. 이번 예제에서 Cloud9의 사용은 필수 조건이 아니다. 편리한 방법을 이용하면 된다..
-
AWS :: Rest API를 이용하는 Data Pipeline 생성AWS 2021.07.19 11:23
**수정 중입니다. 0. 프로세스 요약 조회하고자 하는 user_id의 값을 input data로 주어지면, data pipeline을 통해 user_id에 해당하는 user_level을 output data로 출력한다. 1-1. Oracle DB 설정 AWS RDS를 활용하여, Oracle DB를 구축하고, 예제로 사용할 sample 데이터를 삽입한다. DB 생성 시 사용할 DB 이름과 user, password 등을 기억한다. 생성한 DB를 외부에서 접속하기 위해 '퍼블릭 엑세스 허용', 'VPC 설정'을 필수로 진행한다. DBeaver에서 생성한 DB에 대한 새로운 연결을 설정한다. 연결 설정 후, 다음과 같이 sample 데이터를 생성한다. 위의 테이블을 기준으로 앞으로의 예제가 진행된다. 1-2..
-
AWS :: S3 데이터를 slack에 notify하기 (AWS Lambda)AWS 2021.07.08 13:18
** 이전 게시물 참고 AWS :: API Gateway + Kinesis Firehose >> S3에 데이터 저장하기 0-1. API Gateway 란? 규모와 관계없이 REST 및 WebSocket API를 생성, 게시, 유지, 모니터링 및 보호하기 위한 AWS 서비스 API Gateway의 아키텍처는 다음과 같다. 0-2. Kinesis Firehose 란? 스트리밍 데이터를.. kxmjhwn.tistory.com 0-1. AWS Lambda ? 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있는 컴퓨팅 서비스 0-2. 프로세스 요약 1. Slack Webhook 생성 및 등록 Slack Webhook를 생성하면, Webhook URL이 만들어진다. 해당 URL은, 특정 이벤트가 발생할 ..
-
AWS :: API Gateway를 통해 S3에 데이터 저장하기 (1/2)AWS 2021.07.07 14:58
1. Amazon S3 버킷 생성 Amazon S3에서 데이터를 저장할 버킷을 생성한다. ex) bucket name : bucket-test-kinesis 2. Role 생성 API Gateway와 Kinesis에서 사용할 role을 생성한다. ex) Role name : api-gateway-to-kinesis 생성 후, "AmazonKinesisFirehoseFullAccess" policy를 추가한다. 3. Kinesis Firehose 생성 Kinesis 생성 시, destination 설정 과정에서 S3와 Buffer conditions를 다음과 같이 설정한다. (테스트 용이기 때문에, 최대한 빠른 시간 안에 데이터 흐름을 파악하기 위함) 4. API Gateway 생성 및 연결 [API Ga..
-
AWS :: EC2에 접속하여 S3 조회하기 (SSH, WSL, AWS CLI)AWS 2021.07.06 15:32
0. SSH 란 ? SSH = Secure SHell, 즉 '보안 쉘' 원격 호스트 컴퓨터에 접속하기 위해 사용되는 인터넷 프로토콜 쉘을 통해 원격 접속을 하는 것이므로 기본적으로 CLI 환경에서 작업한다. 기본 포트는 22번이다. ssh 키(key)는 공개키(public key)와 개인키(private key)로 이루어진다. 개인키는 로컬 환경에 위치해야 하고, 공개키는 원격 환경에 위치해야 한다. ssh 접속을 시도하면 ssh Client가 두 키의 일치 여부를 확인한다. 1. EC2의 생성 및 WSL 환경 설정 Amazon EC2 인스턴스를 한 개 생성한다. 별도의 조작 없이 default 설정을 유지하여 생성하여도 무방하다. (접속이 잘 되는지만 확인할 것이기 때문) 사용할 AMI(Amazon M..
-
AWS :: S3에서 S3로 데이터 복사하기AWS 2021.07.06 11:22
0. Process 요약 1. Target Account ID 준비 이후 사용될 Target Account ID를 미리 복사해둔다. 2. Source Account 세팅 데이터를 가져올 Source Account의 Bucket에 대해 정책(policy)을 세팅한다. Source Account에 로그인하고, 가져올 Bucket에 대해 [권한 - 버킷 정책 - 편집]을 클릭한다. 다음과 같이 script를 수정한다. Version : 버전이 "2021-10-17"인 이유는 다음과 같다. (https://docs.aws.amazon.com/ko_kr/IAM/latest/UserGuide/reference_policies_elements_version.html) ACCOUNT_ID : 1번에서 저장해둔 Targ..
-
News :: 본격 전기차시대, '폐배터리' 재활용 서두른다.IT News 2021.06.29 14:52
출처 : https://news.naver.com/main/read.nhn?mode=LSD&mid=shm&sid1=105&oid=469&aid=0000614052 요약 2050탄소중립 선언 및 각종 보조금 지급 등으로 전기차 수요가 늘어남에 따라 수명을 다한 배터리 처리 문제가 수면 위로 떠오르고 있다. 전기차 자체는 환경친화적이지만, 폐배터리는 환경을 해칠 수 있기 때문이다. 정부는 거점수거센터를 통해 체계적인 재활용 시스템을 갖출 계획이다. 환경부는 29일 전기차 폐배터리 등을 회수·보관·재활용하기 위해 미래폐자원 거점수거센터의 운영 업무를 한국환경공단에 위탁하는 내용을 담은 '전자제품 등 자원순환법 시행령' 개정안을 국무회의에서 의결했다고 밝혔다. 경기 시흥시, 충남 홍성군, 전북 정읍시, 대구 달..
-
AWS :: Well-Architected FrameworkAWS 2021.06.28 09:58
AWS Well-Architected framework 애플리케이션에서 사용할 보안, 성능, 복원력, 효율성이 뛰어난 인프라를 구축하는 클라우드 아키텍트를 돕기 위해 개발되었다. 운영 우수성, 보안, 안정성, 성능 효율성 및 비용 최적화를 기반으로 하는 이 프레임워크는, 고객 및 파트너가 현재의 아키텍처를 평가하고, 지속적으로 확장되는 설계를 구현하기 위한 일관적인 방식을 제공한다. 운영 우수성(Operational Excellence) 비즈니스 가치를 제공하고 지속적으로 프로세스와 절차를 개선하기 위해 시스템을 실행 및 모니터링하는 데에 중점을 둔다. 변경 관리 및 자동화, 이벤트 응답, 일상적인 운영의 성공적 관리를 위한 표준 정의 등 보안(Security) 정보 및 시스템을 보호하는 데에 중점을 둔..
-
News :: '로봇 개발'에 집중하는 통신 3사IT News 2021.06.28 09:29
출처 : https://news.naver.com/main/read.nhn?mode=LSD&mid=shm&sid1=105&oid=018&aid=0004969429 요약 통신사들이 로봇에 꽂혔다. 인공지능(AI)을 접목해 간단한 인사나 서빙을 해주는 서빙로봇(실내 배달로봇)을 상용화하고 있으며, 공장에서 사람과 함께 일하는 협동로봇에 5G 통신망을 연결해 반응 속도를 1ms(1/1000 초)로 줄이는 일도 열심이다. SK텔레콤, KT, LG유플러스가 로봇 사업에 뛰어든 것은 안정적인 네트워킹 역량을 활용하면서도 플랫폼 사업으로 갈 수 있는 기회가 되기 때문이다. 로봇이 대중화되려면 단가가 떨어져야 하는데 로봇의 뇌(CPU)에 해당하는 걸 클라우드에 두고 이를 5G로 연결해 쓰면 로봇 제조비용을 크게 줄일 ..
-
AWS :: Lightsail vs Elastic BeanstalkAWS 2021.06.28 09:14
AWS Lightsail 애플리케이션 또는 웹 사이트를 구축하는 데에 필요한 모든 것을 제공하는, 사용하기 쉬운 가상 프라이빗 서버(VPS) 간단한 웹 애플리케이션, 웹 사이트, 개발 및 테스트 환경 구축에 알맞다. 네트워킹, 액세스 및 보안 환경을 자동으로 구성한다. Load Balancer를 통해 늘어나는 트래픽과 워크 로드를 손쉽게 처리한다. Auto Scailing은 불가하다. 연동 가능한 AWS 서비스가 제한적이다. AWS Elastic Beanstalk 웹 서비스를 빠르게 프로비저닝하고 서비스를 개시 배포할 수 있는 PaaS(Platform as a Service) Java, NET, PHP, Node.js, Python, Ruby, Go 및 Docker를 사용하여 개발된 웹 애플리케이션 및 ..
-
AWS :: Glue :: 실습 예제AWS 2021.06.25 10:38
Process 요약 Oracle DB에 저장된 raw 데이터를, Glue의 작업(job)을 통해 Amazon S3로 가져온다. 가져온 데이터를 Glue의 크롤러(crawler)를 통해 읽어 테이블로 저장한다. Amazon Athena를 통해 테이블을 조회하여 정합성을 따진다. 가져온 테이블의 데이터가 문제없다면, Glue의 새로운 작업을 통해 Amazon S3의 데이터를 Amazon Redshift로 보낸다. 1. raw 데이터 확인 목적 : 각 테이블의 컬럼의 의미, 타입 정의 등을 확인하고, 이관(migration) 시 어떠한 타입으로 매핑할지를 정의한다. 해당 테이블의 컬럼이 무슨 의미를 가지는지, 타입(type)은 무엇인지, 길이는 어떻게 되는지, NULL 값을 허용하는지 등에 대해 파악한다. 이..
-
AWS :: DataLakeAWS 2021.06.24 09:54
** 참고 : https://www.samsungsds.com/kr/insights/1232760_4627.html Data Lake를 통한 데이터 관리 패러다임의 전환 – 2부 DW와 데이터 '늪' 사이 Data Lake를 통한 데이터 관리 패러다임의 전환 – 2부 DW와 데이터 '늪' 사이 www.samsungsds.com Data Lake 성공 과정 확장성 있는아키텍처를 설계해야 한다. 장기적인 데이터 관리 및 거버넌스를 정의해야 한다. 데이터를 수집, 준비하고 보안을 유지하는 강력한 기능셋을 가져야 한다. Data Lake 주요 기술 이점 IoT 데이터부터 SNS 게시물에 이르기까지, 모든 유형의 정형, 비정형 데이터를 저장할 수 있다. 모든 답을 미리 가질 필요가 없다. raw 데이터를 저장하기..
-
AWS :: Cloud Practitioner :: 키워드 정리AWS Cloud Practitioner 2021.06.23 16:59
** 별 다른 순서가 존재하지 않으니, 필요한 '키워드'를 ctrl+F를 통해 조회하는 것을 추천 [ Amazon 서비스 분류 ] [ 컴퓨팅 ] AWS EC2(Elastic Compute Cloud) : 탄력있는 컴퓨트 클라우드 안전하고 크기 조정이 가능한 컴퓨팅 파워를 클라우드에서 제공 IaaS(Infra as a Service) 컴퓨터로 클라우드를 제공한다. AWS ECS(EC2 Container Service) : 도커 컨테이너를 지원하는 컨테이너 관리 서비스 클러스터 관리 인프라를 설치, 운영 및 확장 AWS ECR(EC2 Container Registry) : 개발자가 도커 컨테이너 이미지를 손쉽게 저장, 관리 및 배포할 수 있게 해주는 완전관리형 도커 컨테이너 레지스트리 AWS IAM을 통해,..
-
CS :: DB :: 효율적인 SQL 쿼리 작성 방법DB 2021.06.23 09:43
1. WHERE 조건의 이해 1) 묵시적 형변환 묵시적 형변환이란, 조건절의 데이터 타입이 다를 때, 우선순위가 높은 타입으로 형이 내부적으로 변환되는 것을 말한다. 예 : 정수 타입의 우선순위가 문자열 타입의 우선순위보다 높다. 이로 인해, 의도치 않은 결과가 나올 수 있다. 2) 잘못 사용된 함수 대부분의 DBMS에서는 함수 기능을 제공하고, 이는 복잡한 연산을 알아보기 쉽고 사용하기 편리하게 하지만, 잘못 사용하면, 불필여한 시스템 부하를 일으킬 수 있다. 위와 같이 쿼리를 작성한다면, 알아보기는 쉽지만 DB 내부적으로 'table fullscan'이 발생한다. [reg_date] 컬럼의 검색 시, DATE_FORMAT 함수로 인해 옵티마이저는 [reg_date]와 연관된 데이터의 분포도를 알 수 ..
-
News :: 공공 데이터의 개방을 통한 AI 서비스 확대IT News 2021.06.21 09:21
출처 : https://news.naver.com/main/read.nhn?mode=LSD&mid=shm&sid1=105&oid=009&aid=0004811724 요약 정부가 인공지능 학습용 데이터 4억8000만건을 공개한다. (중략) 의료 AI 플랫폼 회사 딥노이드도 AI 허브 데이터에 기대를 걸고 있다. 이 회사는 뇌동맥류 검출 AI '딥뉴로' 등 15개 솔루션으로 식품의약품안전처에서 인허가를 받았다. 또 딥노이드는 코딩을 몰라도 의료 AI를 연구개발할 수 있는 플랫폼 '딥파이'와 전 세계 연구자들이 의료 AI를 개발해 제품화하고 사고팔 수 있는 웹기반 플랫폼 '딥스토어'도 서비스하고 있다. 김태규 딥노이드 연구소장은 "양질의 의료 데이터를 자체 구축하거나 협력 의료기관을 찾으려면 시간과 비용이 많이..
-
AWS :: Cloud Practitioner :: Study (7/7)AWS Cloud Practitioner 2021.06.18 13:58
Amazon Inspector : Amazon EC2 인스턴스의 네트워크 접근성과 인스턴스에서 실행되는 애플리케이션의 보안 상태를 테스트하는 데에 도움이 되는 자동화된 보안 평가 서비스 취약성을 확인하기 위해 Amzon EC2 인스턴스의 자동화된 네트워크 평가를 수행하는 AWS 서비스 AWS 책임 분담 모델에 따르면, 기본 하드웨어의 패치는 AWS의 책임이다. 고객은 게스트 OS 및 애플리케이션을 패치할 책임이 있다. AWS X-Ray : 개발자가 마이크로 서비스 아키텍처를 사용하여 구축된 애플리케이션과 같은 프로덕션 또는 개발중인 분산 애플리케이션을 분석하고 디버깅하는 데에 도움된다. AWS WAF(Web Application Firewall) : 애플리케이션 가용성에 영향을 미치거나 보안을 손상시키는..
-
News :: 클라우드 시장 후발 주자, 카카오 i 클라우드IT News 2021.06.18 10:02
출처 : http://it.chosun.com/site/data/html_dir/2021/04/13/2021041302396.html 요약 후발주자 카카오가 조용히 클라우드 사업을 확장 중이다. 확보한 고객이 누구인지는 밝히지 않았으며, IDC 기반이 아닌 서비스형플랫폼(PaaS)과 서비스형소프트웨어(SaaS) 기반으로 고객을 늘린다. (중략) 카카오엔터프라이즈는 테크, 비즈니스, 데이터, 클라우드 등 다양한 B2B 영역 아우르는 AI 기술 기업을 목표로 하는데 이 중에서 클라우드 솔루션 플랫폼 ‘카카오i 클라우드’를 미래 먹거리로 낙점했다. 카카오 i클라우드는 개발자들을 위해 자동화·최적화된 개발 환경을 제공하는 ‘컨테이너팩’, 애플리케이션을 개발할 앱 엔진을 지원하는 ‘애플리케이션 메이커’, 데이터를..
-
News :: 시점, 카카오 vs 네이버 사업 비교IT News 2021.06.18 09:27
출처 : https://news.naver.com/main/read.nhn?mode=LSD&mid=shm&sid1=105&oid=025&aid=0003110883 요약 1. 매출·영업이익 등 기초체력은 네이버가 여전히 우위다. 그러나 카카오의 '미래 가능성'이 높은 평가를 받고 있다. 2. 1등 공신은 카톡 광고. 2019년 5월 도입한 톡보드가 대성공을 거뒀다. 지난해 톡비즈 매출은 전년 대비 71% 급증, 카카오 연매출의 4분의 1(1조 1178억원)을 책임진다. 3. 카카오뱅크는 2019년 흑자전환 했고, 카카오모빌리티와 카카오페이도 연내 흑자 전환을 예상한다. 지난해 카카오게임즈를 시작으로 핀테크 자회사 카카오뱅크, 카카오페이가 하반기 IPO를 앞두고 있다. 증권가에선 카카오뱅크 기업가치를 20조..
-
AWS :: RedshiftAWS 2021.06.17 17:27
AWS Redshift AWS가 서비스하는 클라우드 데이터 웨어하우스(DW) 서비스 손쉬운 생성 및 큰 규모로 확장 가능 사용한 만큼만 지불 낮은 가격에 매우 빠른 성능 제공 오픈으로 다양한 벤더의 BI툴과 연동 완전 관리형 DW서비스 Redshift 특징 다양한 포멧의 소스 데이터 지원 오픈 포멧 데이터 소스 지원 정형, 비정형 데이터 수집 및 활용 가능 탄력적인 클러스터 사이즈 확장 및 숙소 필요한 시점에 원하는 만큼, 빠르게 서버 사이즈 조정 가능 수 분 내에 완료되는 탄력적인 클러스터 크기 조정 일시정지 및 재시작 기능을 활용한 비용 최적화 운영 S3 저장소 기반의 데이터 레이크 모든 데이터를 저장하고 필요한 시점에 사용 99.99%의 가용성과 내구성 보장 데이터 액세스 패턴에 따른 여러 계층의 ..