Computer Science
-
DataEngineer :: Data LakeComputer Science/etc 2021. 6. 8. 10:50
1. 가공되지 않은 다양한 종류의 데이터를 한 곳에 모아둔 저장소의 집합 2. 빅데이터와 인공지능 기술의 중요성이 커지면서, 다양한 영역의 다양한 영역의 다양한 데이터가 만나 새로운 가치를 만들어내기 시작했다. 이 과정에서, 빅데이터를 효율적으로 분석하고 사용하고자 다양한 영역의 Raw 데이터(가공되지 않은 데이터)를 한 곳에 모아 관리하고자 하는 것을 Data Lake라고 한다. 3. Data Lake Framework Data Lake에 모든 데이터를 모은 뒤, 데이터 준비 과정에 도움을 주는 도구가 필요했고, 그것이 바로 Data Lake Framework이다. [수집], [가공 및 제공], [관리] 기능을 제공한다.
-
DataEngineer :: ETL vs ELTComputer Science/etc 2021. 6. 8. 10:30
ETL 1. 워크플로우가 잘 정의되어 있어야 하며, 연속적이고 지속적인 프로세스를 가진다. 2. 데이터 엔지니어 및 개발자의 상세 계획, 감독 및 코딩이 필요하다. 3. 최신 ETL 솔루션은 쉽고 빠르다. 4. transform된 데이터의 빠르고 효율적이고 안정적인 분석이 가능하다. 5. 데이터를 데이터 웨어하우스에 넣기 전에 변환하기 때문에, 보안 규정 위반 위험성을 줄여준다. 6. 오래된 프로세스이기 때문에, 잘 개발된 도구와 플랫폼이 많다. ELT 1. 기술의 발전 덕분에 가능해진 고속 클라우드 서버 기반 프로세스이다. 2. 정형, 비정형, 반정형 등의 모든 데이터를 수집 가능하다. 3. 필요한 데이터만 변환된다. 4. ETL과 비교하여, 신뢰성이 낮다. 5. ETL과 비교하여, 빠르고, 유지 보수..
-
CS : Network : 쿠키(cookie), 세션(session)Computer Science/Network 2021. 4. 20. 18:02
쿠키와 세션의 필요성 1. HTTP 프로토콜의 특징인, connectionless(비연결성)와 stateless(비상태성) 때문이다. 2. 때문에 HTTP 프로토콜은 모든 요청 간 '의존관계'가 없다. 즉, 현재 접속한 client가 이전에 접속한 client와 같은지 다른지 알 수 있는 방법이 없다. 3. 또한, 연결을 유지하지 않는다는 점은 불필요한 리소스(자원)를 낭비하지 않는다는 장점이 있지만, 통신할 때마다 새로 연결되기 때문에, client는 매 요청마다 인증 과정을 거쳐야 한다는 단점이 있다. 4. HTTP 프토토콜의 상태를 유지할 필요가 생겼고, 이에 쿠키와 세션 개념이 등장했다. 쿠키 (Cookie) 1. 개념 client의 상태 정보를 브라우저에 저장하여 참조한다. name, value..
-
CS : Network : HTTPComputer Science/Network 2021. 4. 20. 17:28
HTTP (HyperText Transfer Protocol) 1. 하이퍼텍스트 문서를 교환하기 위해 사용되는 통신 규약이다. 웹 서버와 클라이언트 간 통신을 위한 통신 규약이다. 2. 웹에서만 사용하는 프로토콜이다. TCP/IP 기반으로 서버와 클라이언트의 요청과 응답을 전송한다. HTTP 특징 및 장단점 1. 특징 TCP/IP를 이용하는 application layer 프로토콜이다. 즉, 인터넷을 이용하여 컴퓨터와 컴퓨터 간 데이터를 전송할 수 있도록 하는 하나의 '장치'이다. Connectionless : HTTP는 연결 상태를 유지하지 않는 '비연결성 프로토콜'이다. Stateless : 연결을 끊는 순간 클라이언트와 서버의 통신은 끝나고, 상태 정보는 유지되지 않는다. 비연결성 프로토콜이기 때문..