Data Engineer Log

이전 포스팅에서 AWS EMR 에 대해서 공부했다. https://jrograming.tistory.com/18 AWS EMR 공부하기AWS EMR 이란??EMR (Elastic MapReduce)로 불렸으며 Hadoop, Spark 등 빅데이터 처리를 위한 플랫폼이다.Hahoop의 yarn cluster와 같은 개념으로 이해했다.   AWS EMR 구성EMR 클러스터의 컴포넌트를 알아보자. 모두jrograming.tistory.com 오늘은 AWS EMR을 EKS 환경에서 구축하고 운영하는 부분에 대해서 공부를 했다.  AWS EMR on EKS?EMR on EKS = Elastic MapReduce on Elastic Kubernetes Service약자를 풀어보면 대충 감이 온다. AWS EMR을 ..

AWS/Processing 2024. 9. 1. 16:44

AWS EMR 이란??EMR (Elastic MapReduce)로 불렸으며 Hadoop, Spark 등 빅데이터 처리를 위한 플랫폼이다.Hahoop의 yarn cluster와 같은 개념으로 이해했다.   AWS EMR 구성EMR 클러스터의 컴포넌트를 알아보자. 모두 EC2 인스턴스에 구축되어 있으며 각 인스턴스는 Node라고 불린다.Hadoop HDFS처럼 노드 개념이랑 비슷하다고 생각했다. 노드의 종류는 3가지가 있다.Primary node : 클러스터를 관리하는 노드이다. 테스크의 상태를 관리하거나 클러스터의 heath check를 하게 된다.Core node : task들을 실행하고 HDFS의 데이터를 저장하는 노드이다. Task node : 실제로 task가 동작하게 된다. HDFS에 데이터는 저..

AWS/Processing 2024. 8. 30. 21:45

AWS Athena 서비스에 대해서 공부해봤다.사실 AWS에서 데이터 엔지니어링 기술 셋 중에 가장 궁금한 기술이였다.  AWS Athena?SQL을 사용해 S3에 저장 된 데이터를 쿼리하는 서비스이다.데이터를 로드할 필요 없이 S3에 저장되어 있으면 바로 쿼리가 가능하다. 2016년 Athena가 처음 출시 됐을때 오픈 소스인 SQL 쿼리 엔진인 Presto 기반으로 설계되었다. Serverless 서비스로 다양한 데이터 포맷을 지원하게 된다.관리형 서비스로 직접 인프라나 관리가 필요하지 않는다. S3에 저장 된 데이터들을 바로바로 분석하고 데이터를 살펴보기 좋은 솔루션이라고 생각한다.  Data analysis architecture AWS 서비스를 활용해 serverless 한 데이터 분석 환경을 ..

AWS/Processing 2024. 8. 26. 21:51

데이터엔지니어 직무에 있다보면 AWS Glue 라는 단어를 한두번은 들어본적이 있다.데이터 분석을 쉽게 해주는 Serverless data integration service 이다.  70개가 넘는 데이터소스와 연동하여 데이터를 discovery, prepare, move, integrate 할 수 있는 솔루션이다.현업에서 사용해본적은 없지만 정말 다방면으로 많은 기능을 제공해주는 솔루션이라고 생각이 들었다.  AWS Glue Features AWS 공식 문서에서는 AWS Glue의 특징을 크게 3가지 범주로 나눴다Discovery and organize dataTransfrom, prepare, and clean data for analysisBuild and monitor data pipeline 쉽..

AWS/Processing 2024. 8. 25. 18:34