Data Engineer Log

오늘은 AWS S3 (=Amazon Simple Storage Service) 에 대해서 공부해봤다.업무에서 직접적으로 사용해본적은 없지만 이름도 정말 많이 들어봤던 S3.  Cloud Object Storage로 S3는 AWS 서비스 중 가장 기본적인 서비스가 아닐까 생각이 든다. 데이터 엔지니어링 분야에서 데이터를 저장 하는 저장소는 굉장히 중요하다고 생각한다.raw data가 될 수도 있고, Transform을 데이터, BI/Report 용 데이터 등 다양한 데이터들을 저장 할 수 있는 저장소는 필수적이다. 개념적인 부분 심화적인 부분(Version, Replication, Life Cycle..) 을 공부해보면서 하나하나 정리해보려고 한다.  AWS S3란 무엇인가?AWS에서 제공하는 Cloud ..

AWS/Storage 2024. 8. 17. 12:08

AWS 공부를 시작한 이유블로그에 데이터엔지니어 직무에서 AWS를 위한 솔루션들을 공부한 내용을 정리하려고 한다.회사에서 AWS, GCP, Azure 와 같은 클라우드 서비스를 사용하지 못하여서 사실상 업무에서 해당 클라우스 서비스들을 사용해보지 못했었다. 그 갈증을 해소하고자 스타트업 이직을 선택한 것도 큰 이유이다.클라우드 서비스를 사용한 데이터엔지니어링 역량을 쌓고 싶었고, 혼자 공부하는 것보다 실무 환경에서 업무에 직접적으로 적용하는 것이 가장 빠른 방법이라고 생각이 들었다.  What?? 과거에 AWS의 면접을 볼 수 있는 기회가 있어서 AWS 의 기본적인 기능들과 솔루션들을 공부한 적이 있었다.하지만 직접 써보지 않으니 자연스럽게 잊혀져갔고, 조금더 연차가 쌓인 지금 데이터 엔지니어 직무에 직..

AWS 2024. 8. 16. 21:02

Data Storage Architecture데이터 저장 아키텍처로 3가지에 대해서 공부해봤다.Data Warehouse, Data Lake, Data Lakehouse우선 한 장의 사진으로 정리한걸 보면 이해가 훨씬 쉽다.아래 사진은 Databricks 의 Data Lakehouse 에 대한 블로그에 소개 된 그림이다. https://www.databricks.com/kr/glossary/data-lakehouse   기존의 Data Warehoues 와 Data Lake 의 장점을 가져와 만들었다는 Data Lakehouse 를 소개하고 있다.하나 씩 공부해보자.  Data Warehouse 다양한 소스들을 Structured Data 로 저장하여 복잡한 쿼리나, 데이터 분석을 위해 사용된다.주로 E..

Data Engineer 2024. 8. 16. 08:44

오랜만에 블로그오랜만에 블로그 글을 작성해본다.특히 개발에 대한 내용의 블로그는 정말 오랜만에 작성해보는 것 같다. 대학생때 Gtihub 에 TIL (Today I Learned) 를 공부 기록용으로 작성한 이후 처음인 것 같다.이전에 네이버 블로그, 티스트 블로그에 글을 작성했었지만 개발적인 내용은 거의 없었다.생활, 맛집, 부동산, 주식, 재테크.. 등 일상을 다룬 내용들이였고, 특별한 목적을 가지고 시작했던 블로그이다.하지만 이번 블로그는 개발자로 생활하면서 느끼고 기록하고 싶은 것들 위주로 기록해보려고 한다. 간단한 소개 간단한 소개를 하면 나는 7년차 데이터엔지니어 직무의 개발자이다.대기업에 입사를 해서 한 회사만 쭉 다녔으며 앞으로 조금 더 도전적인 선택을 하기로 결정했다. 지금 회사 규모보다..

Career 2024. 8. 16. 08:41