Data Engineer Log

오늘은 AWS Redshift에 대해서 공부해보려고 한다.데이터 웨어하우스 시스템으로 데이터 엔지니어 분야에서 굉장히 중요한 부분이라고 생각한다. 최근에는 Data Lake, Data Lakehouse 의 등장으로 Data Warehouse 아키텍처가 상대적으로 관심이 덜 해졌지만, 아직까지도 굉장히 중요한 영역이라고 생각한다. https://jrograming.tistory.com/2 Data Warehouse, Data Lake, Data LakehouseData Storage Architecture데이터 저장 아키텍처로 3가지에 대해서 공부해봤다.Data Warehouse, Data Lake, Data Lakehouse우선 한 장의 사진으로 정리한걸 보면 이해가 훨씬 쉽다.아래 사진은 Databri..

AWS/Storage 2024. 8. 20. 22:42

AWS 공부를 시작한 이유블로그에 데이터엔지니어 직무에서 AWS를 위한 솔루션들을 공부한 내용을 정리하려고 한다.회사에서 AWS, GCP, Azure 와 같은 클라우드 서비스를 사용하지 못하여서 사실상 업무에서 해당 클라우스 서비스들을 사용해보지 못했었다. 그 갈증을 해소하고자 스타트업 이직을 선택한 것도 큰 이유이다.클라우드 서비스를 사용한 데이터엔지니어링 역량을 쌓고 싶었고, 혼자 공부하는 것보다 실무 환경에서 업무에 직접적으로 적용하는 것이 가장 빠른 방법이라고 생각이 들었다.  What?? 과거에 AWS의 면접을 볼 수 있는 기회가 있어서 AWS 의 기본적인 기능들과 솔루션들을 공부한 적이 있었다.하지만 직접 써보지 않으니 자연스럽게 잊혀져갔고, 조금더 연차가 쌓인 지금 데이터 엔지니어 직무에 직..

AWS 2024. 8. 16. 21:02