Data Engineer Log

데이터엔지니어 분야에서 일을 하다 보니 Streams이라는 단어를 보면 항상 눈길이 간다.실시간 프로세싱, 파이프라인 구축에 Streams은 자주 등장하는 개념이기때문이다. DynamoDB에서 Strems 개념이 있어서 간단히 살펴봤다.  DynamoDB Streams테이블의 데이터(item)가 create/update/delete 됐을때 발생하는 이벤트이다.in near-real time (거의 실시간) 으로 이벤트 발생 순서대로(order) 발생한다고 한다. 각각의 Streams 데이터에는 테이블 정보, 이벤트 시간.. 등 메타데이터들이 포함되어 있고 24시간동안의 retention을 가지게 된다.공식 문서에서는 아래와 같은 아키텍처를 소개해줬다.  실제 DynamoDB Streams을 Kinesis..

AWS/Database 2024. 8. 19. 21:55

Amazon DynamoDB AWS에서 제공하는 Serverless NoSQL 데이터베이스 서비스이다.NoSQL로 기존 RDB와의 차이점은 별로의 포스팅에 작성해두었다.  https://jrograming.tistory.com/11 SQL, RDBMS vs NoSQL 공부AWS Storage를 공부하려고 보니 Database의 RDB와 NoSQL을 또 살펴보게 됐다.해당 주제는 내가 신입 사원 면접을 준비하는 과정에서 공부했던 내용인데 결국 또 공부하게 될 만큼 굉장히 중요한 주제라jrograming.tistory.com  굉장히 유연한 확장성과 빠른 성능을 제공중인 데이터베이스로 많은 요구사항에 사용된다고 생각한다.  DynamoDBServerless NoSQL databaseFull managed s..

AWS/Database 2024. 8. 19. 21:38

요즘 AWS 서비스들을 빠르게 공부하고 있다.이전에 현업에서 AWS를 한번도 사용해본적이 없기때문에 스타트업 이직을 준비하면서 남는 시간동안 AWS서비스를 전반적으로 살펴볼 생각이다.  데이터엔지니어 AWS 공부하기 (AWS Certified Data Engineer - Associate)AWS 공부를 시작한 이유블로그에 데이터엔지니어 직무에서 AWS를 위한 솔루션들을 공부한 내용을 정리하려고 한다.회사에서 AWS, GCP, Azure 와 같은 클라우드 서비스를 사용하지 못하여서 사실상 업jrograming.tistory.com 실제 AWS DEA-C01 시험 범위에서도 데이터베이스는 굉장히 중요하게 다뤄지는 것 같다. AWS DatabaseRDB, NoSQL, Key-Value Store, In-Mem..

AWS/Database 2024. 8. 18. 19:09