Data Engineer Log

Amazon DynamoDB AWS에서 제공하는 Serverless NoSQL 데이터베이스 서비스이다.NoSQL로 기존 RDB와의 차이점은 별로의 포스팅에 작성해두었다.  https://jrograming.tistory.com/11 SQL, RDBMS vs NoSQL 공부AWS Storage를 공부하려고 보니 Database의 RDB와 NoSQL을 또 살펴보게 됐다.해당 주제는 내가 신입 사원 면접을 준비하는 과정에서 공부했던 내용인데 결국 또 공부하게 될 만큼 굉장히 중요한 주제라jrograming.tistory.com  굉장히 유연한 확장성과 빠른 성능을 제공중인 데이터베이스로 많은 요구사항에 사용된다고 생각한다.  DynamoDBServerless NoSQL databaseFull managed s..

AWS/Database 2024. 8. 19. 21:38

AWS Storage를 공부하려고 보니 Database의 RDB와 NoSQL을 또 살펴보게 됐다.해당 주제는 내가 신입 사원 면접을 준비하는 과정에서 공부했던 내용인데 결국 또 공부하게 될 만큼 굉장히 중요한 주제라고 생각한다. Database의 중요한 부분 중 하나로 하나씩 알아보자 SQL, RDBMS관계형 데이터베이스라고 불린다데이터를 Column, Row로 구성된 테이블 형식으로 저장한다Colume : 데이터 속성, Row : 데이터 값Transaction 을 보장하고 엄격한 스키마 관리로 명확한 데이터 구조를 보장한다데이터 무결성이 중요한 시스템에 용이하다 (높은 수준의 ACID)Scale up (Vertical Scaling) / Horizontal scaling = reading capacit..

AWS/Storage 2024. 8. 19. 09:21

요즘 AWS 서비스들을 빠르게 공부하고 있다.이전에 현업에서 AWS를 한번도 사용해본적이 없기때문에 스타트업 이직을 준비하면서 남는 시간동안 AWS서비스를 전반적으로 살펴볼 생각이다.  데이터엔지니어 AWS 공부하기 (AWS Certified Data Engineer - Associate)AWS 공부를 시작한 이유블로그에 데이터엔지니어 직무에서 AWS를 위한 솔루션들을 공부한 내용을 정리하려고 한다.회사에서 AWS, GCP, Azure 와 같은 클라우드 서비스를 사용하지 못하여서 사실상 업jrograming.tistory.com 실제 AWS DEA-C01 시험 범위에서도 데이터베이스는 굉장히 중요하게 다뤄지는 것 같다. AWS DatabaseRDB, NoSQL, Key-Value Store, In-Mem..

AWS/Database 2024. 8. 18. 19:09

AWS S3 Object LambdaS3에 저장되어 있는 Object를 Lambda를 사용해 데이터를 수정하는 것이다.아래 아키텍처를 보면 더 직관적으로 이해가 가능하다. S3 GET, HEAD, LIST 요청에 람다 코드를 추가해서 데이터가 반환될때 로직이 적용된 데이터가 반환된다.Use Case데이터 형식 변환 (XML -> Json)이미지 크기 동적 조정이미지 워터마크데이터 암호화... 요구사항에 따라 다양하게 활용 가능할 것 같다.데이터 엔지니어링 과정에서 데이터 전치리나 로직을 처리하는 파이프라인이 필요한데 S3 Object Lambda 간단한 파이프라인들은 대체할 수 있지 않을까 생각이 들었다.이 부분은 현업에서 활용을해보면서 추후 생각을 더 포스팅해보려고 한다. 전체적인 동작아래 그림을 보면..

AWS/Storage 2024. 8. 18. 18:58

AWS EBS  Elastic Block Storage 의 약자로 EC2 인스턴스와 함께 사용하는 블록 스토리지 이다. (network drive)해당 스토리지에 저장 된 데이터는 인스턴스가 제거되거나 멈추더라도 데이터는 유지 된다.한번에 하나의 인스턴스에 mount 될 수 있으며 특정 Availability zone에 생성된다.Block Storage VolumneNetwork drive (not physical drive)one AZ 쉽게 이해하면 EC2의 로컬 하드 디스크라고 생각하고 사용하면 된다.로컬 디스크 처럼 SSD/HDD 등 불륨 유형을 제공하며 확장성 높게 사용이 가능하다.재시작 없이 Volume 변경이 가능하다.  또한 Snapshot과 암호화 등 저장 스토리를 위한 다양한 기능을 제공..

AWS/Storage 2024. 8. 18. 14:56

S3 Storage Class AWS S3의 경우 각각의 object마다 Storage Class 를 가지고 있다.실제 S3에 데이터를 올리면 default로 Standard 스토리지 클래스를 가지게 된다.  S3 에서는 다양한 Storage Class를 제공하여 비용 효율적으로 요구사항이네 비즈니스 니즈에 맞게 설정이 가능하다.또한, 각 object의 Storage Class의 관리는 AWS S3 Lifecylce을 통해 가능하다.(아래 포스팅에서 S3 Lifecycle에 대한 개념을 공부했다) https://jrograming.tistory.com/6 AWS S3 Versions, LifecycleS3 Versionsing AWS의 Versioning에 대해서 공부해봤다. S3에 저장 된 파일들의 V..

AWS/Storage 2024. 8. 18. 14:25

S3 Versionsing AWS의 Versioning에 대해서 공부해봤다. S3에 저장 된 파일들의 Version을 설정하는 것이다.AWS의 Version은 Bucket level 로 설정이 가능하다.  S3 버전 관리를 사용하면 Bucket에 저장된 모든 버전의 객체를 모두 보존, 검색 및 복원이 가능하다.버전을 설정하는 방법은 AWS Console에서 '속성 > 버킷 버전 관리' 을 활성화 하면 버전 관리가 가능하다. 참고로 버전 설정 이전에 존재하던 파일들은 version정보에 'null' 값이 들어가게된다.  아래와 깉이 파일을 PUT 하게 되면 새로운 버전이 생성된다.(현재 객체를 수정하는 일부 작업에서는 새 객체에 PUT 작업을 수행하지 않으므로 새 버전이 생성되지 않는다) 아래와 같이 파일..

AWS/Storage 2024. 8. 18. 14:04

AWS S3을 공부하다가 S3와 HDFS의 차이점과 장단점이 궁금해졌다.우선 HDFS(Hadoop Distributed File System)에 대해서 간단히 정리하고 비교해보려고 한다.  HDFS Hadoop Distributed File Sytem의 약자로 대규모 데이터를 저장하고 처리하기 위한 분산 파일 시스템이다.빅데이터 처리를 위한 등장한 오픈소스로 Hadoop Ecosystem와 같이 데이터 처리를 위한 파일 시스템이다. HDFS의 아키텍처로는 NameNode와 DataNode가 있다. NameNode메타데이터 관리 : 파일 시스템의 네임스페이스 및 파일과 디렉토리의 메타데이터를 관리한다.파일 블록들이 어떤 DataNode에 저장 되어 있는지 관리한다클라이언트 요청을 처리한다복제, 시스템 상태..

AWS/Storage 2024. 8. 17. 17:49