Data Engineer Log

S3 Storage Class AWS S3의 경우 각각의 object마다 Storage Class 를 가지고 있다.실제 S3에 데이터를 올리면 default로 Standard 스토리지 클래스를 가지게 된다.  S3 에서는 다양한 Storage Class를 제공하여 비용 효율적으로 요구사항이네 비즈니스 니즈에 맞게 설정이 가능하다.또한, 각 object의 Storage Class의 관리는 AWS S3 Lifecylce을 통해 가능하다.(아래 포스팅에서 S3 Lifecycle에 대한 개념을 공부했다) https://jrograming.tistory.com/6 AWS S3 Versions, LifecycleS3 Versionsing AWS의 Versioning에 대해서 공부해봤다. S3에 저장 된 파일들의 V..

AWS/Storage 2024. 8. 18. 14:25

AWS S3을 공부하다가 S3와 HDFS의 차이점과 장단점이 궁금해졌다.우선 HDFS(Hadoop Distributed File System)에 대해서 간단히 정리하고 비교해보려고 한다.  HDFS Hadoop Distributed File Sytem의 약자로 대규모 데이터를 저장하고 처리하기 위한 분산 파일 시스템이다.빅데이터 처리를 위한 등장한 오픈소스로 Hadoop Ecosystem와 같이 데이터 처리를 위한 파일 시스템이다. HDFS의 아키텍처로는 NameNode와 DataNode가 있다. NameNode메타데이터 관리 : 파일 시스템의 네임스페이스 및 파일과 디렉토리의 메타데이터를 관리한다.파일 블록들이 어떤 DataNode에 저장 되어 있는지 관리한다클라이언트 요청을 처리한다복제, 시스템 상태..

AWS/Storage 2024. 8. 17. 17:49