AWS S3 vs HDFS
AWS S3을 공부하다가 S3와 HDFS의 차이점과 장단점이 궁금해졌다.우선 HDFS(Hadoop Distributed File System)에 대해서 간단히 정리하고 비교해보려고 한다. HDFS Hadoop Distributed File Sytem의 약자로 대규모 데이터를 저장하고 처리하기 위한 분산 파일 시스템이다.빅데이터 처리를 위한 등장한 오픈소스로 Hadoop Ecosystem와 같이 데이터 처리를 위한 파일 시스템이다. HDFS의 아키텍처로는 NameNode와 DataNode가 있다. NameNode메타데이터 관리 : 파일 시스템의 네임스페이스 및 파일과 디렉토리의 메타데이터를 관리한다.파일 블록들이 어떤 DataNode에 저장 되어 있는지 관리한다클라이언트 요청을 처리한다복제, 시스템 상태..
AWS/Storage
2024. 8. 17. 17:49
