Iceberg 란 무엇인가?
Iceberg? Iceberg는 빅 데이터 분석을 위한 open table format 중 하나이다.데이터레이크에서 대규모 데이터를 효율적으로 관리하고 분석할 수 있도록 설계되어 있다. 확장성, 성능, 그리고 복잡한 요구사항까지 충족되며 다양한 데이터 레이크 환경에서 동작할 수 있다. (HDFS, S3, Google Cloud Storage..) 데이터 엔지니어는 Apache Iceberg를 사용해 대규모 데이터를 빠르고 효율적이고 안정적으로 관리할 수 있다.특히 Spark, Flink, Hive, Trino 등 다양한 데이터 처리 엔진과 통합하여 사용할 수 있다.Iceberg에 대한 다양한 기능들을 하나하나 공부해보고 정리해보려고 한다. Iceberg의 장점다양한 장점과 이점들이 있지만 AWS에 정리..
Data Engineer
2024. 12. 15. 21:10
