AWS EMR 공부하기
AWS EMR 이란??EMR (Elastic MapReduce)로 불렸으며 Hadoop, Spark 등 빅데이터 처리를 위한 플랫폼이다.Hahoop의 yarn cluster와 같은 개념으로 이해했다. AWS EMR 구성EMR 클러스터의 컴포넌트를 알아보자. 모두 EC2 인스턴스에 구축되어 있으며 각 인스턴스는 Node라고 불린다.Hadoop HDFS처럼 노드 개념이랑 비슷하다고 생각했다. 노드의 종류는 3가지가 있다.Primary node : 클러스터를 관리하는 노드이다. 테스크의 상태를 관리하거나 클러스터의 heath check를 하게 된다.Core node : task들을 실행하고 HDFS의 데이터를 저장하는 노드이다. Task node : 실제로 task가 동작하게 된다. HDFS에 데이터는 저..
AWS/Processing
2024. 8. 30. 21:45
