Kafka Connect 공부하기 (1)
오늘은 Kafka Connect를 정리해보려고 한다. Kafka Connect 란?Kafka Connect는 Kafka 와 다른 System들을 연동하는 툴이다.오픈소스로 Apache Kafka의 컴포넌트 중 하나이다. Kafka Connect 이외에 ksqlDB, Kafka Streams 도 있지만, 오늘은 Kafka Connect 에 대해서 알아봤다.쉽고 간단하게 Connector를 구성하여 다양한 데이터 소스에서 카프카와의 연동이 가능하다. Kafka Connect 개념Kafka Connect에서 사용되는 개념이 있는데 간단히 정리해보자.Connectors : Tasks들을 관리하는 추상화 데이터 스트림Tasks : 데이터를 어떻게 카프카로 복사하기 위한 구현Workers : Connector와..
Data Engineer
2024. 9. 18. 14:04
