Data Engineer Log

Kakfa Connect를 사용하면서 다양한 Plugin을 사용할 수 있다.cutom한 plugin 들은 Connectors, Transformaers, Converters 등 다양하게 활용이 가능하다. 각각의 Plugin 들은 독립적인 Jar 파일로 Plugin 끼리 서로 영향을 받지 않게됩니다. Kafka Connect가 동작할때 설정해준 plugin path 에서 정의 된 plugins 들을 사용하게 된다.아래 설정을 통해서 plugin path를 지정할 수 있다. 해당 설정은 Worker를 동작할때 properties file로 지정이 가능하다.plugin.path=/usr/local/share/kafka/plugins  이전 포스팅에서 AWS EC2 인스턴스에 Kafka Cluster를 구축해봤..

Data Engineer 2024. 9. 19. 14:44

오늘은 Kafka Connect를 정리해보려고 한다. Kafka Connect 란?Kafka Connect는 Kafka 와 다른 System들을 연동하는 툴이다.오픈소스로 Apache Kafka의 컴포넌트 중 하나이다. Kafka Connect 이외에 ksqlDB, Kafka Streams 도 있지만, 오늘은 Kafka Connect 에 대해서 알아봤다.쉽고 간단하게 Connector를 구성하여 다양한 데이터 소스에서 카프카와의 연동이 가능하다.   Kafka Connect 개념Kafka Connect에서 사용되는 개념이 있는데 간단히 정리해보자.Connectors : Tasks들을 관리하는 추상화 데이터 스트림Tasks : 데이터를 어떻게 카프카로 복사하기 위한 구현Workers : Connector와..

Data Engineer 2024. 9. 18. 14:04