Data Engineer Log

최근 들어 스트레스와 걱정에 대한 관심이 많아졌다.요즘들어 느낀것인데 누구나 마음속에 그들의 걱정과 고민들을 하나씩 품고 있는 것 같다. 나조차도 큰 걱정이 아니더라도 정말 사소한 걱정이라도 계속 생겨나게 된다.그렇다면 작은 걱정이라도 나와 함께하는 걱정을 어떻게 하면 건강하고 스트레스가 크지 않게 가져갈 수 있을까...?? 오늘 읽은 책에서 걱정에 대한 내용이 나와서 글을 작성해봤다.    요즘 데일카네기의 자기관리론을 재독하고 있다.사실 개인적으로는 인간관리론이 더 재밌고 와닿았지만, 자기관리론도 종종 다시 꺼내보는 책이다.  책의 주된 내용은 걱정을 관리하는 방법론들을 제시한다.오늘은 걱정을 해결하는 마법 공식에 대해서 소개해보려고 한다.  저자는 3단계를 이용해 걱정을 해결하는 마법 공식을 제안한..

Book & Think 2024. 9. 20. 09:17

Kakfa Connect를 사용하면서 다양한 Plugin을 사용할 수 있다.cutom한 plugin 들은 Connectors, Transformaers, Converters 등 다양하게 활용이 가능하다. 각각의 Plugin 들은 독립적인 Jar 파일로 Plugin 끼리 서로 영향을 받지 않게됩니다. Kafka Connect가 동작할때 설정해준 plugin path 에서 정의 된 plugins 들을 사용하게 된다.아래 설정을 통해서 plugin path를 지정할 수 있다. 해당 설정은 Worker를 동작할때 properties file로 지정이 가능하다.plugin.path=/usr/local/share/kafka/plugins  이전 포스팅에서 AWS EC2 인스턴스에 Kafka Cluster를 구축해봤..

Data Engineer 2024. 9. 19. 14:44

오늘은 황농문 저자의 몰입이라는 책에 대해서 후기를 작성해보려고 한다.책에서는 몰입적 사고에 대해서 설명하고 방법론적으로 몰입을 하는 방법들을 제시한다. 사실 대부분의 사람들은 몰입을 경험했을 것 이고 나 역시 몰입의 경험이 있다.운동을 집중해서 할 때, 친구들과 재밌게 놀 때, 데이트를 하면서 즐거운 시간을 보낼 때 모두 몰입의 시간들이라고 생각이 든다.   열심히 일하면 남들보다 2배 이상 잘하기도 힘들지만 열심히 생각하면 10배, 100배 아니 1000배까지도 잘할 수 있는 것이다. 저자는 '몰입' 을 통해 생산성을 올려 WORK HARD가 아닌 THINK HARD 를 하라고 제시한다.내가 성과를 내고 싶고 실력을 높이고 싶은 분야에 몰입을 적용하여 더 효율적으로 생산성을 올릴 수 있다고 생각했다...

Book & Think 2024. 9. 19. 11:08

오늘은 Kafka Connect를 정리해보려고 한다. Kafka Connect 란?Kafka Connect는 Kafka 와 다른 System들을 연동하는 툴이다.오픈소스로 Apache Kafka의 컴포넌트 중 하나이다. Kafka Connect 이외에 ksqlDB, Kafka Streams 도 있지만, 오늘은 Kafka Connect 에 대해서 알아봤다.쉽고 간단하게 Connector를 구성하여 다양한 데이터 소스에서 카프카와의 연동이 가능하다.   Kafka Connect 개념Kafka Connect에서 사용되는 개념이 있는데 간단히 정리해보자.Connectors : Tasks들을 관리하는 추상화 데이터 스트림Tasks : 데이터를 어떻게 카프카로 복사하기 위한 구현Workers : Connector와..

Data Engineer 2024. 9. 18. 14:04

카프카 클러스터를 EC2 인스턴스에 구축해봤다.    Confluent에서 제공하는 ansible playbook을 사용하면 정말 쉽게 구축이 가능하다.https://github.com/confluentinc/cp-ansible GitHub - confluentinc/cp-ansible: Ansible playbooks for the Confluent PlatformAnsible playbooks for the Confluent Platform. Contribute to confluentinc/cp-ansible development by creating an account on GitHub.github.com 해당 playbook을 통해 아래 component들 모두 구축이 가능하다ZookeeperK..

Data Engineer 2024. 9. 13. 21:53

우연히 뇌과학 책을보다가 매슬로의 욕구 단계설을 접하게 되었다.이전에도 읽고 지나쳤던 내용인데 최근 다시 보면서 흥미가 가서 글로 작성해보고 싶었다. 시간이 지나 내 생각과 가치관이 바뀌게 된다면 다시 보는 이 글이 나에게 새로운 인사이트나 사고의 확장의 경험을 주지 않을까 싶다. 매슬로의 욕구 단계설 (Maslow's hierarchy of needs)  위의 5단계를 통해 인간의 욕구의 단계를 설명하는 이론이다.1940년대 심리학자인 매슬로가 발표한 이론이고 상위단계로 가기 위해서는 하위 단계들이 성취되어야 한다는 것이다. 1. 생리적 욕구 : 호흡, 음식, 물, 잠 등 생리적인 욕구2. 안전 욕구 : 신체의 위험, 안전, 생리적 욕구의 안전에 대한 욕구3. 애정, 소속 욕구 : 친구, 관계, 가족,..

Book & Think 2024. 9. 13. 09:09

인스타 브레인 이라는 책을 재독했다.요즘 휴대폰 사용 시간도 늘어나고 오랜만에 다시 읽어보고 싶다는 생각이 들어서 재독하게 됐다. 책 표지 부터 인스타그램을 떠올리는 표지이다.최근 집중, 몰입에 대한 글이나 책을 읽다보니 새롭게 느껴지는 부분도 있었고 잊고있었던 부분들도 많아서 흥미롭게 읽었다. 내 뇌가 스마트폰에 얼마나 취약하고 의지라는 말로는 한계가 있음을 다시 한번 일깨워주는 책이였다.특히 진화론적 관점에서 설명하는 부분이 많이 와닿았따.  인류의 긴 관점에서 봤을때 스마트폰이 나온 시기는 정말 짧다.그렇기 때문에 사람의 뇌가 얼마나 스마트폰에 취약한지 그리고 앱 개발자들이 얼마나 이 부분들 특히 도파민을 잘 이용하는지를 읽어보니 재밌었다.   우리는 인간 심리의 취약점을 이용하고 있다.약간의 도파..

Book & Think 2024. 9. 8. 11:48

오늘은 맥북/아이맥에 docker, kubernetes (k8s) 환경을 구축하는 방법을 기록해두려고한다.Docker 설치우선 docker 를 설치해본다.  아래 Docker 공식 홈페이지에서 Docker Engine을 설치 할 수 있다. https://docs.docker.com/engine/install/ Install Docker EngineLearn how to choose the best method for you to install Docker Engine. This client-server application is available on Linux, Mac, Windows, and as a static binary.docs.docker.com 또는 brew 를 이용해 설치할 수 있다.bre..

개발 기록/로컬 개발 환경 2024. 9. 3. 19:43