Data Engineer Log

어느덧 스타트업으로 이직이 3개월이 되었다.3개월 동안 수습 평가가 있었고 현재는 수습이 통과 된 상태이다.생각보다 스타트업에서의 수습 평가는 중요한 기간이였다. 이전의 대기업에서는 대부분은 수습이 통과되었지만, 스타트업에서는 회사와 개인의 핏을 맞춰보는 중요한 기간이였다.  회고3개월 동안 스타트업에서 업무하고 느끼고 배웠던 부분을 회고해보려고 한다. 스타트업 이직의 가장 큰 동기는 아래와 같이 2가지 정도였다.클라우드 환경에서의 인프라 업무A-Z 처음부터 구축해보는 데이터 플랫폼 Cloud 기대했던 대로 충족되고 만족된 부분도 있었지만 아쉬움이 남는 부분도 분명있다. 우선 클라우드 환경에서의 업무는 가장 큰 만족 중 하나이다.기존의 on premise 환경에서 데이터 엔지니어링 업무를 했었다면, 이직..

Career 2024. 12. 29. 14:57

이번주에는 회사(스타트업)에서 사내 발표를 했다.발표를 좋아하는 성격이 아니라서 내심 부담이 있었지만 무사히 마칠 수 있었다.   큰 회사에서는 발표 기회가 있을때 기술적인 성숙도와 깊이에 대한 생각을 많이 했었는데, 이번의 경우 엔지니어, 개발자가 아닌 전 직군에 사람들이 모여 기술적인 내용에 힘을 많이 뺐다.  사실 발표는 나에게 무척 어려운 일이다.남들 앞에서 나의 생각을 발표한다는 것은 부담도 많이 되고 내향적인 나에게 꽤나 부담스러운 일이다.이번 발표를 하고나서 발표를 '잘'하고 싶다는 생각과 욕심이 들었다. 발표를 들으러오는 청중도 발표를 준비하는 나도 결국 소중한 시간을 쓰는 것이기에 더 많은 가치, 의미 있는 내용을 전달하는 것이 본질이라고 생각한다.이전에는 발표를 그냥 잘 끝낸다에 그쳤다..

Career 2024. 12. 22. 09:23

Iceberg? Iceberg는 빅데이터 분석을 위한 open table format 중 하나이다.데이터레이크에서 대규모 데이터를 효율적으로 관리하고 분석할 수 있도록 설계되어 있다. 확장성, 성능, 그리고 복잡한 요구사항까지 충족되며 다양한 데이터 레이크 환경에서 동작할 수 있다. (HDFS, S3, Google Cloud Storage..) 데이터 엔지니어는 Apache Iceberg를 사용해 대규모 데이터를 빠르고 효율적이고 안정적으로 관리할 수 있다.특히 Spark, Flink, Hive, Trino 등 다양한 데이터 처리 엔진과 통합하여 사용할 수 있다.Iceberg에 대한 다양한 기능들을 하나하나 공부해보고 정리해보려고 한다.  Iceberg의 장점다양한 장점과 이점들이 있지만 AWS에 정리..

Data Engineer 2024. 12. 15. 21:10

벌써 스타트업에 합류한지 2달이 됐다.시간이 너무 빨리가고 몰입해서 집중하느라 블로그에 정말 오랜만에 글을 쓰는 기분이다. https://jrograming.tistory.com/30 개발자 스타트업 1주차 느낀점이번 주 스타트업으로 이직하고 첫 1주가 지났다.중간 중간 공휴일이 있어서 주 3일만 출근했지만, 새로운 환경에서의 경험은 늘 새롭다.   큰 규모의 회사와 달리 스타트업은 굉장히 자유로운jrograming.tistory.com  온보딩도 잘 마치고 이제 어느 정도 적응을 하게 되어서 다시 나의 루틴을 하나하나 끼워넣고있다.2달이 지났지만 몰입해서 보낸 시간과 배움의 크기는 정말 상상 이상이라고 생각한다.   Skills & Works특히 기술적으로 내가 해보지 않은 클라우드 환경에서의 업무와 ..

Career 2024. 12. 9. 08:34

오늘은 Terraform에 대해서 공부해봤는데요.기존에 업무 환경에서는 한번도 사용해본적이 없었던 기술이라 빠르게 학습하기 위해서 알아봤습니다.  Terraform?  Terrafrom은 인프라를 코드로 관리할 수 있는 도구이다. (IaC = Infrastructure as code)선언적으로 클라우드에 대한 인프라를 정의하고 관리할 수 있다.low-level 컴포넌트들인 computer instance, storage, network 부터 high-level 컴포넌트들인 DNS, SaaS 등 다양하게 가능하다. 예를들어 AWS에 배포되는 다양한 인프라와 리소스들을 쉽게 관리하고 자동화 할 수 있다.  Terraform 동작Terraform은 3가지 workflow로 동작하게 된다.Write : 리소스를..

Infra/Terraform 2024. 10. 6. 18:08

오늘은 k8s (kubernetes) 환경에서 Service와 Ingress에 대해서 공부해봤습니다. 2개의 리소스는 모두 클러스내 내의 애플리케이션 간 통신 또는 외부 네트워크와 통신을 하는 역할입니다.  Kubernetes Servicek8s의 Pod의 집합에 대한 네트워크 접근 방식이다.Pod의 경우 동적으로 생성되고 제거될 수 있기때문에 Pod의 IP는 수시로 변할 수 있다.그렇기때문에 Service를 이용해 Pod 그룹들을 추상해해서 노출 할 수 있다. Service Typeservice의 Type은 크게 4가지가 있다.ClusterIP : 클러스터 내부 IP에서 서비스를 노출하며 클러스터 내에서만 서비스 접근이 가능하다 (default)NodePort : 클러스터 외부에서 노드의 IP와 특정 ..

Infra/Kubernetes 2024. 10. 6. 15:05

이번 주 스타트업으로 이직하고 첫 1주가 지났다.중간 중간 공휴일이 있어서 주 3일만 출근했지만, 새로운 환경에서의 경험은 늘 새롭다.   큰 규모의 회사와 달리 스타트업은 굉장히 자유로운 분위기였다.자유로운 분위기 속에서 회의와 의견 공유가 인상적이였다. 또 느낀 부분은 생각보다 인프라 시스템적으로 해나갈 것들이 많이 보였다.앞으로 하게 될 업무와 관련이 있을 것 같은데 A-Z로 구축해보는 경험은 나에게 큰 자산이 될 것 같은 생각이다. 개인적으로 가장 아쉬운 부분은 건물이다. ㅎㅎㅎ큰 회사에서는 사옥에 깔끔한 화장실건 구내 식당이 있지만 스타트업은 상대적으로 아쉬운 부분이다.하지만 3일만에 금방 적응하였다. 걱정과 우려대로 야근을 엄청 많이 하는 분위기는 아니지만 아직 일주일 밖에 되지 않아서 더 경..

Career 2024. 10. 5. 16:37

맥북에서 AWS Cli를 초기 셋팅하고 EKS에 접속하는 방법이다.추후에 또 셋팅할일이 있을 것 같아서 기록해두려고한다. AWS Cli 설치하기# 설치$ wget https://awscli.amazonaws.com/AWSCLIV2.pkg$ sudo ln -s /folder/installed/aws-cli/aws /usr/local/bin/aws$ sudo ln -s /folder/installed/aws-cli/aws_completer /usr/local/bin/aws_completer# 설치 확인$ $ which aws/usr/local/bin/aws $ aws --versionaws-cli/2.17.20 Python/3.11.6 Darwin/23.3.0 botocore/2.4.5https://doc..

AWS 2024. 10. 3. 15:39