개발자 스타트업 3개월 회고

 

어느덧 스타트업으로 이직이 3개월이 되었다.

3개월 동안 수습 평가가 있었고 현재는 수습이 통과 된 상태이다.

생각보다 스타트업에서의 수습 평가는 중요한 기간이였다.

 

이전의 대기업에서는 대부분은 수습이 통과되었지만, 스타트업에서는 회사와 개인의 핏을 맞춰보는 중요한 기간이였다.

 

 

회고

3개월 동안 스타트업에서 업무하고 느끼고 배웠던 부분을 회고해보려고 한다.

 

스타트업 이직의 가장 큰 동기는 아래와 같이 2가지 정도였다.

• 클라우드 환경에서의 인프라 업무
• A-Z 처음부터 구축해보는 데이터 플랫폼

 

Cloud 

기대했던 대로 충족되고 만족된 부분도 있었지만 아쉬움이 남는 부분도 분명있다.

 

우선 클라우드 환경에서의 업무는 가장 큰 만족 중 하나이다.

기존의 on premise 환경에서 데이터 엔지니어링 업무를 했었다면, 이직을 하고 나서 AWS 환경에서 업무를 하게 되었다.

 

VPC, subnet, 인증.. 등 기본적인 AWS 리소스에 대한 개념, 공부부터 EKS, MSK, Opensearch 등.. 데이터 엔지니어링을 위해 필요한 클라우드 기술 셋 까지 모두 사용해보고 경험해볼 수 있었다.

가장 큰 자산이 아닐까 싶다.

 

또한 Cloud 환경을 잘 이용한다면 굉장히 확장성있고 빠르게 인프라 구축이 가능하나는 점도 놀라웠던 점 중 하나이다.

물론 각종 인프라와 개발 환경을 도와주는 Devops 엔지니어와 Security 엔지니어의 굉장한 Support가 큰 도움이 되었다.

 

EKS, Cloud 환경에서의 데이터 인프라 구축에 대한 강한 자신감과 확신이 생겼다.

 

 

Data Platform 

data platform 부분은 아쉬움과 만족감이 함께 남는 부분이다.

스타트업의 잦은 외부 변화(?)의 탓으로 결국 데이터엔지니어가 혼자 남게 되었다.

 

처음부터 인프라를 구축하고 플랫폼을 구축하는 작업에 많은 어려움과 고민이 있었다.

(사실 아직 다 구축 된건 아니다.)

 

혼자서 의사결정하고 아키텍처를 그리다보니 많은 고민이 생기고 내가 하는 방법에 대한 의구심도 들었다.

많은 리서치와 아직 구축해야한 컴포넌트들은 많지만 지나고보니 많은 부분은 배우고 학습할 수 있었다.

 

아직 Iceberg를 이용한 data lakehouse 구축에는 확신은 없지만 반드시 구축해보려고한다.

-> 내게 큰 자산이 될 것 같다.

 

 

 

아쉬운 점

물론 아쉬운점도 매우 많다.

내가 기대했던 좋은 동료들과 함께 시너지를 내면서 빠른 속도감으로 업무를 진행하고 싶은 마음이였지만...

 

현실은 완성도 떨어지는 레거시 코드와 아키텍처 그리고 데이터 퀄리티..가 발목을 잡았다.

나의 생산성에도 영향을 주었다고 생각한다.

 

데이터에 대한 퀄리티, 신뢰도가 떨어지는 상태이다보니 사실 많은 어려움이 있었다.

의도하고 계획했던 대로 파이프라인을 구축하고 데이터 분석환경을 구축하고 보니 데이터 퀄리티가 좋지 않았다.

 

이정도의 퀄리티면 새로 수집하는게 낫지 않을까라는 생각이 들었고, 다음 분기에는 아예 새로운 수집 파이프라인을 구축할 생각이다.

 

 

또한 대외적인 변화가 많은 부분이 아쉽다.

물론 스타트업의 빠른 변화의 일부이겠지만, 함께 일하는 동료들도 자주 바뀌고 조직에 대한 큰 그림도 변화가 크다는 점이다.

 

더 좋은 엔지니어 들과 함께 시너지를 낼 수 있는 환경이 빠르게 구축됐으면 좋겠다.

 

 

 

좋은 점

가장 큰 장점을 뽑자면 대기업에서 경험했던 메일을 주고 받고 커뮤니케이션, 불필요한 회의를 하는 업무가 현저히 줄어들었다.

실질적으로 개발을하고 코드를 작성하는 시간이 늘어났다는 점이 매우 만족스럽다.

 

가끔은 퇴근이 늦고 업무량이 많을때도 있지만 나에게 도움이 되는 업무라는 생각이 기저에 깔려있다.

 

자유로운 분위기 역시 좋은 장점 중 하나라고 생각한다.

내가 경험했던 IT대기업의 자유로운 분위기와 비슷하게 굉장히 자유로운 근태환경이다.

 

또한 넓은 업무 scope 때문에 데이터 엔지니어링 뿐만 아니라 ML과 Devops쪽 업무까지 함께 cover하고 배울 수 있는 환경이다.

 

 

 

총평

3개월을 되돌아보니 힘들고 고민이 되었던 시간도 있었지만, 나의 성장에는 100% 도움이 되었다고 생각한다.

새로운 기술과 환경에 대한 적응 그리고 고민했던 시간들이 당시에는 힘들었지만 성장을 위한 시간이였다.

• AWS 환경
• Terraform
• ArgoCD
• Flink
• Kafka
• Elasticsearch
• Spark on EKS
• CDC (kafka connect, spark structured streaming, flink)
• ...

=> Iceberg, lakehouse... 다음 회고에는 반드시 내걸로 만들어보자..

 

 

이제 조금은 운영성 업무들이 들어오고 있지만, 초반에 배우고 성장했던 속도를 늦추지는 말아야겠다.

운영성 업무보다는 나의 성장과 개발에 포커싱되어야한다.

 

다시 나의 삶의 루틴도 되찾고있다.

명상, 독서 등 나의 루틴과 일에 대한 조화도 놓치지 않아야한다고 생각한다.

그리고 소중한 나의 가족의 응원이 없었다면 절대 해내지 못했다.

 

 

가족과 건강 그리고 나의 삶에 대한 루틴도 지키면서 스타트업에서 성장하는 시간을 보내고 싶다.

3개월 또는 6개월뒤에는 어떤 모습일지 다시 회고를 해보고자 한다.