AWS S3 Object Lambda 공부하기

 

AWS S3 Object Lambda

S3에 저장되어 있는 Object를 Lambda를 사용해 데이터를 수정하는 것이다.

아래 아키텍처를 보면 더 직관적으로 이해가 가능하다.

 

S3 GET, HEAD, LIST 요청에 람다 코드를 추가해서 데이터가 반환될때 로직이 적용된 데이터가 반환된다.

https://docs.aws.amazon.com/AmazonS3/latest/userguide/transforming-objects.html

Use Case

• 데이터 형식 변환 (XML -> Json)
• 이미지 크기 동적 조정
• 이미지 워터마크
• 데이터 암호화
• ...

 

요구사항에 따라 다양하게 활용 가능할 것 같다.

데이터 엔지니어링 과정에서 데이터 전치리나 로직을 처리하는 파이프라인이 필요한데 S3 Object Lambda 간단한 파이프라인들은 대체할 수 있지 않을까 생각이 들었다.

이 부분은 현업에서 활용을해보면서 추후 생각을 더 포스팅해보려고 한다.

 

전체적인 동작

아래 그림을 보면 전체적인 동작 과정을 이해할 수 있다.

https://aws.amazon.com/ko/s3/features/object-lambda/?nc=sn&loc=2&dn=5

 

이 밖에 좋은 reference가 있어 남겨둔다.

• https://docs.aws.amazon.com/lambda/latest/dg/with-s3-tutorial.html
• https://aws.amazon.com/ko/blogs/korea/introducing-amazon-s3-object-lambda-use-your-code-to-process-data-as-it-is-being-retrieved-from-s3/ (한글)
• https://aws.amazon.com/ko/getting-started/hands-on/amazon-s3-object-lambda-to-dynamically-watermark-images/