S3에 JSON 형태로 500MB 데이터가 주기적으로 저장되는데, 이때 저장된 데이터를…

S3에 JSON 형태로 500MB 데이터가 주기적으로 저장되는데, 이때 저장된 데이터를 주기적으로 DynamoDB에 넣어주고 싶은데 어떤 방법이 저렴하고 안정성있을까요?
logstash랑 fluentd에 대해서 찾아보니 input – s3, output dynamodb 둘다를 지원하지는 않더군요…

10 thoughts on “S3에 JSON 형태로 500MB 데이터가 주기적으로 저장되는데, 이때 저장된 데이터를…

  1. Lambda도 생각을 안해본것은 아닙니다. 근데 데이터가 크기도 하고 Lambda에서 5분이라는 시간안에 데이터를 넣지 못하면 timeout이 발생될 수 도 있고 checkpoint 관리가 안될거 같아 사용하는데 어려움이 많을거 같습니다. 결과적으로 비용절감이 되야하기 때문이죠..ㅎㅠㅠ 좋은 조언 감사합니다.~

  2. 해본적은 없지만 S3-SNS-EC2 이용해서 S3에 파일이 저장되는 Event를 받으면 SNS통해서 EC2를 띄우고 작업이 완료되면 EC2 종료되게 하는건 어떨까요

  3. 윗분에 말씀하신대로 분할 처리로 속도 향상시킬 수 있을듯하네요. 이때 주의점은 동일 Hash Key의 연속된 put item은 throughput를 최대로 활용하지 못하므로 Hash Key를 분산시켜 parallel로 돌리시면 최대 throughput가 나오지 않을까 합니다.

답글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다.