AWS S3 Multipart Upload

S3에 Upload해야 하는 Object File(한개)의 사이즈가 큰 경우
-> S3 Multipart Upload로 이슈를 해결할 수 있음

S3 Multipart Upload 방식
1. 대용량의 Object File을 적당한 사이즈로 분할
2. 나눠진 조각을 S3로 전송
3. 모든 조각의 전송이 완료되면 하나의 Object File로 합치기

S3 Multipart Upload 시 파일 사이즈 관련 AWS 기준
- 100MiB 이상의 File을 업로드 시 MultiPart Upload 기능을 사용하는 것을 "권장"
- MultiPart Upload 시, 각 part의 사이즈는 5MiB ~ 5GiB 로 제한된다. (Limit 사항)
   => 즉, 하나의 part는 5MiB ~ 100MiB 로 자르는 것을 AWS는 권고
- S3에 저장할 수 있는 Object File의 최대 사이즈는 5TiB
- 생성할 수 있는 part 개수는 최대 10,000 개

https://docs.aws.amazon.com/AmazonS3/latest/userguide/qfacts.html

Amazon S3 multipart upload limits - Amazon Simple Storage Service

 

Overwirte 기능
특정 part가 upload에 실패한 경우, 해당 파트만 재시도할 수 있다.

Auto-Abort
Bucket lifecycle를 세팅하여 특정 시간내에 Multipart Upload 작업이 완료되지 않는 경우, Auto-Abort 되도록 기능을 설정하는 것이 좋다.

S3 Multipart Upload API 3단계
1. CreateMultipartUpload
2. Upload Parts
3. Complete Multipart Upload

 

API support for multipart upload

ㅁ

https://docs.aws.amazon.com/AmazonS3/latest/userguide/mpuoverview.html

Uploading and copying objects using multipart upload - Amazon Simple Storage Service