S3는 청크 단위로 파일을 잘라서 업로드 할수있는 기능을 제공한다. 이 기능의 정식명칭은 multipart upload 이다. https://docs.aws.amazon.com/AmazonS3/latest/userguide/mpuoverview.html MPU라고 줄여서 부른다. MPU는 업로드 속도를 빠르게 해줄수있는 아주 좋은 기능이지만, 업로드에 실패할 경우 완성되지 않은 청크단위의 파일들이 S3스토리지에 저장되게 된다. 업로드가 정상적으로 이루어진 경우 청크단위로 나뉜 파일을 하나의 파일로 합쳐서 객체로 보이게 되지만, 그렇지 않은 파일은 우리의 눈에 보이지 않지만 S3의 스토리지에 비용만 발생시키며, 하등 쓸모없는 상태로 저장만 되어있는다. 이런 경우를 “incomplete multipart uploads” 라 부른다. ...
aws s3 ls s3://linuxer-wp/wp-content/uploads/2019/08/ –human-readable –summarize aws s3 명령어만으로 조합. aws s3 ls s3://linuxer-wp/ –recursive –recursive | grep 2020 | awk ‘BEGIN {total=0}{total+=$3}END{print total/1024/1024" MB"}’ aws s3 ls + grep + awk total+=$3더한것.
aws bucket ls | xargs -L1 % aws s3api put-bucket-encryption \ –bucket % \ –server-side-encryption-configuration ‘{“Rules”: [{“ApplyServerSideEncryptionByDefault”: {“SSEAlgorithm”: “AES256”}}]}’ s3 api 이용한 모든버킷 AES-256 암호화.
오늘은 s3 delete 를 mfa 로 제한하는 방법에 대해서 포스팅 해보겠다. aws 에서 s3 버킷에 대한 삭제 제한을 해야 할때가 있다. 이경우에 root access key를 생성하여야 한다. iam 대시보드에서 mfa 와 루트 엑세스키를 생성할수 있다. 보안자격증명 관리로 이동해서 진행한다. 과정은 간단하고 쉬우니 URL을 참고하자. https://docs.aws.amazon.com/ko_kr/IAM/latest/UserGuide/id_credentials_mfa.html - MFA 활성화 https://docs.aws.amazon.com/ko_kr/general/latest/gr/managing-aws-access-keys.html -access key 생성 생성한 키로 aws cli 를 사용가능하도록 설정한다 /root/.aws/credentials 다음 위치다. access key를 넣고 mfa 를 확인해보자 ...
줄곳 고민하던 s3-uploads / cdn-cloudfront 를 적용하였다. 먼저 wordpress 의 여러 플러그인중에 대중적이며 복잡하지 않은 방식을 채택하였다. 사용한 플러그인은 두가지이다. Amazon Web Services / WP Offload Media 두개의 플러그인을 설치한다. 그리고 AmazonS3FullAccess 권한을 가진 사용자를 Programmatic access 방식으로 생성한다. 그리고 버킷을 생성한다. AmazonS3FullAccess full acces 권한을 줬는데 이 권한은 업로드 권한만 줘도 무방하다. 하지만 편한 테스트를위해 전체 권한을 부여하였다. 일단 모든 퍼블릭 엑세스 차단을 해제한다. 나머지는 모두 기본설정이다. 위 설정은 편한 설정을 위한 선택이므로 각자 개인의 선택을 요한다. ...