[TIL] AWS CLI s3 sync를 사용하여 파일 전송하기 221028

💡 Today I Learned 요약 (28회차) - AWS CLI의 sync를 통해 여러개의 파일을 전송할 수 있다. AWS CLI s3 sync를 사용하여 파일 전송하기 오늘 아침 출근하면서 사수에게서 데이터 파이프라인에 문제가 생겼다는 얘기를 들었다. 원인 자체는 간단히 필드가 밀려서 데이터가 들어오고 있던 상황. 결과론적으론 간단하지만 그걸 찾기 위해 로그를 찍어가며 찾아가는 과정에 시간이 소요되었다. 그간 Appsflyer 데이터 적재한다고 본업(?)에 손을 못대고 있었는데 다시끔 포커스를 맞출 필요가 있다. 데이터 확인 과정에서 AWS CLI에서 s3 sync를 쓸 수 있는 것을 알게 되었다. 지난번 포스팅에서 CP를 사용하는 걸 올린 적이 있는데 --recursive 까지 하면서 여러개의 파..

• format_list_bulleted CLOUD
• · 2022. 10. 28.
• textsms

[TIL] AWS cli를 사용해서 s3 파일 일괄 다운받기 220921

💡 Today I Learned 요약 (9회차) - AWS CLI를 사용해서 s3 데이터를 일괄 다운 받을 수 있다 - 명령어는 aws cp를 사용하면 됨 AWS cli를 사용해서 s3 파일 일괄 다운받기 AWS s3에 있는 데이터를 다운 받고 싶을 때 웹 화면에서는 폴더 단위로 일괄 다운로드를 지원하지 않는다. 그래서 개별로 하나하나 들어가서 다운을 받아야 하는데 이럴 경우엔 AWS CLI를 쓰는 게 편리함. 1. AWS 홈페이지에서 CLI를 다운받고 설치 2. 터미널(명령 프롬프트)를 열고 aws configure를 입력하여 설정값 입력 aws configure AWS Access Key ID [None]: AWS Secret Access Key [None]: Default region name [N..

• format_list_bulleted CLOUD
• · 2022. 9. 21.
• textsms