[TIL] AWS CLI s3 sync를 사용하여 파일 전송하기 221028

💡 Today I Learned 요약 (28회차)
- AWS CLI의 sync를 통해 여러개의 파일을 전송할 수 있다.

 

AWS CLI s3 sync를 사용하여 파일 전송하기

오늘 아침 출근하면서 사수에게서 데이터 파이프라인에 문제가 생겼다는 얘기를 들었다. 원인 자체는 간단히 필드가 밀려서 데이터가 들어오고 있던 상황. 결과론적으론 간단하지만 그걸 찾기 위해 로그를 찍어가며 찾아가는 과정에 시간이 소요되었다. 그간 Appsflyer 데이터 적재한다고 본업(?)에 손을 못대고 있었는데 다시끔 포커스를 맞출 필요가 있다.

 

데이터 확인 과정에서 AWS CLI에서 s3 sync를 쓸 수 있는 것을 알게 되었다. 지난번 포스팅에서 CP를 사용하는 걸 올린 적이 있는데 --recursive 까지 하면서 여러개의 파일이나 폴더를 전송하기엔 s3 sync가 훨씬 편한 것 같다.

aws s3 sync {s3://경로} {./로컬경로}

기본적으로 AWS CLI가 설치되고, Credential 설정이 완료되었음을 전제로 한다. 그리고 말 그대로 해당 경로의 sync를 맞추는 형식이라 다른 파일과 섞이지 않게 주의하자. 만약 로컬 경로에서 s3에 올리고 싶으면 저 경로를 서로 바꿔주면 동작한다.

 

---

#AWS 관련 리서치 내역:

• sync - AWS CLI