[TIL] AWS CLI s3 sync를 사용하여 파일 전송하기 221028

💡 Today I Learned 요약 (28회차) - AWS CLI의 sync를 통해 여러개의 파일을 전송할 수 있다. AWS CLI s3 sync를 사용하여 파일 전송하기 오늘 아침 출근하면서 사수에게서 데이터 파이프라인에 문제가 생겼다는 얘기를 들었다. 원인 자체는 간단히 필드가 밀려서 데이터가 들어오고 있던 상황. 결과론적으론 간단하지만 그걸 찾기 위해 로그를 찍어가며 찾아가는 과정에 시간이 소요되었다. 그간 Appsflyer 데이터 적재한다고 본업(?)에 손을 못대고 있었는데 다시끔 포커스를 맞출 필요가 있다. 데이터 확인 과정에서 AWS CLI에서 s3 sync를 쓸 수 있는 것을 알게 되었다. 지난번 포스팅에서 CP를 사용하는 걸 올린 적이 있는데 --recursive 까지 하면서 여러개의 파..

• format_list_bulleted CLOUD
• · 2022. 10. 28.
• textsms

[TIL] AWS redshift에 Copy 명령어로 csv 데이터 적재 시 csv 내에 json이 포함되어 있을 때 고려해야 할 데이터 변환 파라미터 종류 221026

💡 Today I Learned 요약 (27회차) - redshift에 csv 파일을 Copy 쿼리로 적재할 때 json이 있을 경우 아래 파라미터를 고려할 필요 있음 AWS redshift에 Copy 명령어로 csv 데이터 적재 시 csv 내에 json이 포함되어 있을 때 고려해야 할 데이터 변환 파라미터 종류 s3에 올라간 csv를 기반으로 Redshift에 적재할 때 csv 내에 json 데이터가 포함되어 있고, 그것을 단일 칼럼 내에 로드하고 싶을 때 고려해야 할 데이터 변환 파라미터다. 아직 하나하나가 어떻게 동작하는지는 정확하게 이해하지 못해서 추후 다시 정리가 필요함. CSV -- CSV 명시 IGNOREHEADER 1 -- 지정 row number를 무시 DELIMITER ',' -- 구분..

• format_list_bulleted CLOUD
• · 2022. 10. 26.
• textsms

[TIL] AWS Redshift에서 block이 걸려서 쿼리가 지연될 때 확인하고 강제 종료하는 방법 221017

💡 Today I Learned 요약 (26회차) - Redshift에서는 세션 보호를 위해 특정 쿼리 동작 중에 추가 쿼리 동작을 잠글 수 있다. - 쿼리를 통해 잠금 처리된 쿼리를 확인하고 종료시켜 롤백할 수 있다. AWS Redshift에서 block이 걸려서 쿼리가 지연될 때 확인하고 종료하는 방법 Redshift에서 풀스캔 쿼리가 아닌데 이유 없이 돌고 있을 경우 잠금(block) 처리된 것을 의심할 수 있다. 보통은 block을 유발한 쿼리가 완료되면 block이 풀리고 후속 쿼리가 실행이 되지만 데이터 전처리 도중 다른 쿼리가 동작하여 block이 발생할 경우 시간에 쫓기게 될 수 있다. 그럴 때 확인 방법 및 종료, 쿼리 확인 방법에 대해 정리한다. redshift 문서에서 정의하는 쿼리 ..

• format_list_bulleted CLOUD
• · 2022. 10. 17.
• textsms

[TIL] AWS Athena에서 쿼리 진행 상태 확인하기

💡 Today I Learned 요약 (24회차) - boto3에선 Athena 쿼리 상태를 확인하는 batch_get_query_execution가 존재 - 해당 기능을 사용해서 Athena가 쿼리를 돌고 있는지 상태를 확인할 수 있다. boto3를 사용해서 Athena 쿼리 실행 상태 확인하기 Python 기반의 AWS SDK인 boto3를 사용해서 Athena 쿼리를 실행할 수 있다. 하지만 boto3로 Athena 쿼리를 실행할 경우 async로 돌아가기 때문에 쿼리를 날렸다고 바로 결과를 확인할 수 있는 게 아니다. 그럴 때 사용하기 위한 batch_get_query_execution가 boto3에 존재한다. query 실행했을 때의 ExecutionID를 알고 있다면 아래와 같이 batch_g..

• format_list_bulleted CLOUD
• · 2022. 10. 5.
• textsms

[TIL] AWS Athena에서 Json 값 추출 220927

💡 Today I Learned 요약 (18회차) - AWS Athena에 json 형태로 저장된 값에서 데이터를 추출할 수 있다 - 사용함수는 json_extract 함수를 사용하면 가능 AWS Athena에서 Json 값 추출 DB에 Json 형태로 값이 저장되어 있을 경우, Json을 parsing 해서 써야 하는데 AWS Athena의 경우 json_extract 함수를 통해서 key 기준 값을 추출할 수 있도록 하고 있다. WITH dataset AS ( SELECT '{"name": "Smith", "org": "Tech", "projects": [{"name":"project1", "completed":false}, {"name":"project2", "completed":true}]}' A..

• format_list_bulleted CLOUD
• · 2022. 9. 27.
• textsms

[TIL] AWS cli를 사용해서 s3 파일 일괄 다운받기 220921

💡 Today I Learned 요약 (9회차) - AWS CLI를 사용해서 s3 데이터를 일괄 다운 받을 수 있다 - 명령어는 aws cp를 사용하면 됨 AWS cli를 사용해서 s3 파일 일괄 다운받기 AWS s3에 있는 데이터를 다운 받고 싶을 때 웹 화면에서는 폴더 단위로 일괄 다운로드를 지원하지 않는다. 그래서 개별로 하나하나 들어가서 다운을 받아야 하는데 이럴 경우엔 AWS CLI를 쓰는 게 편리함. 1. AWS 홈페이지에서 CLI를 다운받고 설치 2. 터미널(명령 프롬프트)를 열고 aws configure를 입력하여 설정값 입력 aws configure AWS Access Key ID [None]: AWS Secret Access Key [None]: Default region name [N..

• format_list_bulleted CLOUD
• · 2022. 9. 21.
• textsms

[TIL] Docker로 wireguard VPN 서버 실행하기 220920-1

💡 Today I Learned 요약 (6회차) - Docker(도커)를 사용해서 wireguard vpn 서버를 구축할 수 있다 Docker로 wireguard VPN 서버 실행하기 VPN 서버인 Wireguard를 도커에서 구현하기 위한 참고 문서는 배틀필드를 돌리기 위해 오라클 클라우드를 사용해서 VM을 구성하고, 거기에 도커 - Wireguard를 돌리기 위한 방법을 수행하였으나 나 같은 경우는 장난감으로 돌리고 있는 우분투 서버가 있기 때문에 명령어 부분만 정리. 필요하신 분들은 아래 리서치 내역을 참고하면 될 듯. # apt update 하기 sudo apt-get update;sudo apt-get -y upgrade;sudo apt-get -y dist-upgrade; # 도커 준비 cur..

• format_list_bulleted CLOUD
• · 2022. 9. 20.
• textsms

[TIL] AWS Athena에서 기존 파티션 drop하고, 신규 파티션 생성 220920

💡 Today I Learned 요약 (5회차) - AWS Athena에서 파티션이 잘못 생성되었을 경우 alter table을 사용해서 기존 파티션을 삭제하고, 새로운 파티션 생성 가능 AWS Athena에서 기존 파티션 drop하고, 신규 파티션 생성 Athena에서 실수로 파티션을 잘못 생성한 경우(s3 경로를 잘못 입력했다던가 하는 이유로) 기존 파티션을 삭제하고, 신규 파티션을 생성할 수 있음. -- 기존 파티션 삭제 ALTER TABLE {테이블명} DROP IF EXISTS PARTITION ({파티션 키} = {파티션 값}); -- 파티션 키 대체 ALTER table {테이블명} ADD IF NOT EXISTS PARTITION ({파티션 키} = {파티션 값}) LOCATION {s3 ..

• format_list_bulleted CLOUD
• · 2022. 9. 20.
• textsms