[TIL] AWS redshift에 Copy 명령어로 csv 데이터 적재 시 csv 내에 json이 포함되어 있을 때 고려해야 할 데이터 변환 파라미터 종류 221026

💡 Today I Learned 요약 (27회차) - redshift에 csv 파일을 Copy 쿼리로 적재할 때 json이 있을 경우 아래 파라미터를 고려할 필요 있음 AWS redshift에 Copy 명령어로 csv 데이터 적재 시 csv 내에 json이 포함되어 있을 때 고려해야 할 데이터 변환 파라미터 종류 s3에 올라간 csv를 기반으로 Redshift에 적재할 때 csv 내에 json 데이터가 포함되어 있고, 그것을 단일 칼럼 내에 로드하고 싶을 때 고려해야 할 데이터 변환 파라미터다. 아직 하나하나가 어떻게 동작하는지는 정확하게 이해하지 못해서 추후 다시 정리가 필요함. CSV -- CSV 명시 IGNOREHEADER 1 -- 지정 row number를 무시 DELIMITER ',' -- 구분..

• format_list_bulleted CLOUD
• · 2022. 10. 26.
• textsms

[TIL] AWS Redshift에서 block이 걸려서 쿼리가 지연될 때 확인하고 강제 종료하는 방법 221017

💡 Today I Learned 요약 (26회차) - Redshift에서는 세션 보호를 위해 특정 쿼리 동작 중에 추가 쿼리 동작을 잠글 수 있다. - 쿼리를 통해 잠금 처리된 쿼리를 확인하고 종료시켜 롤백할 수 있다. AWS Redshift에서 block이 걸려서 쿼리가 지연될 때 확인하고 종료하는 방법 Redshift에서 풀스캔 쿼리가 아닌데 이유 없이 돌고 있을 경우 잠금(block) 처리된 것을 의심할 수 있다. 보통은 block을 유발한 쿼리가 완료되면 block이 풀리고 후속 쿼리가 실행이 되지만 데이터 전처리 도중 다른 쿼리가 동작하여 block이 발생할 경우 시간에 쫓기게 될 수 있다. 그럴 때 확인 방법 및 종료, 쿼리 확인 방법에 대해 정리한다. redshift 문서에서 정의하는 쿼리 ..

• format_list_bulleted CLOUD
• · 2022. 10. 17.
• textsms

[TIL] AWS Athena에서 쿼리 진행 상태 확인하기

💡 Today I Learned 요약 (24회차) - boto3에선 Athena 쿼리 상태를 확인하는 batch_get_query_execution가 존재 - 해당 기능을 사용해서 Athena가 쿼리를 돌고 있는지 상태를 확인할 수 있다. boto3를 사용해서 Athena 쿼리 실행 상태 확인하기 Python 기반의 AWS SDK인 boto3를 사용해서 Athena 쿼리를 실행할 수 있다. 하지만 boto3로 Athena 쿼리를 실행할 경우 async로 돌아가기 때문에 쿼리를 날렸다고 바로 결과를 확인할 수 있는 게 아니다. 그럴 때 사용하기 위한 batch_get_query_execution가 boto3에 존재한다. query 실행했을 때의 ExecutionID를 알고 있다면 아래와 같이 batch_g..

• format_list_bulleted CLOUD
• · 2022. 10. 5.
• textsms