[TIL] AWS Redshift에서 block이 걸려서 쿼리가 지연될 때 확인하고 강제 종료하는 방법 221017

💡 Today I Learned 요약 (26회차) - Redshift에서는 세션 보호를 위해 특정 쿼리 동작 중에 추가 쿼리 동작을 잠글 수 있다. - 쿼리를 통해 잠금 처리된 쿼리를 확인하고 종료시켜 롤백할 수 있다. AWS Redshift에서 block이 걸려서 쿼리가 지연될 때 확인하고 종료하는 방법 Redshift에서 풀스캔 쿼리가 아닌데 이유 없이 돌고 있을 경우 잠금(block) 처리된 것을 의심할 수 있다. 보통은 block을 유발한 쿼리가 완료되면 block이 풀리고 후속 쿼리가 실행이 되지만 데이터 전처리 도중 다른 쿼리가 동작하여 block이 발생할 경우 시간에 쫓기게 될 수 있다. 그럴 때 확인 방법 및 종료, 쿼리 확인 방법에 대해 정리한다. redshift 문서에서 정의하는 쿼리 ..

• format_list_bulleted CLOUD
• · 2022. 10. 17.
• textsms

[TIL] AWS Athena에서 쿼리 진행 상태 확인하기

💡 Today I Learned 요약 (24회차) - boto3에선 Athena 쿼리 상태를 확인하는 batch_get_query_execution가 존재 - 해당 기능을 사용해서 Athena가 쿼리를 돌고 있는지 상태를 확인할 수 있다. boto3를 사용해서 Athena 쿼리 실행 상태 확인하기 Python 기반의 AWS SDK인 boto3를 사용해서 Athena 쿼리를 실행할 수 있다. 하지만 boto3로 Athena 쿼리를 실행할 경우 async로 돌아가기 때문에 쿼리를 날렸다고 바로 결과를 확인할 수 있는 게 아니다. 그럴 때 사용하기 위한 batch_get_query_execution가 boto3에 존재한다. query 실행했을 때의 ExecutionID를 알고 있다면 아래와 같이 batch_g..

• format_list_bulleted CLOUD
• · 2022. 10. 5.
• textsms