[TIL] AWS Athena에서 쿼리 진행 상태 확인하기

💡 Today I Learned 요약 (24회차) - boto3에선 Athena 쿼리 상태를 확인하는 batch_get_query_execution가 존재 - 해당 기능을 사용해서 Athena가 쿼리를 돌고 있는지 상태를 확인할 수 있다. boto3를 사용해서 Athena 쿼리 실행 상태 확인하기 Python 기반의 AWS SDK인 boto3를 사용해서 Athena 쿼리를 실행할 수 있다. 하지만 boto3로 Athena 쿼리를 실행할 경우 async로 돌아가기 때문에 쿼리를 날렸다고 바로 결과를 확인할 수 있는 게 아니다. 그럴 때 사용하기 위한 batch_get_query_execution가 boto3에 존재한다. query 실행했을 때의 ExecutionID를 알고 있다면 아래와 같이 batch_g..

• format_list_bulleted CLOUD
• · 2022. 10. 5.
• textsms

[TIL] AWS Athena에서 Json 값 추출 220927

💡 Today I Learned 요약 (18회차) - AWS Athena에 json 형태로 저장된 값에서 데이터를 추출할 수 있다 - 사용함수는 json_extract 함수를 사용하면 가능 AWS Athena에서 Json 값 추출 DB에 Json 형태로 값이 저장되어 있을 경우, Json을 parsing 해서 써야 하는데 AWS Athena의 경우 json_extract 함수를 통해서 key 기준 값을 추출할 수 있도록 하고 있다. WITH dataset AS ( SELECT '{"name": "Smith", "org": "Tech", "projects": [{"name":"project1", "completed":false}, {"name":"project2", "completed":true}]}' A..

• format_list_bulleted CLOUD
• · 2022. 9. 27.
• textsms

[TIL] AWS Athena에서 기존 파티션 drop하고, 신규 파티션 생성 220920

💡 Today I Learned 요약 (5회차) - AWS Athena에서 파티션이 잘못 생성되었을 경우 alter table을 사용해서 기존 파티션을 삭제하고, 새로운 파티션 생성 가능 AWS Athena에서 기존 파티션 drop하고, 신규 파티션 생성 Athena에서 실수로 파티션을 잘못 생성한 경우(s3 경로를 잘못 입력했다던가 하는 이유로) 기존 파티션을 삭제하고, 신규 파티션을 생성할 수 있음. -- 기존 파티션 삭제 ALTER TABLE {테이블명} DROP IF EXISTS PARTITION ({파티션 키} = {파티션 값}); -- 파티션 키 대체 ALTER table {테이블명} ADD IF NOT EXISTS PARTITION ({파티션 키} = {파티션 값}) LOCATION {s3 ..

• format_list_bulleted CLOUD
• · 2022. 9. 20.
• textsms