에스프리터🐕

고정 헤더 영역

글 제목

메뉴 레이어

espriter

메뉴 리스트

    • 전체보기 (130)
      • ProjectManagement (2)
      • DATA (43)
        • DataAnalytics (3)
        • DataEngineer (1)
        • MachineLearning (1)
        • SQL-Transform (38)
      • DEVELOPMENT (41)
        • MacOS (0)
        • Linux (9)
        • Windows (5)
        • Python (8)
        • Java (17)
        • Device (1)
        • Network (1)
      • CLOUD (38)
        • AWS (11)
        • Azure (6)
        • GCP (1)
        • Docker (8)
        • Kubernetes (0)
      • MEMO (6)
        • IDEA (4)
        • Photos (2)

    검색 레이어

    espriter

    검색 영역

    컨텐츠 검색

    Athena

    • [TIL] AWS Athena에서 쿼리 진행 상태 확인하기

      2022.10.05 by 에스프리터

    • [TIL] AWS Athena에서 Json 값 추출 220927

      2022.09.27 by 에스프리터

    • [TIL] AWS Athena에서 기존 파티션 drop하고, 신규 파티션 생성 220920

      2022.09.20 by 에스프리터

    [TIL] AWS Athena에서 쿼리 진행 상태 확인하기

    💡 Today I Learned 요약 (24회차) - boto3에선 Athena 쿼리 상태를 확인하는 batch_get_query_execution가 존재 - 해당 기능을 사용해서 Athena가 쿼리를 돌고 있는지 상태를 확인할 수 있다. boto3를 사용해서 Athena 쿼리 실행 상태 확인하기 Python 기반의 AWS SDK인 boto3를 사용해서 Athena 쿼리를 실행할 수 있다. 하지만 boto3로 Athena 쿼리를 실행할 경우 async로 돌아가기 때문에 쿼리를 날렸다고 바로 결과를 확인할 수 있는 게 아니다. 그럴 때 사용하기 위한 batch_get_query_execution가 boto3에 존재한다. query 실행했을 때의 ExecutionID를 알고 있다면 아래와 같이 batch_g..

    CLOUD/AWS 2022. 10. 5. 21:09

    [TIL] AWS Athena에서 Json 값 추출 220927

    💡 Today I Learned 요약 (18회차) - AWS Athena에 json 형태로 저장된 값에서 데이터를 추출할 수 있다 - 사용함수는 json_extract 함수를 사용하면 가능 AWS Athena에서 Json 값 추출 DB에 Json 형태로 값이 저장되어 있을 경우, Json을 parsing 해서 써야 하는데 AWS Athena의 경우 json_extract 함수를 통해서 key 기준 값을 추출할 수 있도록 하고 있다. WITH dataset AS ( SELECT '{"name": "Smith", "org": "Tech", "projects": [{"name":"project1", "completed":false}, {"name":"project2", "completed":true}]}' A..

    CLOUD/AWS 2022. 9. 27. 23:05

    [TIL] AWS Athena에서 기존 파티션 drop하고, 신규 파티션 생성 220920

    💡 Today I Learned 요약 (5회차) - AWS Athena에서 파티션이 잘못 생성되었을 경우 alter table을 사용해서 기존 파티션을 삭제하고, 새로운 파티션 생성 가능 AWS Athena에서 기존 파티션 drop하고, 신규 파티션 생성 Athena에서 실수로 파티션을 잘못 생성한 경우(s3 경로를 잘못 입력했다던가 하는 이유로) 기존 파티션을 삭제하고, 신규 파티션을 생성할 수 있음. -- 기존 파티션 삭제 ALTER TABLE {테이블명} DROP IF EXISTS PARTITION ({파티션 키} = {파티션 값}); -- 파티션 키 대체 ALTER table {테이블명} ADD IF NOT EXISTS PARTITION ({파티션 키} = {파티션 값}) LOCATION {s3 ..

    CLOUD/AWS 2022. 9. 20. 10:48

    추가 정보

    인기글

    1. -
      -
      소니 WF-1000XM3 이어폰 배터리 교체 후기

      2021.11.07 17:10

    2. -
      -
      윈도우에서 특정 포트(port)를 사용하는 프로세스 찾기

      2021.05.19 18:17

    3. -
      -
      cmd 배치파일 실행 시 콘솔 창 자동 꺼짐 방지

      2020.09.09 18:42

    4. -
      -
      AI-900 자격증 시험 후기

      2021.07.04 19:22

    인스타그램

    250x250

    페이징

    이전
    1
    다음
    에스프리터🐕 |
    인스타그램

    티스토리툴바