에스프리터🐕

💡 Today I Learned 요약 (27회차) - redshift에 csv 파일을 Copy 쿼리로 적재할 때 json이 있을 경우 아래 파라미터를 고려할 필요 있음 AWS redshift에 Copy 명령어로 csv 데이터 적재 시 csv 내에 json이 포함되어 있을 때 고려해야 할 데이터 변환 파라미터 종류 s3에 올라간 csv를 기반으로 Redshift에 적재할 때 csv 내에 json 데이터가 포함되어 있고, 그것을 단일 칼럼 내에 로드하고 싶을 때 고려해야 할 데이터 변환 파라미터다. 아직 하나하나가 어떻게 동작하는지는 정확하게 이해하지 못해서 추후 다시 정리가 필요함. CSV -- CSV 명시 IGNOREHEADER 1 -- 지정 row number를 무시 DELIMITER ',' -- 구분..

CLOUD/AWS 2022. 10. 26. 17:00

💡 Today I Learned 요약 (26회차) - Redshift에서는 세션 보호를 위해 특정 쿼리 동작 중에 추가 쿼리 동작을 잠글 수 있다. - 쿼리를 통해 잠금 처리된 쿼리를 확인하고 종료시켜 롤백할 수 있다. AWS Redshift에서 block이 걸려서 쿼리가 지연될 때 확인하고 종료하는 방법 Redshift에서 풀스캔 쿼리가 아닌데 이유 없이 돌고 있을 경우 잠금(block) 처리된 것을 의심할 수 있다. 보통은 block을 유발한 쿼리가 완료되면 block이 풀리고 후속 쿼리가 실행이 되지만 데이터 전처리 도중 다른 쿼리가 동작하여 block이 발생할 경우 시간에 쫓기게 될 수 있다. 그럴 때 확인 방법 및 종료, 쿼리 확인 방법에 대해 정리한다. redshift 문서에서 정의하는 쿼리 ..

CLOUD/AWS 2022. 10. 17. 23:04

💡 Today I Learned 요약 (18회차) - AWS Athena에 json 형태로 저장된 값에서 데이터를 추출할 수 있다 - 사용함수는 json_extract 함수를 사용하면 가능 AWS Athena에서 Json 값 추출 DB에 Json 형태로 값이 저장되어 있을 경우, Json을 parsing 해서 써야 하는데 AWS Athena의 경우 json_extract 함수를 통해서 key 기준 값을 추출할 수 있도록 하고 있다. WITH dataset AS ( SELECT '{"name": "Smith", "org": "Tech", "projects": [{"name":"project1", "completed":false}, {"name":"project2", "completed":true}]}' A..

CLOUD/AWS 2022. 9. 27. 23:05

💡 Today I Learned 요약 (10회차) - Postgresql에서 현재 날짜를 추출하고 응용할 수 있다. Postgresql에서 현재 날짜 추출하기 Postgresql에서는 now()를 통해 시스템 날짜를 추출할 수 있다. select now(); 간혹 Timezone 문제가 있을 수 있다면 아래처럼 타임존과 시간 포맷을 지정해서 출력할 수 있다. select (to_char(now() at time zone 'Asia/Seoul', 'YYYY-MM-DD')); 이를 가지고 짝수일 홀수일을 구하고 싶다면 아래와 같이 응용할 수 있다. select CASE WHEN cast(to_char(now() at time zone 'Asia/Seoul', 'DD') as int) %2=0 THEN '짝수..

DATA/SQL-Transform 2022. 9. 22. 10:38

💡 Today I Learned 요약 (5회차) - AWS Athena에서 파티션이 잘못 생성되었을 경우 alter table을 사용해서 기존 파티션을 삭제하고, 새로운 파티션 생성 가능 AWS Athena에서 기존 파티션 drop하고, 신규 파티션 생성 Athena에서 실수로 파티션을 잘못 생성한 경우(s3 경로를 잘못 입력했다던가 하는 이유로) 기존 파티션을 삭제하고, 신규 파티션을 생성할 수 있음. -- 기존 파티션 삭제 ALTER TABLE {테이블명} DROP IF EXISTS PARTITION ({파티션 키} = {파티션 값}); -- 파티션 키 대체 ALTER table {테이블명} ADD IF NOT EXISTS PARTITION ({파티션 키} = {파티션 값}) LOCATION {s3 ..

CLOUD/AWS 2022. 9. 20. 10:48

Contents 2장 1절 - 서브 쿼리 서브쿼리란? 하나의 SQL문 안에 포함되어 있는 또다른 SQL문을 의미한다. 서브쿼리 사용 시 주의 사항 서브 쿼리는 괄호로 감싸서 기술 서브 쿼리는 단일행(single row) 또는 복수 행(multiple row) 비교 연산자와 함께 사용 가능. 단일행 비교 연산자는 서브쿼리 결과가 반드시 1건 이하여야 하고, 복수행 비교 연산자는 서브 쿼리의 결과 건수와 무관 중첩 서브 쿼리 및 스칼라 서브 쿼리에서는 order by를 사용하지 못한다. 서브 쿼리의 분류 동작 방식에 따른 서브쿼리 분류 반환 데이터 형태에 따른 서브쿼리 분류 단일 행 서브쿼리 서브쿼리가 단일행 비교 연산자(=, >,

DATA/SQL-Transform 2021. 7. 14. 17:06

Contents관계형 데이터베이스 개요데이터베이스DBMS(Database Management System)라고 호칭관계형 데이터 베이스 : 데이터 정합성 보장에 대한 고민의 결과물, 메타 데이터 총괄 관리 이점, 데이터 무결성(Integrity) 보장 등...SQLSQL(Structured Query Language)관계형 데이터베이스에서 데이터 정의, 데이터 조작, 데이터 제어를 위해 사용 언어ANSI/ISO에 따라 표준 정의된 SQL 기능이 존재SQL 문장의 종류 (DML, DDL, DCL, TCL)STANDARD SQL (기출문제 보고 더 많이 나올 것 같으면 추가 공부)테이블데이터는 DB의 기본 단위인 테이블 형태로 저장어느 특정한 주제와 목적으로 만들어지는 일종의 집합테이블은 삭제하지 않는 한 ..

DATA/SQL-Transform 2021. 6. 12. 17:31

Key ResultsSQLP 과목1 - 데이터 모델링의 이해 부분 정리 Contents정규화정규화(Normlization)은 가장 기초적이지만 필수적으로 이뤄져야 하는 작업.제1 정규형 : 모든 속성은 반드시 하나의 값을 가져야 한다아래와 같이 중복된 값이 없도록 엔터티 추가 필요제2정규형 : 엔터티의 일반속성은 주식별자 전체에 종속적이여야 한다.데이터가 반복 사용되는 것을 방지하기 위해 일반 속성은 주식별자 전체에 종속적이여야 한다. 2번째 이미지처럼 주문상세 엔터티에서는 상품번호만 가지고 있고, 상품번호를 매핑하여 상품명 데이터를 가져올 수 있다. 이를 흔히 Join이라고 한다.제3정규형 : 엔터티의 일반속성 간에서는 서로 종속적이지 않다.고객이 이름을 바꿔 고객명이 변경되었다면 주문 엔터티에 고객명..

DATA/SQL-Transform 2021. 5. 24. 22:11