728x90
💡 Today I Learned 요약 (27회차)
- redshift에 csv 파일을 Copy 쿼리로 적재할 때 json이 있을 경우 아래 파라미터를 고려할 필요 있음
AWS redshift에 Copy 명령어로 csv 데이터 적재 시 csv 내에 json이 포함되어 있을 때 고려해야 할 데이터 변환 파라미터 종류
s3에 올라간 csv를 기반으로 Redshift에 적재할 때 csv 내에 json 데이터가 포함되어 있고, 그것을 단일 칼럼 내에 로드하고 싶을 때 고려해야 할 데이터 변환 파라미터다. 아직 하나하나가 어떻게 동작하는지는 정확하게 이해하지 못해서 추후 다시 정리가 필요함.
CSV -- CSV 명시
IGNOREHEADER 1 -- 지정 row number를 무시
DELIMITER ',' -- 구분자
EMPTYASNULL -- 비어있는 varchar나 char를 null로 로드
BLANKSASNULL -- 공백 문자로만 구성된 빈 필드를 Null로 로드
TRUNCATECOLUMNS -- 열 데이터를 varcahr로 자름
TRIMBLANKS -- varchar 문자열에서 후행 공백 문자 제거
GZIP -- Gzip 파일임을 명시
DATEFORMAT 'auto' -- dateforamt은 자동
TIMEFORMAT 'auto' -- timeformat은 자동
ACCEPTINVCHARS -- 잘못된 UTF-8 문자가 포함되어도 varchar열에 데이터 로드
FILLRECORD -- 인접한 열들이 레코드에 누락되었을 때도 NULL로 데이터 로드 허용#AWS 관련 리서치 내역:
728x90
'CLOUD' 카테고리의 다른 글
| [TIL] 도커 포트 번호 설정하기 221109 (0) | 2022.11.10 |
|---|---|
| [TIL] Docker 기본 실행 명령어 221108 (0) | 2022.11.08 |
| [TIL] AWS CLI s3 sync를 사용하여 파일 전송하기 221028 (0) | 2022.10.28 |
| [TIL] AWS Redshift에서 block이 걸려서 쿼리가 지연될 때 확인하고 강제 종료하는 방법 221017 (0) | 2022.10.17 |
| [TIL] AWS Athena에서 쿼리 진행 상태 확인하기 (0) | 2022.10.05 |
| [TIL] AWS Athena에서 Json 값 추출 220927 (0) | 2022.09.27 |