[TIL] AWS redshift에 Copy 명령어로 csv 데이터 적재 시 csv 내에 json이 포함되어 있을 때 고려해야 할 데이터 변환 파라미터 종류 221026

💡 Today I Learned 요약 (27회차)
- redshift에 csv 파일을 Copy 쿼리로 적재할 때 json이 있을 경우 아래 파라미터를 고려할 필요 있음

 

AWS redshift에 Copy 명령어로 csv 데이터 적재 시 csv 내에 json이 포함되어 있을 때 고려해야 할 데이터 변환 파라미터 종류

s3에 올라간 csv를 기반으로 Redshift에 적재할 때 csv 내에 json 데이터가 포함되어 있고, 그것을 단일 칼럼 내에 로드하고 싶을 때 고려해야 할 데이터 변환 파라미터다. 아직 하나하나가 어떻게 동작하는지는 정확하게 이해하지 못해서 추후 다시 정리가 필요함.

CSV -- CSV 명시
IGNOREHEADER 1 -- 지정 row number를 무시
DELIMITER ',' -- 구분자
EMPTYASNULL -- 비어있는 varchar나 char를 null로 로드
BLANKSASNULL -- 공백 문자로만 구성된 빈 필드를 Null로 로드
TRUNCATECOLUMNS -- 열 데이터를 varcahr로 자름
TRIMBLANKS -- varchar 문자열에서 후행 공백 문자 제거
GZIP -- Gzip 파일임을 명시
DATEFORMAT 'auto' -- dateforamt은 자동
TIMEFORMAT 'auto' -- timeformat은 자동
ACCEPTINVCHARS -- 잘못된 UTF-8 문자가 포함되어도 varchar열에 데이터 로드
FILLRECORD -- 인접한 열들이 레코드에 누락되었을 때도 NULL로 데이터 로드 허용

---

#AWS 관련 리서치 내역:

• 데이터 변환 파라미터
• Amazon S3에서 데이터 로드
• Redshift COPY from CSV file with JSON field into SUPER column