[TIL] AWS redshift์ Copy ๋ช ๋ น์ด๋ก csv ๋ฐ์ดํฐ ์ ์ฌ ์ csv ๋ด์ json์ด ํฌํจ๋์ด ์์ ๋ ๊ณ ๋ คํด์ผ ํ ๋ฐ์ดํฐ ๋ณํ ํ๋ผ๋ฏธํฐ ์ข ๋ฅ 221026
๐ก Today I Learned ์์ฝ (27ํ์ฐจ)
- redshift์ csv ํ์ผ์ Copy ์ฟผ๋ฆฌ๋ก ์ ์ฌํ ๋ json์ด ์์ ๊ฒฝ์ฐ ์๋ ํ๋ผ๋ฏธํฐ๋ฅผ ๊ณ ๋ คํ ํ์ ์์
s3์ ์ฌ๋ผ๊ฐ csv๋ฅผ ๊ธฐ๋ฐ์ผ๋ก Redshift์ ์ ์ฌํ ๋ csv ๋ด์ json ๋ฐ์ดํฐ๊ฐ ํฌํจ๋์ด ์๊ณ , ๊ทธ๊ฒ์ ๋จ์ผ ์นผ๋ผ ๋ด์ ๋ก๋ํ๊ณ ์ถ์ ๋ ๊ณ ๋ คํด์ผ ํ ๋ฐ์ดํฐ ๋ณํ ํ๋ผ๋ฏธํฐ๋ค. ์์ง ํ๋ํ๋๊ฐ ์ด๋ป๊ฒ ๋์ํ๋์ง๋ ์ ํํ๊ฒ ์ดํดํ์ง ๋ชปํด์ ์ถํ ๋ค์ ์ ๋ฆฌ๊ฐ ํ์ํจ.
CSV -- CSV ๋ช
์
IGNOREHEADER 1 -- ์ง์ row number๋ฅผ ๋ฌด์
DELIMITER ',' -- ๊ตฌ๋ถ์
EMPTYASNULL -- ๋น์ด์๋ varchar๋ char๋ฅผ null๋ก ๋ก๋
BLANKSASNULL -- ๊ณต๋ฐฑ ๋ฌธ์๋ก๋ง ๊ตฌ์ฑ๋ ๋น ํ๋๋ฅผ Null๋ก ๋ก๋
TRUNCATECOLUMNS -- ์ด ๋ฐ์ดํฐ๋ฅผ varcahr๋ก ์๋ฆ
TRIMBLANKS -- varchar ๋ฌธ์์ด์์ ํํ ๊ณต๋ฐฑ ๋ฌธ์ ์ ๊ฑฐ
GZIP -- Gzip ํ์ผ์์ ๋ช
์
DATEFORMAT 'auto' -- dateforamt์ ์๋
TIMEFORMAT 'auto' -- timeformat์ ์๋
ACCEPTINVCHARS -- ์๋ชป๋ UTF-8 ๋ฌธ์๊ฐ ํฌํจ๋์ด๋ varchar์ด์ ๋ฐ์ดํฐ ๋ก๋
FILLRECORD -- ์ธ์ ํ ์ด๋ค์ด ๋ ์ฝ๋์ ๋๋ฝ๋์์ ๋๋ NULL๋ก ๋ฐ์ดํฐ ๋ก๋ ํ์ฉ
#AWS ๊ด๋ จ ๋ฆฌ์์น ๋ด์ญ:
๋๊ธ ์์ญ