[TIL] AWS 재해복구(DR) 관련 단어 메모

📝💡Today I Learned 요약 (32회차) - 재해 복구 관련 AWS에서는 복구시점(RPO)와 복구시간(RTO)를 정의하고 이에 맞춰 DR 전략을 수립할 것을 권고하고 있다. - 다중 동기화/복원이 많을 수록 워크로드는 안정되지만 그만큼 비용이 급상승하게 된다.AWS 재해복구(DR) 관련 단어 메모카카오 서비스 셧다운 쯤해서 나도 재해복구(Disaster Recovery)에 대해 보다 관심을 가지게 되었다. 있을 순 있지만 남일이라고 생각하고 있었다는 게 적절할 것 같다. 실제로 겪어본 적도 없고… 하지만 카카오가 당하는 걸 보면서 나도 관련 개념에 대해 이해할 필요가 있다고 느껴서 메모를 정리하게 되었다. 우선 AWS의 재해복구 관련 문서를 찾아보고 관련 단어(개념)들에 대해 메모해두려고 한다...

• format_list_bulleted CLOUD
• · 2022. 11. 11.
• textsms

[TIL] 도커 포트 번호 설정하기 221109

📝💡Today I Learned 요약 (31회차) - 도커 실행시 -p 파라미터를 통해 컨테이너와 외부의 통신을 수행할 수 있다도커 포트 번호 설정하기도커에서 컨테이너를 실행할 때 기본 값으로는 포트 지정이 되어있지 않기 때문에 파라미터를 입력해서 외부와의 포트 포워딩을 시켜줘야 할때가 있다. ‘-p’ 명령어를 사용하면 포트를 지정할 수 가 있다.# httpd 이미지를 apa000ex2라는 컨테이너로 백그라운드 실행하고 -p를 통해 컨테이너의 80포트를 외부의 8080으로 포워딩 docker run --name apa000ex2 -d -p 8080:80 httpd # 컨테이너 정지하고 삭제하기 docker stop apa000ex2 docker rm apa000ex2 # 삭제 후 컨테이너 남아있는지 확인..

• format_list_bulleted CLOUD
• · 2022. 11. 10.
• textsms

[TIL] Docker 기본 실행 명령어 221108

📝💡Today I Learned 요약 (30회차) - Docker 명령어를 통해 컨테이너를 생성하고 실행, 종료할 수 있다.docker 컨테이너 생성 및 정지, 삭제 명령어Docker에서 가장 기본 명령어인 run, ps, rm을 아래와 같이 실행할 수 있다.Docker에서 컨테이너를 실행하는 경우 run 명령어를 통해 아래와 같이 실행할 수 있다. 예제는 기존에 만들어져있는 httpd 이미지를 가져오는 것으로 한다. 여기서 —name은 컨테이너 이름 지정을 뜻하고 -d는 백그라운드 실행을 의미한다docker run --name apa000ex1 -d httpd Unable to find image 'httpd:latest' locally latest: Pulling from library/httpd e..

• format_list_bulleted CLOUD
• · 2022. 11. 8.
• textsms

[TIL] 자료 포락 분석 관련 자료 메모 221104

💡 Today I Learned 요약 (29회차) - 여러 투입 요소 및 성과에 대한 분석을 할 수 있는 자료 포락 분석(DEA)라는 모형이 있다 자료 포락 분석 관련 자료 메모 아직 완전히 이해하진 못했지만 기록하지 않으면 다 까먹을 듯 해서 메모해둠. 요약에 적었다시피 DEA 모형은 여러 투입 요소에 대한 성과 분석을 하기 위해 사용되는 방법론으로서 아래와 같은 특징을 가진다. 아직 온전히 이해한 상태는 아니라 틀린 게 있다면 댓글 달아주시면 수정하겠음...ㅜ - 여러 투입요소와 산출(성과) 요소에 대해 다룰 수 있다. - 투입 대비 산출에 대한 상호 연관성에 대해 가정을 필요로 하지 않는다. - 기능적으로 유사한 활동을 하는 조직(DMU)들이 서로 간에 비교 된다. - 투입과 산출 요소들이 다른 측..

• format_list_bulleted DATA
• · 2022. 11. 4.
• textsms

[TIL] AWS CLI s3 sync를 사용하여 파일 전송하기 221028

💡 Today I Learned 요약 (28회차) - AWS CLI의 sync를 통해 여러개의 파일을 전송할 수 있다. AWS CLI s3 sync를 사용하여 파일 전송하기 오늘 아침 출근하면서 사수에게서 데이터 파이프라인에 문제가 생겼다는 얘기를 들었다. 원인 자체는 간단히 필드가 밀려서 데이터가 들어오고 있던 상황. 결과론적으론 간단하지만 그걸 찾기 위해 로그를 찍어가며 찾아가는 과정에 시간이 소요되었다. 그간 Appsflyer 데이터 적재한다고 본업(?)에 손을 못대고 있었는데 다시끔 포커스를 맞출 필요가 있다. 데이터 확인 과정에서 AWS CLI에서 s3 sync를 쓸 수 있는 것을 알게 되었다. 지난번 포스팅에서 CP를 사용하는 걸 올린 적이 있는데 --recursive 까지 하면서 여러개의 파..

• format_list_bulleted CLOUD
• · 2022. 10. 28.
• textsms

[TIL] AWS redshift에 Copy 명령어로 csv 데이터 적재 시 csv 내에 json이 포함되어 있을 때 고려해야 할 데이터 변환 파라미터 종류 221026

💡 Today I Learned 요약 (27회차) - redshift에 csv 파일을 Copy 쿼리로 적재할 때 json이 있을 경우 아래 파라미터를 고려할 필요 있음 AWS redshift에 Copy 명령어로 csv 데이터 적재 시 csv 내에 json이 포함되어 있을 때 고려해야 할 데이터 변환 파라미터 종류 s3에 올라간 csv를 기반으로 Redshift에 적재할 때 csv 내에 json 데이터가 포함되어 있고, 그것을 단일 칼럼 내에 로드하고 싶을 때 고려해야 할 데이터 변환 파라미터다. 아직 하나하나가 어떻게 동작하는지는 정확하게 이해하지 못해서 추후 다시 정리가 필요함. CSV -- CSV 명시 IGNOREHEADER 1 -- 지정 row number를 무시 DELIMITER ',' -- 구분..

• format_list_bulleted CLOUD
• · 2022. 10. 26.
• textsms

[TIL] AWS Redshift에서 block이 걸려서 쿼리가 지연될 때 확인하고 강제 종료하는 방법 221017

💡 Today I Learned 요약 (26회차) - Redshift에서는 세션 보호를 위해 특정 쿼리 동작 중에 추가 쿼리 동작을 잠글 수 있다. - 쿼리를 통해 잠금 처리된 쿼리를 확인하고 종료시켜 롤백할 수 있다. AWS Redshift에서 block이 걸려서 쿼리가 지연될 때 확인하고 종료하는 방법 Redshift에서 풀스캔 쿼리가 아닌데 이유 없이 돌고 있을 경우 잠금(block) 처리된 것을 의심할 수 있다. 보통은 block을 유발한 쿼리가 완료되면 block이 풀리고 후속 쿼리가 실행이 되지만 데이터 전처리 도중 다른 쿼리가 동작하여 block이 발생할 경우 시간에 쫓기게 될 수 있다. 그럴 때 확인 방법 및 종료, 쿼리 확인 방법에 대해 정리한다. redshift 문서에서 정의하는 쿼리 ..

• format_list_bulleted CLOUD
• · 2022. 10. 17.
• textsms

[TIL] Crontab.guru - Cron 표현식 테스트 해볼 수 있는 사이트 221006

💡 Today I Learned 요약 (25회차) - Crontab.guru를 사용해서 내가 사용할 cron 표현식이 맞는지 테스트해볼 수 있다. - 보통 다 맞지만 AWS의 경우는 연도 값이 하나 더 들어간다. Crontab.guru - Cron 표현식 테스트 해볼 수 있는 사이트 사실 예전부터 알고 있었던 사이트이지만 기록차원에서 남겨놓겠음. 링크부터 알고 싶은 사람은 아래 링크를 클릭 crontab guru Cron 표현식이란 스케줄을 정의할 때 사용할 수 있는 표현식이며 기본적으로 * * * * * 와 같이 5개의 필드로 이뤄진다. 왼쪽부터 차례로 얘기하면 아래와 같다. 1번째 : 분(minutes) 2번째 : 시간(hour) 3번째 : 일(days) 4번째 : 월(month) 5번째 : 요일(m..

• format_list_bulleted DEV
• · 2022. 10. 6.
• textsms