[TIL] AWS Athena에서 기존 파티션 drop하고, 신규 파티션 생성 220920

💡 Today I Learned 요약 (5회차) - AWS Athena에서 파티션이 잘못 생성되었을 경우 alter table을 사용해서 기존 파티션을 삭제하고, 새로운 파티션 생성 가능 AWS Athena에서 기존 파티션 drop하고, 신규 파티션 생성 Athena에서 실수로 파티션을 잘못 생성한 경우(s3 경로를 잘못 입력했다던가 하는 이유로) 기존 파티션을 삭제하고, 신규 파티션을 생성할 수 있음. -- 기존 파티션 삭제 ALTER TABLE {테이블명} DROP IF EXISTS PARTITION ({파티션 키} = {파티션 값}); -- 파티션 키 대체 ALTER table {테이블명} ADD IF NOT EXISTS PARTITION ({파티션 키} = {파티션 값}) LOCATION {s3 ..

• format_list_bulleted CLOUD
• · 2022. 9. 20.
• textsms

[TIL] 리눅스에서 log 없이 백그라운드 프로세스 실행 20220919

💡 Today I Learned 요약 (4회차) - nohub을 쓰면 백그라운드 실행 가능 리눅스에서 log 없이 백그라운드 프로세스 실행 보통 리눅스에서 sh 등을 실행하면 터미널이 열려 있을 동안에만 프로세스가 실행된다. 하지만 백그라운드에서 상시 돌아가게 만들려면 nohup 명령어를 사용해서 백그라운드에서 실행시킬 수 있다. nohup example.sh 1> /dev/null 2>&1 & 만일 백그라운드 프로세스를 중지하고 싶다면, ps -ef | grep 프로세스 명을 사용하고, kill 명령어로 중지하면 된다. #nohup 관련 리서치한 것: nohup 명령어 .log 파일없이 실행

• format_list_bulleted DEV
• · 2022. 9. 20.
• textsms

[TIL] RTL-SDR 서버 구축을 위한 자료 리서치 220915

💡 Today I Learned 요약 (2회차) - RTL_TCP를 사용해서 RTL-SDR을 원격으로 제어할 수 있음 - Git Repo에서 구성 가능 - 외부 접근을 허용하려면 rtl_tcp -a 0.0.0.0 으로 실행해야 함 RTL-SDR 서버 구축을 위한 자료 리서치 RTL-SDR USB 수신기와 안테나를 가지고 놀던 중 안테나를 들고다닐 필요 없이, 고정 장소에 설치해두고 원격으로 조작할 수 있는 방법에 대해 찾게됨. 다른 RTL-SDR 커뮤니티에서 원격으로 주파수를 제어하는 것도 있었으니 기술적으로는 가능하단 얘기. 찾아본 결과 rtl_sdr_server 라는 Repo가 git에 있는 것을 확인. 별로 어렵진 않으나 원격지에서 접속하려면 예시처럼 그냥 실행하는 것이 아닌 아래처럼 Listeni..

• format_list_bulleted DEV
• · 2022. 9. 15.
• textsms

[TIL] 라즈비안 한글 폰트 설치하기 220914

💡 Today I Learned 요약 (1회차) - 라즈비안은 한글을 지원하지 않음 - apt install을 통해 나눔고딕 폰트를 설치해야 함 라즈비안에 한글 폰트 설치하기 라즈비안(raspbian) 운영체제는 한글이 사전 설치되어 있지 않기 때문에 인터넷으로 네이버를 들어간다던가 하면 에러가 발생한다. 아래와 같이 명령어를 순차적으로 입력하고 재부팅을 누르면 이후 부터는 한글이 정상 출력되는 것을 확인할 수 있다. 다만 한글 출력과 한글 입력은 별개이기 때문에 한글이 입력되지는 않는다는 것에 주의할 필요가 있음. # APT 패키지 업데이트 sudo apt update sudo apt upgrade # 나눔고딕 설치 sudo apt install fonts-nanum sudo apt install fo..

• format_list_bulleted DEV
• · 2022. 9. 14.
• textsms

OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k 와 같은 에러가 발생했을 때

lambda를 실행하면서 아래와 같은 로그와 함께 에러가 발생하는 경우가 있다. OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k  이럴 경우, 아래처럼 Lambda 구성 - 메모리 용량을 늘려주면 대부분 해결된다.

• format_list_bulleted CLOUD
• · 2022. 8. 23.
• textsms

AWS Athena 쿼리 실행 시 일부 쿼리에서 Limit 무시하는 현상에 대해

AWS Athena에서 쿼리를 실행할 때 쿼리에 Limit을 추가할 때 limit을 무시하고 쿼리가 출력되거나 의도하지 않은 값이 리턴되는 경우가 있어서 찾아본 결과. 아래와 같은 답변이 보여서 공유합니다. 예컨대 Athena는 쿼리 실행 시, 쿼리 동작을 계획할 동안 파티션된 파일을 목록화(list) 하는데 이 시점에서 파일의 Row 개수를 정확히 알지 못하기 때문에 쿼리를 실행해서 관련 된 모든 데이터를 읽은 다음 10개 째의 Row가 출력되는 시점에 작업을 중단하는 방식을 취하고 있는 듯 합니다. 따라서 Limit 형태보다는 where 조건으로 Athena가 쿼리해야 될 대상을 명확하게 하는 게 좀 더 효율적입니다. Athena plans a query and then executes it. Dur..

• format_list_bulleted CLOUD
• · 2022. 8. 21.
• textsms

AWS lambda에서 계층 추가 시 ‘Layers consume more than the available size of 262144000 bytes’ 오류가 뜰 경우 대처 방안

AWS Athena에서 python 함수를 실행할 때 pandas 같은 기본 미지원 패키지를 추가하기 위해 계층(layer)를 추가할 때가 있는데 아래와 같이 메시지가 뜰 때가 있습니다. 💡 Layers consume more than the available size of 262144000 bytes 원인은 말 그대로 계층 한계 용량 (약 262mb) 보다 많은 계층 용량을 적용하기 위해 발생합니다. 이럴 경우 아래 3가지 정도 대응 방안이 있습니다. 계층에 추가된 패키지 중 불필요하고, 용량 많이 잡아먹는 python 패키지를 처음부터 제외하기 Python 버전 여러 개에 대응하도록 설정되어있다면 Lambda에서 실제 사용하는 python 버전만 사용 기존에 이미 추가된 Layer 중 불필요한 lay..

• format_list_bulleted CLOUD
• · 2022. 8. 19.
• textsms

소니 WF-1000XM3 이어폰 배터리 교체 후기

문제의 시작 소니의 이어폰 WF-1000XM3를 사용하고 있었는데 배터리가 30~40분 정도로 줄어들었습니다. 여기까지는 그럴 수 있죠. 문제는 유료 A/S를 받아보려고 소니 A/S 센터에 연락을 해보니 부품 교체가 아니라 리퍼만 되어서 교체할 경우 사실상 새로 사는 게 이득일 정도의 비용이 발생하는 겁니다. 그래서 찾아보니까 맨 아래 참고 링크처럼 교체하셨던 분이 계시더라구요. 그래서 용기를 얻고 저도 한번 야매로 수리해보기로 했습니다. 결론부터 말하면 충전 확인 LED 1개를 제물로 바치고 성공했습니다. 그래서 저처럼 배터리가 노후화 된 분들이 참고하실만한 글입니다. 다만 양면 테이프 붙어있는 부분이 2개나 되어서 잘못하면 그냥 이어폰 날려먹을 수 도 있습니다. 본 글을 읽고 신중히 판단하시기 바랍니..

• format_list_bulleted DEV
• · 2021. 11. 7.
• textsms