[TIL] AWS Athena에서 쿼리 진행 상태 확인하기

💡 Today I Learned 요약 (24회차) - boto3에선 Athena 쿼리 상태를 확인하는 batch_get_query_execution가 존재 - 해당 기능을 사용해서 Athena가 쿼리를 돌고 있는지 상태를 확인할 수 있다. boto3를 사용해서 Athena 쿼리 실행 상태 확인하기 Python 기반의 AWS SDK인 boto3를 사용해서 Athena 쿼리를 실행할 수 있다. 하지만 boto3로 Athena 쿼리를 실행할 경우 async로 돌아가기 때문에 쿼리를 날렸다고 바로 결과를 확인할 수 있는 게 아니다. 그럴 때 사용하기 위한 batch_get_query_execution가 boto3에 존재한다. query 실행했을 때의 ExecutionID를 알고 있다면 아래와 같이 batch_g..

• format_list_bulleted CLOUD
• · 2022. 10. 5.
• textsms

KPT에 대해 221004

💡 Today I Learned 요약 (23회차) - KPT를 통해 회고를 좀 더 견고하게 수행할 수 있다. - 개인 관점에서도 KPT를 통해 회고 구조화는 가능한 것 같다. KPT에 대해 오늘은 회사에서 부서 단위 '기술 공유' 세션이 있었고 내 발표도 있었는데 기술 공유 그 자체보다는 그간 작업해왔던 Appsflyer 데이터 파이프라인 구축 회고 같은 느낌이라 마무리를 어떻게 할까 하다가 KPT가 떠올라서 KPT에 대해 짧게 적어보고자 함. KPT는 Keep, Problem, Try의 3가지의 관점에서 회고를 진행한다는 뜻으로 KPT라 불린다. 보통 회고라는 것은 각자 하는 일이 나눠진, 즉 분업화가 되어 있을 때 유효하다. 보통 사람들은 자기 일에 대해서만 관심을 가지지, 다른 사람의 업무나 프로젝..

• format_list_bulleted MIND
• · 2022. 10. 4.
• textsms

[TIL] 휴대폰에서 외부 접근 IP를 확인할 수 없는 이유인 LSN에 대해 221003

💡 Today I Learned 요약 (22회차) - 휴대폰에서는 LSN이라 불리는 거대 NAT 때문에 공유기에 할당된 외부 IP 같은 공인 IP를 확인할 수 없다. - VPN 터널링을 통해 뚫을 수는 있지만 속도 손실을 꽤나 감안해야 함. - 네트워크 전공이 아니라 틀릴 수 있습니다. 감안해주세요. 휴대폰에서 외부 접근 IP를 확인할 수 없는 이유인 LSN에 대해 일단 LSN 자체는 'Large Scale NAT'의 약자이다. 무슨 상황인가 하니 집에서 인터넷이나 IPTV를 잘 쓰지 않아서 유선 인터넷을 해지하고 LTE 휴대폰 핫스팟으로만 버티던 시절이 있었다. 하지만 IT 쪽 사람이다 보니까 핫스팟 상태에서도 공유기 물리고 할 거 라즈베리파이 같은 걸 연결해서 사용해보고 싶은 생각이 계속 들어왔다. ..

• format_list_bulleted DEV
• · 2022. 10. 3.
• textsms

[TIL] Appsflyer 로데이터 API 호출 제한 횟수 이해하기 220930

💡 Today I Learned 요약 (21회차) - Appsflyer의 API 호출 횟수 제한은 종류별로 상이하다 - Appsflyer의 API 호출 허용 횟수는 꽤 적은 편이다 - 다만 request 할 때 기간을 명시해서 보낼수 있어서 보완은 가능 Appsflyer 로데이터 API 호출 제한 횟수 이해하기 그간 개발이나 데이터 분석하면서 API는 죄다 총량 2000회, 15000회 이런 식인줄 알았는데 Appsflyer API는 항목 별로 좀 더 세분화가 되어 있고 호출 횟수 또한 상대적으로 적은 편이다. 물론 API request 를 날릴 때 from - to 날짜를 적시해서 보낼 수 있기 때문에 1번 요청할 때 기간을 오래 잡을 수는 있지만 이것도 100만 row 제한이 있어서 무한한 옵션이 아..

• format_list_bulleted DATA
• · 2022. 9. 30.
• textsms

[TIL] Appsflyer의 리어트리뷰션과 리인게이지먼트에 대해 220929

💡 Today I Learned 요약 (20회차) - 모바일 어트리뷰션 관점에서 리어트리뷰션과 리인게이지먼트로 분기 - 리인게이지먼트는 사용자의 디바이스에 App이 유지되고 있을 경우, 인앱 활동을 확인 - 리어트리뷰션은 사용자의 디바이스에 App이 없을 경우, 재다운로드를 유도 Appsflyer의 리어트리뷰션과 리인게이지먼트에 대해 요즘 관련 작업으로 계속 고통을 받고 있는 Appsflyer의 사용자 여정(user journey) 중 리어트리뷰션(re-attribution)과 리인게이지먼트(re-engagement) 부분에 대해 정리. 사용자가 App을 실행한 전적이 있을 경우, 그 이후에 사용자가 앱을 열도록 유도하는 광고(미디어) 소스를 클릭하고 App을 여는 과정을 리인게이지먼트(re-engage..

• format_list_bulleted DATA
• · 2022. 9. 29.
• textsms

[TIL] Python에서 Ping 체크하기 220928

💡 Today I Learned 요약 (19회차) - Python에서 ping3를 사용해서 특정 서버에 ping을 날릴 수 있다. Python에서 Ping 체크하기 네트워크 문제로 NAS가 죽어버리는 일이 생겼는데, 언제 사건이 발생했는지 알 방법이 없어서 외부에서 지속적으로 NAS 주소에 ping을 넣어서 상태를 검출하는 방법을 찾다가 ping3 라는 걸 알게 됨. 방법도 어렵지 않음. from ping3 import ping path = "google.com" response = ping(path) if response == False: print(False) else: print(True) #ping 관련 리서치 내역: [Python] check ICMP using ping3 module. (파이썬..

• format_list_bulleted DEV
• · 2022. 9. 28.
• textsms

[TIL] AWS Athena에서 Json 값 추출 220927

💡 Today I Learned 요약 (18회차) - AWS Athena에 json 형태로 저장된 값에서 데이터를 추출할 수 있다 - 사용함수는 json_extract 함수를 사용하면 가능 AWS Athena에서 Json 값 추출 DB에 Json 형태로 값이 저장되어 있을 경우, Json을 parsing 해서 써야 하는데 AWS Athena의 경우 json_extract 함수를 통해서 key 기준 값을 추출할 수 있도록 하고 있다. WITH dataset AS ( SELECT '{"name": "Smith", "org": "Tech", "projects": [{"name":"project1", "completed":false}, {"name":"project2", "completed":true}]}' A..

• format_list_bulleted CLOUD
• · 2022. 9. 27.
• textsms

[TIL] 리눅스 하위 디렉토리를 포함한 특정 확장자 파일 삭제 220926

💡 Today I Learned 요약 (17회차) - 리눅스에서 find와 -exec를 사용하여 하위 디렉토리 파일을 삭제할 수 있다. 리눅스 하위 디렉토리를 포함한 특정 확장자 파일 삭제 디렉토리나 다른 파일들은 그대로 둔 상태에서 특정 확장자 파일을 지우려고 할 때 사용 가능한 방법. 윈도우에서는 와일드 카드를 써서 검색해서 GUI 상에서 지울수 있지만 리눅스는 보통 CUI에서 사용함으로 아래 명령어를 쓰면 괜찮을 듯 하다. find로 파일을 찾고 -exec / rm을 통해 해당 파일을 삭제하는 원리로 동작한다. # 여기서는 tmp 확장자를 가진 파일 일괄 삭제 find . -name '*.tmp' -exec rm {} \; #linux 관련 작성 및 리서치 내역: linux 하위폴더 포함 특정 확장..

• format_list_bulleted DEV
• · 2022. 9. 26.
• textsms