OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k 와 같은 에러가 발생했을 때

lambda를 실행하면서 아래와 같은 로그와 함께 에러가 발생하는 경우가 있다. OpenBLAS WARNING - could not determine the L2 cache size on this system, assuming 256k  이럴 경우, 아래처럼 Lambda 구성 - 메모리 용량을 늘려주면 대부분 해결된다.

• format_list_bulleted CLOUD
• · 2022. 8. 23.
• textsms

AWS Athena 쿼리 실행 시 일부 쿼리에서 Limit 무시하는 현상에 대해

AWS Athena에서 쿼리를 실행할 때 쿼리에 Limit을 추가할 때 limit을 무시하고 쿼리가 출력되거나 의도하지 않은 값이 리턴되는 경우가 있어서 찾아본 결과. 아래와 같은 답변이 보여서 공유합니다. 예컨대 Athena는 쿼리 실행 시, 쿼리 동작을 계획할 동안 파티션된 파일을 목록화(list) 하는데 이 시점에서 파일의 Row 개수를 정확히 알지 못하기 때문에 쿼리를 실행해서 관련 된 모든 데이터를 읽은 다음 10개 째의 Row가 출력되는 시점에 작업을 중단하는 방식을 취하고 있는 듯 합니다. 따라서 Limit 형태보다는 where 조건으로 Athena가 쿼리해야 될 대상을 명확하게 하는 게 좀 더 효율적입니다. Athena plans a query and then executes it. Dur..

• format_list_bulleted CLOUD
• · 2022. 8. 21.
• textsms