본문 바로가기

AWS2

AWS Glue + AWS Glue Studio + Redshift + Athena + QuickSight Glue AWS Serverless Data Catalog & ETL Service ETL Terms Meta Data : 데이터의 위치, 파일 형식, 압축 유형, 레코드 크기, 레코드 수, 컬럼 타입 Data Catalog : 메타 데이터 저장소, 메타 데이터를 이용하여 보통의 테이블처럼 접근 Crawling : 정형, 비정형, 반정형 소스 데이터로부터 Data Catalog 생성하는 작업 ETL : 추출 (Extract), 변환 (Transform), 적재 (Load) 작업 – 실제 분석의 전단계 Database & Table : 메타데이터를 table 형태로 저장한 객체 및 저장소 Job : Crawling 또는 ETL 실행 작업 Workflow : 연속적인 Job 의 묶음 Glue: Data Ca.. 2023. 6. 29.
aws lambda asynchronously 예약 동시성 0의 비동기처리 변경 AWS에서 lambda의 설정에서 예약 동시성이 0으로 설정되어 있을 때 AWS 람다 함수의 비동기 호출 작동 방식을 바꾸고 있는 이슈입니다. 예약된 동시성을 0으로 설정한 lambda가 아니면 해당하지 않습니다. '예약된 동시성이 0' 과 '예약되지 않은 계정 동시성 사용' 은 다른 의미입니다. 예약된 동시성을 0으로 설정하시면 제한을 제거할 때까지 모든 이벤트가 처리되지 않습니다. 따라서 함수가 예약된 동시성 0 으로 설정되면 동시성이 0으로 설정되기 때문에 해당 함수는 이벤트를 처리할 수 없으며 함수의 모든 호출 시도가 제한됩니다. 비동기식 기능의 경우 2021년 8월 16일 이후에는 이벤트가 재시도되지 않고 DLQ 또는 오류 발생 시 이벤트 대상으로 전송됩니다. 기존의 기능과 동일하지만 유일한 변.. 2023. 6. 26.

티스토리툴바