Access denied - Delete Apache Flink Table

AWS Apache Flink를 사용하다 보면 애플리케이션을 테스트하거나 불필요한 테이블을 정리하는 과정에서 Glue Data Catalog Table을 삭제하려고 할 때 권한 오류(AccessDenied) 가 발생하는 경우가 있습니다. 이번 글에서는 해당 오류가 발생하는 원인과 해결 방법을 간단하게 정리해보겠습니다.

 

문제 상황

Apache Flink에서 생성한 테이블을 삭제하려고 하면 다음과 같이 권한이 없다는 오류가 발생할 수 있습니다.

• AccessDeniedException
• glue:DeleteTable 권한 부족
• Glue Catalog Table 삭제 실패

특히 IAM 사용자나 IAM Role에 필요한 Glue 권한이 포함되어 있지 않은 경우 이러한 문제가 발생합니다.

 

원인

Apache Flink는 테이블 정보를 AWS Glue Data Catalog에 저장하여 관리합니다. 따라서 테이블을 삭제할 때 단순히 Flink 내부에서 삭제하는 것이 아니라 Glue Catalog의 메타데이터도 함께 삭제하게 됩니다. 이 과정에서 다음과 같은 권한이 필요합니다.

• glue:DeleteTable
• glue:GetPartitions

만약 해당 권한이 IAM 정책에 포함되어 있지 않다면 테이블 삭제 작업이 실패하게 됩니다.

 

해결 방법

IAM 사용자 또는 IAM Role에 아래 정책을 추가하면 정상적으로 테이블을 삭제할 수 있습니다.

• glue:GetPartitions : 삭제 대상 테이블의 파티션 정보를 조회
• glue:DeleteTable : Glue Data Catalog에 등록된 테이블 삭제

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "glue:GetPartitions",
                "glue:DeleteTable"
            ],
            "Resource": "*"
        }
    ]
}

 

이것으로 Access denied - Delete Apache Flink Table Trouble Shooting 글을 마치겠습니다. 감사합니다!