Cloud/Kubernetes

EKS Fargate에서 Fluent Bit으로 CloudWatch Logs에 로그 수집하기

Jinseung's Blog 2026. 11. 18. 20:13

이번 블로그에서는 EKS Fargate 환경에서 내장 Fluent Bit을 이용해 Pod 로그를 CloudWatch Logs로 수집하는 방법에 대한 글을 작성해 보겠습니다.

 

들어가며

EC2 노드 기반 EKS에서는 보통 Fluent Bit을 DaemonSet으로 배포해 노드마다 로그 수집기를 띄웁니다. 그런데 Fargate는 노드를 직접 관리하지 않는 서버리스 환경이기 때문에 DaemonSet을 사용할 수 없습니다.

 

그렇다면 Fargate Pod의 로그는 어떻게 수집해야 할까요? AWS는 이를 위해 Fargate에 Fluent Bit 기반의 로그 라우터를 내장해 두었습니다.

 

이 글에서는 별도의 사이드카나 DaemonSet 없이 ConfigMap 하나로 Fargate Pod 로그를 CloudWatch Logs에 보내는 과정을 정리했습니다.

 

Fargate 로깅은 어떻게 동작하는가?

Fargate Pod가 실행되는 환경에는 AWS가 관리하는 Fluent Bit 로그 라우터가 함께 동작합니다. 사용자는 Fluent Bit을 직접 설치하지 않고, 정해진 규칙에 맞춰 설정만 전달하면 됩니다.

  1. 정해진 Namespace 생성: 이름이 aws-observability이고 aws-observability: enabled 라벨이 붙은 Namespace가 필요합니다.
  2. 정해진 ConfigMap 생성: 이 Namespace 안에 aws-logging이라는 이름의 ConfigMap으로 Fluent Bit 설정을 작성합니다.
  3. 권한 부여: Fargate Pod 실행 역할(Pod Execution Role)에 CloudWatch Logs로 로그를 보낼 권한을 추가합니다.

Fargate는 Pod가 시작될 때 이 ConfigMap을 읽어 로그 라우터를 구성합니다. 그래서 설정을 바꾼 뒤에는 Pod를 다시 띄워야 반영된다는 점을 기억해야 합니다.

[Fargate Pod] → stdout/stderr → [내장 Fluent Bit 로그 라우터]
                                                                          ↓ (aws-logging ConfigMap 설정)
                                                              [CloudWatch Logs]

 

실습: Fargate 로깅 구성하기

1. 환경 변수 설정

클러스터 이름은 본인 환경에 맞게 바꿔 주세요.

EKS_CLUSTER_NAME="<EKS_CLUSTER_NAME>"
ACCOUNT_ID=$(aws sts get-caller-identity --query "Account" --output text)
REGION_CODE=ap-northeast-2

 

2. aws-observability Namespace 생성

Namespace 이름과 라벨은 반드시 아래와 같아야 Fargate가 로깅 설정을 인식합니다.

kind: Namespace
apiVersion: v1
metadata:
  name: aws-observability
  labels:
    aws-observability: enabled
kubectl apply -f aws-observability-namespace.yaml

 

3. OIDC Provider 연결

클러스터에 IAM OIDC Provider를 연결합니다.

eksctl utils associate-iam-oidc-provider \
  --region=$REGION_CODE \
  --cluster=$EKS_CLUSTER_NAME \
  --approve

 

4. IAM 정책 생성 후 Pod Execution Role에 연결

AWS 샘플 저장소에서 CloudWatch Logs용 권한 정책을 받아옵니다. 로그 그룹 생성, 로그 스트림 생성, 로그 이벤트 전송 등의 권한이 포함되어 있습니다.

curl -o permissions.json https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/cloudwatchlogs/permissions.json

 

정책을 생성하고, eksctl로 만든 Fargate Pod Execution Role의 이름을 조회합니다. 정책이 이미 있는 경우에는 기존 정책의 ARN을 가져오도록 작성했습니다.

POLICY_NAME="eks-fargate-logging-policy"

FARGATE_POLICY_ARN=$(aws iam create-policy \
  --policy-name $POLICY_NAME \
  --policy-document file://permissions.json \
  --query 'Policy.Arn' \
  --output text 2>/dev/null || \
  aws iam list-policies \
  --query "Policies[?PolicyName=='$POLICY_NAME'].Arn" \
  --output text)

FARGATE_ROLE_NAME=$(aws iam list-roles \
  --query "Roles[?contains(RoleName, 'eksctl-$EKS_CLUSTER_NAME') && contains(RoleName, 'FargatePodExecutionRole')].RoleName" \
  --output text)

 

조회한 역할에 정책을 연결합니다.

aws iam attach-role-policy \
  --policy-arn $FARGATE_POLICY_ARN \
  --role-name $FARGATE_ROLE_NAME

 

여기서 권한을 부여하는 대상이 IRSA의 ServiceAccount가 아니라 Pod Execution Role이라는 점이 중요합니다. 로그를 보내는 주체가 애플리케이션 Pod가 아니라 Fargate의 로그 라우터이기 때문입니다.

 

5. aws-logging ConfigMap 작성

Fluent Bit 설정을 ConfigMap으로 작성합니다. 각 항목의 역할은 아래와 같습니다.

  • filters.conf: 로그 원문을 파싱 하고, Kubernetes 메타데이터(Pod 이름, Namespace, 라벨 등)를 붙입니다.
  • output.conf: 로그를 보낼 목적지를 지정합니다. 여기서는 CloudWatch Logs의 fluent-bit-cloudwatch 로그 그룹으로 보내고, 보관 기간은 60일로 설정했습니다.
  • parsers.conf: CRI-O 형식의 로그(시간 스트림 태그 메시지)를 정규식으로 분리하는 파서입니다.
  • flb_log_cw: true로 바꾸면 Fluent Bit 자체 프로세스 로그도 CloudWatch로 보냅니다. 로그가 수집되지 않을 때 디버깅용으로 유용합니다.
kind: ConfigMap
apiVersion: v1
metadata:
  name: aws-logging
  namespace: aws-observability
data:
  flb_log_cw: "false" # Set to true to ship Fluent Bit process logs to CloudWatch.
  filters.conf: |
    [FILTER]
        Name parser
        Match *
        Key_name log
        Parser crio
    [FILTER]
        Name kubernetes
        Match kube.*
        Merge_Log On
        Keep_Log Off
        Buffer_Size 0
        Kube_Meta_Cache_TTL 300s
  output.conf: |
    [OUTPUT]
        Name cloudwatch_logs
        Match   kube.*
        region ap-northeast-2
        log_group_name fluent-bit-cloudwatch
        log_stream_prefix from-fluent-bit-
        log_retention_days 60
        auto_create_group true
  parsers.conf: |
    [PARSER]
        Name crio
        Format Regex
        Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>P|F) (?<log>.*)$
        Time_Key    time
        Time_Format %Y-%m-%dT%H:%M:%S.%L%z
kubectl apply -f aws-logging-cloudwatch-configmap.yaml

 

6. 테스트용 Deployment 배포

로그를 확인할 nginx Deployment를 skills Namespace에 배포합니다. 이 Namespace가 Fargate Profile의 대상에 포함되어 있어야 Pod가 Fargate에서 실행됩니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: sample-app
  namespace: skills
spec:
  replicas: 2
  selector:
    matchLabels:
      app: skills
  template:
    metadata:
      labels:
        app: skills
    spec:
      containers:
        - name: nginx
          image: nginx:latest
          ports:
            - name: http
              containerPort: 80
kubectl create ns skills
kubectl apply -f test-pod.yaml

 

테스트: CloudWatch Logs에서 로그 확인

테스트 1: 로그 발생시키기

Pod 안에서 nginx로 요청을 보내 access 로그를 남깁니다.

POD_NAME=$(kubectl get pods -n skills -l app=skills -o jsonpath='{.items[0].metadata.name}')
kubectl exec -it $POD_NAME -n skills -- curl localhost:80

 

테스트 2: 로그 스트림 확인

fluent-bit-cloudwatch 로그 그룹에 from-fluent-bit-로 시작하는 로그 스트림이 생성되었는지 확인합니다.

aws logs describe-log-streams \
  --log-group-name fluent-bit-cloudwatch \
  --order-by LastEventTime \
  --descending \
  --max-items 5

 

테스트 3: 실시간 로그 조회
aws logs tail fluent-bit-cloudwatch --follow

 

앞에서 보낸 요청에 대한 nginx access 로그가 Kubernetes 메타데이터와 함께 출력되면, Fargate Pod의 로그가 CloudWatch Logs로 정상 수집되고 있는 것입니다.

 

주의할 점

  • 설정은 Pod 시작 시점에 적용됩니다. ConfigMap을 만들거나 수정하기 전에 떠 있던 Pod에는 반영되지 않으므로, kubectl rollout restart로 Pod를 다시 띄워야 합니다.
  • Namespace와 ConfigMap 이름은 고정입니다. aws-observability Namespace, aws-observability: enabled 라벨, aws-logging ConfigMap 중 하나라도 다르면 로깅이 동작하지 않습니다.
  • 사용할 수 있는 설정이 제한적입니다. 내장 로그 라우터이기 때문에 INPUT 섹션은 작성할 수 없고, 출력 대상도 CloudWatch Logs, Kinesis Data Firehose, Kinesis Data Streams, OpenSearch 등 AWS가 지원하는 플러그인으로 한정됩니다.
  • 권한은 Pod Execution Role에 부여합니다. 애플리케이션의 ServiceAccount에 권한을 줘도 로그는 전송되지 않습니다.
  • 로그 양만큼 비용이 발생합니다. CloudWatch Logs는 수집량과 보관량에 따라 요금이 부과되므로, log_retention_days로 보관 기간을 적절히 설정하는 것이 좋습니다.

 

마무리

Fargate에서는 DaemonSet을 쓸 수 없기 때문에 일반적인 방식으로는 로그 수집기를 배포할 수 없습니다. 대신 AWS가 내장한 Fluent Bit 로그 라우터에 aws-observability Namespace와 aws-logging ConfigMap으로 설정을 전달하고, Pod Execution Role에 권한을 부여하면 별도의 에이전트 없이 Pod 로그를 CloudWatch Logs로 수집할 수 있습니다.

 

이것으로 EKS Fargate Logging에 대한 글을 마치겠습니다. 감사합니다!

 

참고 문서

https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/fargate-logging.html

 

클러스터에 대한 AWS Fargate 로깅 시작하기 - Amazon EKS

일반적인 Fluent Conf에 포함된 주요 단원은 Service, Input, Filter, Output입니다. 하지만 Fargate 로그 라우터는 다음 부분만 수락합니다. Filter 및Output 부분입니다. Parser 부분. 기타 부분을 제공하는 경우

docs.aws.amazon.com

https://aws.amazon.com/ko/blogs/containers/fluent-bit-for-amazon-eks-on-aws-fargate-is-here/

 

Fluent Bit for Amazon EKS on AWS Fargate is here | Amazon Web Services

Akshay Ram, Prithvi Ramesh, Michael Hausenblas In issue 701 of our containers roadmap we discussed supporting our CNCF Fluent Bit-based log router in the context of EKS on Fargate. In this blog post we provide you context on this new feature and walk you t

aws.amazon.com

 

 

'Cloud > Kubernetes' 카테고리의 다른 글

EKS 노드의 Hostname을 Instance ID 기반으로 변경하기  (0) 2026.11.11
AWS Pod EIP Controller로 Pod마다 고유한 공인 IP 부여하기  (0) 2026.10.25
CoreDNS  (0) 2026.09.09
EKS S3 CSI Driver  (0) 2026.07.09
Calico CNI  (0) 2026.01.05