Fluentd를 통한 일반 로그 전달

Fluentd를 사용하여 파일의 원시 로그를 S3로 전달하기

개요

다음 사용을 고려하세요 Fluent Bit Fluentd 대신 Panther로 로그를 전달하기 위해. Fluent Bit은 Fluentd보다 설정이 더 쉽고 리소스 소모가 적습니다.

이는 파일에서 S3와 Fluentd를 통해 Panther로 원시 로그를 전달하는 가이드입니다. 아래 Fluentd 구성은 데이터를 사전 처리하지 않고 파일의 내용을 있는 그대로 전달합니다. 이 가이드는 다음을 수행하는 방법을 안내합니다:

• 장치에 Fluentd를 설치합니다.

• AWS Firehose 또는 S3 플러그인을 통해 Fluentd 구성을 편집합니다.

• Fluentd 인스턴스를 시작하고 올바르게 실행되는지 확인합니다.

사전 요구 사항

S3 버킷 또는 AWS Firehose가 필요합니다. 이러한 리소스 중 하나를 생성해야 하는 경우, Fluentd 온보딩 가이드를 참조하세요. 이미 리소스가 준비되어 있다면 아래 가이드를 필요에 맞게 조정할 수도 있습니다.

Fluentd를 설정하여 원시 로그를 Panther로 전달하기

1단계: Fluentd 설치

다음을 따르세요 Fluentd 설치 가이드 수집하려는 서버 환경에 맞는 것입니다. 설치가 완료되면 아래 터미널 구성을 진행하여 Fluentd를 올바르게 구성하세요.

2단계: Fluentd 구성 편집

Fluentd를 구성할 때 두 가지 옵션이 있습니다 – Firehose 플러그인 또는 S3 플러그인. Panther와 함께 사용할 때는 성능 면에서 더 나은 Firehose 플러그인 옵션을 권장합니다. 그러나 둘 다 로그를 S3로 전달합니다. \

구성에는 두 가지 다른 인증 유형이 표시됩니다 – 역할 가정(assume roles) 또는 액세스 키(access keys). 환경에 가장 적합한 인증 유형을 사용하세요.

Fluentd에서 아래 플러그인 구성에 유의하세요:

• 사용자를 사용할 것이며, <source> 섹션은 tail 플러그인을 사용하여 로그 파일을 읽습니다.

• 사용자를 사용할 것이며, <parse> 섹션은 Fluentd가 다음과 같이 파싱을 수행하지 않도록 지시합니다 @type none.

• 내부의 match 형식 섹션에서는 single_value 유형이 사용됩니다.

• 의 조합 없음 파싱과 single_value 형식은 Fluentd에 데이터를 있는 그대로 출력하라고 지시합니다.

구성 1: Firehose 플러그인 경유(권장)

Fluentd에서 @type kinesis 플러그인.

1. 설치 을 활용하려면 Firehose 플러그인을 설치해야 합니다. 다음 Fluentd 플러그인을 아래 명령으로 설치하세요.\

   td-agent-gem install fluent-plugin-kinesis

2. 편집을 클릭 아래 구성으로 Fluentd 구성 파일 위치 /etc/td-agent/td-agent.conf 를 업데이트하세요. 반드시 region, delivery_stream_name및 role_arn:\

   <source>  
     @type tail
     tag syslog
     path /path/to/file/*.log
     pos_file /var/log/td-agent/pos_file.pos
     <parse>
       @type none
     </parse>
   </source>
   
   <match syslog.**>
     @type kinesis_firehose
     region <FIREHOSE-REGION>
     delivery_stream_name <FIREHOSE-NAME>
   
     <assume_role_credentials>
       duration_seconds 3600
       role_arn <FIREHOSE-ROLE-ARN>
       role_session_name "#{Socket.gethostname}-panther-audit"
     </assume_role_credentials>
     <format>
       @type single_value
     </format>
   </match>

구성 2: S3 플러그인 경유

1. 편집을 클릭 아래 구성으로 Fluentd 구성 파일 위치 /etc/td-agent/td-agent.conf, 를 업데이트하세요. 반드시 s3_bucket, s3_region, aws_key_id및 aws_sec_key:\

   <source>  
     @type tail
     tag syslog
     path /path/to/file/*.log
     pos_file /var/log/td-agent/pos_file.pos
     <parse>
       @type none
     </parse>
   </source>
   
   <match syslog.**>
     @type s3
     aws_key_id <ACCESS-KEY-ID>
     aws_sec_key <SECRET-KEY>
     s3_bucket <BUCKET-NAME>
     s3_region <BUCKET-REGION>
     path syslog/%Y/%m/%d/
     store_as gzip
     <buffer tag,time>
       @type file
       path /var/log/td-agent/buffer/s3
       timekey 300 # 5 분 파티션
       timekey_wait 2m
       timekey_use_utc true # UTC 사용
       chunk_limit_size 256m
     </buffer>
     <format>
       @type single_value
     </format>
   </match>

3단계: Fluentd 시작

1. Fluentd 구성을 완료한 후 터미널에서 아래 명령을 실행하세요:\

   $ sudo systemctl start td-agent.service 

2. Fluentd가 올바르게 실행되고 있는지 확인하려면 터미널에서 아래 명령을 실행하세요:\

   $ sudo systemctl status td-agent.service

만약 systemctl Fluentd 환경에서 사용 불가능한 경우, 다음을 참조하세요 Fluentd 설치 가이드.