일반적인 Fluentd를 통한 로그 전달

Fluentd를 사용하여 파일에서 S3로 원시 로그 전송하기

개요

다음을 사용하는 것을 고려하세요 Fluent Bit 로그를 Panther로 전달하기 위해 Fluentd 대신 Fluent Bit을 사용하세요. Fluent Bit은 설정이 더 쉽고 Fluentd보다 자원 소모가 적습니다.

이 가이드는 파일에서 S3 및 Fluentd를 통해 원시 로그를 Panther로 전달하는 방법에 관한 것입니다. 아래의 Fluentd 구성은 데이터를 사전 처리하지 않고 파일의 내용을 있는 그대로 전달합니다. 이 가이드는 다음 작업을 수행하는 방법을 안내합니다:

• 장치에 Fluentd를 설치합니다.

• AWS Firehose 또는 S3 플러그인을 통해 Fluentd 구성을 편집합니다.

• Fluentd 인스턴스를 시작하고 올바르게 실행되는지 확인합니다.

사전 요구 사항

S3 버킷 또는 AWS Firehose가 필요합니다. 이러한 리소스 중 하나를 생성해야 하는 경우, 다음을 참조하세요 Fluentd 온보딩 가이드이미 리소스를 프로비저닝한 경우 아래 가이드를 필요에 맞게 조정할 수도 있습니다.

원시 로그를 Panther로 전달하도록 Fluentd 설정하기

1단계: Fluentd 설치

다음을 따르세요 Fluentd 설치 가이드 수집하려는 서버 환경의 syslog 메시지를 위한 것입니다. 설치가 완료되면 아래 터미널 구성을 진행하여 Fluentd를 적절히 구성하십시오.

2단계: Fluentd 구성 편집

Fluentd를 구성할 때 두 가지 옵션이 있습니다 – Firehose 플러그인 또는 S3 플러그인. Panther와 함께 사용할 때 더 성능이 좋은 옵션이므로 Firehose 플러그인 옵션을 권장합니다. 그러나 둘 다 로그를 S3로 전달합니다. \

구성에서는 두 가지 다른 인증 유형이 표시됩니다 – 역할 전환(assume roles) 또는 액세스 키(access keys). 환경에 가장 적합한 인증 유형을 사용하세요.

Fluentd에서 아래 플러그인 구성에 유의하세요:

• 를 입력하세요 <source> 섹션은 tail 플러그인을 사용하여 로그 파일을 읽습니다.

• 를 입력하세요 <parse> 섹션은 Fluentd가 다음과 같이 구문 분석을 수행하지 않도록 지시합니다 @type none.

• 내부의 match 형식 섹션, single_value 형식이 사용됩니다.

• 의 조합 none 파싱과 single_value 형식은 Fluentd에 데이터를 있는 그대로 출력하라고 지시합니다.

구성 1: Firehose 플러그인 사용(권장)

Fluentd에서 @type kinesis 플러그인을 활용하려면 Firehose 플러그인을 설치해야 합니다 @type kinesis 플러그인.

1. 설치 다음 Fluentd 플러그인 을 아래 명령으로 설치하세요.\

   td-agent-gem install fluent-plugin-kinesis

2. 편집(Edit) 다음 위치에 있는 Fluentd 구성 파일 /etc/td-agent/td-agent.conf 을(를) 아래 구성으로 업데이트하세요. region, delivery_stream_name, role_arn을 업데이트했는지 확인하십시오. region, delivery_stream_name 및 role_arn소스 상태

   <source>  
     @type tail
     tag syslog
     path /path/to/file/*.log
     pos_file /var/log/td-agent/pos_file.pos
     <parse>
       @type none
     </parse>
   </source>
   
   <match syslog.**>
     @type kinesis_firehose
     region <FIREHOSE-REGION>
     delivery_stream_name <FIREHOSE-NAME>
   
     <assume_role_credentials>
       duration_seconds 3600
       role_arn <FIREHOSE-ROLE-ARN>
       role_session_name "#{Socket.gethostname}-panther-audit"
     </assume_role_credentials>
     <format>
       @type single_value
     </format>
   </match>

구성 2: S3 플러그인 사용

1. 편집(Edit) 다음 위치에 있는 Fluentd 구성 파일 /etc/td-agent/td-agent.conf, 을(를) 아래 구성으로 업데이트하세요. region, delivery_stream_name, role_arn을 업데이트했는지 확인하십시오. s3_bucket, s3_region, aws_key_id 및 aws_sec_key소스 상태

   <source>  
     @type tail
     tag syslog
     path /path/to/file/*.log
     pos_file /var/log/td-agent/pos_file.pos
     <parse>
       @type none
     </parse>
   </source>
   
   <match syslog.**>
     @type s3
     aws_key_id <ACCESS-KEY-ID>
     aws_sec_key <SECRET-KEY>
     s3_bucket <BUCKET-NAME>
     s3_region <BUCKET-REGION>
     path syslog/%Y/%m/%d/
     store_as gzip
     <buffer tag,time>
       @type file
       path /var/log/td-agent/buffer/s3
       timekey 300 # 5 분 파티션
       timekey_wait 2m
       timekey_use_utc true # UTC 사용
       chunk_limit_size 256m
     </buffer>
     <format>
       @type single_value
     </format>
   </match>

3단계: Fluentd 시작

1. Fluentd를 구성한 후 터미널에서 아래 명령을 실행하세요:\

   $ sudo systemctl start td-agent.service 

2. Fluentd가 올바르게 실행되고 있는지 확인하려면 터미널에서 아래 명령을 실행하세요:\

   $ sudo systemctl status td-agent.service

다중 시리즈: 각기 다른 색의 여러 선으로 표현되는 systemctl Fluentd 환경에서 사용할 수 없는 경우, 다음을 참조하세요 Fluentd 설치 가이드.