Fluentd를 통한 Syslog를 S3로 전송하기

개요

다음 사용을 고려하십시오 Fluent Bit 로그를 Panther로 전달하기 위해 Fluentd 대신. Fluent Bit은 설정이 더 쉽고 Fluentd보다 리소스 소모가 적습니다.

이 가이드는 Fluentd를 사용하여 syslog 메시지를 S3로 전송하는 방법을 제공합니다. 두 가지 파이프라인 흐름이 있습니다: AWS Firehose 전송 스트림을 통한 방법과 AWS S3 버킷으로 직접 전송하는 방법입니다.

필수 조건

이 가이드는 S3 버킷 또는 Firehose가 이미 생성되어 있다고 가정합니다. 이러한 리소스 중 하나를 생성해야 하는 경우, 다음을 참조하십시오 Fluentd 온보딩 가이드. 이미 리소스를 프로비저닝했다면 아래 가이드를 필요에 맞게 조정하여 사용할 수 있습니다.

Fluentd 설정

1단계. Fluentd 설치

다음을 따르십시오 Fluentd 설치 가이드 syslog 메시지를 수집하려는 서버 환경에 맞는.

2단계. Fluentd 구성 편집

Fluentd를 구성할 때 Firehose 플러그인 또는 S3 플러그인을 사용하는 두 가지 옵션이 있습니다. 아래에는 두 옵션에 대한 구성 파일이 나와 있습니다.

두 옵션 모두 로그를 S3로 전달하지만, 두 옵션 중 성능면에서 Firehose 플러그인 옵션을 권장합니다. 구성에서는 역할 맡기기(assume role)와 액세스 키(access keys)의 두 가지 인증 유형이 표시됩니다. 환경에 가장 적합한 인증 유형을 사용하십시오.

Firehose 플러그인 사용(권장)

다음 Fluentd 플러그인:

td-agent-gem install fluent-plugin-kinesis

Fluentd 구성 편집/etc/td-agent/td-agent.conf 아래 구성으로. 이는 Fluentd가 UDP 포트 5140에서 syslog 이벤트를 수신하고 Kinesis Firehose로 출력할 수 있게 합니다. 아래 구성에서 리전, delivery_stream_name 및 role_arn 을(를) 업데이트하십시오:

<source>
  @type syslog
  port 5140
  bind 0.0.0.0
  tag syslog
  <parse>
    message_format auto
  </parse>
</source>

<filter syslog.** >
  @type record_transformer
  <record>
    tag ${tag}
    time ${time}
  </record>
</filter>

<match syslog.**>
  @type kinesis_firehose
  region <FIREHOSE-REGION>
  delivery_stream_name <FIREHOSE-NAME>

  <assume_role_credentials>
    duration_seconds 3600
    role_arn <FIREHOSE-ROLE-ARN>
    role_session_name "#{Socket.gethostname}-panther-audit"
  </assume_role_credentials>
  <format>
    @type json
  </format>
</match>

S3 플러그인 사용

Fluentd 구성 편집 /etc/td-agent/td-agent.conf 아래 구성으로. 이는 Fluentd가 UDP 포트 5140에서 syslog 이벤트를 수신하고 S3 버킷으로 출력할 수 있게 합니다. 아래의 s3_bucket, s3_region, aws_key_id및 aws_sec_key 을(를) 업데이트하십시오:

<source>
  @type syslog
  port 5140
  bind 0.0.0.0
  tag syslog
  <parse>
    message_format auto
  </parse>
</source>

<filter syslog.** >
  @type record_transformer
  <record>
    tag ${tag}
    time ${time}
  </record>
</filter>

<match syslog.**>
  @type s3
  aws_key_id <ACCESS-KEY-ID>
  aws_sec_key <SECRET-KEY>
  s3_bucket <BUCKET-NAME>
  s3_region <BUCKET-REGION>
  path syslog/%Y/%m/%d/
  store_as gzip
  <buffer tag,time>
    @type file
    path /var/log/td-agent/buffer/s3
    timekey 300 # 5분 파티션
    timekey_wait 2m
    timekey_use_utc true # UTC 사용
    chunk_limit_size 256m
  </buffer>
  <format>
    @type json
  </format>
</match>

3단계: Fluentd 시작

Fluentd를 구성한 후, 아래 명령을 실행하여 시작하십시오:

$ sudo systemctl start td-agent.service 

Fluentd가 실행 중인지 확인:

$ sudo systemctl status td-agent.service

환경에서 Fluentd 시작에 관해서는 Fluentd 설치 가이드 를 참조하십시오. 만약 systemctl 을(를) 사용할 수 없다면.

rsyslog 구성

로컬 Fluentd로 전달하도록 rsyslog 구성

구성 rsyslog 다음 두 줄을 /etc/rsyslog.d/50-default.conf 또는 /etc/rsyslog.conf 일부 환경에서는:

# 로그 메시지를 Fluentd로 전송
*.* @127.0.0.1:5140

아래 명령으로 rsyslog를 재시작하십시오:

$ sudo systemctl restart rsyslog.service

이 단계는 다른 서버에서 syslog를 이 가이드에서 이전에 구성한 Fluentd 서버로 전달하도록 중복 적용할 수 있습니다. 단, 로컬 주소 *.* @127.0.0.1:5140 를 Fluentd 서버의 IP 주소로 바꾸십시오. 서버로 UDP/5140 트래픽을 전송할 수 있도록 보안 그룹이나 호스트 기반 방화벽을 업데이트해야 할 수 있습니다.

로깅 확인

5~10분이 지나면 syslog 메시지가 S3 버킷에 기록되고 있는지 확인하십시오. 로그는 버킷 내의 syslog/ 접두사 아래에 표시되어야 합니다.

이제 Panther UI에서 S3 버킷을 온보딩하고 Fluentd.Syslog3164 로그 유형을 사용하여 데이터를 온보딩할 수 있습니다.