Fluent Bit 구성 예시

이 페이지의 예시는 Fluent Bit으로 데이터를 수신하고 Panther로 로그를 전송하는 일반적인 방법들을 HTTP 소스 또는 Amazon S3 소스.

아래 예시에서, log_level trace 및 출력 stdout 은 구성 테스트 및 디버깅을 위해 사용됩니다. Fluent Bit 구성이 예상대로 작동하면 이들은 제거해야 합니다.

Dummy를 Panther HTTP 소스로

이 예시는 Fluent Bit의 Dummy 입력 을 사용하여 초당 하나의 이벤트를 생성합니다. 이는 출력 구성을 테스트하고 Fluent Bit 사용을 시작하는 데 유용합니다.

입력: Dummy

range data from 1 to 4 step 2 HTTP

[SERVICE]
    log_level trace

[INPUT]
    Name dummy
    Dummy {"message": "sample json message", "type": "json"}

[OUTPUT]
    Name       http
    Match      *
    Host       logs.{REDACTED}.runpanther.net
    Port       443
    URI        /http/{REDACTED}
    Header     x-sender-header {REDACTED}
    Format     json_lines
    TLS        On
    TLS.Verify On
    Json_Date_Key false

[OUTPUT]
    Name   stdout
    Match  *

이 구성은 다음과 같은 결과를 생성합니다:

# 입력 구성:
Dummy {"message": "sample json message", "type": "json"}
    
# Panther 파싱 전의 원시 이벤트 출력:
{"message": "sample json message", "type": "json"}

로컬 파일을 Amazon S3로 Tail

이 예시는 Tail 입력을 사용하여 로컬에서 S3로 전송된 파일을 수집합니다. 여러 파일을 제공할 수 있습니다. 자세한 내용은 path 설정은 Fluent Bit Tail 문서 를 참조하세요.

입력: Tail

range data from 1 to 4 step 2 S3

OUTPUT 플러그인 구성에서:

• 사용json_date_key false 는 추가된 날짜 키를 비활성화합니다.

• 사용 log_key log 는 Fluent Bit이 원시 로그만 전송하도록 지정합니다.

이 두 설정으로 로그 파일의 원시 입력이 Fluent Bit의 추가된 JSON 필드 없이 전송됩니다.

[SERVICE]
    log_level trace

[INPUT]
    Name       tail
    Tag        wifi_log
    Path       /var/log/wifi.log

[OUTPUT]
    Name       s3
    Match      *
    Region     {REGION}
    Bucket     {BUCKET_NAME}
    Compression gzip
    json_date_key false
    upload_timeout 5m
    log_key log

    # AWS 자격 증명 가져오기 - https://github.com/fluent/fluent-bit-docs/blob/43c4fe134611da471e706b0edb2f9acd7cdfdbc3/administration/aws-credentials.md

[OUTPUT]
    Name   stdout
    Match  *

이 구성은 다음과 같은 결과를 생성합니다:

# 파일 테일링의 입력 결과:
Mon Feb  5 16:17:04.165 Usb Host Notification hostNotificationUSBDeviceInserted USB Billboard Device    isApple N seqNum 454 Total 4
Mon Feb  5 16:17:04.176 Usb Host Notification Apple80211Set: seqNum 454 Total 4 chg 1 en0
Mon Feb  5 16:17:28.841 Usb Host Notification hostNotificationUSBDeviceInserted USB MICROPHONE isApple N seqNum 455 Total 5
Mon Feb  5 16:17:28.846 Usb Host Notification Apple80211Set: seqNum 455 Total 5 chg 1 en0
    
# AWS S3에서의 출력 결과:
Mon Feb  5 16:17:04.165 Usb Host Notification hostNotificationUSBDeviceInserted USB Billboard Device    isApple N seqNum 454 Total 4
Mon Feb  5 16:17:04.176 Usb Host Notification Apple80211Set: seqNum 454 Total 4 chg 1 en0
Mon Feb  5 16:17:28.841 Usb Host Notification hostNotificationUSBDeviceInserted USB MICROPHONE isApple N seqNum 455 Total 5
Mon Feb  5 16:17:28.846 Usb Host Notification Apple80211Set: seqNum 455 Total 5 chg 1 en0

TCP를 통해 Amazon S3로

이 예시는 TCP 입력 플러그인을 사용합니다. 이 플러그인은 syslog나 JSON 이벤트를 네트워크를 통해 Fluent Bit으로 전송해야 할 때 유용합니다. TCP 플러그인은 수신한 원시 페이로드를 받아 출력 구성으로 전달합니다.

입력: TCP

range data from 1 to 4 step 2 S3

[SERVICE]
    log_level trace

[INPUT]
    Name       tcp
    Tag        tcp_log
    Listen     0.0.0.0
    Port       5140
    Format     none

[OUTPUT]
    Name       s3
    Match      *
    Region     {REGION}
    Bucket     {BUCKET_NAME}
    Compression gzip
    json_date_key false
    upload_timeout 5m
    log_key log

    # AWS 자격 증명 가져오기 - https://github.com/fluent/fluent-bit-docs/blob/43c4fe134611da471e706b0edb2f9acd7cdfdbc3/administration/aws-credentials.md

[OUTPUT]
    Name   stdout
    Match  *

이 구성은 다음과 같은 결과를 생성합니다:

# 입력 명령:
%echo "message from local echo" | nc 127.0.0.1 5140
%echo "message from local echo" | nc 127.0.0.1 5140

# 접두사 tcp_log/2024/02/06/02/55/generated_filename로 AWS S3에 출력:
message from local echo
message from local echo

TCP에서 HTTP로 (Panther)

이 예시 구성은 TCP 입력 플러그인을 사용해 로그를 수신하고 Fluent Bit의 HTTP 수집 플러그인을 사용해 직접 Panther로 전송하는 방법을 보여줍니다.

입력: TCP

range data from 1 to 4 step 2 HTTP

아래 구성에서 필터를 사용하는 것은 HTTP 대상에 로그를 보낼 때 원시 페이로드를 그대로 유지하기 위해 필요합니다. 자세한 내용은 Fluent Bit HTTP 출력 문서 를 참조하세요.

[SERVICE]
    log_level trace

[INPUT]
    Name       tcp
    Tag        tcp_log
    Listen     0.0.0.0
    Port       5140
    Format     none

# https://stackoverflow.com/questions/75291515/how-to-disable-json-format-and-send-only-the-log-message-to-sumologic-with-fluen
[FILTER]
    Name record_modifier
    Match *
    Record headers.content-type text/plain

# https://stackoverflow.com/questions/75291515/how-to-disable-json-format-and-send-only-the-log-message-to-sumologic-with-fluen
[FILTER]
    Name nest
    Match *
    Operation nest
    Wildcard headers.*
    Nest_under headers
    Remove_prefix headers.


[OUTPUT]
    Name       http
    Match      *
    Host       logs.{REDACTED}.runpanther.net
    Port       443
    URI        /http/{REDACTED}
    Header     x-sender-header {REDACTED}
    Format     json_lines
    TLS        On
    TLS.Verify On
    Json_Date_Key false
    body_key   $log
    headers_key $headers

[OUTPUT]
    Name   stdout
    Match  *

이 구성은 다음과 같은 결과를 생성합니다:

# 입력 명령: 
% echo "message from local echo `date`" | nc 127.0.0.1 5140
% echo "message from local echo `date`" | nc 127.0.0.1 5140
% echo "message from local echo `date`" | nc 127.0.0.1 5140

# Panther 파싱 전의 원시 이벤트 출력:
message from local echo Mon Feb 5 19:27:40 PST 2024
message from local echo Mon Feb 5 19:27:52 PST 2024
message from local echo Mon Feb 5 19:27:53 PST 2024