Fluentd를 통한 MacOS 시스템 로그를 S3로 전송하기

개요

다음 사용을 고려하세요 Fluent Bit Fluentd 대신 Panther로 로그를 전달하려면. Fluent Bit은 설정이 더 쉽고 Fluentd보다 리소스 사용량이 적습니다.

이 가이드는 Fluentd를 사용하여 MacOS 시스템 로그를 S3로 전달하는 방법을 제공합니다. 파이프라인 흐름에는 AWS Firehose 전송 스트림을 경유하는 방법과 AWS S3 버킷으로 직접 전송하는 두 가지가 있습니다

전제 조건

이 가이드는 S3 버킷 또는 Firehose가 이미 생성되어 있다고 가정합니다. 이러한 리소스 중 하나를 생성해야 하는 경우, 다음을 참조하세요 Fluentd 온보딩 안내서 . 리소스를 이미 프로비저닝한 경우 아래 가이드를 필요에 맞게 적용할 수 있습니다.

Fluentd 설정

1단계. Fluentd (td-agent) 설치

로그를 수집하려는 머신에 대한 Fluentd 설치 지침 을 따르세요. 이 가이드는 로그를 수집하는 서비스로 td-agent를 사용하는 방법을 구체적으로 다룹니다.

2단계. MacOS 로그용 Fluent 플러그인 설치

아래 명령을 사용하여 Fluentd MacOS 플러그인을 설치하세요.

sudo /opt/td-agent/bin/fluent-gem install fluent-plugin-macos-log

이 플러그인에 대한 추가 문서는 다음에서 확인할 수 있습니다 Github.

3단계. Fluentd 구성 편집

기본적으로 포함된 구성 정보는 사용하지 않는 경우 제거할 수 있습니다. 아래 Fluentd 구성을 사용하고 당신의 aws_key_id, aws_sec_key, s3_bucket, 및 s3_region 정보를 추가하세요.

Fluentd와 td-agent는 충돌하는 포트에서 서비스를 실행하려고 시도할 수 있습니다. 새 설치인 경우 구성 파일에서 포트를 변경하거나 파일에서 기본 구성을 제거해야 합니다.

/etc/td-agent/td-agent.conf

<source>
  @type macoslog
  style ndjson
  tag macos
  pos_file last-starttime.log
  run_interval 10s
  <parse>
    @type json
    time_type string
    time_key timestamp
    time_format %Y-%m-%d %H:%M:%S.%L%z
  </parse>
</source>

<match **>
  @type s3
  aws_key_id <Key ID>
  aws_sec_key <Key>
  s3_bucket <Bucket>
  s3_region <Region>
  path macoslog/%Y/%m/%d/
  store_as gzip
  <buffer tag,time>
    @type file
    path /var/log/fluent/s3
    timekey 300 # 5 min partition to post to S3
    timekey_wait 2m
    timekey_use_utc true # use utc
    chunk_limit_size 256m
  </buffer>
  <format>
    @type json
  </format>
</match>

4단계. Fluentd를 구성 파일로 가리키고 검증

# fluentd를 구성 파일로 가리키기
fluentd -c /etc/td-agent/td-agent.conf

# 구성 검증
/opt/td-agent/usr/sbin/td-agent --dry-run

5단계. 로깅 확인

몇 분이 지난 후 이벤트가 S3 버킷에 기록되고 있는지 확인하세요. 로그는 버킷 내의 macos/ 접두사 아래에 나타나야 합니다.

Panther 콘솔

1단계. 사용자 정의 스키마 생성

으로 이동하세요 구성 > 스키마 . 클릭 +새 스키마 그런 다음 아래 값을 스키마 필드에 입력하세요:

이름: Custom.MacOSSystemLogs 설명: 애플리케이션, 보안, 시스템용 MacOS 시스템 로그

버전: 0
필드:
- name: pid
  type: bigint
- name: ppid
  type: bigint
- name: message
  type: string
- name: worker
  type: bigint
- name: creatorActivityID
  type: float
- name: messageType
  type: string
- name: activityIdentifier
  type: bigint
- name: backtrace
  type: object
  필드:
  - name: frames
    required: true
    type: array
    element:
      type: object
      필드:
      - name: imageOffset
        required: true
        type: bigint
      - name: imageUUID
        required: true
        type: string
- name: bootUUID
  type: string
- name: category
  type: string
- name: eventMessage
  type: string
- name: eventType
  type: string
- name: formatString
  type: string
- name: machTimestamp
  type: bigint
- name: parentActivityIdentifier
  type: bigint
- name: processID
  type: bigint
- name: processImagePath
  type: string
- name: processImageUUID
  type: string
- name: senderImagePath
  type: string
- name: senderImageUUID
  type: string
- name: senderProgramCounter
  type: bigint
- name: subsystem
  type: string
- name: threadID
  type: bigint
- name: timezoneName
  type: string
- name: traceID
  type: float

2단계. S3 버킷 온보딩

다음을 따르세요 S3 소스 온보딩 문서를 참조하고 이전 설정에서 사용한 S3 버킷을 사용하세요.

로그 유형을 선택하세요 Custom.MacOSSystemLogs 및 접두사 macos/ 온보딩 단계에서. 버킷 온보딩을 완료하면 데이터가 이제 Panther로 흐르기 시작합니다!