CSV 로그 파서

개요

다음을 사용하여 csv 로그 파서로, CSV 파일은 각 행을 간단한 JSON 객체로 변환하고 키를 값에 매핑하여 파싱됩니다. 이를 위해 각 열에 이름을 지정해야 합니다.

헤더가 없는 CSV 로그

헤더 행이 없는 CSV 로그를 파싱하려면, Panther는 각 열에 어떤 이름을 할당할지 알아야 합니다.

로그가 year, month, day, time, action, ip_address, message의 7개 열을 가진 CSV라고 가정해 보겠습니다. 이 파일의 예시 행은 다음과 같을 수 있습니다:

# 20200901의 액세스 로그
2020,09,01,10:35:23, SEND ,192.168.1.3,"PING"
2020,09,01,10:35:25, RECV ,192.168.1.3,"PONG"
2020,09,01,10:35:25, RESTART ,-,"시스템 재시작"

다음 LogSchema 를 사용하여 로그 유형을 정의합니다:

콘솔

Panther 콘솔에서는 다음을 따라 커스텀 스키마를 수동으로 만드는 방법 지침을 선택하여 CSV parser.

다음 CSV Log Parser 섹션(위 스크린샷에 표시된 를 클릭합니다. 스키마에 섹션 아래)에서 다음 필드를 정의합니다:

fields:
- name: timestamp
  type: timestamp
  timeFormats: 
   - rfc3339
  isEventTime: true
  required: true
- 이름: 동작
  type: string
  required: true
- 이름: ip_address
  type: string
  indicators: [ip]
- name: message
  type: string

전체 YAML 표현

헤더가 있는 CSV 로그

헤더 행으로 시작하는 CSV 파일을 파싱하려면, 두 가지 옵션이 있습니다:

• 헤더에 정의된 이름을 JSON 필드의 이름으로 사용합니다

• 헤더를 무시하고 열 이름을 명시적으로 정의합니다 헤더가 없는 CSV 파일에서와 같은 방식으로

CSV 파일에 헤더가 있고 열을 명시적으로 정의하지 않는 경우(대신 헤더에 의해 정의되도록 하는 경우), 이 스키마를 다른 스키마와 같은 로그 소스(또는 단일 S3 prefix)에 함께 사용하지 마십시오. 그렇게 하면 로그가 잘못 분류될 수 있습니다.

헤더의 이름을 사용하려면 파서 설정은 다음과 같아야 합니다:

parser:
  csv:
    delimiter: "," 
    # 'hasHeader'를 true로 설정하고 'columns' 필드를 지정하지 않으면,
    # Panther는 헤더의 값에서 열 이름을 설정합니다.
    hasHeader: true
    # 열 이름을 변경하고 싶다면 'expandFields' 지시문을 사용할 수 있습니다
    expandFields:
      # 헤더에 열 이름으로 '$cost'가 있고 이를 'cost_us_dollars'로 '정규화'하고 싶다고 가정해 보겠습니다
      "cost_us_dollars": '%{$cost}'

헤더를 무시하고 열에 사용할 이름 집합을 정의하려면 다음을 사용합니다:

parser:
  csv:
    delimiter: "," 
    # 'hasHeader'를 true로 설정하면서 동시에 'columns' 필드를 지정하면, 
    # Panther는 헤더를 무시하고 'columns' 배열의 이름을 사용합니다
    hasHeader: true
    columns:
    - foo
    - bar
    - baz