CSV 로그 파서

개요

다음을 사용하여 csv 로그 파서로 CSV 파일은 각 행을 키-값을 매핑한 단순한 JSON 객체로 변환하여 파싱됩니다. 이를 위해 각 열에는 이름이 지정되어야 합니다.

헤더 없는 CSV 로그

헤더 행이 없는 CSV 로그를 파싱하려면 Panther는 각 열에 어떤 이름을 할당해야 하는지 알아야 합니다.

로그가 year, month, day, time, action, ip_address, message의 7개 열을 가진 CSV라고 가정해 보겠습니다. 이 파일의 몇 가지 예시 행은 다음과 같을 수 있습니다:

# 20200901에 대한 액세스 로그
2020,09,01,10:35:23, SEND ,192.168.1.3,"PING"
2020,09,01,10:35:25, RECV ,192.168.1.3,"PONG"
2020,09,01,10:35:25, RESTART ,-,"System restarts"

다음의 LogSchema 를 사용해 로그 타입을 정의합니다:

콘솔

Panther 콘솔에서는 다음을 따릅니다 커스텀 스키마를 수동으로 생성하는 방법 안내, CSV 파서.

일반 구성 Panther가 생성한 섹션(위 스크린샷에 표시된 스크립트 로그 파서(Script Log Parser) 섹션 아래), 우리는 다음과 같이 필드를 정의합니다:

필드:
- 이름: timestamp
  type: timestamp
  timeFormats: 
   - rfc3339
  isEventTime: true
  required: true
- 이름: action
  type: string
  required: true
- 이름: ip_address
  type: string
  indicators: [ip]
- name: message
  type: string

전체 YAML 표현

헤더가 있는 CSV 로그

헤더 행으로 시작하는 CSV 파일을 파싱하려면 두 가지 옵션이 있습니다:

• 헤더에 정의된 이름을 JSON 필드의 이름으로 사용

• 헤더를 무시하고 열 이름을 명시적으로 정의 헤더 없는 CSV 파일에 대해 하는 것과 동일한 방식으로

CSV 파일에 헤더가 있고 열을 명시적으로 정의하지 않으면(대신 헤더에서 정의되도록 놔두는 경우), 이 스키마를 다른 스키마와 동일한 로그 소스(또는 단일 S3 접두사)에서 결합하지 마십시오. 그렇게 하면 로그가 잘못 분류될 수 있습니다.

헤더의 이름을 사용하려면 파서 설정은 다음과 같아야 합니다:

파서:
  csv:
    delimiter: "," 
    # 'columns' 필드를 지정하지 않고 'hasHeader'를 true로 설정하면,
    # Panther는 헤더의 값에서 열 이름을 설정하라고 지시받습니다.
    hasHeader: true
    # 열 이름을 바꾸고 싶다면 'expandFields' 지시문을 사용할 수 있습니다
    expandFields:
      # 예를 들어 헤더에 '$cost'라는 열 이름이 있고 이를 'cost_us_dollars'로 정규화하려는 경우를 가정해 봅시다
      "cost_us_dollars": '%{$cost}'

헤더를 무시하고 열 이름 집합을 정의하려면 다음을 사용하세요:

파서:
  csv:
    delimiter: "," 
    # 'columns' 필드를 지정하면서 'hasHeader'를 true로 설정하면, 
    # Panther는 헤더를 무시하고 'columns' 배열의 이름을 사용하도록 지시받습니다
    hasHeader: true
    columns:
    - foo
    - bar
    - baz