정규식 로그 파서

개요

더 복잡한 구조의 텍스트 로그 유형의 경우, 다음을 사용할 수 있습니다. regex 파서.

다음 regex 파서는 정규식의 명명된 그룹을 사용하여 각 텍스트 줄에서 필드 값을 추출합니다. grok 구문(즉, %{PATTERN_NAME:field_name})을 사용하여 Panther가 제공하는 기본 제공 패턴을 활용하거나 직접 정의한 패턴을 사용해 복잡한 표현식을 만들 수 있습니다.

Panther의 로그 프로세서는 다음을 사용합니다. RE2 구문 정규식에 대해. RE2 는 다음과 같은 다른 정규식 엔진에서 흔한 일부 연산을 지원하지 않습니다. lookbehind. 다른 시스템에서 복사/붙여넣기한 표현식이나 grok 패턴은 반드시 확인하세요.

예를 들어 다음 텍스트를 일치시키려면

2020-10-10T14:32:05 [FOO_SERVICE@127.0.0.1] [DEBUG] "" Something when wrong

이 grok 구문을 다음 패턴과 함께 사용할 수 있습니다:

%{NOTSPACE:timestamp} \[%{WORD:service}@%{DATA:ip}\] \[%{WORD:log_level}\] %{GREEDYDATA:message}

이는 다음 'raw' 정규식과 대략적으로 동일합니다:

(?P<timestamp>\S+) \[(?P<service>\w+)@(?P<ip>.*?)\] \[(?P<log_level>\w+)\] (?P<message>.*)

최상의 성능을 위해 다음과 같은 간단한 기본 제공 패턴을 사용하세요. DATA, NOTSPACE, GREEDYDATA 및 WORD. 필드 이름을 값에 따라 구분해야 하는 경우가 아니면 복잡한 표현식은 피하세요(예: (%{IP:ip_address}|%{WORD:username})

정규식 사용 예

다음 regex 파서를 사용하여 다음에 대한 로그 유형을 정의하겠습니다. Juniper.Audit 로그. Panther는 이미 이 로그를 기본적으로 지원하지만, 하지만 여기서는 서로 충돌하는 가변 형식이 있어서 다음을 사용해야만 '해결'할 수 있기 때문에 사용하겠습니다. regex 파서.

다음의 샘플 로그는 Juniper.Audit 입니다:

Jan 22 16:14:23 my-jwas [mws-audit][INFO] [mykonos] [10.10.0.117] Logged in successfully
Jan 23 19:16:22 my-jwas [mws-audit][INFO] [ea77722a8516b0d1135abb19b1982852] Deactivate response 1832840420318015488
Feb 7 20:29:51 my-jwas [mws-audit][INFO] [mykonos] [10.10.0.113] Login failed. Attempt: 1
Feb 14 19:02:54 my-jwas [mws-audit][INFO][mykonos] Changed configuration parameters: services.spotlight.enabled, services.spotlight.server_address

다음은 다음을 사용하여 이러한 로그에 대한 로그 스키마를 정의하는 방법입니다. regex:

콘솔

Panther 콘솔에서는 다음을 따릅니다 수동으로 사용자 지정 스키마를 만드는 방법 안내, 다음을 선택하여 정규식 파서.

다음 필드 및 인디케이터 섹션(아래의 파서 섹션에서 스크린샷 위에 표시된 대로, 다음과 같이 필드를 정의합니다:

fields:
- name: timestamp
  type: timestamp
  required: true
  timeFormats: 
   - '%b %d %H:%M:%S'
  isEventTime: false # 타임스탬프에 연도가 없으므로 분할 시간으로 사용할 수 없습니다
- name: log_level
  type: string
  required: true
- name: apikey
  type: string
- 이름: username
  type: string
- name: request_ip
  type: string
  indicators: [ip]
- 이름: message
  type: string

전체 YAML 표현

파서:
  regex:
    patternDefinitions:
      JUNIPER_TIMESTAMP: '[A-Z][a-z]{2} \d?\d \d\d:\d\d:\d\d'
      # apikey는 32개의 16진수 문자로 구성됩니다
      API_KEY: '[a-fA-F0-9]{32}'
    # 앞으로 디버깅에 도움이 되도록 주석을 추가할 수 있게 패턴을 여러 부분으로 나누겠습니다.
    # 모든 부분은 Panther가 부분 사이에 공백을 추가하지 않고 하나의 패턴으로 연결합니다.
    # 패턴을 나누고 싶지 않다면 문자열 하나만 들어 있는 배열을 사용하세요.
    match:
    # 로그 줄은 타임스탬프로 시작합니다('timestamp'로 캡처됨)
    - '^%{JUNIPER_TIMESTAMP:timestamp}'
    # 그 뒤에 이 고정 텍스트가 옵니다
    - ' my-jwas \[mws-audit\]'
    # 그 다음에는 대괄호로 둘러싸인 로그 레벨과 선택적 공백이 옵니다('log_level'로 캡처됨)
    - '\[%{DATA:log_level}\] ?' 
    # 그 뒤에는 대괄호로 둘러싸인 API 키 또는 사용자 이름이 오며,
    # 일치 결과에 따라 'apikey' 또는 'username'으로 캡처합니다
    - '\[(%{API_KEY:apikey}|%{USERNAME:username})\] '
    # 선택적으로 요청의 IP 주소가 대괄호 안에 뒤따릅니다('request_ip'로 캡처됨)
    # 특정 'IP' 명명 패턴 대신 'DATA'를 사용한다는 점에 유의하세요. 
    # 'request_ip'가 항상 이 위치에 있고 로그 유형 일치가 확실하므로 필요하지 않습니다
    # 구별되는 ' my-jwas [mws-audit]' 리터럴 때문입니다.
    - '(\[%{DATA:request_ip}\])?'
    # 그리고 마지막으로 줄의 나머지 부분이 메시지입니다('message'로 캡처됨)
    - '%{GREEDYDATA:message}'
    trimSpace: true # 메시지의 공백을 제거하고 싶습니다
fields:
- name: timestamp
  type: timestamp
  required: true
  timeFormats: 
   - '%b %d %H:%M:%S'
  isEventTime: false # 타임스탬프에 연도가 없으므로 분할 시간으로 사용할 수 없습니다
- name: log_level
  type: string
  required: true
- name: apikey
  type: string
- 이름: username
  type: string
- name: request_ip
  type: string
  indicators: [ip]
- 이름: message
  type: string

기본 제공 정규식 패턴 참조

다음 표에는 사용할 수 있는 Panther 기본 제공 정규식 패턴이 자세히 나와 있습니다.

일반

이름	정규식
DATA	.*?
GREEDYDATA	.*
NOTSPACE	\S+
SPACE	\s*
WORD	\b\w+\b
QUOTEDSTRING	"(?:\.|[^\"]+)+"|""|'(?:\.|[^\']+)+'|''
HEXDIGIT	[0-9a-fAF]
UUID	%{HEXDIGIT}{8}-(?:%{HEXDIGIT}{4}-){3}%{HEXDIGIT}{12}

숫자

이름	정규식
INT	[+-]?(?:[0-9]+)
BASE10NUM	[+-]?(?:[0-9]+(?:.[0-9]+)?)|.[0-9]+
NUMBER	%{BASE10NUM}
BASE16NUM	(?:0[xX])?%{HEXDIGIT}+
POSINT	\b[1-9][0-9]*\b
NONNEGINT	\b[0-9]+\b

네트워크

이름	정규식
CISCOMAC	(?:[A-Fa-f0-9]{4}.){2}[A-Fa-f0-9]{4}
WINDOWSMAC	(?:[A-Fa-f0-9]{2}-){5}[A-Fa-f0-9]{2}
COMMONMAC	(?:[A-Fa-f0-9]{2}:){5}[A-Fa-f0-9]{2}
MAC	%{CISCOMAC}|%{WINDOWSMAC}|%{COMMONMAC}
IPV6	\b(?:(?:(?:%{HEXDIGIT}{1,4}:){7}(?:%{HEXDIGIT}{1,4}|:))|(?:(?:%{HEXDIGIT}{1,4}:){6}(?::%{HEXDIGIT}{1,4}|(?:(?:25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(?:.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(?:(?:%{HEXDIGIT}{1,4}:){5}(?:(?:(?::%{HEXDIGIT}{1,4}){1,2})|:(?:(?:25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(?:.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|((%{HEXDIGIT}{1,4}:){4}(((:%{HEXDIGIT}{1,4}){1,3})|((:%{HEXDIGIT}{1,4})?:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|((%{HEXDIGIT}{1,4}:){3}(((:%{HEXDIGIT}{1,4}){1,4})|((:%{HEXDIGIT}{1,4}){0,2}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|((%{HEXDIGIT}{1,4}:){2}(((:%{HEXDIGIT}{1,4}){1,5})|((:%{HEXDIGIT}{1,4}){0,3}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|((%{HEXDIGIT}{1,4}:){1}(((:%{HEXDIGIT}{1,4}){1,6})|((:%{HEXDIGIT}{1,4}){0,4}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(:(((:%{HEXDIGIT}{1,4}){1,7})|((:%{HEXDIGIT}{1,4}){0,5}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:)))(%.+)?\b
IPV4INT	25[0-5]|2[0-4][0-9]|1[0-9]{2}|[1-9][0-9]|[0-9]
IPV4	\b(?:(?:%{IPV4INT}).){3}(?:%{IPV4INT})\b
IP	%{IPV6}|%{IPV4}
HOSTNAME	\b(?:[0-9A-Za-z][0-9A-Za-z-]{0,62})(?:.(?:[0-9A-Za-z][0-9A-Za-z-]{0,62}))*(.?|\b)
IPORHOST	%{IP}|%{HOSTNAME}
HOSTPORT	%{IPORHOST}:%{POSINT}

URI

이름	정규식
USERNAME	[a-zA-Z0-9._-]+
UNIXPATH	(?:/[\w_%!$@:.,-]?/?)(\S+)?
WINPATH	(?:[A-Za-z]:|\)(?:\[^\?])+
PATH	(?:%{UNIXPATH}|%{WINPATH})
TTY	(?:/dev/(pts|tty([pq])?)(\w+)?/?(?:[0-9]+))
URIPROTO	[A-Za-z]+(?:+[A-Za-z+]+)?
URIHOST	%{IPORHOST}(?::%{POSINT})?
URIPATH	(?:/[A-Za-z0-9$.+!*'(){},~:;=@#%_-]*)+
URIPARAM	?[A-Za-z0-9$.+!*'|(){},~@#%&/=:;_?-[]<>]*
URIPATHPARAM	%{URIPATH}(?:%{URIPARAM})?
URI	%{URIPROTO}://(?:%{USER}(?::[^@]*)?@)?(?:%{URIHOST})?(?:%{URIPATHPARAM})?

타임스탬프

이름	정규식
MONTH	\b(?:Jan(?:uary)?|Feb(?:ruary)?|Mar(?:ch)?|Apr(?:il)?|May|June?|July?|Aug(?:ust)?|Sep(?:tember)?|Oct(?:ober)?|Nov(?:ember)?|Dec(?:ember)?)\b MONTHNUM 0?[1-9]|1[0-2]
MONTHNUM	0?[1-9]|1[0-2]
MONTHNUM2	0[1-9]|1[0-2]
MONTHDAY	(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9]
DAY	\b(?:Mon(?:day)?|Tue(?:sday)?|Wed(?:nesday)?|Thu(?:rsday)?|Fri(?:day)?|Sat(?:urday)?|Sun(?:day)?)\b
YEAR	(?:\d\d){1,2}
HOUR	2[0123]|[01]?[0-9]
MINUTE	[0-5][0-9]
SECOND	(?:[0-5]?[0-9]|60)(?:[:.,][0-9]+)?
KITCHEN	%{HOUR}:%{MINUTE}
TIME	%{HOUR}:%{MINUTE}:%{SECOND}
DATE_US	%{MONTHNUM}[/-]%{MONTHDAY}[/-]%{YEAR}
DATE_EU	%{MONTHDAY}[./-]%{MONTHNUM}[./-]%{YEAR}
ISO8601_TIMEZONE	(?:Z|[+-]%{HOUR}(?::?%{MINUTE}))
ISO8601_SECOND	(?:%{SECOND}|60)
TIMESTAMP_ISO8601	%{YEAR}-%{MONTHNUM}-%{MONTHDAY}[T ]%{HOUR}:?%{MINUTE}(?::?%{SECOND})?%{ISO8601_TIMEZONE}?
DATE	%{DATE_US}|%{DATE_EU}
DATETIME	%{DATE}[- ]%{TIME}
TZ	[A-Z]{3}
TZOFFSET	[+-]\d{4}
TIMESTAMP_RFC822	%{DAY} %{MONTH} %{MONTHDAY} %{YEAR} %{TIME} %{TZ}
TIMESTAMP_RFC2822	%{DAY}, %{MONTHDAY} %{MONTH} %{YEAR} %{TIME} %{ISO8601_TIMEZONE}
TIMESTAMP_OTHER	%{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{TZ} %{YEAR}
TIMESTAMP_EVENTLOG	%{YEAR}%{MONTHNUM2}%{MONTHDAY}%{HOUR}%{MINUTE}%{SECOND}
SYSLOGTIMESTAMP	%{MONTH} +%{MONTHDAY} %{TIME}
HTTPDATE	%{MONTHDAY}/%{MONTH}/%{YEAR}:%{TIME} %{TZOFFSET}

별칭

이름	다음과 동일
NS	NOTSPACE
QS	QUOTEDSTRING
HOST	HOSTNAME
PID	POSINT
USER	USERNAME