커스텀 로그

커스텀 스키마 정의, 작성 및 관리

개요

Panther는 사용자가 맞춤 로그 스키마를 정의할 수 있도록 합니다. 맞춤 로그는 을 통해 Panther에 수집할 수 있으며, 사용자가 정의한 스키마는 데이터를 정규화하고 분류합니다. 데이터 전송그리고 사용자의 맞춤 스키마가 데이터를 정규화하고 분류합니다.

이 페이지에서는 필요한 맞춤 스키마 수를 결정하고, 스키마를 추론하고 작성 및 관리하는 방법과 를 사용하여 스키마를 업로드하는 방법을 설명합니다. Panther 분석 도구(PAT)에 대한 사용 방법은 pantherlog CLI 도구로 맞춤 스키마를 작업하는 방법은 를 참조하세요. pantherlog CLI 도구.

맞춤 스키마는 으로 식별됩니다. 맞춤. 이름에 접두사가 붙으며 기본 제공 로그 유형이 사용되는 모든 곳에서 사용할 수 있습니다:

• 로그 수집

  • 다음을 통해 맞춤 로그를 온보드할 수 있습니다 데이터 전송 (예: HTTP 웹후크, S3, SQS, Google Cloud Storage, Azure Blob Storage)

• 탐지

  • 다음에 대한 규칙 및 예약 규칙 을(를) 맞춤 스키마에 대해 작성할 수 있습니다.

• 조사

  • 에서의 데이터와 검색 에서의 데이터를 쿼리할 수 있습니다 데이터 탐색기. Panther는 해당 스키마를 사용하는 소스를 온보드하면 맞춤 스키마에 대해 새로운 테이블을 생성합니다.

필요한 맞춤 스키마 수 결정하기

맞춤 소스에서 들어오는 데이터를 표현하기 위해 몇 개의 스키마가 필요한지 결정하는 확정적인 규칙은 없으며, 이는 다양한 로그 이벤트의 용도와 필드 겹침 정도에 따라 달라집니다.

일반적으로 각 로그 유형의 형태를 자체 스키마로 표현하는 데 필요한 최소한의 스키마 수를 만드는 것이 좋습니다(같은 스키마로 표현할 수 있는 로그 유형 간의 약간의 필드 차이를 허용할 여지가 있음). 경험 법칙으로는: 서로 다른 두 로그 유형(예: 애플리케이션 감사 로그와 보안 경고)의 필수 필드가 50% 미만으로 겹친다면 서로 다른 스키마를 사용해야 합니다.

아래 표에서 예시 시나리오와 해당 스키마 권장 사항을 확인하세요:

시나리오	스키마 권장 사항
필드가 있는 하나의 로그 유형이 있고 A, B및 C다른 유형의 로그에는 필드가 있는 경우 X, Y및 Z.	각 로그 유형마다 두 개의 다른 스키마를 만드세요. 기술적으로 모든 필드( A, B, C, X, Y, Z)를 선택 사항(즉, required: false)로 표시한 하나의 스키마를 만드는 것이 가능하지만, 탐지 규칙 작성 및 검색과 같은 하류 작업이 더 어려워지므로 권장되지 않습니다.
항상 필드가 있는 하나의 로그 유형이 있고 A, B및 C항상 필드가 있는 다른 유형의 로그가 있다면 A, B및 Z.	필드를 필수로 표시하고 필드를 선택 사항으로 표시하는 하나의 스키마를 만드세요. A 와 B 필드를 C 와 Z 선택 사항으로 표시하세요.

필요한 스키마 수를 결정한 후, 스키마를 정의할 수 있습니다.

둘 이상의 스키마가 필요하다고 판단했고 Panther의 스키마 추론 도구 를 사용하여 스키마를 생성하려는 경우 다음 중 하나를 수행하는 것이 권장됩니다:

• 다음을 사용하세요 샘플 로그에서 맞춤 스키마 추론하기 다른 로그 유형의 샘플로 추론 방법을 여러 번 사용하세요

• 구조가 다른 데이터를 S3 버킷의 별도 폴더로 전송한 다음, 를 사용하세요 이력 S3 데이터에서 맞춤 스키마 추론하기 추론 방법

다음 중 하나를 사용하는 경우 Panther에서 수신된 S3 데이터에서 맞춤 스키마 추론하기 또는 Panther에서 수신된 HTTP 데이터에서 맞춤 스키마 추론하기 방법을 사용하면 해당 소스로 전송된 모든 로그 유형을 나타내는 단일 스키마를 Panther가 생성할 위험이 있습니다.

맞춤 스키마 정의 방법

맞춤 로그 유형의 경우 Panther는 JSON, XML 또는 CSV(헤더 유무 포함) 형식으로 전송된 데이터를 수집하는 것을 지원합니다. 단, 스키마를 추론할 때Panther는 헤더 없는 CSV를 지원하지 않습니다.

맞춤 스키마를 정의하는 방법은 여러 가지가 있습니다. 다음을 수행할 수 있습니다:

• 데이터에서 하나 이상의 스키마를 추론하기: 참조 Panther에서 자동으로 스키마 추론하기.

• 스키마를 수동으로 생성하기: 참조 스키마를 직접 생성하기.

Panther에서 자동으로 스키마 추론하기

스키마를 수동으로 작성하는 대신 Panther 콘솔이나 pantherlog CLI 도구가 데이터에서 스키마(또는 여러 스키마)를 추론하게 할 수 있습니다.

Panther가 스키마를 추론할 때, 데이터 샘플에 다음이 있는 경우 주의하세요:

• 타입이 object 이고 200개 이상의 필드를 가진 필드는 해당 필드가 타입으로 분류됩니다 json.

• 혼합 데이터 타입을 가진 필드(즉, 배열에 여러 데이터 타입이 있거나 필드 자체가 다양한 데이터 타입을 가지는 경우)가 있으면 해당 필드는 타입으로 분류됩니다 json.

스키마 추론 방법

Panther에서 스키마를 추론하는 방법은 여러 가지가 있습니다:

• Panther 콘솔에서:

  • 업로드한 샘플 데이터에서 스키마를 추론하려면 아래의 샘플 로그에서 맞춤 스키마 추론하기 탭을 참조하세요.

  • Panther에서 수신된 S3 데이터에서 스키마를 추론하려면, Panther에서 수신된 S3 데이터에서 맞춤 스키마 추론하기 탭을 참조하세요.

  • 이력 S3 데이터에서 하나 이상의 스키마를 추론하려면, 이력 S3 데이터에서 맞춤 스키마 추론하기 탭을 참조하세요.

  • Panther에서 수신된 HTTP 데이터에서 스키마를 추론하려면, Panther에서 수신된 HTTP 데이터에서 맞춤 스키마 추론하기 탭을 참조하세요.

• CLI 워크플로우에서:

  • 다음을 사용하세요 pantherlog infer 명령을 사용하세요.

샘플 로그

샘플 로그에서 맞춤 스키마 추론하기

샘플 로그를 Panther 콘솔에 업로드하여 스키마를 생성할 수 있습니다. 명령줄을 사용하려면 여기에 있는 pantherlog CLI 도구 사용 지침을 따르세요 여기에서 pantherlog CLI 도구 사용에 대한 지침.

시작하려면 다음 단계를 따르세요:

1. Panther 콘솔에 로그인합니다.

2. 왼쪽 탐색 표시줄에서 클릭하세요 구성 > 스키마.

3. 페이지 오른쪽 상단의 검색창 옆에서 클릭하세요 새로 만들기.

4. 입력하세요 스키마 ID, 설명및 참조 URL.

   • 설명(Description)은 테이블에 대한 내용에 사용되며, 참조 URL은 내부 리소스에 링크하는 데 사용할 수 있습니다.

5. 선택적으로 활성화 필드 검색 토글을 클릭하여 켜기를 활성화하세요. 에 대해 자세히 알아보세요 필드 검색.

6. 다음 스키마 섹션, 의 샘플 이벤트에서 스키마 추론하기 타일에서, 클릭 시작.

7. 다음 샘플 로그에서 스키마 추론하기 모달에서 라디오 버튼 중 하나를 클릭하세요:

   • 샘플 파일 업로드: 샘플 로그 세트 업로드: 시스템에서 파일을 팝업 모달로 끌어오거나 클릭하세요 파일 선택 그리고 로그 파일을 선택하세요.

     • Panther는 스키마 추론을 위해 헤더 없는 CSV를 지원하지 않습니다. 단 Panther AI가 활성화된 경우는 예외입니다. Panther AI

   • 활성화된 경우샘플 이벤트 붙여넣기

8. : 에디터에 샘플 이벤트를 직접 붙여넣거나 입력하세요.

9. 파일을 업로드한 후 Panther는 UI에 원시 로그를 표시합니다. 전체 원시 로그를 보려면 로그 라인을 확장할 수 있습니다. 다른 샘플 세트를 추가하면 이전에 업로드한 샘플이 덮어써진다는 점을 유의하세요. 적절한 (스트림 유형).

   • 각 유형의 예시는 여기를 참조하세요 자동:

   • Panther가 적절한 스트림 유형을 자동으로 감지합니다. 라인:

   • 이벤트는 새 줄 문자로 구분됩니다. JSON:

   • 이벤트가 JSON 형식입니다. JSON 배열:

   • 이벤트가 JSON 객체의 배열 안에 있습니다. CloudWatch Logs:

   • 이벤트가 CloudWatch Logs에서 왔습니다. XML: 이벤트가.

10. XML 형식 JSON 로그를 업로드한 경우 클릭하세요스키마 추론 (JSON이 아닌 로그를 업로드했고 Panther AI가활성화되어 있다면, 클릭하세요 Panther AI로 스키마 추론그런 다음 확인).

    • Panther가 원시 샘플 로그에서 스키마 추론을 시작합니다.

    • Panther는 여러 타임스탬프 형식을 추론하려 시도합니다.

    • 스키마가 생성되면 스키마 편집기 상자에 표시됩니다.

11. 업로드한 샘플 로그와 스키마에 대해 수행한 변경 사항에 대해 스키마가 제대로 작동하는지 확인하려면 클릭하세요 테스트 실행.

    • 이 테스트는 스키마의 구문이 올바른지와 Panther에 업로드한 로그 샘플이 스키마와 성공적으로 일치하는지 검증합니다.

    • 테스트 결과를 보려면 클릭하세요 이벤트 보기.

      • 성공적으로 일치한 모든 로그는 아래의 일치됨에 표시됩니다; 각 로그는 열, 필드 및 JSON 뷰를 표시합니다.

      • 성공적으로 일치하지 않은 모든 로그는 아래의 일치하지 않음에 표시됩니다; 각 로그는 오류 메시지와 원시 로그를 표시합니다.

12. 클릭 저장 스키마를 게시하려면 클릭하세요.

Panther는 업로드된 모든 로그에서 추론하지만 스키마를 생성할 때 빠른 응답 시간을 보장하기 위해 최대 100개의 로그만 표시합니다.

Panther에서 수신된 S3 데이터

기존 S3 데이터

HTTP(웹후크) 소스에서 Panther로 스트리밍되는 실시간 데이터를 사용하여 맞춤 로그 소스용 스키마를 생성하고 게시할 수 있습니다. 먼저

스키마를 직접 생성하기

맞춤 스키마를 수동으로 만드는 방법

맞춤 스키마를 수동으로 생성하려면:

1. Panther 콘솔의 왼쪽 탐색 바에서 클릭하십시오 구성 > 스키마.

2. 오른쪽 상단에서 클릭 새로 만들기.

3. 입력하세요 스키마 ID, 설명및 참조 URL.

   • 설명(Description)은 테이블에 대한 내용에 사용되며, 참조 URL은 내부 리소스에 링크하는 데 사용할 수 있습니다.

4. 선택적으로 활성화 자동 필드 검색 토글을 클릭하여 켜기를 활성화하세요. 에 대해 자세히 알아보세요 필드 검색.

5. 다음 스키마 섹션, 의 스키마를 처음부터 생성 타일에서, 클릭 시작.

   • 설정은 스키마 섹션은 기본적으로 별도 섹션. 전체 스키마를 하나의 편집기 창에 작성하려면 단일 편집기.

6. 다음 파서 섹션에서 스키마에 기본(JSON/XML) 이외의 파서가 필요한 경우 해당 파서를 선택하세요. 다른 파서 옵션에 대해서는 다음 페이지에서 자세히 알아보십시오: 스크립트 로그 파서 Fastmatch 로그 파서

   • 정규식 로그 파서

   • CSV 로그 파서

   • 필드 및 지표

   • 섹션에 YAML 로그 스키마 필드를 작성하거나 붙여넣으십시오.

7. 다음 스키마 작성 스키마 구성에 대해 자세히 알아보려면

   • 참조 Panther가 생성한 스키마 필드 제안

   • (선택 사항) Universal Data Model 섹션에서 스키마에 대한 핵심 필드 매핑을 정의하십시오. 자세한 내용은.

8. 맞춤 로그 스키마에서 핵심 필드 매핑하기 창 하단에서 클릭하여 스키마에 오류가 없는지 확인하십시오.

   • 구문 검사는 로그 스키마의 구문만 확인합니다. 이름 충돌로 인해 저장에 실패할 수 있습니다. 이제.

9. 로 이동하여 새 소스를 추가하거나 기존 소스를 수정하여 새 테스트 실행 Custom.SampleAPI

   • _로그 유형을 사용하도록 설정할 수 있습니다. Panther가 이 소스에서 이벤트를 수신하면 로그를 처리하여

10. 클릭 저장.

custom_sampleapi 구성 > 로그 소스 테이블에 저장합니다. 또한 이제 이러한 로그에 대해 대응하는 탐지 규칙을 작성하고 을(를) 사용하여 쿼리할 수 있습니다. 아래 탭을 참조하여 JSON, XML 및 텍스트 로그용 스키마 작성 방법을 알아보십시오.

JSON 로그 JSON 로그용 스키마 작성 각 줄이 JSON인 로그 파일을 파싱하려면 각 로그 항목의 구조를 설명하는 로그 스키마를 정의해야 합니다. 검색 또는 데이터 탐색기.

Panther가 생성한

Panther 콘솔에서 YAML 사양을 직접 편집하거나

선호하는 편집기/IDE에서 오프라인으로 준비할 수 있습니다

. 로그 스키마의 구조 및 필드에 대한 자세한 내용은

로그 스키마

참조를 참조하십시오. 또한 JSON 로그에서starlark 파서를 사용하여 Panther에서 기본적으로 지원하지 않는 변환을 수행할 수 있습니다.아래 예제 스키마에서 첫 번째 탭은 JSON 로그 구조를 표시하고 두 번째 탭은 로그 스키마를 보여줍니다. JSON 로그 예제.

"method": "GET", "path": "/-/metrics", "format": "html", "controller": "MetricsController", "action": "index",.

"status": 200,

"params": [],

{
  "remote_ip": "1.1.1.1",
  "user_id": null,
  "username": null,
  "ua": null,
  "queue_duration_s": null,
  "correlation_id": "c01ce2c1-d9e3-4e69-bfa3-b27e50af0268",
  "cpu_s": 0.05,
  "db_duration_s": 0,
  "view_duration_s": 0.00039,
  "duration_s": 0.0459,
  "user_id": null,
  "username": null,
  "ua": null,
  "queue_duration_s": null,
  "correlation_id": "c01ce2c1-d9e3-4e69-bfa3-b27e50af0268",
  "cpu_s": 0.05,
  "db_duration_s": 0,
  "tag": "test",
  "time": "2019-11-14T13:12:46.156Z"
}

축약된 JSON 로그 예시:

이를 활용하세요 축약된 JSON 로그 예시 사용할 때 pantherlog 도구 또는 Panther 콘솔 내에서 스키마를 생성할 때.

{"method":"GET","path":"/-/metrics","format":"html","controller":"MetricsController","action":"index","status":200,"params":[],"remote_ip":"1.1.1.1","user_id":null,"username":null,"ua":null,"queue_duration_s":null,"correlation_id":"c01ce2c1-d9e3-4e69-bfa3-b27e50af0268","cpu_s":0.05,"db_duration_s":0,"view_duration_s":0.00039,"duration_s":0.0459,"tag":"test","time":"2019-11-14T13:12:46.156Z"}

로그 스키마 예시

XML 로그

텍스트 로그

스키마 필드 제안

사용자 지정 스키마를 생성하거나 편집할 때 Panther가 생성한 필드 제안을 사용할 수 있습니다. 이 기능을 사용하려면:

1. Panther 콘솔에서 YAML 스키마 편집기로 들어갑니다.

   • 기존 스키마를 편집하려면 구성 > 스키마 > [편집하려는 스키마 이름] > 편집을 클릭하고.

   • 새 스키마를 생성하려면 구성 > 스키마 > 새로 만들기.

2. 를 클릭하세요 Command+I 키를 누르세요 macOS에서 (또는 Control+I PC에서).

   • 스키마 편집기는 텍스트 커서의 위치에 따라 사용 가능한 속성 및 연산을 표시합니다.

     

     YAML 스키마 편집기가 표시됩니다. 커서 아래에 concat, copy, description, indicators, mask 등 다양한 필드 제안이 있는 상자가 있습니다.

사용자 지정 스키마 관리

사용자 지정 스키마 편집

Panther는 사용자 지정 스키마를 편집할 수 있게 해 줍니다. 구체적으로 다음 작업을 수행할 수 있습니다:

• 새 필드 추가.

• 기존 필드 이름 변경 또는 삭제.

• 기존 필드의 모든 속성을 편집, 추가 또는 제거.

• 구성을 수정하여 버그를 수정하거나 새로운 패턴을 추가합니다. "format": "html", 구성을 수정하여 버그를 수정하거나 새로운 패턴을 추가합니다.

• 스키마 보관 또는 보관 해제.

• 필드 검색 활성화 또는 비활성화.

필드의 유형, 새로 수집된 데이터는 새 타입과 일치하게 되며, 이전에 수집된 데이터는 기존 타입을 유지합니다.

사용자 지정 스키마를 편집하려면:

1. Panther 콘솔에서 해당 사용자 지정 스키마의 세부 페이지로 이동하세요.

2. 세부 페이지 오른쪽 상단에서 편집을 클릭하고.\

   
3. 클릭하세요.

   • (선택 사항) Universal Data Model 섹션에서 스키마에 대한 핵심 필드 매핑을 정의하십시오. 자세한 내용은.

   • 원하는 대로 스키마를 수정하세요. 변경 사항을 더 쉽게 확인하거나(또는 삭제된 라인을 복사하거나 되돌리려면) 그런 다음 단일 편집기,.\

     
4. 오른쪽 상단에서 클릭하십시오 Diff 보기.

클릭 테스트 실행 YAML의 구조 준수를 확인하려면 Diff 보기을(를) 클릭하세요. 규칙은

를 클릭한 후에만 검사됩니다.

업데이트 관련 탐지 및 저장된 쿼리 스키마 필드를 편집하면 관련 탐지 및 저장된 쿼리를 업데이트해야 할 수 있습니다. 영향을 받는 탐지 및 저장된 쿼리 목록을 보고, 업데이트하고, 테스트하려면 스키마 편집기 위에 표시되는 알림 배너에서 관련 탐지

쿼리 영향

쿼리는 타입 에 대한 변경 전반에서 작동하지만, 쿼리가 타입 간에 캐스트할 수 없는 필드 타입을 필요로 하는 함수나 연산자를 사용하면 예외입니다. 타입들.

• 좋은 예: 해당 타입 이(가) string 에서 int 으로 편집되며 기존 모든 값이 숫자인 경우(예: "1" ). 함수 sum 은 이전 값과 새 값을 함께 집계합니다.

• 나쁜 예: 해당 타입 이(가) string 에서 int 기존 값 중 일부가 숫자가 아닌 경우(예: "apples" ). 함수 sum 숫자가 아닌 값을 제외합니다.

쿼리 캐스트 가능성 표

이 표는 어떤 타입들 가 쿼리를 실행할 때 각 타입 로 캐스트될 수 있는지를 보여줍니다. 스키마 편집을 통해 어떤 타입 든 다른 타입.

타입 From -> To	부울	string	int	빅인트	실수	타임스탬프
부울	같음	예	예	예	아니요	아니요
string	예	같음	숫자만	숫자만	숫자만	숫자만
int	예	예	같음	예	예	숫자만
빅인트	예	예	예	같음	예	숫자만
실수	예	예	예	예	같음	숫자만
타임스탬프	아니요	예	아니요	아니요	아니요	같음

사용자 지정 스키마 보관 및 보관 해제

Panther에서는 사용자 지정 스키마를 보관하거나 보관 해제할 수 있습니다. 스키마가 더 이상 데이터 수집에 사용되지 않고 Panther 전반의 다양한 드롭다운 선택 항목에 표시되기를 원하지 않을 때 스키마를 보관하도록 선택할 수 있습니다. 스키마를 보관하려면 해당 스키마가 어떤 로그 소스에서도 사용 중이지 않아야 합니다. 보관된 스키마는 여전히 영구적으로 존재하며 스키마를 완전히 삭제할 수는 없습니다.

스키마를 보관해도 해당 스키마를 사용하여 이미 데이터 레이크에 저장된 데이터에는 영향을 주지 않습니다—해당 데이터는 여전히 데이터 탐색기 와 검색을(를) 사용하여 쿼리할 수 있습니다. 기본적으로 보관된 스키마는 스키마 목록 뷰(에서 볼 수 있음)에 표시되지 않지만, 구성 > 스키마을(를) 수정하여 표시할 수 있습니다. 상태내의 필터오른쪽 상단에서. 에서는 데이터 탐색기테이블 아래에 보관된 스키마의 테이블이 표시되지 않습니다..

보관된 스키마와 동일한 이름으로 새 스키마를 생성하려고 하면 이름 충돌이 발생하며 기존 스키마를 대신 보관 해제하고 편집하라는 메시지가 표시됩니다.

사용자 지정 스키마를 보관하거나 보관 해제하려면:

1. Panther 콘솔에서 구성 > 스키마.

   • 로 이동하세요.

2. 보관하거나 보관 해제하려는 스키마를 찾으세요. 스키마 행의 오른쪽에 있는 또는 클릭하세요 보관

   

   • 보관 해제 아이콘..

3. 스키마를 보관하는 경우 해당 스키마가 하나 이상의 로그 소스와 현재 연결되어 있으면 확인 모달이 먼저 스키마 분리를 요청합니다. 분리한 후에 클릭하세요 계속.

새로 고침

확인 모달에서 클릭하세요 사용자 지정 스키마 테스트 Panther 콘솔의 스키마 편집 페이지에 있는 "샘플 로그로 스키마 테스트" 기능은 Lines, CSV(헤더 유무 포함), JSON, JSON Array, XML, CloudWatch Logs 및 Auto를 지원합니다. 예시는

스트림 유형

• gzip

• zstd(사전 없음)

을 참조하세요.

또한 위 로그 형식들은 다음 형식으로 압축될 수 있습니다:

1. 멀티라인 로그는 JSON 및 JSONArray 형식에서 지원됩니다. 구성 > 스키마.

2. 사용자 지정 스키마가 로그에 대해 작동하는지 확인하려면 샘플 로그로 테스트할 수 있습니다:.

3. Panther 콘솔의 왼쪽 네비게이션 바에서 스키마 테스트.

   

를 클릭하세요

사용자 지정 스키마를 Panther 콘솔 외부에서 유지 관리하여 버전 관리를 하거나 업데이트 전에 변경 사항을 검토하려는 경우, Panther 분석 도구 (PAT)를 사용하여 YAML 파일을 프로그래밍 방식으로 업로드할 수 있습니다.

업로더 명령은 기본 경로를 인수로 받아 확장자가 .yml 와 .yaml.

인 모든 파일을 재귀적으로 검색합니다.

스키마 파일을 관련 없는 파일과 분리하여 보관하는 것이 권장됩니다. 그렇지 않으면 잘못된 스키마 파일을 업로드하려다 업로드 중 오류가 발생할 수 있습니다.

panther_analysis_tool update-custom-schemas --path ./schemas

설정은 업로더는 기존 스키마가 있는지 확인하고 업데이트를 진행하거나 일치하는 스키마 이름이 없으면 새로 생성합니다.스키마 JSON 로그 예제.

필드는 YAML 파일에 항상 정의되어 있어야 하며 업데이트가 성공하려면 기존 스키마 이름과 일치해야 합니다. 사용 가능한 모든 CI/CD 필드 목록은

PAT를 통해 업로드된 스키마는 Panther 콘솔에서 수행된 업데이트와 동일한 기준으로 검증됩니다.

Panther 지식 기반을 방문하여 사용자 지정 로그 문제 해결하기에 대한 문서 보기 자주 묻는 질문에 대한 답변과 일반적인 오류 및 문제 해결에 도움이 되는 자료를 제공합니다.