Ctrlk
Knowledge BaseRelease NotesRequest Demo
For the complete documentation index, see llms.txt. This page is also available as Markdown.

사용자 정의 로그

사용자 정의 스키마를 정의, 작성, 관리

개요

Panther를 사용하면 자체 사용자 지정 로그 스키마를 정의할 수 있습니다. 사용자 지정 로그를 Panther로 수집하려면 a를 통해 데이터 전송그리고 사용자 지정 스키마가 데이터를 정규화하고 분류합니다.

이 페이지에서는 필요한 사용자 지정 스키마 수를 결정하는 방법, 사용자 지정 스키마를 추론하고 작성하고 관리하는 방법, 그리고 다음을 사용하여 스키마를 업로드하는 방법을 설명합니다. Panther Analysis Tool (PAT)에 대한 자세한 사용 방법은 pantherlog 를 사용하여 사용자 지정 스키마를 다루는 방법은 다음을 참조하세요. pantherlog CLI 도구.

사용자 지정 스키마는 이름에 Custom. 접두사가 붙어 식별되며, 기본적으로 지원되는 로그 유형이 사용되는 모든 곳에서 사용할 수 있습니다:

  • 로그 수집

    • 다음을 통해 사용자 지정 로그를 온보딩할 수 있습니다. 데이터 전송 (예: HTTP 웹훅, S3, SQS, Google Cloud Storage, Azure Blob Storage)

  • 탐지

    • 다음을 작성할 수 있습니다. 룰 및 예약 룰 을 사용자 지정 스키마에 대해.

  • 조사

    • 다음에서 데이터를 쿼리할 수 있습니다. 검색 및 다음에서 데이터 탐색기. Panther는 이를 사용하는 소스를 온보딩하면 사용자 지정 스키마에 대한 새 테이블을 생성합니다.

필요한 사용자 지정 스키마 수 결정

사용자 지정 소스에서 들어오는 데이터를 표현하는 데 필요한 스키마 수를 정하는 데 정해진 룰은 없습니다. 이는 다양한 로그 이벤트의 의도와 그 사이의 필드 중복 정도에 따라 달라지기 때문입니다.

일반적으로는 각 로그 유형의 형태를 자체 스키마로 표현하는 데 필요한 최소한의 스키마를 만드는 것이 권장됩니다(로그 유형 간 일부 필드 차이는 같은 스키마로 표현할 수 있도록 여지를 두고). 경험 룰은 다음과 같습니다. 서로 다른 두 로그 유형(예: 애플리케이션 감사 로그와 보안 알림)이 필요한 필드에서 50% 미만으로 겹친다면 서로 다른 스키마를 사용해야 합니다.

아래 표에서 예시 시나리오와 그에 대응하는 스키마 권장 사항을 확인하세요:

시나리오
스키마 권장 사항

필드 A, B, 및 C를 가진 한 종류의 로그와, 필드 X, Y, 및 Z.

를 가진 다른 종류의 로그가 있습니다.

기술적으로는 모든 필드A, B, C, X, Y, Z을(를) 선택 사항으로 표시한 하나의 스키마를 만드는 것이 가능하지만(즉, required: false), 이는 권장되지 않습니다. 디택션 작성 및 검색 같은 하위 작업이 더 어려워지기 때문입니다.

항상 필드 A, B, 및 C를 가지는 한 종류의 로그와, 항상 필드 A, B, 및 Z.

를 가진 또 다른 종류의 로그가 있습니다. 하나의 스키마를 만들고, 필드 A 및 B 는 필수로, 필드 C 및 Z 는 선택 사항으로 표시합니다.

필요한 스키마 수를 결정한 후에는 이를 정의할 수 있습니다.

하나 이상의 스키마가 필요하다고 판단되었고 Panther의 스키마 추론 도구 를 사용해 생성하고 싶다면, 다음 중 하나를 수행하는 것이 좋습니다:

다음을 사용하면 Panther에서 수신한 S3 데이터에서 사용자 지정 스키마 추론 또는 Panther에서 수신한 HTTP 데이터에서 사용자 지정 스키마 추론 방법을 사용할 경우, Panther가 소스로 전송된 모든 로그 유형을 나타내는 단일 스키마를 생성할 위험이 있습니다.

사용자 지정 스키마를 정의하는 방법

사용자 지정 로그 유형의 경우 Panther는 JSON, XML 또는 CSV(헤더 포함 또는 미포함) 형식으로 전송된 데이터 수집을 지원합니다. 스키마 추론의 경우 Panther는 헤더가 없는 CSV를 지원하지 않습니다.

사용자 지정 스키마를 정의하는 방법은 여러 가지가 있습니다. 다음이 가능합니다:

Panther에서 자동으로 스키마 추론

스키마를 수동으로 작성하는 대신 Panther Console 또는 pantherlog CLI 도구가 데이터에서 스키마(또는 여러 스키마)를 추론하도록 할 수 있습니다.

Panther가 스키마를 추론할 때, 데이터 샘플에 다음이 있는 경우를 참고하세요:

  • 다음 유형의 필드 object 가 200개를 초과하는 필드의 경우 해당 필드는 유형 json.

  • 로 분류됩니다. 혼합 데이터 유형을 가진 필드(즉, 여러 데이터 유형이 있는 배열이거나 필드 자체에 다양한 데이터 유형이 있는 경우)는 해당 필드가 유형 json.

스키마 추론 방법

Panther에서 스키마를 추론하는 방법은 여러 가지가 있습니다:

샘플 로그에서 사용자 지정 스키마 추론

샘플 로그를 Panther Console에 업로드하여 스키마를 생성할 수 있습니다. 대신 명령줄을 사용하려면 다음의 여기에서 pantherlog CLI 도구 사용 방법 안내를 따르세요.

시작하려면 다음 단계를 따르세요:

  1. Panther Console에 로그인합니다.

  2. 왼쪽 탐색 모음에서 스키마.

  3. 페이지 오른쪽 상단의 검색창 옆에서 새로 만들기.

  4. 다음을 입력하세요. 스키마 ID, 설명, 및 참조 URL.

    • 설명은 테이블 내용에 대한 것이며, 참조 URL은 내부 리소스로 연결하는 데 사용할 수 있습니다.

  5. 선택적으로 다음을 활성화할 수 있습니다. 필드 검색 토글을 클릭하여 켜기. 자세한 내용은 다음에서 확인하세요. 필드 검색.

  6. 다음 스키마 섹션, 샘플 이벤트에서 스키마 추론 타일을 클릭하세요: 시작.

  7. 다음 샘플 로그에서 스키마 추론 모달에서 다음 라디오 버튼 중 하나를 클릭하세요:

  8. 파일을 업로드한 후 Panther는 UI에 원시 로그를 표시합니다. 로그 줄을 확장하여 전체 원시 로그를 볼 수 있습니다. 다른 샘플 집합을 추가하면 이전에 업로드한 샘플을 덮어쓴다는 점에 유의하세요.

  9. 적절한 스트림 유형 (각 유형의 예시는 여기에서 확인하세요).

    • 자동: Panther가 적절한 스트림 유형을 자동으로 감지합니다.

    • 줄: 이벤트가 새 줄 문자로 구분됩니다.

    • JSON: 이벤트가 JSON 형식입니다.

    • JSON 배열: 이벤트가 JSON 객체 배열 안에 있습니다.

    • CloudWatch Logs: 이벤트가 CloudWatch Logs에서 왔습니다.

    • XML: 이벤트가 XML 형식입니다.

  10. JSON 로그를 업로드한 경우 스키마 추론를 클릭하세요. (JSON이 아닌 로그를 업로드했고 Panther AI가 활성화되어 있으면, 다음을 클릭하세요. Panther AI로 스키마 추론그다음 확인).

    • Panther가 원시 샘플 로그에서 스키마 추론을 시작합니다.

    • Panther는 여러 타임스탬프 형식을 추론하려고 시도합니다.

    • 스키마가 생성되면 스키마 편집기 상자에 표시됩니다.

  11. 업로드한 샘플 로그와 스키마에 적용한 변경 사항에 대해 스키마가 제대로 작동하는지 확인하려면 테스트 실행.

    • 이 테스트는 스키마의 구문이 올바른지와 Panther에 업로드한 로그 샘플이 스키마와 성공적으로 일치하는지 검증합니다.

    • 테스트 결과를 보려면 이벤트 보기. On the left is a "Test" button. To its right is the text "Schema test against 1 total raw events completed," then a "View Events" button.

      • 성공적으로 일치한 모든 로그는 일치 항목아래에 표시되며, 각 로그에는 열, 필드, JSON 보기가 표시됩니다.

      • 성공적으로 일치하지 않은 모든 로그는 불일치 항목아래에 표시되며, 각 로그에는 오류 메시지와 원시 로그가 표시됩니다.

  12. 클릭합니다 저장 를 클릭하여 스키마를 게시하세요.

Panther는 업로드된 모든 로그에서 추론하지만, 스키마를 생성할 때 빠른 응답 시간을 보장하기 위해 최대 100개의 로그만 표시합니다.

Panther에서 수신한 S3 데이터에서 사용자 지정 스키마 추론

S3 버킷에서 Panther로 스트리밍되는 라이브 데이터를 사용해 사용자 지정 로그 소스에 대한 스키마를 생성하고 게시할 수 있습니다. 먼저 S3 데이터를 확인한 다음 스키마를 추론하고 스키마를 테스트합니다그다음 스키마 테스트.

원시 S3 데이터 보기

S3 버킷을 Panther에 온보딩한 후, Panther로 들어오는 원시 데이터를 보고 이를 바탕으로 스키마를 추론할 수 있습니다:

  1. 다음 안내에 따라 S3 버킷을 Panther에 온보딩 스키마를 설정하지 않은 상태로

  2. 로그 소스의 개요 탭을 보고 아래로 스크롤한 다음 데이터 분류를 시작하려면 스키마를 연결하세요 섹션. The source overview page reads, "Attach a schema to start classifying data". Below, there are two options, each with their own Start button: "I want to add an existing schema" and "I want to generate a schema from raw events"

  3. 다음 옵션 중에서 선택하세요:

    • 기존 스키마를 추가하고 싶습니다: 이미 스키마를 만들었고 Panther가 로그를 읽을 S3 접두사를 알고 있다면 이 옵션을 선택하세요. 시작 타일에서

      • 다음이 표시됩니다. S3 접두사 및 스키마 팝업 모달: On the S3 Prefixes & Filters screen, there is an area where you can enter a S3 prefix. There are additional buttons to "Add Exclusion Filters" and "Add schemas"

    • 원시 이벤트에서 스키마를 생성하고 싶습니다: 이 옵션을 선택하면 이 버킷의 라이브 데이터에서 스키마를 생성하고 Panther가 로그를 읽을 접두사를 정의할 수 있습니다. 시작 타일에서

      • 데이터가 Panther로 스트리밍되기 시작하기까지 최대 15분이 걸릴 수 있습니다.

      • 이동된 페이지에서 화면 하단에 Panther가 수신한 원시 데이터를 볼 수 있습니다: The schema inference page is shown, with a Raw Events tile containing a number of raw JSON events in a table. In the leftmost column, each row has a "View JSON" button. The second column contains the raw events.

        • 이 데이터는 다음에서 표시됩니다. data-archiver이며, 모든 S3 로그 소스에 대해 최대 15일 동안 원시 로그를 보관하는 Panther 관리 S3 버킷입니다.

        • S3 버킷에 배치된 원시 로그 이벤트만 이후 에 Panther에서 소스를 구성한 경우에만 표시되며, 더 이전 시점까지 보도록 시간 범위를 설정했더라도 마찬가지입니다.

        • 원시 이벤트가 JSON 형식이면 JSON 보기 를 왼쪽 열에서 클릭하여 JSON으로 볼 수 있습니다.

원시 데이터에서 스키마 추론

이전 섹션에서 원시 이벤트에서 스키마를 생성하고 싶습니다 를 선택했다면 이제 스키마를 추론할 수 있습니다.

  1. 데이터가 다음에 채워지는 것을 확인하면 원시 이벤트에서, 문자열 Search, S3 Prefix, Excluded Prefix 및/또는 Time Period 필터를 사용해 스키마를 추론할 이벤트를 필터링할 수 있습니다. 원시 이벤트 섹션.

  2. 클릭합니다 스키마 추론 에서 스키마를 생성합니다. The image shows a section in the Panther Console labeled "Raw Events." On the right, there is a blue button labeled "Infer Schema." At the top of Raw Events, there is a Search bar, fields for S3 Prefix and Excluded Prefix, and a dropdown menu labeled Time Period.

  3. 다음 페이지에서 새 스키마 추론 팝업되는 모달에 다음을 입력하세요:

    • 새 스키마 이름: 스키마가 게시되면 데이터 레이크의 테이블에 매핑될 스키마 이름입니다.

      • 이름은 항상 다음으로 시작하며 Custom. 뒤에는 대문자가 와야 합니다.

    • S3 Prefix: 스키마를 추론하기 전에 설정된 기존 접두사나 새 접두사를 사용하세요.

      • 선택한 접두사는 S3 버킷의 해당 접두사에서 데이터를 필터링하여 추론한 스키마로 전달합니다.

      • 특정 접두사를 지정할 필요가 없다면 이 필드를 비워 두어 *. The image shows a section in the Panther Console labeled "Infer New Schema." At the top, there is a header labeled "Fill in new Schema name" and a field labeled "New Schema Name." Below that, there is a header labeled "Select S3 prefix" and fields labeled "S3 Prefix". At the bottom, there is a blue button labeled "Infer Schema."

  4. 클릭합니다 스키마 추론.

    • 라고 하는 범용 접두사를 사용할 수 있습니다. 페이지 상단에.

      • 클릭합니다 성공적으로 추론됨. The source page says the schema was successfully inferred. There is a Done button.

    • 스키마가 이후 초안 모드로 배치되며, 테스트 후 프로덕션에 게시할 준비가 되면 됩니다.

  5. 이름을 클릭하여 스키마와 해당 필드를 검토하세요. In the Schemas section, the schema called Custom.CaraS3Countries is shown, with a "Draft" label. Below it is a section to Test Schemas, with a Run Test button.

    • 스키마가 초안에 있으므로 필요에 따라 필드를 변경, 제거 또는 추가할 수 있습니다. The image shows an example schema from the Panther Console. There is a field labeled "SchemaID" and it contains the text "Custom.CaraS3Countries." The Reference URL field and Description field are not filled in. The schema is in a code block labeled "Event Schema." At the bottom, there is a blue button labeled "Validate Schema."

원시 데이터로 스키마 테스트

스키마와 접두사가 정의되면 원시 데이터에 대해 스키마 구성을 테스트할 수 있습니다.

  1. 다음 스키마 테스트 화면 상단의 섹션에서 테스트 실행. The image shows a section in the Panther Console labeled "Test Schemas." On the right, there is a blue button labeled "Run Test."

  2. 다음 페이지에서 스키마 테스트 팝업되는 모달에서 다음을 선택하세요. Time Period 테스트할 범위를 선택한 다음 테스트 시작. The image shows a section in the Panther Console labeled "Test Schemas." The center of the image contains the text "Test how your schemas perform during a selected time period." At the bottom, there is a drop-down menu labeled "Time Period" with the option "Last 14 days" selected. To the right of that, there is a blue button labeled "Start Test."

    • 시간 범위와 데이터 양에 따라 테스트가 완료되는 데 몇 분이 걸릴 수 있습니다. A section from the Panther Console labeled "Test finished - Elapsed Time 00min 00sec." The page shows Test Started Date, Events Date Start, Events Date End, Stream Type, Schemas Tested, Data Scanned, Matched Events, and Unmatched events.

    • 테스트가 시작되면 일치 및 불일치 이벤트 수와 함께 결과가 표시됩니다.

      • 일치 이벤트 는 스키마 구성과 성공적으로 분류될 이벤트 수를 나타냅니다.

      • 불일치 이벤트 는 스키마와 분류되지 않을 이벤트 수를 나타냅니다.

  3. 만약 불일치 이벤트가 있다면, 오류와 JSON을 검토하여 실패 원인을 파악하세요. The "Test Finished" screen in the Panther Console shows a list of specific errors and raw data.

    • 클릭합니다 스키마로 돌아가기필요에 따라 변경한 다음 스키마를 다시 테스트하세요.

  4. 클릭합니다 스키마로 돌아가기.

  5. 오른쪽 상단 모서리에서 다음을 클릭합니다 저장. On the source page, the schema name is shown. In the upper right corner is a Save button, which is circled.

    • 이제 추론된 스키마가 로그 소스에 연결되었습니다.

기존 S3 데이터에서 사용자 지정 스키마 추론

S3 버킷의 과거 데이터에서 사용자 지정 S3 로그 소스에 대해 하나 또는 여러 개의 스키마를 추론하고 저장할 수 있습니다(즉, 버킷에 추가된 데이터 이전 Panther에서 로그 소스로 온보딩되기 전에).

사전 요구 사항: S3 버킷을 Panther에 온보딩

1단계: Panther에서 S3 버킷 구조 보기

Panther에서 S3 버킷 소스를 만든 후 Panther Console에서 S3 버킷의 구조와 데이터를 볼 수 있습니다:

  1. Panther Console의 왼쪽 탐색 모음에서 로그 소스.

  2. S3 로그 소스를 클릭하세요.

  3. 로그 소스의 개요 탭을 보고 아래로 스크롤한 다음 데이터 분류를 시작하려면 스키마 연결 섹션.

  4. 오른쪽에서 버킷 데이터에서 스키마를 생성하고 싶습니다 타일을 클릭하세요: 시작.

    Panther에서 로그 소스의 Overview 탭에는 "버킷 데이터에서 스키마를 생성하고 싶습니다."라는 타일 옆에 "Start" 버튼이 있습니다.

    • S3 버킷의 폴더 검사 화면으로 이동됩니다. 여기에서 S3 버킷의 모든 폴더와 객체를 보고 탐색할 수 있습니다.

      The folder inspection view in the Panther Console

    • 또는 다음 이후 성공 페이지를 통해 S3 버킷의 폴더 검사 화면에 접근할 수 있습니다. S3 소스를 Panther에 온보딩한 뒤 에서 스키마 연결 또는 추론. On the success screen after onboarding an S3 source in Panther, there is a button labeled "Attach or infer schemas."

2단계: 데이터를 탐색하기

  • 폴더 검사 화면을 보고 있는 동안 객체를 클릭하세요.

    • 슬라이드아웃 패널이 나타나 해당 이벤트의 미리보기를 표시합니다:

In Panther, an S3 object is highlighted. A pop-over window is displaying a preview of its events.

이벤트가 제대로 렌더링되지 않으면(오류가 발생하거나 이벤트가 잘못 표시됨), S3 버킷 소스에 잘못된 스트림 유형이 선택되었을 수 있습니다. 이 경우 선택한 로그 형식은 n:

On the source's folder selection view in the Panther Console, the option to select a stream type appears at the top.

3단계: 각 폴더에 기존 스키마가 있는지 아니면 새 스키마를 추론해야 하는지 지정

버킷에 포함된 내용을 검토한 후, 버킷의 모든 데이터를 표현하는 데 하나 또는 여러 개의 스키마가 필요한지 결정할 수 있습니다. 다음으로, 구조가 서로 다른 데이터를 포함하는 폴더를 선택하고 새 스키마를 추론하거나 기존 스키마를 할당할 수 있습니다.

  1. S3 버킷의 데이터에서 하나 이상의 스키마를 추론해야 하는지 결정하세요.

    • S3 버킷의 모든 데이터 구조가 동일하고 따라서 하나의 스키마로 표현할 수 있다면 버킷 수준에서 기본 새 스키마 추론 옵션을 선택한 상태로 둘 수 있습니다. 이렇게 하면 버킷의 모든 데이터에 대해 단일 스키마가 생성됩니다.

      The "Infer 1 schema" button is in the upper right corner of the S3 folders page in the Panther Console.

    • S3 버킷에 여러 스키마로 분류해야 하는 데이터가 포함되어 있다면 버킷의 각 폴더에 대해 아래 단계를 따르세요:

      1. 폴더를 선택하고 포함.

        • 또는 처리되길 원하지 않는 폴더나 하위 폴더가 있다면 아닌 선택한 다음 제외.

      2. 데이터와 일치하는 기존 스키마가 있다면 행 오른쪽의 스키마 드롭다운을 클릭한 다음 스키마를 선택하세요: The schema dropdown is expanded next to the data object.

        • 기본적으로 새로 포함된 각 폴더에는 새 스키마 추론 옵션이 선택되어 있습니다.

  2. 클릭합니다 추론 n 스키마.

4단계: 스키마가 추론되기를 기다리기

스키마 추론 프로세스는 최대 15분이 걸릴 수 있습니다. 프로세스가 완료되는 동안 이 페이지를 떠나도 됩니다. 또한 이 프로세스를 조기에 중단하고, 실행된 시간 동안 추론된 스키마는 유지할 수 있습니다.

The source page in Panther shows the schema inference details, including an infer skipped and the number of events processed.

5단계: 결과 검토

추론 프로세스가 완료되면 생성된 스키마와 각 스키마 추론에 사용된 이벤트 수를 볼 수 있습니다. 또한 각 스키마가 원시 이벤트를 어떻게 구문 분석하는지 검증할 수 있습니다.

  1. 각 행의 오른쪽에 있는 재생 아이콘을 클릭하세요.

  2. 다음 타일을 클릭하세요: 이벤트 탭에서 원시 및 정규화된 이벤트를 확인하세요.

  3. 다음 타일을 클릭하세요: 스키마 탭에서 생성된 스키마를 확인하세요.

6단계: 스키마 이름 지정 및 소스 저장

소스를 저장하기 전에 이름 추가.

를 클릭하여 새로 추론된 각 스키마에 고유한 이름을 지정한 다음 소스 저장 를 오른쪽 상단에서 클릭할 수 있습니다.

Panther에서 수신한 HTTP 데이터에서 사용자 지정 스키마 추론

HTTP(webhook) 소스에서 Panther로 스트리밍되는 라이브 데이터를 사용해 사용자 지정 로그 소스에 대한 스키마를 생성하고 게시할 수 있습니다. 먼저 HTTP 데이터를 확인한 다음 스키마를 추론하고 스키마를 테스트합니다그다음 스키마 테스트.

원시 HTTP 데이터 보기

이후 HTTP 소스 를 Panther에서 만들면 Panther로 들어오는 원시 데이터를 보고 이를 바탕으로 스키마를 추론할 수 있습니다:

  1. 다음을 따르세요. HTTP 로그 소스 설정 안내 Panther에서.

    • HTTP 소스 설정 중에는 스키마를 선택하지 마세요.

  2. 로그 소스의 개요 탭을 보고 아래로 스크롤한 다음 데이터 분류를 시작하려면 스키마를 연결하세요 섹션. The Overview tab of the detail page of an HTTP source called "HTTP Holding Tank" is shown. There is a Basic Info section with fields like Source ID, HTTP Ingest URL, etc. Below, there is a section titled "Attach a schema to start classifying data." Within it are two options: I want to add an existing schema, and I want to generate a schema.

  3. 다음 옵션 중에서 선택하세요:

    • 기존 스키마를 추가하고 싶습니다: 이미 스키마를 만들었다면 이 옵션을 선택하세요. 클릭 시작 타일에서

      • HTTP 소스 편집 페이지로 이동되며, 여기에서 스키마 - 선택 사항 필드:

        The edit page for an HTTP source is shown. In the Basic Information section, the "Schemas - Optional" dropdown field is open, but no selections have been made.
        HTTP 소스 편집 페이지

    • 스키마를 생성하고 싶습니다: 실시간 데이터에서 스키마를 생성하려면 이 옵션을 선택하세요. 클릭 시작 타일에서

      • 다음 이후 몇 분 정도 기다려야 할 수 있습니다. POST한 이벤트가 Panther에서 보이도록 하려면 HTTP 엔드포인트로 전송해야 합니다.

      • 이동된 페이지에서 다음 항목 아래에 원시 이벤트지난 1주일 동안 Panther가 수신한 원시 데이터를 볼 수 있습니다:

        An HTTP source schema attachment page is shown. There is an arrow pointing to the section at the bottom, called "Raw Events." Various JSON events are included in this section. There is a blue "Infer Schema" button.
        HTTP 원시 이벤트

      • 이 데이터는 다음에서 표시됩니다. data-archiver, Panther가 관리하는 S3 버킷으로, 원시 HTTP 소스 로그를 15일 동안 보관합니다.

원시 데이터에서 스키마 추론

다음을 선택하면 스키마를 생성하고 싶습니다 를 선택했다면 이제 스키마를 추론할 수 있습니다.

  1. 다음 안에 데이터가 채워지는 것이 보이면 원시 이벤트, 다음을 클릭하세요. 스키마 추론. An HTTP source schema attachment page is shown. There is a section at the bottom called "Raw Events." Various JSON events are included in this section. There is an arrow pointing to a blue "Infer Schema" button.

  2. 다음 페이지에서 새 스키마 추론 팝업 모달에서 다음을 입력하세요:

    • 새 스키마 이름: 설명적인 이름을 입력하세요. 항상 다음으로 시작합니다. Custom. 뒤에는 대문자가 와야 합니다.

  3. 클릭합니다 스키마 추론.

    • 라고 하는 범용 접두사를 사용할 수 있습니다. 페이지 상단에.

  4. 클릭합니다 성공적으로 추론됨. Text reads "'Custom.HttpHoldingTank' was successfully inferred." Below, there is a Done button, which is circled.

    • 스키마는 다음에 배치됩니다. 초안 게시할 준비가 될 때까지 테스트 후 초안 모드로 유지됩니다.

  5. 초안 스키마의 이름을 클릭하여 추론된 필드를 검토하세요. Under a "Schema(s)" header is "Custom.HttpHoldingTank" with a "Draft" label. It is circled.

    • 스키마가 초안필요에 따라 필드를 추가, 제거 및 기타 방식으로 변경할 수 있습니다. The edit schema view is shown. There are fields for Schema ID, Reference URL, and Description. Below, is the schema itself, in a code editor.

원시 데이터로 스키마 테스트

스키마가 정의되면 원시 데이터에 대해 스키마 구성을 테스트할 수 있습니다.

  1. 다음 스키마 테스트 화면 상단의 섹션에서 테스트 실행. Under a "Schema(s)" header is "Custom.HttpHoldingTank" with a "Draft" label. In the bottom right corner, under a "Test Schemas" header, is a "Run Test" button, which is circled.

  2. 다음 스키마 테스트 팝업 모달에서 다음을 선택하세요: Time Period 테스트할 범위를 선택한 다음 테스트 시작. The "Test Schemas" modal has a "Time Period" dropdown selection and a "Start Test" button.

    • 시간 범위와 데이터 양에 따라 테스트가 완료되는 데 몇 분이 걸릴 수 있습니다. The HTTP Source schema test page is shown. It shows "18 Matched Events" and "0 Unmatched Events." There is a blue "Back to Schemas" button.

    • 테스트가 시작되면 일치 및 불일치 이벤트 수와 함께 결과가 표시됩니다.

      • 일치 이벤트 는 스키마 구성과 성공적으로 분류될 이벤트 수를 나타냅니다.

      • 불일치 이벤트 는 스키마와 분류되지 않을 이벤트 수를 나타냅니다.

  3. 만약 불일치 이벤트가 있다면, 오류와 JSON을 검토하여 실패 원인을 파악하세요. A list of JSON logs is shown under an "Unmatched Events" header. There are two columns, "Raw Events" and "Error"

    • 클릭합니다 스키마로 돌아가기필요에 따라 변경한 다음 스키마를 다시 테스트하세요.

  4. 클릭합니다 스키마로 돌아가기.

  5. 오른쪽 상단 모서리에서 다음을 클릭합니다 저장. The HTTP Source schema edit page is shown, and its "Save" button in the upper-right corner is circled.

    • 이제 추론된 스키마가 로그 소스에 연결되었습니다.

    • 스키마가 연결되기 전에 HTTP 소스로 전송되어 스키마를 추론하는 데 사용된 로그 이벤트는 이후 Panther로 수집됩니다.

직접 스키마 생성

사용자 지정 스키마를 수동으로 만드는 방법

사용자 지정 스키마를 수동으로 만들려면:

  1. Panther Console의 왼쪽 탐색 모음에서 스키마.

  2. 오른쪽 상단 모서리에서 다음을 클릭합니다 새로 만들기.

  3. 다음을 입력하세요. 스키마 ID, 설명, 및 참조 URL.

    • 설명은 테이블 내용에 대한 것이며, 참조 URL은 내부 리소스로 연결하는 데 사용할 수 있습니다.

  4. 선택적으로 다음을 활성화할 수 있습니다. 자동 필드 탐색 토글을 클릭하여 켜기. 자세한 내용은 다음에서 확인하세요. 필드 검색.

  5. 다음 스키마 섹션, 처음부터 스키마 만들기 타일을 클릭하세요: 시작.

    • 다음 스키마 섹션은 기본적으로 다음을 사용합니다. 분리된 섹션. 전체 스키마를 하나의 편집기 창에 작성하려면 클릭하세요. 단일 편집기. To the right of a "Schema" header is a toggle with two values: Separate Sections and Single Editor.

  6. 다음 파서 섹션에서, 스키마에 다음이 아닌 다른 파서가 필요하다면 기본값(JSON/XML) 파서를 선택하세요. 다음 페이지에서 다른 파서 옵션에 대해 자세히 알아보세요:

  7. 다음 필드 및 지표 섹션에 YAML 로그 스키마 필드를 작성하거나 붙여넣으세요.

  8. (선택 사항) 다음 항목에서 범용 데이터 모델 섹션에서 스키마의 핵심 필드 매핑을 정의하세요.

  9. 창 하단에서 클릭하세요. 테스트 실행 스키마에 오류가 없는지 확인합니다.

    • 구문 검증은 Log Schema의 구문만 검사한다는 점에 유의하세요. 이름 충돌로 인해 저장에 실패할 수도 있습니다.

  10. 클릭합니다 저장.

이제 다음으로 이동할 수 있습니다. 로그 소스 그리고 새 소스를 추가하거나 기존 소스를 수정하여 새로운 Custom.SampleAPI _Log Type을 사용하세요. Panther가 이 소스에서 이벤트를 수신하면 로그를 처리하여 다음 위치에 저장합니다. custom_sampleapi 테이블.

이제 다음도 작성할 수 있습니다. 탐지 를 사용해 이 로그와 일치시키고 다음을 통해 쿼리할 수 있습니다. 검색 또는 데이터 탐색기.

스키마 작성

JSON, XML 및 텍스트 로그용 스키마를 작성하는 방법에 대해 알아보려면 아래 탭을 참조하세요.

JSON 로그용 스키마 작성

각 줄이 JSON인 로그 파일을 구문 분석하려면 각 로그 항목의 구조를 설명하는 로그 스키마를 정의해야 합니다.

YAML 사양은 Panther Console에서 직접 편집할 수도 있고, 또는 선호하는 편집기/IDE에서 오프라인으로 준비할 수도 있습니다. 구조 및 필드에 대한 자세한 내용은 다음을 참조하세요. Log Schema, 다음을 참조하세요. Log Schema 참조.

다음을 사용하는 것도 가능합니다. starlark 파서 JSON 로그와 함께 사용하여 다음 범위를 벗어난 변환을 수행할 수 있습니다. Panther가 기본적으로 지원하는 항목.

아래 예제 스키마에서 첫 번째 탭은 JSON 로그 구조를 표시하고 두 번째 탭은 Log Schema를 보여줍니다.

축약된 JSON 로그 예시:

이것을 활용하세요 축약된 JSON 로그 예시 다음을 사용할 때 pantherlog 도구를 사용하거나 Panther Console에서 스키마를 생성할 때.

{"method":"GET","path":"/-/metrics","format":"html","controller":"MetricsController","action":"index","status":200,"params":[],"remote_ip":"1.1.1.1","user_id":null,"username":null,"ua":null,"queue_duration_s":null,"correlation_id":"c01ce2c1-d9e3-4e69-bfa3-b27e50af0268","cpu_s":0.05,"db_duration_s":0,"view_duration_s":0.00039,"duration_s":0.0459,"tag":"test","time":"2019-11-14T13:12:46.156Z"}

XML 로그용 스키마 작성

Panther는 XML 로그를 중간 단계에서 JSON으로 파싱하므로, JSON 로그 탭에 설명된 JSON 로그에서 사용할 수 있는 모든 도구를 사용할 수 있습니다. Panther가 XML을 JSON으로 파싱하는 방법은 다음에서 알아보세요. XML 스트림 유형를 참고하여 그에 맞게 스키마를 만드세요.

XML은 문자열 이외의 데이터 유형을 지원하지 않으므로, 해당 JSON 표현의 모든 값은 문자열로 표시됩니다(예: "ip": "192.168.1.100"). 스키마를 정의할 때 아래 Log schema 예시에서 보이는 것처럼 각 필드에 적절한 유형을 사용할 수 있습니다.

원시 XML 로그:

원시 XML 로그가 JSON으로 변환되는 방식:

이 로그를 파싱하기 위한 로그 스키마는 다음과 같습니다:

텍스트 로그용 스키마 작성

Panther는 JSON/XML로 구조화되지 않은 로그를 각 로그 줄을 키/값 쌍으로 변환하는 '파서'를 사용해 처리하고, 이를 JSON으로 나머지 파이프라인에 전달합니다. 다음을 사용하여 텍스트 파서를 정의할 수 있습니다. 파서 필드 Log Schema의

이름

설명

fastmatch

텍스트의 각 줄을 하나 이상의 단순 패턴과 비교

regex

정규식 패턴을 사용하여 조건부 필드, 대소문자 구분 없는 일치 등 더 복잡한 매칭을 처리합니다.

csv

로그 파일을 CSV로 처리하여 열 이름을 필드 이름에 매핑

starlark

텍스트 로그를 파싱하거나 JSON 로그에서 변환을 수행

스키마 필드 제안

사용자 지정 스키마를 만들거나 편집할 때 Panther가 생성한 필드 제안을 사용할 수 있습니다. 이 기능을 사용하려면:

  1. Panther Console에서 YAML 스키마 편집기를 클릭하세요.

    • 기존 스키마를 편집하려면 클릭하세요 스키마 > [편집하려는 스키마 이름] > 편집.

    • 새 스키마를 만들려면 클릭하세요 스키마 > 새로 만들기.

  2. 누르세요 Command+I macOS에서(또는 Control+I PC에서).

    • 스키마 편집기는 텍스트 커서 위치를 기준으로 사용 가능한 속성과 작업을 표시합니다.

      YAML 스키마 편집기가 표시됩니다. 커서 아래에는 concat, copy, description, indicators, mask 등을 포함한 다양한 필드 제안이 있는 상자가 있습니다.

사용자 지정 스키마 관리

사용자 지정 스키마 편집

Panther에서는 사용자 지정 스키마를 편집할 수 있습니다. 구체적으로 다음 작업을 수행할 수 있습니다:

필드의 유형, 새로 수집되는 데이터는 새 유형과 일치하며, 이전에 수집된 데이터는 이전 유형을 유지합니다.

사용자 지정 스키마를 편집하려면:

  1. Panther Console에서 사용자 지정 스키마의 세부 정보 페이지로 이동하세요.

  2. 세부 정보 페이지의 오른쪽 상단에서 클릭하세요. 편집.

  3. 원하는 대로 스키마를 수정하세요.

    • Panther에서 생성한 스키마 필드 제안.

    • 변경 사항을 더 쉽게 보려면(또는 삭제된 줄을 복사하거나 되돌리려면) 클릭하세요. 단일 편집기, 그런 다음 차이 보기.

      The Schema editor is shown, and the "Single Editor" and "Diff View" buttons are shown. One field has been changed, from event_time to new_name.

  4. 오른쪽 상단에서 다음을 클릭하세요: 업데이트.

클릭합니다 테스트 실행 YAML의 구조적 적합성을 확인하세요. 규칙 검사는 다음을 클릭한 후에만 수행된다는 점에 유의하세요. 업데이트. 규칙을 따르지 않으면 업데이트가 거부됩니다.

관련 탐지 및 저장된 쿼리 업데이트

스키마 필드를 편집하면 관련 탐지 및 저장된 쿼리도 업데이트해야 할 수 있습니다. 클릭 관련 탐지 스키마 편집기 위에 표시된 알러트 배너에서 영향을 받는 탐지 및 저장된 쿼리 목록을 보고, 업데이트하고, 테스트할 수 있습니다.

A schema's name is shown, "Custom.A"—to its right are three buttons: Upload Sample Logs, Cancel, and Update.

쿼리 영향

쿼리는 다음 변경 사항 전반에서 작동합니다. 유형 단, 쿼리가 다음을 통해 캐스팅할 수 없는 필드 유형이 필요한 함수나 연산자를 사용하지 않는 경우에 한합니다. 유형.

  • 좋은 예: 유형 가 다음에서 수정됩니다. 문자열 에서 정수 기존 값이 모두 숫자인 경우(즉, "1"). 함수가 포함된 쿼리 sum 은 오래된 값과 새 값을 함께 집계합니다.

  • 나쁜 예: 유형 가 다음에서 수정됩니다. 문자열 에서 정수 기존 값 중 일부가 숫자가 아닌 경우(즉, "apples"). 함수가 포함된 쿼리 sum 숫자가 아닌 값을 제외합니다.

쿼리 캐스트 가능성 표

이 표는 어떤 유형 를 각각으로 캐스팅할 수 있는지 보여줍니다. 유형 쿼리 실행 시. 스키마 편집을 통해 모든 유형 를 다른 유형.

유형: From -> To
boolean
문자열
정수
빅정수
float
타임스탬프

boolean

같음

예

예

예

아니요

아니요

문자열

예

같음

숫자만

숫자만

숫자만

숫자만

정수

예

예

같음

예

예

숫자만

빅정수

예

예

예

같음

예

숫자만

float

예

예

예

예

같음

숫자만

타임스탬프

아니요

예

아니요

아니요

아니요

같음

사용자 지정 스키마 보관 및 보관 해제

Panther에서 사용자 지정 스키마를 보관하거나 보관 해제할 수 있습니다. 더 이상 데이터 수집에 사용되지 않으며 Panther 전반의 다양한 드롭다운 선택기에 옵션으로 표시되지 않게 하고 싶을 때 스키마를 보관할 수 있습니다. 스키마를 보관하려면 어떤 로그 소스에도 사용 중이면 안 됩니다. 보관된 스키마는 계속 무기한 존재하며, 스키마를 영구적으로 삭제하는 것은 불가능합니다.

스키마를 보관해도 해당 스키마로 이미 수집되어 데이터 레이크에 저장된 데이터에는 영향을 주지 않습니다. 여전히 다음을 사용해 쿼리할 수 있습니다. 데이터 탐색기 및 검색. 기본적으로 보관된 스키마는 스키마 목록 보기(다음에서 볼 수 있음)에 표시되지 않습니다. 스키마), 하지만 다음을 수정하면 표시할 수 있습니다. 상태, 다음에서 필터, 오른쪽 상단에서. 다음에서는 데이터 탐색기, 보관된 스키마의 테이블이 다음 아래에 표시되지 않습니다. 테이블.

보관된 스키마와 같은 이름으로 새 스키마를 만들려고 하면 이름 충돌이 발생하며, 대신 기존 스키마의 보관을 해제하고 편집하라는 안내가 표시됩니다.

사용자 지정 스키마를 보관하거나 보관 해제하려면:

  1. Panther Console에서 다음으로 이동하세요. 스키마.

    • 보관하거나 보관 해제하려는 스키마를 찾으세요.

  2. 스키마 행의 오른쪽에서 다음을 클릭하세요. 보관 또는 보관 해제 아이콘.

    Two schema rows are shown, one that is currently archived and one that is currently unarchived. The archive/unarchive icons in each of their rows is circled.

    • 스키마를 보관하려는 경우 현재 하나 이상의 로그 소스와 연결되어 있다면, 확인 모달에서 먼저 스키마 연결을 해제하라는 안내가 표시됩니다. 그렇게 한 후 클릭하세요. 새로고침. An Archive Schema modal says, "Prior to archiving Custom.HarryPotterFake2, it must be detached from all associated Log Sources." A list of associated log sources is shown, with only one value: Carrie Tines Test

  3. 확인 모달에서 클릭하세요. 계속.

사용자 지정 스키마 테스트

Panther Console의 Schema Edit 페이지에 있는 "샘플 로그에 대해 스키마 테스트" 기능은 Lines, CSV(헤더 유무 상관없음), JSON, JSON Array, XML, CloudWatch Logs 및 Auto를 지원합니다. 예시는 다음을 참조하세요. 스트림 유형 을 참조하세요.

또한 위의 로그 형식은 다음 형식으로 압축할 수 있습니다.

  • gzip

  • zstd(사전 없음)

JSON 및 JSONArray 형식에서는 여러 줄 로그를 지원합니다.

사용자 지정 스키마가 로그에 대해 작동하는지 검증하려면 샘플 로그로 테스트할 수 있습니다:

  1. Panther Console의 왼쪽 탐색 표시줄에서 다음을 클릭하세요. 스키마.

  2. 사용자 지정 스키마 이름을 클릭하세요.

  3. 스키마 세부 정보 페이지의 오른쪽 상단에서 클릭하세요. 스키마 테스트.

    A schema's name is shown. To its right are two buttons: Test Schema and Clone.

Panther Analysis Tool을 사용하여 로그 스키마 업로드

Panther Console 외부에서 로그 스키마를 관리하려는 경우, 예를 들어 버전 관리를 하고 업데이트 전에 변경 사항을 검토하려는 경우, 다음을 사용해 YAML 파일을 프로그래밍 방식으로 업로드할 수 있습니다. Panther Analysis Tool (PAT).

업로더 명령은 인수로 기본 경로를 받은 다음 확장자가 다음인 모든 파일을 재귀적으로 찾습니다. .yml 및 .yaml.

관련 없는 파일과는 별도로 스키마 파일을 저장하는 것이 좋습니다. 그렇지 않으면 유효하지 않은 스키마 파일을 업로드하려고 시도했다는 이유로 업로드 중 오류가 발생할 수 있습니다.

업로더는 기존 스키마가 있는지 확인하고, 일치하는 스키마 이름이 없으면 업데이트를 진행하거나 새 스키마를 만듭니다.

다음 스키마 필드는 업데이트가 성공하려면 YAML 파일에 항상 정의되어 있어야 하며, 기존 스키마 이름과 일치해야 합니다. 사용 가능한 모든 CI/CD 필드 목록은 다음을 참조하세요. Log Schema 참조.

PAT를 통해 업로드된 스키마는 Panther Console에서 수행한 업데이트와 동일한 기준으로 검증됩니다.

사용자 지정 로그 문제 해결

Panther Knowledge Base를 방문하여 사용자 지정 로그 소스에 대한 문서 보기 자주 묻는 질문에 답하고 일반적인 오류 및 문제를 해결하는 데 도움이 됩니다.

이전Zscaler ZPA다음로그 스키마 참조

마지막 업데이트

도움이 되었나요?