데이터 전송

Panther는 다양한 일반 데이터 전송 로그 수집 소스와 통합됩니다

개요

Data Transport는 Panther에서 기본적으로 지원하지 않는 로그 유형을 전송하는 로그 소스 유형입니다. 즉, 사용자 정의 로그 유형. Data Transport를 사용하면 Panther의 로그 처리 पाइ프라인을 통해 사용자 정의 데이터 유형을 처리하고, 기존 탐지를 사용자 정의 데이터 유형에 매핑하며, 데이터 모델을 사용자 정의 데이터 유형에 매핑할 수 있습니다.

사용자 정의 로그를 온보드하기 위해 Data Transport를 사용하는 것 외에도, 다음을 생성해야 합니다. 사용자 정의 스키마 를 사용하여 데이터를 정규화하고 분류해야 합니다.

다음에 대해 알아보세요. 압축된 데이터를 전송하는 방법 Panther로, 그리고 지연 시간 예상에 대해서도 아래에서 확인하세요.

Panther에서 지원하는 Data Transport

Panther는 현재 다음 Data Transport 방법을 지원합니다:

• HTTP (Webhook)

• Panther Log Forwarder

• AWS

  • S3

  • CloudWatch

  • SQS

    • SNS

  • Amazon EventBridge

• Google Cloud

  • Cloud Storage (GCS)

  • Pub/Sub

• Azure Blob Storage

Panther에서 압축된 데이터 수집

다음 Data Transport 메커니즘은 압축된 데이터 수집을 지원합니다(다음 아래 알고리즘 중 하나에 따라):

• HTTP

• Azure Blob Storage

• AWS S3

• GCS

Panther는 압축된 데이터를 자동으로 압축 해제하므로, 추가 헤더가 필요하지 않습니다. Panther의 압축 해제는 먼저 각 파일이 어떤 압축 알고리즘으로 압축되었는지 판단하는 방식으로 작동합니다. 이는 파일 확장자나 메타데이터가 아니라 파일 자체의 내용을 기준으로 추론됩니다.

압축된 페이로드의 내부 데이터는 스트림 유형 과 일치해야 하며, 이는 Data Transport 소스에 대해 구성한 값입니다.

지원되는 압축 알고리즘

Panther는 다음 압축 형식을 지원합니다:

• gzip

• zstd

  • Panther는 사전을 사용하지 않고 압축된 zstd 데이터만 지원합니다.

지원되는 열 지향 형식

Parquet

Panther는 다음을 자동으로 감지하고 수집할 수 있습니다. Parquet 최대 크기가 100MB(압축된 상태)인 파일.

Parquet 파일의 내부 데이터는 다음 알고리즘으로 압축할 수 있습니다:

• gzip

• snappy

Avro

Panther는 다음을 자동으로 감지하고 수집할 수 있습니다. Apache Avro Object Container Files (OCF).

OCF 파일의 내부 데이터는 다음 알고리즘 중 하나로 압축할 수 있습니다:

• gzip

• snappy

• zst

Data Transport 지연 시간

Data Transport 소스를 사용해 Panther로 데이터를 전달할 때, 데이터는 5분 이내에 수집될 것으로 예상할 수 있습니다. 수집 후에는 알러트가 생성되기까지(해당되는 경우) 최대 2분 30초가 걸릴 수 있습니다.

이 시간 범위는 모든 Data Transport 소스에 적용되며, 다른 소스보다 지연 시간이 더 짧은 특정 소스는 없습니다.

Data Transport 문제 해결

Panther Knowledge Base를 방문하여 Data Transport 관련 문서 보기 이 문서는 자주 묻는 질문에 답하고 일반적인 오류 및 문제를 해결하는 데 도움이 됩니다.