데이터 전송

Panther는 다양한 일반 데이터 전송 로그 수집 소스와 통합합니다

개요

데이터 전송(Data Transport)은 Panther에서 기본적으로 지원하지 않는 로그 유형(예: 사용자 지정 로그 유형)을 전송하는 로그 소스의 한 유형입니다. 데이터 전송을 사용하면 Panther의 로그 처리 파이프라인을 통해 사용자 지정 데이터 유형을 처리하고, 기존 탐지를 사용자 지정 데이터 유형에 매핑하며, 데이터 모델을 사용자 지정 데이터 유형에 매핑할 수 있습니다.

사용자 지정 로그를 온보드하기 위해 데이터 전송을 사용하는 것 외에도 사용자 지정 스키마 를 생성하여 데이터를 정규화하고 분류해야 합니다.

다음에 대해 알아보세요: 압축된 데이터 전송 Panther로의 대기 시간 기대치도 함께 아래에 있습니다.

Panther에서 지원하는 데이터 전송

Panther는 현재 다음의 데이터 전송 방식을 지원합니다:

Panther에서 압축된 데이터 수집

다음 데이터 전송 메커니즘은 압축된 데이터 수집을 지원합니다(다음 중 하나의 아래 알고리즘):

Panther는 압축된 데이터를 투명하게 압축 해제하므로 추가 헤더가 필요하지 않습니다. Panther의 압축 해제는 각 파일이 어떤 압축 알고리즘으로 압축되었는지를 먼저 판별하여 작동합니다. 이 판별은 파일 확장자나 메타데이터에서 추론되는 것이 아니라 파일 자체의 내용에 기반합니다.

압축된 페이로드의 내부 데이터는 귀하가 데이터 전송 소스에 대해 구성한 스트림 유형 과 일치해야 합니다.

지원되는 압축 알고리즘

Panther는 다음 압축 형식을 지원합니다:

gzip
zstd
- Panther는 사전(dictionary)을 사용하지 않고 압축된 zstd 데이터만 지원합니다.

지원되는 컬럼형 형식

Parquet

Panther는 다음을 투명하게 감지하고 수집할 수 있습니다: Parquet 최대 100MB(압축 기준) 크기의 파일.

Parquet 파일의 내부 데이터는 다음 알고리즘으로 압축될 수 있습니다:

gzip
snappy

Avro

Panther는 다음을 투명하게 감지하고 수집할 수 있습니다: Apache Avro 오브젝트 컨테이너 파일 (OCF).

OCF 파일의 내부 데이터는 다음 알고리즘 중 어느 것으로든 압축될 수 있습니다:

gzip
snappy
zst