데이터 전송

Panther는 다양한 일반적인 데이터 전송 로그 수집 소스와 통합됩니다

개요

데이터 전송(Data Transport)은 Panther에서 본래 지원하지 않는 로그 유형, 즉 맞춤형 로그 유형을(를) 전송하는 로그 소스의 한 유형입니다. 데이터 전송을 사용하면 Panther의 로그 처리 파이프라인을 통해 맞춤형 데이터 유형을 처리하고, 기존 디텍션을 맞춤형 데이터 유형에 매핑하며, 데이터 모델을 맞춤형 데이터 유형에 매핑할 수 있습니다.

맞춤형 로그를 온보딩하기 위해 데이터 전송을 사용하는 것 외에도 다음을 생성해야 합니다. 맞춤형 스키마 를(을) 통해 데이터를 정규화하고 분류합니다.

에 대해 알아보세요 압축된 데이터 전송 과 함께, 또한 지연 시간 기대치를(을) 아래에서 확인하십시오.

Panther에서 지원하는 데이터 전송

Panther는 현재 다음 데이터 전송 방식을 지원합니다:

Panther에서 압축된 데이터 수집

다음 데이터 전송 메커니즘은 압축된 데이터 수집을 지원합니다(다음 아래 알고리즘):

Panther는 압축된 데이터를 투명하게 압축 해제하므로 별도의 헤더가 필요하지 않습니다. Panther의 압축 해제는 각 파일이 어떤 압축 알고리즘으로 압축되었는지를 먼저 판단한 다음 작동합니다. 이는 파일 확장자나 메타데이터에서 추론되는 것이 아니라 파일 내용 자체에서 판단됩니다.

압축된 페이로드의 내부 데이터는 구성한 스트림 유형 과(와) 일치해야 합니다.

지원되는 압축 알고리즘

Panther는 다음 압축 형식을 지원합니다:

gzip
zstd
- Panther는 사전(dictionary)을 사용하지 않고 압축된 zstd 데이터만 지원합니다.

지원되는 컬럼형식

Parquet

Panther는 최대 크기 100MB(압축된 상태)의 Parquet 파일을 투명하게 감지하고 수집할 수 있습니다.

Parquet 파일의 내부 데이터는 다음 알고리즘으로 압축될 수 있습니다:

gzip
snappy

Avro

Panther는 최대 크기 100MB(압축된 상태)의 Apache Avro 오브젝트 컨테이너 파일 (OCF).

OCF 파일의 내부 데이터는 다음 알고리즘 중 어느 것으로든 압축될 수 있습니다:

gzip
snappy
zst