Snowflake

개요

Panther는 다음을 사용하는 것을 지원합니다 Snowflake 데이터를 저장하고 검색하기 위한 데이터 레이크 백엔드로.

Panther를 Snowflake와 통합하면 Panther 데이터를 비즈니스 인텔리전스 도구에서 사용하여 운영에 맞춘 대시보드를 만들 수 있습니다. 또한 Panther 데이터(예: Panther 경고)를 비즈니스 데이터와 조인하여 조직에 대한 보안 상태를 평가할 수 있습니다. 예를 들어 조직 부서(예: 인사)별 또는 인프라(예: 개발, 테스트 또는 운영)별로 경고를 집계할 수 있습니다.

Snowflake 인스턴스는 SaaS 또는 Cloud Connected로 설정될 수 있습니다. Panther가 관리형 Snowflake 인스턴스를 구성하는 방법(또는 사용자가 구성하는 인스턴스에 대해 권장하는 구성 방법)을 다음에서 확인하세요 최적 검색 성능을 위한 Snowflake 구성. 다음에 유의하세요 일부 Panther 기능은 Snowflake의 Enterprise Edition 이상에서만 사용할 수 있습니다.

Panther는 Snowpipe 를 사용하여 데이터를 Snowflake 클러스터로 복사합니다.

Panther에서 추가 데이터 세트 사용

Panther는 panther_readonly Snowflake의 데이터를 쿼리하기 위해 Snowflake 사용자 계정을 사용합니다. 기본적으로 이 사용자의 역할은 panther_readonly_role 데이터베이스의 데이터를 액세스할 수 있도록 최소한의 권한만 부여되어 있습니다. 그러나 기존에 보유한 데이터 세트를 데이터 탐색기 쿼리(예: HR 데이터, 내부 또는 공급업체 제공 허용/차단 목록)에 추가하려는 경우 다음과 같은 문으로 해당 역할이 해당 데이터에 접근하도록 허용할 수 있습니다:

GRANT USAGE
  ON DATABASE my_database_name
  TO ROLE panther_readonly_role;
GRANT USAGE
  ON SCHEMA my_database_name.my_schema_name
  TO ROLE panther_readonly_role;
GRANT SELECT
  ON TABLE  my_database_name.my_schema_name.my_table_name
  TO ROLE panther_readonly_role;

새로 부여된 데이터베이스, 스키마 및 테이블이 에 설치해야 하며 Panther 사이드바에 표시되지만 일반 SQL을 사용하여 액세스할 수 있습니다.

Snowflake 상태 모니터링

Panther는 Snowflake에서 다음 항목에 대한 상태 검사를 수행합니다 파일 로딩 와 스테이지 및 Snowpipe 상태. 기본적으로 Panther는 이러한 검사를 3시간(또는 180분)마다 실행합니다.

Snowflake로의 파일 로딩

Snowflake의 COPY_HISTORY() 함수를 사용하여 Panther 소유 데이터베이스 테이블에 추가된 파일의 로딩 오류를 모니터링합니다. 오류는 드물지만 발견되면 즉시 Panther 담당자에게 보고됩니다. 이 경우 Panther 담당자는 문제를 해결하고 데이터를 수동으로 다시 스테이징하여 귀하의 Snowflake 계정에 정상적으로 로드될 수 있도록 합니다.

스테이지 및 Snowpipe 상태

Panther는 모든 외부 스테이지 와 Snowpipe를 S3 버킷에서 Snowflake 테이블로 데이터를 로드하는 과정에서 사용되는 것을 관리합니다. 만약 의 출력이 SYSTEM$PIPE_STATUS function 한 Snowpipe가 executionState 가 RUNNING이 아닌 것으로 나타나면, Panther는 자동으로 다음 중 하나 이상을 수행하여 파이프를 복구하려고 시도합니다:

• 영향받은 파이프 재생성

• 기본 스테이지 재생성

• 파이프 새로 고침

대부분의 경우 위 단계로 파이프가 복구되면 데이터를 수동으로 다시 로드할 필요가 없습니다. (Panther는 파일 로드 메타데이터 Snowflake 테이블에서 사용 가능한 메타데이터를 확인하여 이를 검증합니다.) 복사 실패와 마찬가지로 모든 스테이지 및 파이프 실패는 Panther 담당자에게 보고되며, 필요 시 수정 여부를 모니터링합니다.