Snowflake

개요

Panther는 다음 사용을 지원합니다 Snowflake 를 데이터 레이크 백엔드로 사용하여 데이터를 저장하고 검색합니다.

Panther와 Snowflake를 통합하면 Panther 데이터를 비즈니스 인텔리전스 도구에서 사용하여 귀사의 운영에 맞춘 대시보드를 만들 수 있습니다. 또한 Panther 데이터(예: Panther 알림)를 비즈니스 데이터와 결합하여 조직에 대한 보안 태세를 평가할 수 있습니다. 예를 들어 조직 부문(예: 인사)별 또는 인프라(예: 개발, 테스트, 프로덕션)별로 알림을 집계할 수 있습니다.

Snowflake 인스턴스는 SaaS 또는 Cloud Connected. Panther가 관리형 Snowflake 인스턴스를 구성하는 방법(또는 사용자가 직접 구성하는 인스턴스를 구성하는 방법에 대한 권장 사항)을 다음에서 알아보세요: 최적의 검색 성능을 위한 Snowflake 구성. 참고로 일부 Panther 기능은 Snowflake Enterprise Edition 이상에서만 사용할 수 있습니다.

Panther는 Snowpipe 를 사용하여 데이터를 Snowflake 클러스터로 복사합니다.

Panther에서 추가 데이터 세트 사용

Panther는 panther_readonly Snowflake 사용자를 사용하여 Snowflake의 데이터를 쿼리합니다. 기본적으로 이 사용자의 역할은 panther_readonly_role 에는 Panther 데이터베이스의 데이터에 액세스할 수 있도록 최소한의 권한만 부여됩니다. 그러나 이미 보유한 데이터 세트를 다음에 추가하고자 한다면 Data Explorer 쿼리(HR 데이터, 자체 구축 또는 공급업체 제공 허용 목록/차단 목록 등)에서 다음과 같은 문으로 해당 데이터를 역할이 접근할 수 있도록 설정할 수 있습니다:

GRANT USAGE
  DATABASE my_database_name에 대해
  TO ROLE panther_readonly_role;
GRANT USAGE
  SCHEMA my_database_name.my_schema_name에 대해
  TO ROLE panther_readonly_role;
GRANT SELECT
  TABLE  my_database_name.my_schema_name.my_table_name에 대해
  TO ROLE panther_readonly_role;

새로 권한이 부여된 데이터베이스, 스키마, 테이블은 이 아니라 Panther 사이드바에 표시되지만, 일반 SQL을 사용하여 접근할 수 있습니다.

Snowflake 상태 모니터링

Panther는 Snowflake에서 다음에 대한 상태 점검을 수행합니다. 파일 로딩 및 스테이지 및 Snowpipe 상태. 기본적으로 Panther는 이 점검을 3시간마다(또는 180분마다) 실행합니다.

Snowflake로의 파일 로딩

Snowflake의 COPY_HISTORY() 함수를 사용하여 Panther가 소유한 데이터베이스 테이블에 추가된 파일의 로딩 오류를 모니터링합니다. 오류는 드물지만, 발견되면 즉시 Panther 직원에게 에스컬레이션됩니다. 이 경우 Panther 직원이 문제를 해결하고 데이터를 수동으로 다시 스테이징하여 Snowflake 계정에 성공적으로 로드될 수 있도록 합니다.

스테이지 및 Snowpipe 상태

Panther는 모든 외부 스테이지 및 Snowpipe S3 버킷의 데이터를 Snowflake 테이블로 로드하는 과정에서 사용됩니다. 만약 의 출력이 SYSTEM$PIPE_STATUS 함수 에서 Snowpipe의 executionState 이 RUNNING가 아닌 것으로 나타나면, Panther는 다음 작업 중 하나 이상을 수행하여 파이프를 자동으로 수정하려고 시도합니다:

• 영향받은 파이프 다시 생성

• 기반 스테이지 다시 생성

• 파이프 새로 고침

대부분의 경우, 위 단계를 사용해 파이프를 수정하면 데이터를 수동으로 다시 로드할 필요가 없습니다. (Panther는 이를 다음을 확인하여 검증합니다. 파일 로드 메타데이터 가 Snowflake 테이블에 대해 제공되는지 확인합니다.) 복사 실패와 마찬가지로 모든 스테이지 및 파이프 실패는 Panther 직원에게 보고되며, 직원은 수정이 필요한지 모니터링합니다.