최적의 검색 성능을 위한 Snowflake 구성

Panther가 검색 성능을 최적화하기 위해 Snowflake 설정을 활용하는 방법 알아보기

개요

Panther는 Snowflake를 어떻게 구성해야 최적의 검색 성능을 얻을 수 있는지 파악했습니다. 이러한 구성 설정에는 웨어하우스 크기, 쿼리 가속, 그리고 검색 최적화가 포함됩니다. 이러한 지침은 SaaS Snowflake 인스턴스의 구성 결정에 사용되며, 클라우드 연결 Snowflake 인스턴스를 위한 참고 자료로 활용될 수 있습니다.

일부 Panther 기능은 Enterprise Edition 이상이 적용된 Snowflake 인스턴스에서만 사용할 수 있습니다.

Snowflake Enterprise 이상이 필요한 Panther 기능

다음 Panther 기능을 사용하려면 반드시 Snowflake Enterprise Edition 이상 버전을 사용해야 합니다:

웨어하우스 크기

웨어하우스 크기 는 Snowflake에서 작업을 수행할 때(예: Snowflake 테이블 검색 시) 사용되는 컴퓨팅 리소스의 양을 결정합니다.

검색 성능 및 비용 예상

일반적으로 웨어하우스가 클수록 쿼리 실행이 더 빠릅니다. 웨어하우스 크기가 증가하면 전반적인 쿼리 속도도 함께 증가합니다. 그러나 이는 전반적인 컴퓨팅 비용 증가도 의미합니다. 예를 들어, SMALL 웨어하우스는 일반적으로 X-SMALL 웨어하우스보다 쿼리를 두 배 빠르게 실행하지만, 운영 비용도 두 배입니다.

아래는 Panther의 수집 볼륨을 기준으로 한 상위 수준의 웨어하우스 크기 권장 사항입니다. 이러한 수집 볼륨/웨어하우스 크기 조합은 모두 비슷한 검색 성능을 제공합니다.

아래 지침은 PANTHER_WH에 대한 것이며, 이는 Panther가 즉석 검색을 실행하는 웨어하우스입니다. 예약 검색 전용 PANTHER_SCHEDULED_WH 웨어하우스에서 실행되며, 비용 고려를 위해 별도로 구성할 수 있습니다.

월 수집 볼륨(TB, 비압축)

권장 PANTHER_WH 웨어하우스 크기

< 8

X-SMALL

8-15

SMALL

16-31

MEDIUM

32-63

LARGE

64-127

X-LARGE

128-255

2X-LARGE

256-512

3X-LARGE

웨어하우스 크기에 대해 더 알아보기: Snowflake의 Warehouses 개요 문서.

쿼리 가속

쿼리 가속은 다음 범위에서만 사용할 수 있습니다. Snowflake의 Enterprise Edition.

쿼리 가속 은 유휴 상태의 Snowflake 웨어하우스를 사용하여 느리게 실행되는 쿼리의 속도를 높이는 Snowflake 서비스입니다.

스케일 팩터

쿼리 가속은 스케일 팩터로 구성되며, 이는 쿼리 가속을 위해 빌릴 수 있는 컴퓨팅 리소스의 상한을 설정하는 비용 제어 메커니즘입니다. Panther는 Panther가 관리하는 Snowflake 인스턴스의.

예를 들어, SMALL 의 스케일 팩터가 10 이면, 특정 쿼리에 대해 최대 10 개의 추가 SMALL 웨어하우스가 할당될 수 있음을 의미합니다.

스케일 팩터에 대해 더 알아보기: Snowflake의 스케일 팩터 조정 문서.

검색 성능 및 비용 예상

쿼리 가속은 실행 중인 쿼리가 "느림"으로 간주될 때까지는 작동하지 않습니다. 일반적으로 1분 이상 실행되는 쿼리가 가속 대상이 됩니다.
가속을 사용해 쿼리를 실행하는 비용은 추가 웨어하우스 비용이 줄어든 컴퓨팅 시간과 균형을 이루기 때문에, 가속 없이 실행했을 때와 대체로 비슷합니다. 그러나 이론적인 최대 비용은 스케일 팩터에 의해 결정되므로, 스케일 팩터가 10 인 웨어하우스는 최악의 경우 기본 웨어하우스 비용의 10배까지 들 수 있습니다.

쿼리 가속에 대해 더 알아보기: Snowflake의 Query Acceleration Service 사용 문서.

검색 최적화

검색 최적화는 다음 범위에서만 사용할 수 있습니다. Snowflake의 Enterprise Edition.

이 기능은 Panther Enterprise 고객만 사용할 수 있습니다.

검색 최적화 은 수집된 데이터를 인덱싱하여 “건초더미 속 바늘 찾기” 검색(즉, 백만 개 중 하나와 같은 유형의 이벤트)의 속도를 극적으로 향상시키는 Snowflake 서비스입니다.

검색 성능 및 비용 예상

검색 최적화가 활성화되면 쿼리 실행 속도가 10~100배 빨라질 수 있습니다.
값이 더 고유할수록 검색 최적화의 효과도 더 커집니다.
- 예를 들어, isHuman = True 및 50% 인 이벤트가 True라면 검색 최적화는 성능을 전혀 개선하지 못합니다. 그러나 이벤트의 단지 .0001% 만이 True이라면 검색 최적화는 상당한 효과를 발휘합니다.
검색 최적화 비용은 다음 사항에 따라 달라질 수 있습니다:
- 검색 최적화 초기화 중과 그 이후 데이터가 수집되는 동안 모두, 비용은 인덱싱되는 테이블과 필드의 수와 크기에 영향을 받습니다. 테이블과 필드가 많을수록, 그리고 테이블과 필드가 클수록 더 많은 비용이 듭니다.
  - 검색 최적화가 초기화되면 기존 데이터 전체를 인덱싱해야 하므로, 인덱싱되는 과거 데이터의 양에 비례하는 초기 비용이 발생합니다.
  - 초기화 이후에는 검색 최적화 인덱스를 생성하는 데 필요한 컴퓨팅 비용을 기준으로 데이터 수집 시점에 비용이 계산됩니다.
- 인덱스를 사용해 검색 속도를 높일 때는 추가 비용이 없습니다. 즉, 더 빠르게 실행되므로 검색 비용이 더 저렴해질 수 있습니다.

검색 최적화에 대해 더 알아보기: Snowflake의 Search Optimization Service 사용 문서.

이전Snowflake 다음Databricks(Beta)

마지막 업데이트 10개월 전

도움이 되었나요?