search
Knowledge BaseRelease NotesRequest Demo

최적의 검색 성능을 위한 Snowflake 구성

검색 성능을 최적화하기 위해 Panther가 Snowflake 설정을 활용하는 방법 알아보기

hashtag
개요

Panther는 최적의 검색 성능을 얻기 위해 Snowflake를 구성하는 방법을 결정했습니다. 이러한 구성 설정에는 웨어하우스 크기, 쿼리 가속및 검색 최적화이 포함됩니다. 이러한 지침은 SaaS Snowflake 인스턴스의 구성 결정에 사용되며, 다음의 참조 자료로 활용될 수 있습니다: Cloud Connected Snowflake 인스턴스.

일부 Panther 기능은 Enterprise Edition 이상인 Snowflake 인스턴스로 제한됩니다.

hashtag
Snowflake Enterprise 이상이 필요한 Panther 기능

다음 Panther 기능을 사용하려면 다음 버전 이상의 Enterprise Edition of Snowflakearrow-up-right 가 필요합니다:

hashtag
웨어하우스 크기

웨어하우스 크기arrow-up-right 는 Snowflake에서 작업(예: Snowflake 테이블 검색)을 수행할 때 사용되는 컴퓨팅 리소스의 양을 결정합니다.

hashtag
검색 성능 및 비용 기대치

일반적으로 웨어하우스가 클수록 쿼리가 더 빠르게 실행됩니다. 웨어하우스 크기 증가로 전반적인 쿼리 속도가 향상되지만, 컴퓨트 비용 또한 전반적으로 증가합니다. 예를 들어, SMALL 웨어하우스는 일반적으로 X-SMALL 웨어하우스보다 쿼리를 두 배 빠르게 실행하지만 실행 비용도 두 배가 됩니다.

아래는 Panther의 수집량을 기준으로 한 고수준 웨어하우스 크기 권장 사항입니다. 이러한 수집량/웨어하우스 크기 조합은 모두 유사한 검색 성능을 제공합니다.

circle-info

아래 지침은 PANTHER_WH에 대한 것이며, 이는 Panther가 임시(ad-hoc) 검색을 실행하는 웨어하우스입니다. 예약된 규칙은 하나 이상과 연결됩니다 다음은 전용 PANTHER_SCHEDULED_WH 웨어하우스에서 실행되며, 비용 고려를 위해 별도로 구성할 수 있습니다.

월별 수집량(TB, 압축 전)
권장되는 PANTHER_WH 웨어하우스 크기

< 8

X-SMALL

8-15

SMALL

16-31

MEDIUM

32-63

LARGE

64-127

X-LARGE

128-255

2X-LARGE

256-512

3X-LARGE

웨어하우스 크기에 대해 자세히 알아보려면 Snowflake의 Warehouses 개요 문서arrow-up-right.

hashtag
쿼리 가속

circle-exclamation

쿼리 가속은 다음에서만 사용할 수 있습니다: Snowflake의 Enterprise Editionarrow-up-right.

쿼리 가속arrow-up-right 은 유휴 Snowflake 웨어하우스를 사용하여 느리게 실행되는 쿼리를 가속화하는 Snowflake 서비스입니다.

hashtag
스케일 팩터

쿼리 가속은 스케일 팩터로 구성되며, 이는 쿼리 가속을 위해 빌려올 수 있는 컴퓨트 리소스의 상한을 설정하는 비용 제어 메커니즘입니다. Panther는 Panther가 관리하는 Snowflake 인스턴스에 대해 스케일 팩터를 결정합니다.

예를 들어, SMALL 스케일 팩터가 10 인 웨어하우스는 10 더 많은 SMALL 웨어하우스를 특정 쿼리에 할당할 수 있음을 의미합니다.

스케일 팩터에 대해 자세히 알아보려면 Snowflake의 스케일 팩터 조정(Adjusting the Scale Factor) 문서arrow-up-right.

hashtag
검색 성능 및 비용 기대치

  • 쿼리 가속은 실행 중인 쿼리가 "느리다"고 판단될 때에만 작동합니다. 일반적으로 1분 이상 실행되는 쿼리가 가속 대상이 됩니다.

  • 가속을 사용해 쿼리를 실행하는 비용은 추가 웨어하우스 비용이 감소된 실행 시간으로 상쇄되므로 가속 없이 실행할 때와 대체로 비슷합니다. 그러나 이론적 최대 비용은 스케일 팩터에 의해 결정됩니다 — 그래서 스케일 팩터가 10 인 웨어하우스는 최악의 경우 기본 웨어하우스 비용보다 열 배 더 비용이 들 수 있습니다.

쿼리 가속에 대해 자세히 알아보려면 Snowflake의 쿼리 가속 서비스 사용 문서(Using the Query Acceleration Service)arrow-up-right.

hashtag
검색 최적화

circle-exclamation

검색 최적화는 다음에서만 사용할 수 있습니다: Snowflake의 Enterprise Editionarrow-up-right.

이 기능은 Panther Enterprise 고객만 이용할 수 있습니다.

검색 최적화arrow-up-right 은 수집된 데이터를 인덱싱하여 '건초 더미 속 바늘' 검색(즉, 백만 분의 일 수준의 이벤트)을 수행할 때 속도를 극적으로 향상시키는 Snowflake 서비스입니다.

hashtag
검색 성능 및 비용 기대치

  • 검색 최적화를 사용하면 쿼리 실행 속도가 10배에서 100배까지 빨라질 수 있습니다.

  • 값이 더 고유할수록 검색 최적화의 영향이 커집니다.

    • 예를 들어, 다음을 검색하는 경우 isHuman = True 와 50% 인 이벤트가 본문에서인 경우 검색 최적화는 성능을 전혀 향상시키지 않지만; 그러나 만약 이벤트의 단지 .0001% 만이 본문에서인 경우, 검색 최적화는 상당한 영향을 미칠 것입니다.

  • 검색 최적화 비용은 다음에 따라 달라질 수 있습니다:

    • 검색 최적화 초기화 시점과 이후 데이터가 수집될 때 모두 인덱싱되는 테이블 및 필드의 수와 크기에 의해 비용이 영향을 받습니다. 테이블과 필드가 많고 크기가 클수록 비용이 더 많이 듭니다.

      • 검색 최적화가 초기화될 때 기존의 모든 데이터를 인덱싱해야 하므로 인덱싱되는 과거 데이터 양에 비례하는 초기 비용이 발생합니다.

      • 초기화 이후에는 검색 최적화 인덱스를 생성하는 데 필요한 컴퓨트에 따라 데이터 수집 시 비용이 계산됩니다.

    • 검색을 가속하기 위해 인덱스가 사용될 때 추가 비용은 발생하지 않습니다. 이는 검색이 더 빠르게 실행되므로 비용이 저렴해질 수 있음을 의미합니다.

검색 최적화에 대해 자세히 알아보려면 Snowflake의 검색 최적화 서비스 사용 문서(Using the Search Optimization Service)arrow-up-right.

PreviousSnowflakeNextDatabricks (베타)

Last updated

Was this helpful?