데이터 탐색기

Panther의 데이터 탐색기를 사용하여 정규화된 데이터를 보고 SQL 쿼리 실행하기

개요

Panther 콘솔의 데이터 익스플로러는 정규화된 Panther 데이터를 보고 자동완성 기능이 있는 SQL 쿼리를 실행할 수 있는 곳입니다.

데이터 익스플로러에서는 다음을 할 수 있습니다:

• 수집된 로그 데이터, 룰 매치 탐색 및 모든 데이터에 걸쳐 표준 필드 검색

• 검색을 저장하고 선택적으로 예약

  • 예약된 규칙은 하나 이상과 연결됩니다 룰 엔진을 통해 실행될 수 있습니다

• Create 템플릿화된 검색 및 매크로

• 공유 가능한 링크로 팀과 결과를 공유하거나 CSV로 결과 다운로드

• 룰 엔진에서 단위 테스트로 사용할 JSON의 전체 행 선택

• SQL 없이 테이블 데이터 미리보기, 결과 필터링 및 열 요약

• 다음을 통해 데이터 익스플로러에 대한 접근을 제한 역할 기반 접근 제어 (RBAC)

다음이 포함된 데이터 익스플로러 결과 빅인트 32비트 정밀도를 초과하는 데이터는 브라우저의 JSON 렌더링 제한으로 인해 반올림되어 표시됩니다. 이러한 값을 정밀도 손실 없이 표현하려면 SQL 명령에서 문자열로 캐스트하세요. 데이터 레이크에 저장된 실제 데이터는 영향을 받지 않습니다.

데이터 익스플로러의 쿼리 문법

데이터 익스플로러에서 실행되는 쿼리는 Snowflake의 문서에 설명된 Snowflake SQL 문법을 사용해야 합니다: SQL 명령 참조 문서.

다음도 확인할 수 있습니다:

• 데이터 익스플로러에서 검색할 때의 모범 사례는 데이터 익스플로러에서 효과적으로 검색하기

• 방법 데이터 익스플로러에서 네스티드 필드 참조하는 방법

• 사용 방법 데이터 익스플로러 매크로 사용 방법

데이터 익스플로러에서 네스티드 필드 참조하기

JSON 객체를 탐색할 때 키 이름이 Snowflake SQL 식별자 규칙과 일치하지 않는 경우 — 예를 들어 마침표나 공백을 포함하는 경우 — 값을 큰따옴표로 감싸세요.

예를 들어 필드에 접근하는 쿼리를 실행하려면 context.ip_address 함수로부터 반환되는 IPInfo 개인정보 강화 제공자, 이렇게 작성합니다 p_enrichment:ipinfo_privacy:"context.ip_address".

Snowflake의 다음에서 자세히 알아보세요: 반정형 데이터 쿼리하기 문서.

데이터 익스플로러에서 효과적으로 검색하기

결과가 가능한 한 빠르게 반환되도록 하려면 다음 모범 사례를 따르는 것이 좋습니다:

• 사용하세요 LIMIT 절

  • 다음을 사용하세요 LIMIT 절을 사용하여 쿼리가 반환할 레코드 수를 지정하세요. 쿼리 제한은 결과를 더 빠르게 반환할 수 있습니다. Panther는 기본적으로 결과 크기를 100MB로 제한합니다.

• 시간 범위 필터 사용

  • Snowflake는 S3의 파일을 마이크로파티션으로 그룹화합니다. 쿼리에서 시간 범위(예: p_event_time 또는 p_occurs_since())로 필터링하면 Snowflake는 특정 파티션만 액세스하므로 결과를 더 빠르게 반환합니다.

  • 매크로에 대한 자세한 내용은 아래 섹션을 참조하세요: 데이터 익스플로러 매크로 사용 방법.

• p_any 필드 사용

  • 로그 수집 중에 Panther는 일반적인 보안 지표를 p_any 필드로 추출합니다. p_any 이 필드들은 최적화된 열에 저장됩니다. 이러한 필드는 모든 데이터 소스에 걸쳐 속성 이름을 표준화하여 빠른 데이터 상관분석을 가능하게 합니다.

  • 자세한 내용은 표준 필드.

• 특정 필드 쿼리하기

  • 사용 시 SELECT * FROM ... 은 모든 컬럼을 가져와 쿼리를 느리게 만들 수 있습니다. 가능한 경우 조사에 필요한 필드만 쿼리하세요. 예: SELECT user_name, event_name FROM ....

• 요약

  • 요약은 전체 레코드를 쿼리하는 것보다 실행이 더 빠릅니다. 이는 특히 긴 기간의 로그를 조사할 때나 조사 중인 시간 동안 데이터가 얼마나 있는지 불확실할 때 유용합니다.

  • 전체 데이터 세트를 쿼리하는 대신 count(*) 와 group by 시간 범위를 사용하면 더 빠르게 실행되며 이후에 쿼리할 더 좁은 시간 범위를 결정하는 데 도움이 됩니다.

  • 예를 들어 하루를 되돌아보고 GROUP BY hour를 사용하면 데이터에서 조사해야 할 특정 시간을 결정할 수 있습니다. 그런 다음 해당 시간에 대해 쿼리를 실행하여 결과를 더 좁힐 수 있습니다.

위의 모범 사례를 따른 후에도 쿼리가 여전히 느리게 실행된다면 다음 단계를 권장합니다:

• 쿼리하고 있는 데이터 양을 확인하기 위해 행 수를 계산하세요.

  • 이를 통해 데이터 양이 많아 시간이 더 걸리는 것이 예상되는지 여부를 판단할 수 있습니다.

• 쿼리하는 시간 범위를 줄이세요.

• 추가 도움이 필요하면 Panther 지원팀에 문의하세요.

데이터 익스플로러 사용 방법

데이터 익스플로러 접근

• Panther 콘솔의 왼쪽 탐색 바에서 클릭하십시오 Investigate > Data Explorer.

테이블 데이터 미리보기

SQL을 작성하지 않고도 예제 테이블 데이터를 미리볼 수 있습니다. 해당 로그 소스에 대한 샘플 SQL 쿼리를 생성하려면 테이블 유형 옆의 눈 아이콘을 클릭하세요:

데이터 익스플로러 결과 필터링

데이터 익스플로러에서 SQL을 작성하지 않고 결과 집합의 열을 필터링할 수 있습니다.

결과 테이블의 오른쪽 상단에서 클릭하세요 열 필터 결과에 표시할 열을 선택하려면:

참고: 이 메커니즘을 통해 적용된 필터는 쿼리의 SQL select 문에는 적용되지 않습니다.

열 데이터 요약

SQL을 작성하지 않고도 데이터 익스플로러의 결과 집합에서 열의 요약(빈도 수)을 생성할 수 있습니다.

요약을 생성하려는 열에서 아래 화살표를 클릭한 다음 요약 별도 탭에 요약 결과를 표시합니다.

쿼리 실행 후 처음으로 요약을 생성하려면 요약 탭으로 전환한 다음 드롭다운에서 열을 선택하세요.

선택한 열의 요약 결과는 요약 탭에 표시되며, 결과를 카운트가 많은 순 또는 적은 순으로 정렬하는 옵션이 있습니다(기본값은 카운트가 많은 순).

다음에 추가하여 row_count 값 외에도 요약은 결과 데이터에 first_seen 와 last_seen 값이 포함되어 있으면 해당 값을 표시합니다. p_event_time 표준 필드.

데이터 익스플로러 매크로 사용 방법

지원되는 백엔드 데이터베이스의 모든 테이블은 시간 필터를 사용한 쿼리 시 성능 향상을 위해 이벤트 시간으로 파티셔닝되어 있습니다.

효율성과 사용 편의를 위해 Panther는 데이터베이스로 전송될 때 전체 표현식으로 확장되는 매크로를 제공합니다:

• 현재 시간: p_current_timestamp

• 시간 범위 필터: p_occurs_between

• 현재로부터의 시간 오프셋: p_occurs_since

• 특정 시간 주변 필터: p_occurs_around

이 매크로들은 템플릿 매크로와 다릅니다. 템플릿 매크로에 대해서는 템플릿화된 검색.

매크로 형식

시간 지속 형식

일부 매크로는 매개변수로 시간 지속 시간을 받습니다. 이 지속 시간의 형식은 양의 정수와 선택적 접미사로 구성됩니다. 접미사가 없는 경우 숫자는 초로 해석됩니다.

지원되는 접미사는 아래에 나열되어 있습니다:

• s, sec, second, seconds — 매크로는 지정된 초를 더합니다

• m, min, minute, minutes — 매크로는 지정된 분을 오프셋에 더합니다

• h, hr, hrs, hour, hours — 매크로는 지정된 시간을 오프셋에 더합니다

• d, day, days — 매크로는 지정된 일을 오프셋에 더합니다

• w, wk, week, weeks — 매크로는 지정된 주 수를 오프셋에 더합니다

• 접미사가 감지되지 않으면 기본값은 초입니다

예시:

• '6 d' - 6일

• '2 weeks' - 2주

• 900 - 900초

• '96 hrs' - 96시간

타임스탬프 형식

시간 표현식이 팀에서 사용하는 데이터베이스 백엔드에서 파싱될 수 있는지 확인하세요. 기본적으로 안전한 시간 형식은 다음과 유사해야 합니다: 2021-01-02 15:04:05.000 그리고 UTC 시간대로 가정됩니다.

데이터 익스플로러 매크로 사용 방법

현재 시간: p_current_timestamp

p_current_timestamp()

이 매크로는 다음으로 확장됩니다 current_timestamp 데이터 익스플로러에서는, 하지만 p_occurs_since스케줄된 쿼리에서 실행될 때는 (쿼리가 실제로 언제 실행되었는지에 관계없이) 쿼리의 스케줄된 시간으로 확장됩니다.

시간 범위 필터: p_occurs_between

p_occurs_between(startTime, endTime, [, tableAlias [, column]])

• startTime - 에 있는 시간 타임스탬프 형식으로, 검색 창의 시작을 나타냅니다

• endTime - 에 있는 시간 타임스탬프 형식으로, 검색 창의 끝을 나타냅니다

• tableAlias - 제공된 경우 테이블 별칭으로 사용될 선택적 식별자

• column - 제공된 경우 컬럼으로 사용될 선택적 식별자

  • 없을 경우 기본 컬럼은 p_event_time.

  • 다른 컬럼(예: p_parsed_time)을 지정하는 것은 column 에 대한 제한이 없으면 쿼리 시간이 상당히 길어질 수 있습니다. 제한이 없으면 전체 테이블을 검색하기 때문입니다. p_event_time매크로

p_occurs_between() 는 형식의 시작 시간과 종료 시간을 받아 결과 집합을 해당 시간 범위의 이벤트로 필터링하며 올바른 파티션을 사용합니다(입출력 최소화 및 쿼리 속도 향상). 타임스탬프 형식 이 매크로를 올바르게 사용하려면

WHERE 절과 같은 필터 안에 있어야 합니다. 절.

다음 Snowflake 명령에는 매크로가 포함되어 있습니다:

select p_db_name, count(*) as freq from panther_views.public.all_databases
where p_occurs_between(current_date - 1, current_timestamp)
group by p_db_name
limit 1000

매크로는 쿼리가 데이터베이스로 전송되기 전에 자동으로 확장됩니다. 확장 형태는 데이터베이스별로 다릅니다. Snowflake에서는 이 확장이 비교적 직관적입니다:

select p_db_name, count(*) as freq from panther_views.public.all_databases
where p_event_time between convert_timezone('UTC',current_date - 1)::timestamp_ntz
    and convert_timezone('UTC',current_timestamp)::timestamp_ntz
group by p_db_name
limit 1000

매크로는 선택적 테이블 별칭도 받습니다. 이는 JOIN:

select aws.awsRegion, ata.digestEndTime
from panther_logs.public.aws_cloudtrail as aws
join panther_logs.public.aws_cloudtraildigest as ata ON aws.awsRegion = ata.awsAccountId
where p_occurs_between('2023-01-01', '2023-06-30', aws)
limit 10

현재로부터의 시간 오프셋: p_occurs_since

p_occurs_since(offsetFromPresent [, tableAlias[, column]])

• offsetFromPresent - 시간 지속 형식의 표현식으로, 현재를 기준으로 해석됩니다. 예: '1 hour'

• tableAlias - 제공된 경우 테이블 별칭으로 사용될 선택적 식별자

• column - 제공된 경우 컬럼으로 사용될 선택적 식별자

  • 없을 경우 기본 컬럼은 p_event_time.

  • 다른 컬럼(예: p_parsed_time)을 지정하는 것은 column 에 대한 제한이 없으면 쿼리 시간이 상당히 길어질 수 있습니다. 제한이 없으면 전체 테이블을 검색하기 때문입니다. p_event_time매크로

p_occurs_between() p_occurs_since() 은 시간 지속 형식 형식으로 지정된 오프셋 매개변수를 받고 결과 집합을 현재 시간과 지정된 오프셋 사이의 이벤트로 필터링하며 올바른 파티션 또는 클러스터 키를 사용합니다(입출력 최소화 및 쿼리 속도 향상).

이 매크로는 또한 선택적 테이블 별칭을 받습니다. 이는 여러 테이블을 참조할 때 유용합니다(예: JOIN.

WHERE 절과 같은 필터 안에 있어야 합니다. 절.

예시:

p_occurs_since('6 d')
p_occurs_since('2 weeks')
p_occurs_since(900) // 초로 가정
p_occurs_since('96 hrs')

만약 p_occurs_since 는 예약된 검색(Scheduled Search)으로부터 출력된 개별 행을 수용하여 작동합니다에서 사용되며, 현재 시간을 기준으로 하지 않고 예약된 실행 시간이 기준으로 사용됩니다. 예를 들어 쿼리가 매 시간 시작 시 실행되도록 예약된 경우, p_occurs_since('1 hour') 매크로는 각 시간의 시작을 기준으로 1시간 범위를 사용하여 확장됩니다(쿼리가 실제로 언제 실행되었는지와 관계없이). 자세한 내용은 사용 시 p_occurs_since 되돌아볼 창을 정의하려면.

다음은 테이블 별칭 매개변수가 있는 매크로의 예입니다. CloudTrail 로그에서 생성된 후 1시간 이내에 삭제된 S3 버킷을 식별하려고 합니다. 이는 잠재적으로 의심스러운 동작입니다. 이 정보를 얻기 위해 같은 테이블에 대해 자기 조인을 수행하고 매크로 확장을 사용하여 자기 조인의 두 요소 각각에 대해 지난 24시간으로 검색을 제한합니다(아래에서 별칭은 aws_cloudtrail 테이블에서 panther_logs그리고 우리는 매크로 확장을 사용하여 자기 조인의 두 요소 각각에 대해 지난 24시간으로 이 검색을 제한합니다(별칭 ct1 와 ct2 아래):

select 
ct1.p_event_time createTime, ct2.p_event_time deleteTime,
timediff('s',createTime, deleteTime) timeExtant,
ct1.requestparameters:"bucketName"::varchar createdBucket,
ct1.useridentity:"arn"::varchar createArn, deleteArn,
ct1.useragent createUserAgent, deleteUserAgent
from panther_logs.public.aws_cloudtrail ct1
join (
select p_event_time, requestparameters:"bucketName"::varchar deletedBucket, errorcode,
  eventname deleteEvent, useridentity:"arn"::varchar deleteArn, useragent deleteUserAgent  from panther_logs.public.aws_cloudtrail) ct2
on (ct1.requestparameters:"bucketName"::varchar = ct2.DeletedBucket
    and ct2.p_event_time > ct1.p_event_Time
    and timediff('s',ct1.p_event_time, ct2.p_event_time) < 3600)
where ct2.deleteEvent = 'DeleteBucket'
and ct1.eventName = 'CreateBucket'
and ct1.errorCode is null and ct2.errorcode is null
and p_occurs_since('1 day',ct2)  -- ct2에 적용
and p_occurs_since('24 hours',ct1)  -- ct1에 적용
order by createdBucket, createTime;

여기에는 별칭으로 표시된 두 번째 매개변수가 각각 다른 테이블에 적용된 두 개의 별도 호출이 있습니다. 이는 다음 Snowflake 쿼리로 확장됩니다: p_occurs_since on (ct1.requestparameters:"bucketName"::varchar = ct2.deletedBucket

select 
ct1.p_event_time createTime, ct2.p_event_time deleteTime,
timediff('s',createTime, deleteTime) timeExtant,
ct1.requestparameters:"bucketName"::varchar createdBucket,
ct1.useridentity:"arn"::varchar createArn, deleteArn,
ct1.useragent createUserAgent, deleteUserAgent
from panther_logs.public.aws_cloudtrail ct1
join (
select p_event_time, requestparameters:"bucketName"::varchar deletedBucket, errorcode,
  eventname deleteEvent, useridentity:"arn"::varchar deleteArn, useragent deleteUserAgent  from panther_logs.public.aws_cloudtrail) ct2
and ct2.p_event_time >= current_timestamp - interval '86400 second'
    and ct2.p_event_time > ct1.p_event_Time
    and timediff('s',ct1.p_event_time, ct2.p_event_time) < 3600)
where ct2.deleteEvent = 'DeleteBucket'
and ct1.eventName = 'CreateBucket'
and ct1.errorCode is null and ct2.errorcode is null
and ct1.p_event_time >= current_timestamp - interval '86400 second'
p_occurs_around(timestamp, timeOffset [, tableAlias[, column]])
order by createdBucket, createTime;

특정 시간 주변 필터: p_occurs_around

, 검색할 시간임을 나타냅니다

• 타임스탬프 - 에 있는 시간 타임스탬프 형식timeOffset

• , 검색할 시간의 양을 나타냅니다 - 시간 지속 형식, 예를 들어 타임스탬프- 제공된 경우 컬럼 별칭으로 사용될 선택적 식별자 '1 hour'

• tableAlias : 데이터베이스 백엔드가 귀하의 인스턴스에서 사용하는 형식으로 시간 표현식을 파싱할 수 있는지 확인하세요. 자세한 내용은

• column - 제공된 경우 컬럼으로 사용될 선택적 식별자

  • 없을 경우 기본 컬럼은 p_event_time.

  • 다른 컬럼(예: p_parsed_time)을 지정하는 것은 column 에 대한 제한이 없으면 쿼리 시간이 상당히 길어질 수 있습니다. 제한이 없으면 전체 테이블을 검색하기 때문입니다. p_event_time매크로

참고p_occurs_around() 타임스탬프 형식.

설정은 매크로는 주어진 시간 주변에 발생하는 이벤트를 필터링할 수 있게 해줍니다. 이 매크로는 형식의 타임스탬프를 받아 검색할 시간을 나타내고 타임스탬프 형식 형식의 오프셋을 받아 검색할 간격을 지정합니다. 검색 범위는 시간 지속 형식 timestamp - timeOffset timestamp + timeOffset 에서 입니다..

예를 들어 매크로 p_occurs_around('2022-01-01 10:00:00.000', '10 m') 는 2022년 1월 1일 UTC 기준 오전 09:50부터 오전 10:10 사이에 발생한 이벤트를 필터링합니다.

이 매크로는 또한 선택적 테이블 별칭을 받습니다. 이는 여러 테이블을 참조할 때 유용합니다(예: JOIN.

이 매크로를 올바르게 사용하려면 SQL 문장의 절과 같은 필터 안에 있어야 합니다. 절과 같은 필터 내에 있어야 합니다.

예시:

p_occurs_around('2022-01-01 10:00:00.000', '6 d')
p_occurs_around('2022-01-01 10:00:00.000', '2 weeks')
p_occurs_around('2022-01-01 10:00:00.000', 900) // 초로 가정
p_occurs_around('2022-01-01 10:00:00.000', '96 hrs')

데이터 익스플로러에서 저장된 검색 관리 방법

데이터 익스플로러에서 자주 실행하는 검색을 저장하면 반복해서 다시 작성할 필요가 없습니다.

저장된 검색을 삭제하는 방법은 다음에 설명되어 있습니다: 저장된 및 예약된 쿼리.

데이터 익스플로러에서 저장된 검색 또는 예약된 검색 생성

아래는 데이터 익스플로러에서 작성한 검색을 저장하는 방법에 대한 지침입니다. 또한 Search에서 저장된 검색을 생성할 수 있습니다.

1. Panther 콘솔의 왼쪽 탐색 바에서 클릭하십시오 Investigate > 데이터 탐색기.

2. SQL 편집기에서 SQL을 사용하여 검색을 작성하세요.

   • 시스템 전체 설정에서 LIMIT 절 요구를 활성화한 경우 쿼리에 LIMIT가 포함되어 있는지 확인하세요.

   • SQL 표현식에 변수를 포함하여 템플릿화된 검색을 생성할 수 있습니다. 자세한 내용은 템플릿화된 검색.

3. SQL 편집기 아래에서 클릭하세요 다른 이름으로 저장.

4. 다음 검색 저장 팝업 모달에서 양식을 작성하세요:

   • 검색 이름: 설명적인 이름을 추가하세요.

   • 태그: 유사한 검색을 그룹화하는 데 도움이 되도록 태그를 추가하세요.

   • 설명: 검색의 목적을 설명하세요.

   • 기본 데이터베이스: 쿼리를 실행할 데이터베이스를 선택하세요.

   • 예약된 검색 생성: 이 저장된 검색을 스케줄로 실행되게 하려면(즉 예약된 검색으로 만들려면) 토글을 켜기로 전환하세요. 이 토글을 켜기로 전환하면 아래 옵션이 나타납니다:

     • 활성 실행 중?: 이 예약된 검색을 선택한 스케줄에서 실행되게 하려면 토글을 켜기.

     • 로 전환하세요.

       • 다음 중 하나를 클릭하여 스케줄을 구성하세요: 기간

         • (쿼리가 고정된 시간 간격으로 실행되어야 하는 경우 선택): 와 기간(일)기간(분)

         • : SQL 쿼리가 다시 실행될 일수 및/또는 분 수를 입력하세요. 예: 기간을 0일 및 30분으로 설정하면 쿼리는 매일 30분마다 실행됩니다.타임아웃(분)

       • : 분 단위로 타임아웃 기간을 입력하세요. 최대 허용 값은 10분입니다. 쿼리가 허용된 시간 내에 완료되지 않으면 Panther는 자동 취소하기 전에 3번 재시도합니다. 크론 표현식 (특정 날짜에 반복 실행되어야 하는 경우 선택 및 크론 표현식 생성 방법에 대한 자세한 내용은):

         • 크기(분) 와 시간: 쿼리를 실행할 시간(하루 중)을 입력하세요.

         • 일 와 월 (월의 날짜): 특정 일자와 월에 쿼리를 실행하려면 일자와 월을 입력하세요.

         • 일 (요일): 특정 요일에 이 쿼리를 실행하려면 요일을 입력하세요.

         • 타임아웃타임아웃(분)

     • 예약된 검색 결과 이메일 전송: 검색 결과를 이메일로 전송하려면 이 켜기를 토글하세요. 자세한 내용은 예약된 검색을 구성하여 이메일 보고서를 생성하는 방법.

5. 클릭 검색 저장.

예약된 검색을 생성(다음으로 토글하여)한 경우 예약된 검색 생성 에서 ON), 이제 검출에 검색에서 반환된 데이터를 전달하려면 예약된 룰을 생성하기 위한 지침을 따르세요 원하는 경우.

데이터 익스플로러에서 저장된 검색 또는 예약된 검색 업데이트

1. Panther 콘솔의 왼쪽 탐색 바에서 클릭하십시오 Investigate > 데이터 탐색기.

2. 오른쪽 상단에서 클릭 저장된 검색 열기.

   • RFC3339 검색 열기 모달이 팝업됩니다.

3. 모달에서 업데이트하려는 저장된 검색을 선택한 다음 클릭하세요 검색 열기.

   • 저장된 검색이 데이터 익스플로러 SQL 편집기에 채워집니다.

4. SQL 명령을 원하는 대로 변경하세요.

5. 편집기 아래에서 클릭하세요 Diff 보기.

   • RFC3339 검색 업데이트 모달이 팝업됩니다.

6. 저장된 검색의 메타데이터(다음 포함)를 원하는 대로 변경하세요 검색 이름, 태그, 설명, 기본 데이터베이스및 예약된 검색 생성 (및 관련 필드).

7. 클릭 검색 업데이트 변경 사항을 저장하려면.