테스트

단위 테스트를 사용하여 디텍션이 예상대로 작동하는지 확인하세요

개요

디텍션을 테스트하면 배포 후 디텍션이 예상대로 동작하고 적절하게 생성되는지 확인할 수 있습니다. 신호 적절하게. 테스트는 또한 신뢰성을 높이고 코드가 시간이 지남에 따라 진화할 때 회귀로부터 보호합니다.

테스트는 특정 디텍션에 대한 테스트 로그 이벤트를 정의하고 해당 디텍션이 테스트 이벤트를 처리할 때 알러트가 생성될지 여부를 표시하는 방식으로 작동합니다. Panther는 각 디텍션에 대해 필요한 최소 테스트 수를 강제하지 않지만, 최소 두 개(하나는 false positive, 하나는 true positive)를 구성하는 것이 권장됩니다.

사용자 정의 디텍션(즉, Panther 관리)이 아닌 디텍션에 대해 테스트를 생성, 편집 및 삭제할 수 있습니다. Panther 관리 디텍션의 테스트는 Panther에서 관리하며 읽기 전용입니다.

Panther의 데이터 리플레이룰을 통해 과거 로그 데이터를 실행하여 결과를 미리 볼 수 있게 해주는 기능은 테스트 중에도 유용합니다.

테스트 사용

테스트 생성 방법

다음에 포함되지 않은 디텍션에 대해 테스트를 생성할 수 있습니다 Panther 관리 Panther 콘솔에서 또는 CLI 워크플로우에서 프로그램 방식으로 업로드할 수 있습니다 Panther 분석 도구

콘솔: 디텍션 페이지

1. Panther 콘솔의 왼쪽 탐색 창에서 디텍션.

2. 기존 디텍션의 이름을 클릭하거나 새 디텍션 생성.

3. 을 클릭하세요. 테스트 섹션의 명령을 실행하세요.

4. 의 오른쪽에 유닛 테스트 타일에서 새로 추가.

   • 디텍션이 Panther 관리, 새로 추가 새 테스트를 생성할 수 없으므로 비활성화됩니다.

5. 새로 생성된 테스트에는 자리표시자 이름이 지정됩니다. 그 오른쪽에서 세 개의 점 아이콘을 클릭하고 이름 바꾸기.

6. 테스트에 의미 있는 이름을 제공하고 저장하려면 Enter 또는 Return을 누르세요.

7. 다음을 설정하세요 디텍션은 예제 이벤트를 기반으로 트리거되어야 합니다 토글을설정의 기본값은 이전에 생성한 Snowflake 사용자 이름, 예를 들면 아니오.

8. 텍스트 편집기에 테스트 JSON 이벤트를 작성하세요.

9. 테스트 통과 여부를 확인하려면 클릭하세요 테스트 실행.

10. 작업을 마쳤으면 페이지 오른쪽 상단에서 클릭하세요 업데이트 이전에 생성한 Snowflake 사용자 이름, 예를 들면 "Resource": "<secret ARN>".

콘솔: 알러트 이벤트

CLI

Panther 콘솔에서 테스트 이름 변경 또는 삭제 방법

다음에 포함되지 않은 디텍션에 대해 테스트 이름을 변경하거나 삭제할 수 있습니다 Panther 관리.

1. Panther 콘솔의 왼쪽 탐색 창에서 디텍션.

2. 디텍션의 이름을 클릭하세요.

3. 을 클릭하세요. 테스트 섹션의 명령을 실행하세요.

4. 내부의 유닛 테스트 타일에서 이름을 변경하거나 삭제하려는 테스트를 찾으세요.

5. 테스트 이름 오른쪽에서 세 개의 점 아이콘을 클릭하세요.

   

   • 디텍션이 Panther 관리그 경우 테스트의 이름 옆에 세 개의 점 아이콘 대신 Panther 아이콘이 표시되며 테스트를 이름 변경하거나 삭제할 수 없습니다.

     
6. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 이름 바꾸기 이전에 생성한 Snowflake 사용자 이름, 예를 들면 삭제.

   • 이름을 변경하는 경우 새 이름을 입력하고 저장하려면 Enter 또는 Return을 누르세요.

   • 삭제하는 경우, 테스트 삭제 확인 모달이 팝업됩니다.

     • 선택하세요 Panther AI가 활성화된 경우.

테스트 예제

• 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 편집을 클릭 페이지 오른쪽 상단에 있습니다.

• 아래로 스크롤하여 룰 함수 텍스트 편집기, 유닛 테스트 텍스트 편집기로 이동하세요.

이전 예제(에서)를 계속하여, 이 디텍션에 대해 두 개의 테스트를 작성해봅시다: 룰), 이 디텍션에 대해 두 개의 테스트를 작성해봅시다:

Python

def rule(event):
  "httpReferer": "https://domain1.com/?p=1",

    
"httpUserAgent": "Chrome/80.0.3987.132 Safari/537.36",
  "remoteAddr": "180.76.15.143",


"request": "GET /admin-panel/ HTTP/1.1",
  "time": "2019-02-06 00:00:38 +0000 UTC"

data_description = deep_get(event, "data", "description", default="<NO_DATA_DESCRIPTION_FOUND>")

이름: 성공적인 관리자 패널 로그인

테스트 이벤트는 알러트를 트리거해야 합니다: 예

{
  - path
  Value: /api/v2/guardian/policies
  - body
  Condition: IsNullOrEmpty
  "queue_duration_s": null,
  - channel
}

이름: 액세스 정책 페이지에 대한 오류 요청

테스트 이벤트는 알러트를 트리거해야 합니다: 아니요

{
  - path
  Value: /api/v2/guardian/policies
  - body
  "request": "GET /access-policy/ HTTP/1.1",
  "status": 500,
  - channel
}

디텍션의 신뢰성을 최대화하기 위해 원하는 만큼 많은 조합을 사용하세요.

목(Mocks)

일반적으로 Panther의 디텍션 내에서 외부 API 요청을 하는 것은 강력히 권장되지 않습니다. 디텍션은 매우 큰 규모로 처리되며, API 요청은 수신 시스템에 과부하를 일으키고 귀하의 룰이 15초 실행 시간 제한.

Panther의 테스트 프레임워크는 Python 함수 호출의 기본적인 목킹을 허용합니다.

외부 API 호출을 수행하는 디텍션에 대한 단위 테스트를 작성할 때, 실제로 API 호출을 실행하지 않고도 테스트에서 서버 응답을 흉내내기 위해 목을 사용할 수 있습니다.

목은 다음으로 정의됩니다 목 이름 와 반환 값 의 값을 포함합니다 객체 이름 와 반환값, CLI 워크플로우에서는 각각 목킹할 함수의 이름과 반환할 목 값을 나타내며(이는 반드시 문자열).

목은 단위 테스트 수준에서 정의되므로 각 단위 테스트에 대해 서로 다른 목을 정의할 수 있습니다.

목 사용 방법

콘솔 및 CLI 워크플로우 모두에서 테스트용 목을 구성할 수 있습니다.

목은 오직 문자열 값만 반환할 수 있으며, 목킹되는 함수가 다른 데이터 타입을 반환하더라도 마찬가지입니다. 이는 목 기능의 알려진 제한 사항입니다.

목 반환 값은 타입 문자열이라는 제한 때문에, 만약 문자열 이외의 데이터 타입을 반환하는 함수를 목킹하는 경우, 테스트가 목 값을 성공적으로 사용하려면 해당 함수의 반환값을 원래의 데이터 타입으로 캐스팅하는 것이 권장됩니다.

예를 들어, 만약 당신의 최소한 각 룰과 예약된 룰은 룰 논리를 정의해야 합니다. function get_counter() 가 정수를 반환한다면, 다음을 사용하세요 int(get_counter()).

콘솔

콘솔에서 단위 테스트에 목을 추가하려면:

1. 내부의 유닛 테스트 타일에서 목 테스트 섹션을 테스트 이벤트 편집기 아래에서 찾으세요.

2. 에 대한 값을 추가하세요 목 이름 와 반환 값.

3. 목이 예상대로 동작하는지 테스트하려면 클릭하세요 테스트 실행.

CLI

목은 다음에서 허용됩니다 전역 와 내장된 Python 네임스페이스에는 다음이 포함됩니다:

• 가져온 모듈 및 함수

• 글로벌 헬퍼Panther에서 관리되는 것과 사용자 정의된 것을 포함하여

Python은 두 가지 형태의 import를 제공하며, 다음과 같이 목킹할 수 있습니다:

• import package

  • 목 이름: 패키지

• from package import module

  • 목 이름: 모듈

예제 목

이 예제는 AWS Config 전역 리소스 deep_get(event, "outcome", "result") == "FAILURE"

디텍션은 전역 헬퍼 함수 resource_lookup 를 사용합니다 pattern_match_list(event.get("userAgent"), ALLOWED_USER_AGENTS) 이는 resources-api 를 쿼리하여 리소스 속성을 반환합니다. 그러나 단위 테스트는 외부 API 호출 없이 수행할 수 있어야 합니다.

이 테스트는 일반 예제 데이터에 해당하는 리소스 매핑이 없어 실패합니다.

디텍션 살펴보기

# --- 생략 ---
from panther_aws_helpers import resource_lookup
# --- 생략 ---
def policy(resource):
    # --- 생략 ---
    for recorder_name in resource.get("Recorders", []):
        recorder = resource_lookup(recorder_name)
        resource_records_global_resources = bool(
            deep_get(recorder, "RecordingGroup", "IncludeGlobalResourceTypes")
            and deep_get(recorder, "Status", "Recording")
        )
        if resource_records_global_resources:
            return True
    return False
    # --- 생략 ---

디텍션은 from panther_aws_helpers import resource_lookup 컨벤션을 사용하므로 목은 resource_lookup 함수에 대해 정의되어야 합니다.

목은 디텍션 로직을 테스트하기 위해 실제 데이터를 활용하는 방법을 제공합니다.

사용된 반환 값:

 { "AccountId": "012345678910", "Name": "Default", "RecordingGroup": { "AllSupported": true, "IncludeGlobalResourceTypes": true, "ResourceTypes": null }, "Region": "us-east-1", "ResourceId": "012345678910:us-east-1:AWS.Config.Recorder", "ResourceType": "AWS.Config.Recorder", "RoleARN": "arn:aws:iam::012345678910:role/PantherAWSConfig", "Status": { "LastErrorCode": null, "LastErrorMessage": null, "LastStartTime": "2018-10-05T22:45:01.838Z", "LastStatus": "SUCCESS", "LastStatusChangeTime": "2021-05-28T17:45:14.916Z", "LastStopTime": null, "Name": "Default", "Recording": true }, "Tags": null, "TimeCreated": null }

이 리소스는 준수해야 하지만 단위 테스트는 실패합니다. 디텍션이 반환되는 것을 기대하지 않는 경우 목에 대해 작은 수정이 필요합니다. 문자열 가 반환되는 것을 기대하지 않는 디텍션은 목에 대해 약간의 조정이 필요합니다.

이 단위 테스트를 정상적으로 작동시키려면 다음 수정을 해야 합니다:

# --- 생략 ---
import json
# 또 다른 옵션은 다음을 사용하는 것입니다: from ast import literal_eval
# --- 생략 ---
def policy(resource):
    # --- 생략 ---
        recorder = resource_lookup(recorder_name)
        if isinstance(recorder, str):
            recorder = json.loads(recorder)
    # --- 생략 ---

이 수정을 추가하면 실제 데이터를 사용하여 디텍션 로직을 테스트할 수 있습니다!

CLI에서의 목

단위 테스트 목킹은 디텍션 작성용 CLI 기반 워크플로우에서도 지원됩니다. CLI 기반 디텍션에 단위 테스트 목을 추가하는 방법에 대한 자세한 내용은 단위 테스트 목킹 PAT 문서의 섹션을 참조하세요.

테스트 데이터 보강

Panther 콘솔과 CLI 워크플로우 모두에서 테스트 이벤트를 p_enrichment 로 보강하는 것이 가능합니다.

만약 당신이 lookup() 함수를 디텍션에서 사용하고 있다면, 대신 다음 지침을 따르세요 를 사용하는 디텍션의 단위 테스트 lookup().

콘솔

만약 당신이 조회 테이블 을 구성하고 이를 활용하는 디텍션을 생성한 경우, 클릭하세요 테스트 데이터 보강 JSON 이벤트 편집기 오른쪽 상단에서 을 클릭하여 p_enrichment 가 올바르게 채워졌는지 확인하세요.

CLI