Cribl 온보딩 가이드

AWS S3, Cribl 및 Panther를 사용하여 민감한 로그 데이터를 익명화(redact)하는 방법

개요

이 가이드에 설명된 절차는 Cribl Cloud 또는 Cribl Self-Hosted를 사용하여 민감한 로그 데이터를 편집(마스킹)하는 방법을 설명하며, 특히 Amazon Web Services(AWS) S3 버킷 및 Panther 내에서 작동합니다. 개괄적으로 우리는 다음을 수행합니다:

• Cribl에서 S3 버킷을 인증하는 방법(수동 방식과 Event Breakers 예제 포함).

• JSON 데이터 형식을 사용하여 AWS S3 소스 및 대상 구성.

• 사전 및 사후 Cribl 마스크를 사용한 JSON 이벤트 예제 제공.

Cribl로 민감한 필드를 마스킹하는 방법

1단계: Cribl에서 AWS S3 소스 구성

1. Cribl에 로그인합니다. 왼쪽에서 다음으로 이동합니다 그룹그런 다음 페이지 상단에서 라우팅 드롭다운을 클릭하고 퀵 커넥트(Quick Connect)를 선택합니다.

2. 클릭 소스 추가그런 다음 소스 목록에서 Amazon S3를 선택합니다.

3. 아래 구성 > 일반 설정고유한 입력 ID, SQS 큐의 ARN을 입력하고 선택적으로 추가 필터를 입력합니다.

4. 클릭 인증 왼쪽에서. 다음 인증 방법 중 하나를 선택하려면 클릭하십시오:

   • 수동 - 액세스 키 및 비밀 키 필요(액세스 키와 비밀 키를 AWS에서 생성해야 합니다)

   • 비밀(Secret) - 비밀 키 쌍(이 키 쌍을 AWS에서 생성해야 합니다)

   • 자동 - Assume Role 섹션에 AWS 계정 ID 및 ARN을 구성해야 합니다. 이 역할은 S3 및/또는 SQS에 대한 접근 권한이 있어야 합니다. 위 예제 스크린샷에서는 "수동(Manual)"이 선택되어 있습니다.

5. 클릭 이벤트 브레이커(Event Breakers) 왼쪽에서. Cribl 이벤트 브레이커를 선택하십시오.

   • 참고: 이 단계는 Cribl이 수신된 JSON 데이터를 파싱할 수 있게 합니다.

2단계: Cribl에서 AWS S3 목적지 구성

1. 다시 QuickConnect 페이지로 이동합니다. 클릭 대상 추가 하고 Amazon S3를 선택합니다.

2. 일반 설정 페이지에 다음을 입력하십시오:

   • S3 버킷 이름. AWS에서는 이러한 S3 버킷이 동일할 수 있습니다. 버킷 내의 객체는 필요에 따라 접두사(Prefix) 필터로 구분할 수 있습니다.

   • 버킷 리전

   • 접두사(Prefix) 출력된 JSON 파일용

   • 파일 이름 접두사 표현식 \

3. 클릭 인증 왼쪽에서. 다음 인증 방법 중 하나를 선택하려면 클릭하십시오:

   • 수동 - 액세스 키 및 비밀 키 필요(액세스 키와 비밀 키를 AWS에서 생성해야 합니다)

   • 비밀(Secret) - 비밀 키 쌍(이 키 쌍을 AWS에서 생성해야 합니다)

   • 자동 - Assume Role 섹션에 AWS 계정 ID 및 ARN을 구성해야 합니다. 이 역할은 S3 및/또는 SQS에 대한 접근 권한이 있어야 합니다. 위 예제 스크린샷에서는 "수동(Manual)"이 선택되어 있습니다.

3단계: Cribl에서 파이프라인 구성

1. 소스와 목적지를 연결하는 점선(점선)을 클릭하십시오:

   • 연결 구성 대시보드로 리디렉션됩니다.

2. 연결 구성 대시보드의 오른쪽 상단에서 클릭하십시오 + 파이프라인(+ Pipeline). 표시되는 드롭다운 메뉴에서 클릭하십시오 파이프라인 생성(Create Pipeline).

3. 표시되는 "새 파이프라인 생성(Create New Pipeline)" 팝업 대화상자에서 이름을 입력하십시오 redacted 예를 들어 포워딩 URL은 다음과 같을 수 있습니다: ID 필드. 선택적으로 비동기 함수 타임아웃(Async Function Timeout) 및 설명을 입력한 다음 클릭하십시오 저장.

4. 처리 / 파이프라인(Processing / Pipelines) 페이지에서 파란색 톱니바퀴 아이콘을 클릭하십시오.

5. 오른쪽 상단에서 클릭 JSON로 편집(Edit as JSON).

6. 아래 JSON 블록을 붙여넣으십시오. 아래 JSON 블록에는 두 개의 필터가 있음을 참고하십시오:

   • 마스크(Mask): 필드 내의 모든 내용을 다음으로 대체합니다 이름 필드와 함께 REDACTED

   • Eval: 다음 필드를 제거합니다 _raw cribl_breaker crible_pipe _time\

   {
     "id": "redaction",
     "conf": {
       "asyncFuncTimeout": 1000,
       "functions": [
         {
           "filter": "true",
           "conf": {
             "rules": [
               {
                 "matchRegex": "/(.*)/i",
                 "replaceExpr": "`REDACTED`"
               }
             ],
             "fields": [
               "name"
             ],
             "depth": 5,
             "flags": []
           },
           "id": "mask",
           "description": "Masking Filter",
           "final": false
         },
         {
           "filter": "true",
           "conf": {
             "remove": [
               "_raw",
               "cribl_breaker",
               "cribl_pipe",
               "_time"
             ]
           },
           "id": "eval",
           "final": true
         }
       ],
       "description": "redaction-pipeline",
       "groups": {}
     }
   }

7. JSON을 저장하십시오.

JSON이 저장되면 UI는 아래 스크린샷과 유사하게 마스킹 규칙을 반영합니다:

완성된 데이터 경로(Data Route)는 아래 스크린샷과 유사하게 보입니다:

Cribl 전후 JSON 예제

다음 예제는 이 가이드의 이전 단계에서 언급한 mask 필터를 사용한 JSON 이벤트를 보여줍니다. 마스크 필터를 사용한 후 name 필드는 Bella 로부터 REDACTED로 대체됩니다.

Cribl 이전(Pre-Cribl) 마스크:

{ ... "name": "Bella", ...} 

Cribl 이후(Post-Cribl) 마스크:

{ ... "name":"REDACTED", ...}

구성 후 마스크 필터가 예상대로 작동하는지 확인하는 것을 강력히 권장합니다. 마스크 필터가 올바르게 작동하는 것으로 확인되면, 마스킹된 로그를 Panther로 수집하십시오 S3 데이터 전송을 사용하여.