Cribl 온보딩 가이드

AWS S3, Cribl, Panther를 사용하여 민감한 로그 데이터를 마스킹하는 방법

개요

이 가이드에 설명된 프로세스는 Cribl Cloud 또는 Cribl Self-Hosted를 사용하여 민감한 로그 데이터를 마스킹하는 방법을 설명하며, 특히 Amazon Web Services(AWS) S3 버킷과 Panther 내에서 작동합니다. 전반적으로 우리는 다음을 수행합니다:

• Cribl에서 S3 버킷을 인증하며, 수동 방식과 Event Breakers의 예시를 포함합니다.

• JSON 데이터 형식을 사용하여 AWS S3 소스와 대상 구성을 설정합니다.

• Cribl 적용 전과 후의 마스크를 사용한 JSON 이벤트 예시를 제공합니다.

Cribl로 민감한 필드를 마스킹하는 방법

1단계: Cribl에서 AWS S3 소스 구성

1. Cribl에 로그인합니다. 왼쪽에서 그룹으로 이동한 다음, 페이지 상단에서 라우팅 드롭다운을 클릭하고 Quick Connect.

2. 을 클릭합니다 Add Source를 선택한 다음, 소스 목록에서 Amazon S3를 선택합니다.

3. 다음 항목 아래에서 Configure > General Settings고유한 입력 ID, SQS 큐의 ARN을 입력하고, 필요에 따라 추가 필터를 입력합니다.

4. 을 클릭합니다 인증 을 왼쪽에서 클릭합니다. 다음 인증 방법 중 하나를 선택합니다:

   • 수동 - 액세스 키와 시크릿 키가 필요합니다(AWS에서 액세스 키와 시크릿 키를 생성해야 합니다)

   • 시크릿 - 시크릿 키 쌍이 필요합니다(AWS에서 이 키 쌍을 생성해야 합니다)

   • 자동 - Assume Role 섹션에 구성할 AWS 계정 ID와 ARN이 필요합니다. 이 역할은 S3 및/또는 SQS에 대한 액세스 권한이 있어야 합니다. 위의 예시 화면에서는 "Manual"이 선택되어 있습니다.

5. 을 클릭합니다 Event Breakers 를 왼쪽에서 선택합니다. Cribl event breaker를 선택합니다.

   • 참고: 이 단계는 Cribl이 들어오는 JSON 데이터를 파싱할 수 있게 합니다.

2단계: Cribl에서 AWS S3 대상 구성

1. QuickConnect 페이지로 돌아갑니다. 클릭한 후 Destination 추가 Amazon S3를 선택합니다.

2. General Settings 페이지에서 다음을 입력합니다:

   • S3 버킷 이름. AWS에서는 이 S3 버킷들이 같을 수 있습니다. 필요하다면 버킷 내 객체는 prefix 필터로 구분할 수 있습니다.

   • 버킷 리전

   • 접두사 출력되는 JSON 파일의

   • 파일 이름 접두사 표현식 \

3. 을 클릭합니다 인증 을 왼쪽에서 클릭합니다. 다음 인증 방법 중 하나를 선택합니다:

   • 수동 - 액세스 키와 시크릿 키가 필요합니다(AWS에서 액세스 키와 시크릿 키를 생성해야 합니다)

   • 시크릿 - 시크릿 키 쌍이 필요합니다(AWS에서 이 키 쌍을 생성해야 합니다)

   • 자동 - Assume Role 섹션에 구성할 AWS 계정 ID와 ARN이 필요합니다. 이 역할은 S3 및/또는 SQS에 대한 액세스 권한이 있어야 합니다. 위의 예시 화면에서는 "Manual"이 선택되어 있습니다.

3단계: Cribl에서 파이프라인 구성

1. 소스와 대상을 연결하는 점선 클릭:

   • Connection Configuration 대시보드로 이동합니다.

2. Connection Configuration 대시보드의 오른쪽 상단에서 + Pipeline. 을 클릭합니다. 나타나는 드롭다운 메뉴에서 Create Pipeline.

3. 가 나타나는 "Create New Pipeline" 팝업 대화상자에서 이름 redacted 를 ID 필드에 입력합니다. 필요에 따라 Async Function Timeout과 Description을 입력한 다음 저장.

4. Processing / Pipelines 페이지에서 파란색 기어 아이콘을 클릭합니다.

5. 오른쪽 상단에서 Edit as JSON.

6. 아래의 JSON 블록을 붙여넣습니다. 아래 JSON 블록에는 두 개의 필터가 있습니다:

   • Mask: 다음 항목의 모든 내용을 바꿉니다 name 필드를 REDACTED

   • Eval: 다음 필드를 제거합니다 _raw cribl_breaker crible_pipe _time\

   {
     "id": "redaction",
     "conf": {
       "asyncFuncTimeout": 1000,
       "functions": [
         {
           "filter": "true",
           "conf": {
             "rules": [
               {
                 "matchRegex": "/(.*)/i",
                 "replaceExpr": "`REDACTED`"
               }
             ],
             "fields": [
               "name"
             ],
             "depth": 5,
             "flags": []
           },
           "id": "mask",
           "description": "마스킹 필터",
           "final": false
         },
         {
           "filter": "true",
           "conf": {
             "remove": [
               "_raw",
               "cribl_breaker",
               "cribl_pipe",
               "_time"
             ]
           },
           "id": "eval",
           "final": true
         }
       ],
       "description": "redaction-pipeline",
       "groups": {}
     }
   }

7. JSON을 저장합니다.

JSON이 저장되면 UI에 아래 스크린샷과 유사하게 마스킹 규칙이 반영됩니다:

완성된 Data Route는 아래 스크린샷과 유사하게 표시됩니다:

JSON 예시: Cribl 전후

다음 예시는 이전 단계에서 언급한 mask 필터를 사용한 JSON 이벤트를 보여줍니다. 마스크 필터를 사용한 후 name 필드 Bella 는 다음으로 대체됩니다 REDACTED.

Cribl 이전 마스크:

{ ... "name": "Bella", ...} 

Cribl 이후 마스크:

{ ... "name":"REDACTED", ...}

구성 후 마스크 필터가 예상대로 작동하는지 반드시 확인하시기 바랍니다. 마스크 필터가 올바르게 작동하는 것이 확인되면, 마스킹된 로그를 Panther로 수집하세요 S3 Data Transport를 사용하여.