Cloud Storage(GCS) 소스

Panther 콘솔에서 GCS를 데이터 전송 로그 소스로 온보딩하기

개요

Panther는 Google Cloud Storage(GCS)를 데이터 전송 수단으로 구성하여 GCS 버킷에서 로그 데이터를 직접 가져오고, 규칙을 작성하며, 이 처리된 데이터에 대해 쿼리를 실행할 수 있습니다. Panther는 Pub/Sub 버킷에 새 데이터가 수신 준비되었을 때 알림을 받기 위해

Panther는 Google Cloud를 사용하여 소스에 대해 인증할 수 있습니다. 워크로드 아이덴티티 페더레이션 또는 서비스 계정.

데이터는 압축된 상태로(또는 압축되지 않은 상태로) 전송할 수 있습니다. 압축 사양에 대해 자세히 알아보려면 Panther에서 압축된 데이터 수집하기.

Panther에서 GCS 로그 소스를 설정하는 방법

1단계: Panther에서 GCS 소스 생성 시작

Panther Console의 왼쪽 탐색 모음에서 다음을 클릭하세요. 구성 > 로그 소스.
오른쪽 상단에서 다음을 클릭하세요. 새로 만들기.
다음을 클릭하세요. Google Cloud Storage 타일.
다음 항목에서 기본 정보 페이지에서 다음 필드를 입력하세요:
- 이름: GCS 로그 소스에 대한 설명적 이름을 입력합니다.
- 접두사 및 스키마: GCS의 데이터 저장 구조에 따라 접두사, 스키마 및 제외 필터의 조합을 정의합니다.
  - 버킷의 모든 데이터에 하나 이상의 스키마를 연결하려면 GCS 접두사 필드를 비워 두세요. 이렇게 하면 와일드카드 (*) 접두사가 생성됩니다.
다음을 클릭하세요. 설정.
다음 항목에서 로그 형식 페이지에서 다음의 스트림 유형 을 선택합니다:
- 자동
- 줄
- JSON
- JSON 배열
다음을 클릭하세요. 계속.

2단계: 필요한 Google Cloud Platform(GCP) 인프라 생성

GCP 인프라를 생성하기 전에 다음을 결정해야 합니다:

인증 방법: 다음을 사용할 수 있습니다 AWS를 사용하는 Google Cloud 워크로드 아이덴티티 페더레이션 또는 서비스 계정—아래의 상위 탭을 참조하세요.
생성 방법: Terraform을 사용해 인프라를 생성하거나 GCP 콘솔에서 수동으로 생성할 수 있습니다—아래 각 상위 탭 내의 하위 탭을 참조하세요.

Panther가 Google Cloud 서비스 계정을 사용하여 인증하도록 하려면, 아래 탭 중 하나의 지침을 따르세요.

Terraform을 사용하여 GCP 인프라를 생성하려면(서비스 계정으로 인증):

다음 항목에서 인프라 및 자격 증명 페이지에서 서비스 계정 탭.
다음을 클릭하세요. Terraform 템플릿 을 클릭하여 Terraform 템플릿을 다운로드합니다.
- Terraform 템플릿은 다음에서도 찾을 수 있습니다. 이 GitHub 링크.
다음의 필드를 채우세요 panther.tfvars 파일에 구성 값을 입력합니다.
- 다음으로 설정하세요 authentication_method 를 "service_account".
Terraform 구성 파일이 포함된 작업 디렉터리를 초기화하고 다음을 실행합니다 terraform init.
해당 Terraform 명령 을 복사하여 CLI에서 실행합니다.
다음 값을 복사하여 JSON 키 파일을 생성합니다 gcloud 명령 을 제공된 대로 사용하고, 서비스 계정 이메일 주소 값을 바꾼 뒤, CLI에서 실행합니다.
- 서비스 계정 이메일은 다음의 출력에서 찾을 수 있습니다 Terraform 명령.

GCP 콘솔에서 GCP 인프라 구성 요소를 수동으로 생성하려면(서비스 계정으로 인증):

Google Cloud 콘솔에서 Panther가 로그를 가져올 버킷을 확인하세요.
- 아직 버킷을 만들지 않았다면 다음을 참조하세요 버킷 생성에 관한 Google 문서.
토픽 생성 알림용으로.
- 다음을 사용하여 토픽을 생성할 수 있습니다 gcloud CLI 도구를 사용하며 명령 형식은 다음과 같습니다: gcloud pubsub topics create $TOPIC_ID
버킷이 알림을 보내도록 구성 새 파일에 대해 생성한 토픽으로.
- 다음을 사용하여 알림을 생성할 수 있습니다 gcloud CLI 도구를 사용하며 명령 형식은 다음과 같습니다: gsutil notification create -t $TOPIC_NAME -e OBJECT_FINALIZE -f json gs://$BUCKET_NAME
- 참고: Panther는 다음만 필요로 합니다 OBJECT_FINALIZE 유형입니다.
구독 생성 생성한 토픽과 함께 사용할 구독을 위해.
- 다음을 사용하여 구독을 생성할 수 있습니다 gcloud CLI 도구를 사용하며 명령 형식은 다음과 같습니다: gcloud pubsub subscriptions create $SUBSCRIPTION_ID --topic $TOPIC_ID --topic-project $PROJECT_ID

이 구독은 다른 서비스나 소스에서 사용하면 안 됩니다.

IAM API 사용 설정.
새 Google Cloud 서비스 계정 생성. 계정을 생성하려면 gcloud CLI 도구를 사용하여 다음 명령 형식을 사용하세요:
```
gcloud iam service-accounts create SA-NAME \
    --description="DESCRIPTION" \
    --display-name="DISPLAY_NAME"
```
- Panther가 이 GCS 통합을 위해 생성된 인프라에 액세스할 때 이 이메일 주소를 사용할 것이므로, 계정 이메일 주소를 반드시 기록해 두세요.
계정에 필요한 IAM 역할을 할당합니다.
- Pub/Sub 구독과 토픽이 있는 프로젝트에는 다음 권한이 필요합니다:
  필요한 권한
  역할
  Scope
  storage.objects.get
  storage.objects.list
  roles/storage.objectViewer
  bucket-name
  pubsub.subscriptions.consume
  roles/pubsub.subscriber
  subscription-name
  pubsub.subscriptions.get
  roles/pubsub.viewer
  subscription-name
  monitoring.timeSeries.list
  roles/monitoring.viewer
  프로젝트
  - 참고: 특정 리소스의 권한에 조건 또는 IAM 정책을 설정할 수 있습니다. 이는 서비스 계정의 IAM 페이지(아래 예시 스크린샷 참조) 또는 특정 리소스의 페이지에서 수행할 수 있습니다.
  - 참고: 다음을 사용하여 권한을 생성할 수 있습니다 gcloud CLI 도구:
    gcloud projects add-iam-policy-binding $PROJECT_ID --member="serviceAccount:$SERVICE_ACCOUNT_EMAIL" --role="roles/storage.objectViewer"
    gcloud projects add-iam-policy-binding $PROJECT_ID --member="serviceAccount:$SERVICE_ACCOUNT_EMAIL" --role="roles/pubsub.subscriber"
    gcloud projects add-iam-policy-binding $PROJECT_ID --member="serviceAccount:$SERVICE_ACCOUNT_EMAIL" --role="roles/pubsub.viewer"
    gcloud projects add-iam-policy-binding $PROJECT_ID --member="serviceAccount:$SERVICE_ACCOUNT_EMAIL" --role="roles/monitoring.viewer"
JSON 키 파일 생성 해당 서비스 계정용으로, Panther에서 GCP 인프라에 인증하는 데 사용됩니다.
- gcloud CLI 도구를 사용하여 JSON 키 파일을 생성하려면 다음 명령 형식을 실행하세요: gcloud iam service-accounts keys create $KEYFILE_PATH --iam-account=$SERVICE_ACCOUNT_EMAIL
- 또는 위 명령을 로컬 대신 GCP의 터미널에서 실행할 수도 있습니다.
  1. 오른쪽 상단의 점 3개 아이콘 메뉴를 클릭한 다음 Download.
  2. 찾아보기용 폴더 아이콘을 클릭합니다.
  3. 키 파일로 이동해 선택한 뒤, 다음을 클릭합니다 Download.

3단계: 자격 증명 파일과 구성 값을 Panther에 제공

다음을 사용 중인 경우 Google Cloud 서비스 계정 로 인증하려면:

다음에서 풀링 구성 및 JSON 키 파일 제공, JSON 키 파일을 업로드하세요.
다음을 입력하세요 GCS 버킷 이름과 Pub/Sub 구독 ID, 다음의 구독 섹션에서 찾을 수 있습니다.
다음을 클릭하세요. 설정. 그러면 성공 화면으로 이동합니다:
- 선택적으로 하나 이상의 디택션 팩.
- 아직 하지 않았다면 다음을 클릭합니다 스키마 연결 또는 추론 하여 소스에 하나 이상의 스키마를 연결합니다.
- 다음 이벤트가 처리되지 않을 때 알러트 트리거 설정 기본값은 예. 이 기능은 일정 시간이 지난 후 로그 소스에서 데이터 흐름이 중단되면 알림을 받을 수 있으므로 활성화된 상태로 두는 것을 권장합니다. 시간 범위는 구성 가능하며 기본값은 24시간입니다.

수집된 로그 보기

로그 소스 구성이 완료되면 다음을 사용하여 수집된 데이터를 검색할 수 있습니다 검색 또는 Data Explorer.

이전Google Cloud 소스 다음Pub/Sub 소스

마지막 업데이트 4개월 전

도움이 되었나요?