Cloud Storage (GCS) 소스
Panther 콘솔에서 GCS를 데이터 전송 로그 소스로 온보딩하기
개요
Panther는 Google Cloud Storage(GCS)를 데이터 전송(Data Transport)으로 구성하여 GCS 버킷에서 로그 데이터를 직접 가져오고, 룰을 작성하며, 이 처리된 데이터에 대해 쿼리를 실행할 수 있도록 지원합니다. Panther는 사용하는 경우 버킷에 소비할 준비가 된 새 데이터가 있을 때 알림을 받기 위해 사용됩니다.
Panther는 소스에 대해 Google Cloud Workload Identity Federation 또는 서비스 계정.
데이터는 압축(또는 비압축)되어 전송될 수 있습니다. 압축 사양에 대한 자세한 내용은 Panther에서 압축된 데이터 수집하기.
Panther에서 GCS 로그 소스를 설정하는 방법
1단계: Panther에서 GCS 소스 생성 시작
Panther 콘솔의 왼쪽 탐색 창에서 구성 > 로그 소스.
오른쪽 상단에서 새로 만들기.
을 클릭하세요 Google Cloud Storage 타일을 클릭합니다.
페이지에서 기본 정보 페이지에서 필드를 입력하세요:
이름: GCS 로그 소스에 대한 설명 이름을 입력하세요.
접두사 및 스키마: GCS의 데이터 저장 구조에 따라 접두사, 스키마 및 제외 필터의 조합을 정의하세요.
버킷의 모든 데이터에 하나 이상의 스키마를 연결하려면 GCS 접두사 필드를 비워두세요. 그러면 와일드카드(*) 접두사가 생성됩니다.
를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 설정.
페이지에서 로그 형식 페이지에서 들어오는 로그의 스트림 유형 형식을 선택하세요:
자동
라인
JSON
JSON 배열
를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 계속.
2단계: 생성 필요한 Google Cloud Platform(GCP) 인프라
GCP 인프라를 생성하기 전에 다음을 결정해야 합니다:
인증 방법: 다음을 사용할 수 있습니다 AWS와 함께 사용하는 Google Cloud Workload Identity Federation 또는 서비스 계정—아래 최상위 탭을 참조하세요.
생성 방법: Terraform을 사용하여 인프라를 생성하거나 GCP 콘솔에서 수동으로 생성할 수 있습니다—아래 각 최상위 탭의 하위 탭을 참조하세요.
Panther가 Google Cloud 서비스 계정을(를) 사용하여 인증하기를 원하면 아래 탭 중 하나의 지침을 따르세요.
Terraform을 사용하여 GCP 인프라를 생성하려면(서비스 계정으로 인증):
페이지에서 인프라 및 자격 증명 페이지에서 서비스 계정 탭을 클릭하세요.
를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. Terraform 템플릿 을 클릭하여 Terraform 템플릿을 다운로드하세요.
Terraform 템플릿은 또한 이 GitHub 링크.
panther.tfvars
파일의 필드를 구성으로 채우세요.구성으로 파일의 필드를 채우세요.다음 값을 설정하세요
authentication_method에서"service_account".
Terraform 구성 파일이 포함된 작업 디렉터리를 초기화하고 다음을 실행하세요
terraform init.해당하는 Terraform 명령 을(를) 복사하여 CLI에서 실행하세요.
서비스 계정 이메일 주소 값을 바꿔서 제공된 gcloud 명령 을(를) 복사하여 JSON 키 파일을 생성하고 CLI에서 실행하세요.
서비스 계정 이메일은 Terraform 명령.
서비스 계정으로 인증하여 GCP 콘솔에서 GCP 인프라 구성 요소를 수동으로 생성하려면:
Google Cloud 콘솔에서 Panther가 로그를 가져올 버킷을 결정하세요.
버킷을 아직 생성하지 않았다면, 다음을 참조하세요 버킷 생성에 관한 Google 문서.
알림용 주제(topic) 생성 을(를) 만드세요.
다음 명령 형식으로
gcloudCLI 도구를 사용하여 주제를 생성할 수 있습니다:gcloud pubsub topics create $TOPIC_ID
버킷을 구성하여 새 파일에 대한 알림을 생성한 주제로 보내도록 설정하세요. 새 파일에 대한 알림을 생성한 주제로 보내도록 버킷을 구성하세요.
다음 명령으로 알림을 생성할 수 있습니다
gcloudCLI 도구를 사용하여 주제를 생성할 수 있습니다:gsutil notification create -t $TOPIC_NAME -e OBJECT_FINALIZE -f json gs://$BUCKET_NAME참고: Panther는 다음만 필요합니다
OBJECT_FINALIZE유형.
구독 생성 을(를) 생성한 주제와 함께 사용하도록 만드세요.
다음 명령으로 구독을 생성할 수 있습니다
gcloudCLI 도구를 사용하여 주제를 생성할 수 있습니다:gcloud pubsub subscriptions create $SUBSCRIPTION_ID --topic $TOPIC_ID --topic-project $PROJECT_ID
이 구독은 다른 서비스나 소스에서 사용되어서는 안 됩니다.
새 Google Cloud 서비스 계정 생성. CLI 도구를 사용하여 계정을 생성하려면 다음 명령 형식을 사용하세요:
gcloudCLI 도구를 사용하여 계정을 생성하려면 다음 명령 형식을 사용하세요:Panther가 이 GCS 통합을 위해 생성된 인프라에 액세스하는 데 이 계정 이메일을 사용하므로 계정 이메일 주소를 기록해 두세요.
계정에 필요한 IAM 역할을 할당하세요.
Pub/Sub 구독과 주제가 존재하는 프로젝트에 대해 다음 권한이 필요합니다:
필요한 권한들
역할
범위
storage.objects.getstorage.objects.listroles/storage.objectViewer버킷 이름
pubsub.subscriptions.consumeroles/pubsub.subscriber구독 이름
pubsub.subscriptions.getroles/pubsub.viewer구독 이름
monitoring.timeSeries.listroles/monitoring.viewerproject
참고: 특정 리소스에 대한 권한에 조건 또는 IAM 정책을 설정할 수 있습니다. 이는 서비스 계정의 IAM 페이지(아래 예시 스크린샷 참조) 또는 특정 리소스의 페이지에서 수행할 수 있습니다.
참고: 다음 CLI 도구를 사용하여 권한을 생성할 수 있습니다
gcloudCLI 도구:gcloud projects add-iam-policy-binding $PROJECT_ID --member="serviceAccount:$SERVICE_ACCOUNT_EMAIL" --role="roles/storage.objectViewer"gcloud projects add-iam-policy-binding $PROJECT_ID --member="serviceAccount:$SERVICE_ACCOUNT_EMAIL" --role="roles/pubsub.subscriber"gcloud projects add-iam-policy-binding $PROJECT_ID --member="serviceAccount:$SERVICE_ACCOUNT_EMAIL" --role="roles/pubsub.viewer"gcloud projects add-iam-policy-binding $PROJECT_ID --member="serviceAccount:$SERVICE_ACCOUNT_EMAIL" --role="roles/monitoring.viewer"
JSON 키 파일 생성 을(를) 서비스 계정용으로 생성하세요. 이 파일은 Panther가 GCP 인프라에 인증하는 데 사용됩니다.
gcloud CLI 도구를 사용하여 JSON 키 파일을 생성하려면 다음 명령 형식을 실행하세요:
gcloud iam service-accounts keys create $KEYFILE_PATH --iam-account=$SERVICE_ACCOUNT_EMAIL또는 위 명령을 로컬 대신 GCP 터미널에서 실행할 수 있습니다.
오른쪽 상단의 점 3개 아이콘 메뉴를 클릭한 다음 다운로드.
찾아보기용 폴더 아이콘을 클릭하세요.
키 파일로 이동하여 선택한 다음, 클릭하세요 다운로드.
Panther가 Google Cloud Workload Identity Federation을(를) 사용하여 인증하기를 원하면 아래 탭 중 하나의 지침을 따르세요.
을(를) 사용하여 인증하기를 원하면
페이지에서 Terraform을 사용하여 GCP 인프라 구성 요소를 생성하려면(Workload Identity Federation으로 인증):, 위에서 생성한 Workload Identity Federation 탭을 클릭하세요.
를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. Terraform 템플릿 을 클릭하여 Terraform 템플릿을 다운로드하세요.
Terraform 템플릿은 또한 이 GitHub 링크.
panther.tfvars
파일의 필드를 구성으로 채우세요.구성으로 파일의 필드를 채우세요.다음 값을 설정하세요
authentication_method에서인프라 및 자격 증명 페이지."workload_identity_federation"
다음 값들을 제공하세요,panther_workload_identity_pool_id, 와panther_workload_identity_pool_provider_id.
Terraform 구성 파일이 포함된 작업 디렉터리를 초기화하고 다음을 실행하세요
terraform init.해당하는 Terraform 명령 을(를) 복사하여 CLI에서 실행하세요.
panther_aws_account_id gcloud 명령 프로젝트 번호, 풀 ID 및 공급자 ID 값을 교체하여 제공된
을(를) 복사하고 CLI에서 실행하여 풀용 자격 증명 구성 파일을 생성하세요. Terraform 명령.
프로젝트 번호, 풀 ID 및 공급자 ID는
Google Cloud 콘솔에서 Panther가 로그를 가져올 버킷을 결정하세요.
버킷을 아직 생성하지 않았다면, 다음을 참조하세요 버킷 생성에 관한 Google 문서.
Workload Identity Federation으로 인증하여 GCP 콘솔에서 GCP 인프라 구성 요소를 수동으로 생성하려면: 대상 버킷에서 Workload Identity Federation 엔터티가 클라우드 스토리지 리소스에 액세스할 수 있도록 Uniform bucket-level access가 활성화되어 있어야 합니다.
알림용 주제(topic) 생성 을(를) 만드세요.
다음 명령 형식으로
gcloudCLI 도구를 사용하여 주제를 생성할 수 있습니다:gcloud pubsub topics create $TOPIC_ID
버킷을 구성하여 새 파일에 대한 알림을 생성한 주제로 보내도록 설정하세요. 새 파일에 대한 알림을 생성한 주제로 보내도록 버킷을 구성하세요.
다음 명령으로 알림을 생성할 수 있습니다
gcloudCLI 도구를 사용하여 주제를 생성할 수 있습니다:gsutil notification create -t $TOPIC_NAME -e OBJECT_FINALIZE -f json gs://$BUCKET_NAME참고: Panther는 다음만 필요합니다
OBJECT_FINALIZE유형.
구독 생성 을(를) 생성한 주제와 함께 사용하도록 만드세요.
다음 명령으로 구독을 생성할 수 있습니다
gcloudCLI 도구를 사용하여 주제를 생성할 수 있습니다:gcloud pubsub subscriptions create $SUBSCRIPTION_ID --topic $TOPIC_ID --topic-project $PROJECT_ID
이 구독은 다른 서비스나 소스에서 사용되어서는 안 됩니다.
AWS와 함께 Workload Identity Federation을 구성하려면 다음을 따르세요 AWS 또는 Azure와 함께 Workload Identity Federation 구성하기 문서.
사용자가 속성 매핑(s) 및 조건을(를) 정의하는 동안, 다음 예시들을 참고하세요:
의 값은 google.subject 속성 127자를 초과할 수 없습니다. 다음을 사용할 수 있습니다 공통 표현 언어(CEL) 표현식 을(를) 사용하여 AWS가 발급한 토큰의 속성을 변환하거나 결합할 수 있습니다. 위 표에 제안된 표현식은 이 제한을 고려한 것으로, ARN을 Panther 엔터티를 고유하게 식별하는 값으로 변환하려는 시도입니다. AWS 속성에 대한 자세한 내용은 이 AWS 문서 페이지의 "예제 2 - AssumeRole로 생성된 사용자에 의해 호출됨"을 참조하세요. 이 AWS 문서 페이지.
b. 당신이 아이덴티티 풀에 공급자를 추가하고 있을 때SNS 주제 AWS.
계정에 필요한 IAM 역할을 할당하세요.
Pub/Sub 구독과 주제가 존재하는 프로젝트에 대해 다음 권한이 필요합니다:
필요한 권한들
역할
범위
storage.objects.get
storage.objects.list
roles/storage.objectViewer
버킷 이름
pubsub.subscriptions.consume
roles/pubsub.subscriber
구독 이름
pubsub.subscriptions.get
roles/pubsub.viewer
구독 이름
monitoring.timeSeries.list
roles/monitoring.viewer
project
참고: 특정 리소스에 대한 권한에 조건 또는 IAM 정책을 설정할 수 있습니다. 이는 GCP의 IAM 섹션(아래 예시 스크린샷 참조) 또는 특정 리소스의 페이지에서 수행할 수 있습니다.
참고: 다음 CLI 도구를 사용하여 권한을 생성할 수 있습니다
gcloudCLI 도구에서, 여기서$PRINCIPAL_ID는 다음과 비슷할 수 있습니다:principalSet://iam.googleapis.com/projects/<THE_ACTUAL_GOOGLE_PROJECT_NUMBER>/locations/global/workloadIdentityPools/<THE_ACTUAL_POOL_ID>/attribute.account/<THE_ACTUAL_PANTHER_AWS_ACCOUNT_ID>gcloud projects add-iam-policy-binding $PROJECT_ID --member="$PRINCIPAL_ID" --role="roles/storage.objectViewer"gcloud projects add-iam-policy-binding $PROJECT_ID --member="$PRINCIPAL_ID" --role="roles/pubsub.subscriber"gcloud projects add-iam-policy-binding $PROJECT_ID --member="$PRINCIPAL_ID" --role="roles/pubsub.viewer"gcloud projects add-iam-policy-binding $PROJECT_ID --member="$PRINCIPAL_ID" --role="roles/monitoring.viewer"
자격 증명 구성 파일 다운로드, 이 파일은 Panther가 GCP 인프라에 인증하는 데 사용됩니다.
gcloud CLI 도구를 사용하여 자격 증명 구성 파일을 생성하려면 다음 명령 형식을 사용하세요:
gcloud iam workload-identity-pools create-cred-config projects/$PROJECT_NUMBER/locations/global/workloadIdentityPools/$POOL_ID/providers/$PROVIDER_ID --aws --output-file=config.json
3단계: 자격 증명 파일 및 구성 값을 Panther에 제공
다음을 사용하여 인증하는 경우: Google Cloud 서비스 계정 인증에 다음을 사용하는 경우:
에서 풀링 구성 및 JSON 키 파일 제공, JSON 키 파일을 업로드하세요.
다음을 입력하세요 GCS 버킷 이름및 Pub/Sub 구독 ID, 은(는) Google Cloud 계정의 구독(Subscriptions) 섹션에서 찾을 수 있습니다.
를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 설정. 성공 화면으로 이동합니다:
성공 화면으로 이동됩니다: 선택적으로 하나 이상의.
입니다. 데이터가 일정 기간 이후에 로그 소스에서 흐르지 않으면 알림을 받으므로 이 옵션을 활성화된 상태로 두는 것을 권장합니다. 시간 범위는 구성 가능하며 기본값은 24시간입니다. 아직 하지 않았다면, 클릭하세요 스키마 첨부 또는 추론
사용자를 사용할 것이며, 가 활성화될 수 있습니다 "이벤트가 처리되지 않을 때 알러트를 트리거" 설정의 기본값은예
다음을 사용하는 경우, Google Cloud Workload Identity Federation 인증에 다음을 사용하는 경우:
페이지에서 Terraform을 사용하여 GCP 인프라 구성 요소를 생성하려면(Workload Identity Federation으로 인증):아직 수행하지 않았다면, 클릭하세요 Workload Identity Federation 탭을 클릭하세요.
에서 풀링 구성 및 자격 증명 구성 파일 제공, 자격 증명 구성 파일을 업로드하세요.
다음을 입력하세요 프로젝트 ID, GCS 버킷 이름및 Pub/Sub 구독 ID 은(는) Google Cloud 계정의 구독(Subscriptions) 섹션에서 찾을 수 있습니다.
를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 설정. 성공 화면으로 이동합니다:
성공 화면으로 이동됩니다: 선택적으로 하나 이상의.
입니다. 데이터가 일정 기간 이후에 로그 소스에서 흐르지 않으면 알림을 받으므로 이 옵션을 활성화된 상태로 두는 것을 권장합니다. 시간 범위는 구성 가능하며 기본값은 24시간입니다. 아직 하지 않았다면, 클릭하세요 스키마 첨부 또는 추론
사용자를 사용할 것이며, 가 활성화될 수 있습니다 "이벤트가 처리되지 않을 때 알러트를 트리거" 설정의 기본값은예
을 클릭하여 소스에 하나 이상의 스키마를 첨부하세요.
수집된 로그 보기 로그 소스가 구성된 후에는 수집된 데이터를 사용하여 검색할 수 있습니다 이전에 생성한 Snowflake 사용자 이름, 예를 들면 panther_monitor.
마지막 업데이트
도움이 되었나요?