Panther용 Databricks 구성

개요

이 페이지에서는 다음을 구성하는 방법을 설명합니다 Databricks Panther의 데이터 저장 백엔드로 사용하기 위해 구성합니다. 아래 단계를 완료하면서 다양한 구성 값을 수집하여 저장한 다음 Panther에 제공합니다.

이 페이지의 절차는 다음에 도달한 후에만 완료해야 합니다 단계 9 에서 Cloud Connected Panther 인스턴스 설정.

이 절차는 다음을 수행합니다:

Panther용 Databricks 작업 영역을 생성합니다(관련 Databricks 인프라는 AWS에 함께 생성됨).
Databricks가 Panther S3 스테이징 버킷에서 읽을 수 있도록 AWS에 IAM 역할을 생성합니다.
외부 스토리지 자격 증명을 생성합니다.
Databricks가 로드를 위해 S3에서 데이터를 읽을 수 있도록 외부 스토리지 통합을 생성합니다.
서비스 주체를 생성합니다. 하나는 로드용(읽기/쓰기), 다른 하나는 쿼리용(읽기 전용)입니다.
서비스 주체의 OAuth 자격 증명을 보관하기 위해 AWS에서 KMS 키가 있는 비밀을 생성합니다.
서비스 주체 권한이 포함된 Panther 테이블용 카탈로그를 Databricks에 생성합니다.
로드, 최적화, 쿼리 및 예약 쿼리 웨어하우스를 생성합니다.

Panther용 Databricks 구성 방법

사전 요구 사항

Databricks 계정이 있습니다.
다음의 지침을 완료했습니다. Cloud Connected Panther 인스턴스 설정 그리고 Panther 콘솔에 로그인할 수 있습니다.
Panther 컴퓨팅에 사용할 AWS 계정의 AWS 콘솔에 로그인되어 있습니다. Databricks가 대신 작업 영역을 생성하기 때문에 이 작업이 필요합니다.

이 AWS 계정은 Panther가 호스팅되는 AWS 계정이 아니어야 합니다.

다음 페이지에 나열된 Databricks 및 AWS 권한이 있습니다:

1단계: 구성 표 복사본 만들기

구성 과정 전반에 걸쳐 마지막에 Panther로 보낼 값을 수집합니다. 이러한 값을 정리하기 위해 아래 표의 복사본을 만드세요.

매개변수

값

databricks_load_role_arn

databricks_load_secret_kms_key_arn

databricks_query_secret_kms_key_arn

databricks_load_secret_arn

databricks_query_secret_arn

databricks_catalog

databricks_load_warehouse_id

databricks_optimize_warehouse_id

databricks_query_warehouse_id

databricks_scheduled_query_warehouse_id

databricks_enrichment_warehouse_id (선택 사항)

databricks_service_credential_external_id

2단계(선택 사항): Databricks 작업 영역 만들기

조직 관리 목적상 Panther 전용 Databricks 작업 영역을 만드는 것이 권장되지만, 필수는 아닙니다. 기존 작업 영역을 사용하려면 이 단계를 건너뛰세요.

작업 영역을 만드는 동안 추가 지원이 필요하면 Databricks 자동 구성으로 작업 영역 만들기 문서를 참조하세요.

Databricks 콘솔에 로그인합니다.
왼쪽 탐색 메뉴에서 작업 영역.
을 클릭합니다. 작업 영역 만들기.
다음 작업 영역 만들기 모달을 채웁니다:
- 작업 영역 이름: 기억하기 쉬운 이름을 입력합니다.
- 리전: Panther의 AWS 배포와 일치하는 리전을 선택합니다.
- 스토리지 및 컴퓨팅: 기존 클라우드 계정 사용.
을 클릭합니다. 계속.
에서 클라우드 리소스의 클라우드 자격 증명 필드에서 클라우드 자격 증명 추가.
에서 클라우드 자격 증명 추가 모달에서 자동으로 추가 가 선택된 상태로 두고 확인.
- 둘 다 클라우드 자격 증명 및 클라우드 스토리지 필드에는 자동으로 추가 값이 제공됩니다. 이 값들은 그대로 두세요.
을 클릭합니다. AWS에 로그인하여 작업 영역 만들기.
에서 AWS 리소스 검토 모달에서 작업 영역 생성 시작.
AWS 모달에서 액세스 허용.
Databricks 브라우저 탭으로 돌아가서, 새 작업 영역이 목록에 나타날 때까지 몇 분간 기다립니다. 작업 영역 나타나면 열기 를 클릭하여 작업 영역 환경으로 들어갑니다.

3단계: 작업 영역에서 variant shredding 사용 설정

variant shredding을 사용 설정하는 동안 추가 지원이 필요하면 Databricks shredding 사용 문서를 참조하세요.

Databricks 작업 영역에서 오른쪽 상단의 프로필 아이콘을 클릭한 다음 미리 보기.
의 오른쪽에서 반정형 데이터의 최적화된 읽기 성능을 위한 Variant Shredding, 토글을 클릭하여 켬.

4단계: 스토리지 자격 증명을 위한 Panther 역할 만들기

IAM 역할을 만드는 동안 추가 지원이 필요하면 Databricks 1단계: IAM 역할 만들기 문서를 참조하세요.

Databricks 작업 영역 인프라를 생성한 AWS 계정에서 이름이 panther-databricks-s3-reader-role-<region>인 IAM 역할을 모든 기본값을 수락한 상태로 생성합니다.
Panther 콘솔에서 처리된 데이터 버킷 값을 가져옵니다:
1. 을 클릭합니다. 설정 을 왼쪽 탐색 표시줄 하단에서 선택한 다음 데이터 레이크 > 데이터 레이크 구성.
2. 에서 Databricks 구성에서 처리된 데이터 버킷 값을 복사합니다.

역할의 신뢰 관계를 업데이트합니다:

AWS 콘솔의 역할 목록에서 새로 만든 역할을 클릭하여 세부 정보 페이지를 봅니다.
을 클릭합니다. 신뢰 관계.
을 클릭합니다. 신뢰 정책 편집.

코드 편집기의 JSON을 아래 JSON으로 바꿉니다:

다음 신뢰 정책은 "sts:ExternalId": "TBD" 를 자리 표시자로 설정합니다. 이 값은 나중에 업데이트하게 됩니다. 또한 나중에 자체 가정 문도 추가합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": [
                    "arn:aws:iam::414351767826:role/unity-catalog-prod-UCMasterRole-14S5ZJVKOTYTL",
                    "arn:aws:iam::<your account for this role>:role/panther-databricks-s3-reader-role-<region>"
                ]
            },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                    "sts:ExternalId": "TBD"
                }
            }
        }
    ]
}

을 클릭합니다. 정책 업데이트.

역할 권한을 업데이트합니다:

역할의 세부 정보 페이지에서 권한.
을 클릭합니다. 권한 추가 > 인라인 정책 만들기.
에서 정책 편집기 섹션에서 JSON.

코드 편집기의 JSON을 아래 JSON으로 바꿉니다:

아래 정책에서 <Processed Data Bucket from Panther settings> 을 처리된 데이터 버킷 위에서 가져온 값으로 바꿉니다.

{ 	
"Statement": [ 		
  { 			
   "Action": [ 				
     "s3:ListBucket", 				
      "s3:GetBucketLocation" 			
   ], 			
   "Effect": "Allow", 			
   "Resource": "arn:aws:s3:::<Processed Data Bucket from Panther settings>" 		
 }, 		
 { 			
   "Action": "s3:GetObject", 			
    "Effect": "Allow", 			
    "Resource": "arn:aws:s3:::<Processed Data Bucket from Panther settings>/*" 		
 } 	
 ], 	
 "Version": "2012-10-17" 
}

을 클릭합니다. 다음.
에서 정책 세부정보에 정책 이름.
을 클릭합니다. 정책 만들기.

역할의 세부 정보 페이지에서 ARN을 복사하여 databricks_load_role_arn 의 값으로 추가합니다. 구성 표.
- 단계 5에서 다시 돌아올 것이므로 역할 세부 정보 페이지가 열려 있는 브라우저 창은 그대로 두세요.

5단계: 스토리지 자격 증명 만들기

스토리지 자격 증명을 만드는 동안 추가 지원이 필요하면 Databricks 2단계: Databricks에 IAM 역할 세부 정보 제공 문서를 참조하세요.

Databricks 스토리지 자격 증명 을 생성하여 방금 만든 AWS IAM 역할을 나타냅니다:

Databricks 작업 영역에서 카탈로그를 클릭한 다음 외부 데이터.
을 클릭합니다. 자격 증명.
을 클릭합니다. 자격 증명 만들기.
다음 새 자격 증명 만들기 양식을 작성합니다:
1. 자격 증명 유형: AWS IAM 역할.
2. 자격 증명 이름에 panther-storage-credential.
3. IAM 역할(ARN)에 앞서 만든 IAM 역할의 ARN을 입력합니다(이는 databricks_load_role_arn 에서 구성 표).
을 클릭합니다. 만들기.
- 에서 자격 증명이 생성됨 페이지에서 외부 ID 값을 복사하여 databricks_service_credential_external_id 의 값으로 추가합니다. 구성 표로 추가합니다. 다음 단계에서 필요하므로 안전한 위치에 보관하세요.

6단계: IAM 역할 신뢰 관계 정책 업데이트

IAM 역할을 업데이트하는 동안 추가 지원이 필요하면 Databricks 3단계: IAM 역할 신뢰 관계 정책 업데이트 문서를 참조하세요.

AWS 콘솔로 돌아가서 panther-databricks-s3-reader-role-<region> 위에서 생성한 IAM 역할의 세부 정보 페이지로 이동합니다.
을 클릭합니다. 신뢰 관계.
을 클릭합니다. 신뢰 정책 편집.
에서 "sts:ExternalId": "TBD" 행에서 TBD 을 외부 ID 를 위에서 Databricks에서 복사한 값으로 바꿉니다.
을 클릭합니다. 정책 업데이트.

7단계: 외부 스토리지 위치 만들기

IAM 역할을 업데이트하는 동안 추가 지원이 필요하면 Databricks AWS S3 버킷에 대한 외부 위치 만들기 문서를 참조하세요.

Databricks 작업 영역에서 카탈로그를 클릭한 다음 외부 데이터.
을 클릭합니다. 외부 위치 만들기.
을 클릭합니다. 수동를 클릭한 다음 다음.
다음 새 외부 위치를 수동으로 만들기 양식을 작성합니다:
- 외부 위치 이름에 panther-processed-data.
- 스토리지 유형: S3.
- URL에 처리된 데이터 버킷 3단계에서 Panther 콘솔의 설정 페이지에서 가져온 값을 입력합니다.
- 스토리지 자격 증명: panther-storage-credential.
을 클릭합니다. 만들기.
"액세스 거부" 경고 상자가 있는 페이지로 이동하게 됩니다. 를 클릭합니다. 강제 생성.

8단계: Databricks에서 로드 서비스 주체 만들기

Databricks 작업 영역 설정에 액세스합니다:
1. 오른쪽 상단에서 이니셜을 클릭합니다.
2. 을 클릭합니다. 설정.
에서 설정 탐색 표시줄의 워크스페이스 관리자아래에서 ID 및 액세스.
의 오른쪽에서 서비스 주체아래에서 관리.
을 클릭합니다. 서비스 주체 추가.
에서 서비스 주체 추가 모달에서 새로 추가.
에서 서비스 주체 이름 필드에 panther-load.
을 클릭합니다. 추가.
표에서 panther-load 를 클릭하여 세부 정보 페이지를 봅니다.
을 클릭합니다. 비밀.
을 클릭합니다. 비밀 생성.
에서 수명(일)에 730 (최대값)을 입력합니다.
을 클릭합니다. 생성.
다음 비밀 및 클라이언트 ID 값을 복사하여 안전한 위치에 저장합니다. 나중 단계에서 필요합니다(이 값들을 복사하는 대신 이 브라우저 탭을 열어 둬도 됩니다).

9단계: AWS에서 로드 비밀 KMS 키 만들기

AWS 콘솔에서 올바른 리전에 있는지 확인합니다. 다음으로 이동합니다. 키 관리 서비스.
왼쪽 탐색 메뉴에서 고객 관리형 키.
을 클릭합니다. 키 만들기.
에서 키 유형에서 대칭를 선택합니다. 아래에서에서 암호화 및 복호화.
을 클릭합니다. 다음
다음 별칭 값을 입력한 다음 다음.
에서 키 관리자에서 필요에 따라 사용자 및/또는 역할을 선택한 다음 다음.
에서 키 사용 권한 정의 - 선택사항 페이지에서 다른 AWS 계정아래에서 다른 AWS 계정 추가.
1. 나타나는 필드에 Panther 배포가 있는 계정의 AWS 계정 ID를 입력합니다. 이 값은 Panther 콘솔의 기본 정보 및 기본 설정 페이지의 인프라 섹션에서 찾을 수 있습니다.
2. 을 클릭합니다. 다음.
Panther 콘솔이 열려 있는 브라우저 탭으로 전환하고 다음 값을 가져옵니다. Delta Controller Role ARN 및 Delta Admin Role ARN 값:
1. 을 클릭합니다. 설정 을 왼쪽 탐색 표시줄 하단에서 선택한 다음 데이터 레이크 > 데이터 레이크 구성.
2. 에서 Databricks 구성다음 Delta Controller Role ARN 및 Delta Admin Role ARN 값을 기록합니다.
AWS 콘솔에서 키 정책아래에서 편집을 클릭한 다음 코드 편집기의 JSON을 아래 JSON으로 바꿉니다:

아래 정책에서 다음을 바꿉니다:

<Delta Controller Role ARN from Panther settings> 을 Delta Controller Role ARN 위에서 가져온 값
<Delta Admin Role ARN from Panther settings> 을 Delta Admin Role ARN 위에서 가져온 값
<AWS Account ID you are working in> 작업 중인 계정의 계정 ID로

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Sid": "Panther",
			"Effect": "Allow",
			"Principal": {
				"AWS": [
					"<Delta Controller Role ARN from Panther settings>",
					"<Delta Admin Role ARN from Panther settings>"
				]
			},
			"Action": "kms:Decrypt",
			"Resource": "*"
		},
		{
			"Sid": "root",
			"Effect": "Allow",
			"Action": [
				"kms:*"
			],
			"Resource": "*",
			"Principal": {
				"AWS": "arn:aws:iam::<AWS Account ID you are working in>:root"
			}
		}
	]
}

을 클릭합니다. 다음.
에서 검토 페이지에서 구성을 검토한 다음 클릭 완료.
고객 관리형 키 목록에서 방금 생성한 키의 별칭을 클릭하여 세부 정보 페이지를 봅니다.
위 표의 databricks_load_secret_kms_key_arn 행.

에서 단계 12, 이 KMS 키를 재사용하거나 추가 키를 생성하게 됩니다.

단계 10: AWS에서 로드 시크릿 생성

AWS 콘솔에서 올바른 리전에 있는지 확인합니다. 다음으로 이동합니다. Secrets Manager.

Panther 인프라를 호스팅하는 AWS 계정에 있어서는 안 됩니다.

을 클릭합니다. 새 시크릿 저장.
에서 시크릿 유형에서 다른 유형의 시크릿.
에서 키/값 쌍의 키/값 탭에서 다음 키/값 쌍을 입력하세요:
키
값
시크릿
<the 비밀 Databricks에서 생성한 값 단계 8>
client-id
<the 클라이언트 ID Databricks에서 생성한 값 단계 8>
databricks-host
<Databricks 작업 공간의 URL> 위에서 생성한 작업 공간을 Databricks 콘솔에서 보고 있는 동안 페이지의 URL을 복사합니다. 예: https://dbc-023ca860-3666.cloud.databricks.com
에서 암호화 키, 다음을 선택하세요 databricks_load_secret_kms_key_arn 이전 단계에서 생성한 KMS 키.
을 클릭합니다. 다음.
에서 시크릿 이름 필드에 panther-databricks-admin-access, 그런 다음 클릭합니다 다음.
에서 아무 변경도 하지 않고 회전 구성 - 선택 사항 페이지에서 클릭합니다 다음.
시크릿 설정을 검토한 다음 클릭합니다 저장.
에서 비밀 목록에서 클릭합니다 panther-databricks-admin-access, 세부 정보 페이지를 보려면
에서 리소스 권한 타일에서 클릭합니다 권한 편집.
에서 리소스 권한, 코드 편집기의 JSON을 아래 JSON으로 바꿉니다:

아래 정책에서:

바꾸세요 <Delta Controller Role ARN from Panther settings> 을 Delta Controller Role ARN 위에서 가져온 값
바꾸세요 <Delta Admin Role ARN from Panther settings> 을 Delta Admin Role ARN 위에서 가져온 값
에서 생성한 로드 시크릿 KMS 키를 재사용할 경우 단계 9 에서 단계 12, 다음으로 바꾸세요 <Panther 설정의 Databricks 역할 ARN> 을 Databricks 역할 ARN 위에서 가져온 값
에서 생성한 로드 시크릿 KMS 키를 재사용하지 않을 경우 단계 9 (즉, 에서 새 쿼리 시크릿 KMS 키를 생성할 경우 단계 12), 제거하세요 "<Panther 설정의 Databricks 역할 ARN>" 완전히

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Panther",
      "Effect": "Allow",
      "Principal": {
        "AWS": [
            "<Delta Controller Role ARN from Panther settings>",
            "<Panther 설정의 Delta Admin 역할 ARN>,"
            "<Panther 설정의 Databricks 역할 ARN>"
        ]
      },
      "Action": "secretsmanager:GetSecretValue",
      "Resource": "*"
    }
  ]
}

을 클릭합니다. 저장.
새로 생성한 시크릿의 ARN을 복사하여 이를 다음으로 추가하세요 databricks_load_secret_arn 의 값으로 추가합니다. 구성 표.
Databricks 콘솔에서 다음으로 돌아갑니다 외부 데이터 페이지(클릭 카탈로그 > 외부 데이터).
에서 외부 위치, 다음을 클릭합니다 panther-processed-data 위에서 생성한 위치.
을 클릭합니다. 권한.
을 클릭합니다. 부여.
에서 주체, 검색하여 선택합니다 panther-load.
에서 권한, 다음의 확인란을 선택합니다 탐색 및 파일 읽기.
을 클릭합니다. 확인.

단계 11: Databricks에서 쿼리 서비스 주체 생성

Databricks 작업 영역 설정에 액세스합니다:
1. 오른쪽 상단에서 이니셜을 클릭합니다.
2. 을 클릭합니다. 설정.
에서 설정 탐색 표시줄의 워크스페이스 관리자아래에서 ID 및 액세스.
의 오른쪽에서 서비스 주체아래에서 관리.
을 클릭합니다. 서비스 주체 추가.
에서 서비스 주체 추가 모달에서 새로 추가.
에서 서비스 주체 이름 필드에 panther-query.
을 클릭합니다. 추가.
표에서 panther-query 를 클릭하여 세부 정보 페이지를 봅니다.
을 클릭합니다. 비밀.
을 클릭합니다. 비밀 생성.
에서 수명(일)에 730 (최대값)을 입력합니다.
을 클릭합니다. 생성.
다음 비밀 및 클라이언트 ID 값을 복사하여 안전한 위치에 저장합니다. 나중 단계에서 필요합니다(이 값들을 복사하는 대신 이 브라우저 탭을 열어 둬도 됩니다).

단계 12(선택 사항): 쿼리 시크릿 KMS 키 생성

다음 단계에서 AWS에 추가 시크릿을 생성합니다. 이 시크릿에 연결할 새 KMS 키를 만들거나, 단계 9에서 생성한 KMS 키를 재사용할 수 있습니다(구성 표에 다음으로 추가됨: databricks_load_secret_kms_key_arn).

위에서 생성한 KMS 키를 재사용하려면 다음 값의 값을 복사하세요 databricks_load_secret_kms_key_arn 에서 databricks_query_secret_kms_key_arn 위의 구성 표에.
새 KMS 키를 만들려면 다음을 반복하세요 9단계: AWS에서 로드 비밀 KMS 키 만들기, 그런 다음 키의 ARN을 다음으로 추가하세요 databricks_query_secret_kms_key_arn 위의 구성 표에.

단계 13: AWS에서 쿼리 시크릿 생성

AWS 콘솔에서 올바른 리전에 있는지 확인합니다. 다음으로 이동합니다. Secrets Manager.

Panther 인프라를 호스팅하는 AWS 계정에서 생성해서는 안 됩니다.

을 클릭합니다. 새 시크릿 저장.
에서 시크릿 유형에서 다른 유형의 시크릿.
에서 키/값 쌍의 키/값 탭에서 다음 키/값 쌍을 입력하세요:
키
값
시크릿
<the 비밀 Databricks에서 생성한 값 단계 11>
client-id
<the 클라이언트 ID Databricks에서 생성한 값 단계 11>
databricks-host
<Databricks 작업 공간의 URL> Databricks 콘솔에서 Databricks 작업 공간을 보는 동안 페이지의 URL을 복사합니다. 예: https://dbc-023ca860-3666.cloud.databricks.com
에서 암호화 키, 다음을 선택하세요 databricks_query_secret_kms_key_arn 이전 단계에서 생성한 KMS 키(또는 databricks_load_secret_kms_key_arn KMS 키, 해당 키를 재사용하는 경우).
을 클릭합니다. 다음.
에서 시크릿 이름 필드에 panther-databricks-query-access, 그런 다음 클릭합니다 다음.
에서 아무 변경도 하지 않고 회전 구성 - 선택 사항 페이지에서 클릭합니다 다음.
설정을 검토한 다음 클릭합니다 저장.
에서 비밀 목록에서 클릭합니다 panther-databricks-query-access, 세부 정보 페이지를 보려면
에서 리소스 권한 타일에서 클릭합니다 권한 편집.
에서 리소스 권한, 코드 편집기의 JSON을 아래 JSON으로 바꿉니다:

아래 정책에서 다음을 바꿉니다:

<Panther 설정의 Databricks 역할 ARN> 을 Databricks 역할 ARN 위에서 가져온 값

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Panther",
      "Effect": "Allow",
      "Principal": {
        "AWS": [
            "<Panther 설정의 Databricks 역할 ARN>"
        ]
      },
      "Action": "secretsmanager:GetSecretValue",
      "Resource": "*"
    }
  ]
}

을 클릭합니다. 저장.
새로 생성한 시크릿의 ARN을 복사하여 이를 다음으로 추가하세요 databricks_query_secret_arn 의 값으로 추가합니다. 구성 표.

단계 14: S3 버킷 및 외부 위치 생성

AWS 콘솔에서 올바른 리전에 있는지 확인합니다. 다음으로 이동합니다. S3.

Panther 인프라를 호스팅하는 AWS 계정에 있어서는 안 됩니다.

을 클릭합니다. 버킷 생성.
다음을 입력하세요 버킷 이름.
을 클릭합니다. 버킷 생성.
위에서 생성한 Databricks 작업 공간에서 클릭합니다 카탈로그를 클릭한 다음 외부 데이터.
을 클릭합니다. 외부 위치 만들기.
을 클릭합니다. AWS 빠른 시작(권장)를 클릭한 다음 다음.
에서 버킷 이름 필드에 방금 생성한 버킷의 이름을 입력합니다.
에서 개인 액세스 토큰아래에서 새 토큰 생성.
- 이 값을 복사하세요. 다음 단계에서 필요합니다. 또는 이 페이지를 열어 둬도 됩니다.
을 클릭합니다. 빠른 시작에서 실행.
- AWS에서 새 브라우저 탭이 다음 화면으로 열립니다 빠른 스택 생성 화면에 CloudFormation 템플릿이 미리 로드된 상태로.
에서 매개변수 섹션의 Databricks 개인 액세스 토큰 필드에 다음을 입력하세요 개인 액세스 토큰 위에서 Databricks에서 생성한 값.
을 클릭합니다. 스택 생성.
스택 배포가 완료되면 Databricks 콘솔 브라우저 탭으로 돌아갑니다. 다음에서 빠른 시작으로 외부 위치 생성 화면에서 클릭합니다 확인.
- 다음이 있는지 확인하세요 외부 위치 목록에 방금 생성한 항목이 포함되어 있습니다.