Panther용 Databricks 구성하기

개요

이 페이지에서는 구성하는 방법을 설명합니다 Databricks Panther 데이터 저장 백엔드로 사용하기 위한 설정을 완료하면서 아래 단계를 진행하면 다양한 구성 값을 수집하여 저장한 다음 Panther에 제공합니다.

다음에 도달한 후에만 이 페이지의 절차를 완료해야 합니다 9단계 에 클라우드 연결된 Panther 인스턴스 설정하기.

이 프로세스는 다음을 수행합니다:

• Panther용 Databricks 워크스페이스(및 AWS에 연결된 Databricks 인프라)를 생성합니다

• Databricks가 Panther S3 스테이징 버킷을 읽을 수 있도록 AWS에서 IAM 역할을 생성합니다.

• 외부 스토리지 자격 증명을 생성합니다.

• Databricks가 로딩을 위해 S3에서 데이터를 읽을 수 있도록 외부 스토리지 통합을 생성합니다.

• 로딩용(읽기/쓰기) 및 쿼리용(읽기 전용) 서비스 프린시펄을 생성합니다.

• 서비스 프린시펄의 OAuth 자격 증명을 보관하기 위해 AWS에서 KMS 키로 비밀을 생성합니다.

• 서비스 프린시펄에 대한 권한과 함께 Panther 테이블용 Databricks 카탈로그를 생성합니다.

• 로드, 최적화, 쿼리 및 예약 쿼리용 웨어하우스를 생성합니다.

Panther용 Databricks 구성 방법

사전 요구 사항

• Databricks 계정이 있습니다.

• 다음 지침을 완료했습니다 클라우드 연결된 Panther 인스턴스 설정하기 그리고 Panther 콘솔에 로그인할 수 있습니다.

• Databricks가 워크스페이스를 대신 생성하므로 Panther 연산용으로 사용하려는 AWS 계정의 AWS 콘솔에 로그인해 있어야 합니다.

이 AWS 계정은 Panther가 호스팅되는 AWS 계정이어서는 안 됩니다.

• 다음 페이지에 나열된 Databricks 및 AWS 권한을 보유하고 있어야 합니다:

  • 클래식 워크스페이스 생성

  • 카탈로그 탐색기 또는 SQL을 사용하여 S3용 스토리지 자격 증명 및 외부 위치 생성

  • SQL 웨어하우스 생성

1단계: 구성 테이블 사본 만들기

구성 과정 전반에 걸쳐 Panther에 전송할 값을 수집합니다. 이러한 값을 정리하려면 아래 표의 사본을 만드세요.

매개변수	값
databricks_load_role_arn
databricks_load_secret_kms_key_arn
databricks_query_secret_kms_key_arn
databricks_load_secret_arn
databricks_query_secret_arn
databricks_catalog
databricks_load_warehouse_id
databricks_optimize_warehouse_id
databricks_query_warehouse_id
databricks_scheduled_query_warehouse_id

2단계(선택 사항): Databricks 워크스페이스 생성

조직적 목적을 위해 Panther 전용 Databricks 워크스페이스를 만드는 것이 권장되지만 필수는 아닙니다. 기존 워크스페이스를 사용하려면 이 단계를 건너뛰세요.

워크스페이스 생성 중 추가 지원이 필요하면 Databricks를 참조하세요 자동 구성으로 워크스페이스 생성 문서.

1. Databricks 콘솔에 로그인합니다.

2. 왼쪽 내비게이션 메뉴에서 워크스페이스.

3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 워크스페이스 생성.

4. 다음을 작성하세요 워크스페이스 생성 모달:

   • 워크스페이스 이름: 기억하기 쉬운 이름을 입력하세요.

   • Region: Panther의 AWS 배포와 일치하는 리전을 선택하세요.

   • 스토리지 및 컴퓨트: 선택 기존 클라우드 계정 사용.

5. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 계속.

6. 에서 클라우드 리소스에서, 클라우드 자격 증명 필드, 선택 클라우드 자격 증명 추가.

7. 페이지에서 클라우드 자격 증명 추가 모달, 나가기 자동으로 추가 선택한 다음 클릭 확인.

   • 둘 다 클라우드 자격 증명 와 클라우드 스토리지 필드에 자동으로 추가 값이 제공됩니다. 그대로 두십시오.

8. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. AWS에 로그인하고 워크스페이스 생성.

9. 페이지에서 AWS 리소스 검토 모달에서 클릭하세요 워크스페이스 생성 시작.

10. AWS 모달에서 클릭 액세스 허용.

11. Databricks 브라우저 탭으로 돌아가 새 워크스페이스가 목록에 나타날 때까지 몇 분 기다리십시오. 워크스페이스 목록. 나타나면 클릭 다음 파일을 열기: 워크스페이스 환경으로 들어갑니다.

단계 3: 워크스페이스에서 변이 분해(variant shredding) 활성화

변이 분해 활성화에 대한 추가 지원은 Databricks를 참조하십시오. 분해 활성화 문서.

1. Databricks 워크스페이스에서 오른쪽 상단의 프로필 아이콘을 클릭한 다음 미리보기.

2. 오른쪽의 반구조화된 데이터의 최적화된 읽기 성능을 위한 Variant Shredding, 토글을 클릭하세요 켜기(On).

단계 4: 스토리지 자격 증명을 위한 Panther 역할 생성

IAM 역할 생성에 대한 추가 지원은 Databricks를 참조하십시오. 단계 1: IAM 역할 생성 문서.

1. Databricks 워크스페이스 인프라를 생성한 AWS 계정에서 다음 이름의 IAM 역할을 생성합니다. panther-databricks-s3-reader-role-<region>, 모든 기본값을 수락합니다.

2. Panther 콘솔에서 다음을 검색합니다. 처리된 데이터 버킷 - name: singleFormatTimestamp

   1. 톱니바퀴 아이콘(설정) 클릭 > 일반.

   2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 데이터 레이크.

   3. 에서 Databricks 구성아래에, 복사하십시오: 처리된 데이터 버킷 값을 복사하세요.

3. 역할의 신뢰 관계 업데이트:

   1. AWS 콘솔에서, 역할 목록에서 새로 생성한 역할을 클릭하여 세부 정보 페이지를 봅니다.

   2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 신뢰 관계.

   3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 신뢰 정책 편집.

   4. 코드 편집기의 JSON을 아래 JSON으로 교체하십시오:

      다음 신뢰 정책은 "sts:ExternalId": "TBD" 를 자리표시자로 설정합니다 — 나중에 이를 업데이트할 것입니다. 또한 나중에 자기 수임(self-assumption) 문장을 추가할 것입니다.

      {
          역할로 대체하십시오.
          <secret ARN>
              {
                  의 값으로는 업데이트 중인 비밀의 ARN을 사용하십시오.
                  "Principal": {
                      "AWS": [
                          "arn:aws:iam::414351767826:role/unity-catalog-prod-UCMasterRole-14S5ZJVKOTYTL",
                          "arn:aws:iam::<이 역할에 대한 계정>:role/panther-databricks-s3-reader-role-<리전>"
                      ]
                  },
                  "Action": "sts:AssumeRole",
                  "Condition": {
                      "StringEquals": {
                          "sts:ExternalId": "TBD"
                      }
                  }
              }
          ]
      }

   5. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 정책을 업데이트하십시오.

4. 역할의 권한을 업데이트하십시오:

   1. 역할 세부 정보 페이지에서 클릭하세요 권한.

   2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 권한 추가 > 인라인 정책 생성.

   3. 일반 구성 정책 편집기 섹션에서, 클릭하여 JSON.

   4. 코드 편집기의 JSON을 아래 JSON으로 교체하십시오:

      아래 정책에서 다음을 교체하십시오 <Panther 설정의 처리된 데이터 버킷> 중 하나로 치환하십시오: 처리된 데이터 버킷 위에서 가져온 값.

      { 	
      <secret ARN> 		
        { 			
         "Action": [ 				
           "s3:ListBucket", 				
            "s3:GetBucketLocation" 			
         ], 			
         의 값으로는 업데이트 중인 비밀의 ARN을 사용하십시오. 			
         "Resource": "arn:aws:s3:::<Panther 설정의 처리된 데이터 버킷>" 		
       }, 		
       { 			
         "Action": "s3:GetObject", 			
          의 값으로는 업데이트 중인 비밀의 ARN을 사용하십시오. 			
          "Resource": "arn:aws:s3:::<Panther 설정의 처리된 데이터 버킷>/*" 		
       } 	
       ], 	
       "Version": "2012-10-17" 
      }

   5. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 다음.

   6. 에서 정책 세부정보, 입력하세요 정책 이름.

   7. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 정책 생성.

5. 역할 세부 정보 페이지에서 다음을 복사하세요 ARN, 그리고 그것을 추가하세요 databricks_load_role_arn 값으로 구성 테이블.

   • 역할 세부 정보 페이지가 열린 브라우저 창을 그대로 두세요. 5단계에서 다시 돌아올 것입니다.

5단계: 스토리지 자격 증명 생성

스토리지 자격 증명 생성에 대한 추가 지원은 Databricks를 참조하세요 2단계: Databricks에 IAM 역할 세부정보 제공 문서.

Databricks 스토리지 자격 증명 방금 생성한 AWS IAM 역할을 나타내도록:

1. Databricks 작업 공간에서 클릭하세요 카탈로그을(를). (비-JSON 로그를 업로드했고 외부 데이터.

2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 자격 증명(Credentials).

3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 자격 증명 생성.

4. 다음 새 자격 증명 생성 양식을 작성합니다:

   1. 자격 증명 유형: 선택 AWS IAM 역할.

   2. 자격 증명 이름: 입력하세요 panther-storage-credential.

   3. IAM 역할 (ARN): 위에서 생성한 IAM 역할의 ARN을 입력하세요 (즉, databricks_load_role_arn 에서 구성 테이블).

5. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. Python 함수를 입력한 다음.

   • 페이지에서 자격 증명 생성됨 페이지에서 외부 ID 값을 저장하고 안전한 장소에 보관하세요. 다음 단계에서 필요합니다.

6단계: IAM 역할 신뢰 관계 정책 업데이트

IAM 역할 업데이트에 대한 추가 지원은 Databricks를 참조하세요 3단계: IAM 역할 트러스트 관계 정책 업데이트 문서.

1. 위의 IAM 콘솔로 돌아가서, panther-databricks-s3-reader-role-<region> 위에서 생성한 IAM 역할의 세부 정보 페이지로 이동합니다.

2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 신뢰 관계.

3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 신뢰 정책 편집.

4. 일반 구성 "sts:ExternalId": "TBD" 줄에서, 미정 중 하나로 치환하십시오: 외부 ID 위의 Databricks에서 복사한 값을 입력합니다.

5. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 정책 업데이트.

7단계: 외부 스토리지 위치 생성

IAM 역할 업데이트에 대한 추가 지원은 Databricks를 참조하세요 AWS S3 버킷에 대한 외부 위치 생성 문서.

1. Databricks 작업 공간에서 클릭하세요 카탈로그을(를). (비-JSON 로그를 업로드했고 외부 데이터.

2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 외부 위치 생성.

3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 수동을(를). (비-JSON 로그를 업로드했고 다음.

4. 다음 새 외부 위치를 수동으로 생성 양식을 작성합니다:

   • 외부 위치 이름: 입력하세요 panther-processed-data.

   • 스토리지 유형: 선택 S3.

   • URL: 다음을 입력하세요 처리된 데이터 버킷 3단계에서 Panther 콘솔의 설정 페이지에서 가져온 값을 입력하세요.

   • 스토리지 자격 증명: 선택 panther-storage-credential.

5. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. Python 함수를 입력한 다음.

6. 권한이 없는 상자가 있는 페이지로 리디렉션됩니다, 권한 거부 경고 상자—클릭 강제 생성.

8단계: Databricks에서 로드 서비스 프린시펄 생성

1. Databricks 워크스페이스 설정에 액세스:

   1. 오른쪽 상단에서 이니셜을 클릭하세요.

   2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 설정.

2. 일반 구성 설정 탐색 표시줄에서, 워크스페이스 관리자인 경우 JSON 로그를 업로드했다면 클릭하세요 신원 및 접근.

3. 오른쪽의 서비스 프린시펄인 경우 JSON 로그를 업로드했다면 클릭하세요 관리.

4. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 서비스 프린시펄 추가.

5. 일반 구성 서비스 프린시펄 추가 모달에서 클릭하세요 새로 추가.

6. 일반 구성 서비스 프린시펄 이름 필드에 panther-load.

7. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 리디렉트 URL.

8. 테이블에서, panther-load 를 클릭하여 세부 정보 페이지를 봅니다.

9. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 시크릿.

10. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 시크릿 생성.

11. 에서 유효 기간(일), 입력 730 (최대).

12. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 생성.

13. 다음 값을 복사하세요 시크릿 와 클라이언트 ID 값들을 생성하여 안전한 장소에 저장하세요. 이후 단계에서 필요합니다(이 값을 복사하는 대신 이 브라우저 탭을 열린 상태로 유지할 수 있습니다).

9단계: AWS에서 로드 시크릿 KMS 키 생성

1. AWS 콘솔에서 올바른 리전인지 확인하세요. 다음으로 이동: 키 관리 서비스.

2. 왼쪽 내비게이션 메뉴에서 고객 관리형 키.

3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 키 생성.

4. 에서 키 유형SNS 주제 대칭(Symmetric)Obfuscation을 사용하려면 스키마의 대상 필드에 키 사용SNS 주제 암호화 및 복호화.

5. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 다음

6. 다음 항목을 입력하세요 별칭 값을 입력한 다음 클릭 다음.

7. 에서 키 관리자선택적으로 사용자 및/또는 롤을 선택한 다음 클릭 다음.

8. 페이지에서 키 사용 권한 정의 - 선택 사항l 페이지에서, 다른 AWS 계정인 경우 JSON 로그를 업로드했다면 클릭하세요 다른 AWS 계정 추가.

   1. 표시된 필드에 Panther 배포가 있는 계정의 AWS 계정 ID를 입력합니다. 이 값은 Panther 콘솔의 일반 설정 바닥글.

   2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 다음.

9. Panther 콘솔이 열린 브라우저 탭으로 전환하고 다음을 가져옵니다 Delta 컨트롤러 역할 ARN 와 Delta 관리자 역할 ARN - name: multipleFormatTimestamp

   1. 톱니바퀴 아이콘(설정) 클릭 > 일반.

   2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 데이터 레이크.

   3. 에서 Databricks 구성, 를 메모합니다 Delta 컨트롤러 역할 ARN 와 Delta 관리자 역할 ARN 값을 포함할 수 있습니다.

10. AWS 콘솔에서 키 정책인 경우 JSON 로그를 업로드했다면 클릭하세요 편집을 클릭, 그런 다음 코드 편집기의 JSON을 아래 JSON으로 바꿉니다:

아래 정책에서 다음을 바꾸십시오:

• <Panther 설정의 Delta 컨트롤러 역할 ARN> 중 하나로 치환하십시오: Delta 컨트롤러 역할 ARN 위에서 가져온 값

• <Panther 설정의 Delta 관리자 역할 ARN> 중 하나로 치환하십시오: Delta 관리자 역할 ARN 위에서 가져온 값

• <작업 중인 AWS 계정 ID> 작업 중인 계정의 계정 ID로

{
	역할로 대체하십시오.
	<secret ARN>
		{
			"Sid": "Panther",
			의 값으로는 업데이트 중인 비밀의 ARN을 사용하십시오.
			"Principal": {
				"AWS": [
					"<Panther 설정의 Delta 컨트롤러 역할 ARN>",
					"<Panther 설정의 Delta 관리자 역할 ARN>"
				]
			},
			"Action": "kms:Decrypt",
			"Resource": "*"
		},
		{
			"Sid": "root",
			의 값으로는 업데이트 중인 비밀의 ARN을 사용하십시오.
			"Action": [
				"kms:*"
			],
			"Resource": "*",
			"Principal": {
				"AWS": "arn:aws:iam::<작업 중인 AWS 계정 ID>:root"
			}
		}
	]
}

1. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 다음.

2. 페이지에서 검토 페이지에서 구성을 검토한 다음 클릭 그런 다음.

3. 고객 관리형 키 목록에서 방금 생성한 키의 별칭을 클릭하여 상세 페이지를 봅니다.

4. 키 ARN을 복사하여 위 표의 databricks_load_secret_kms_key_arn 행에 붙여넣습니다.

안에 12단계, 이 KMS 키를 재사용하거나 추가로 하나를 생성하게 됩니다.

10단계: AWS에서 로드 시크릿 생성

1. AWS 콘솔에서 올바른 리전인지 확인하세요. 다음으로 이동: 시크릿 관리자.

Panther 인프라를 호스팅하는 AWS 계정에 있어서는 안 됩니다.

1. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 제목이 다음인 페이지가 표시됩니다:.

2. 에서 시크릿 유형SNS 주제 다른 유형의 시크릿.

3. 에서 키/값 쌍에서, 키/값 탭에서 다음 키/값 쌍을 입력하십시오:

   키	값
   시크릿	<다음 시크릿 단계에서 Databricks에서 생성한 값> 8단계>
   client-id	<다음 클라이언트 ID 단계에서 Databricks에서 생성한 값> 8단계>
   databricks-host	<Databricks 작업공간의 URL> 위에서 생성한 작업공간을 Databricks 콘솔에서 보고 있는 동안 해당 페이지의 URL을 복사합니다. 예: https://dbc-023ca860-3666.cloud.databricks.com

4. 에서 암호화 키, 선택한 databricks_load_secret_kms_key_arn 이전 단계에서 생성한 KMS 키를 선택하세요.

5. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 다음.

6. 일반 구성 시크릿 이름 필드에 panther-databricks-admin-access을 클릭한 다음 다음.

7. 을(를) 변경하지 않고 회전 구성 - 선택 사항 페이지에서 다음.

8. 시크릿 설정을 검토한 다음 클릭 AWS Secrets Manager가 비밀을 얼마나 자주 교체할지 구성한 다음.

9. 일반 구성 시크릿 목록에서 클릭 panther-databricks-admin-access, 상세 페이지를 보려면

10. 일반 구성 리소스 권한 타일에서 권한 편집.

11. 에서 리소스 권한, 코드 편집기의 JSON을 아래 JSON으로 바꿉니다:

아래 정책에서:

• 바꾸기 <Panther 설정의 Delta 컨트롤러 역할 ARN> 중 하나로 치환하십시오: Delta 컨트롤러 역할 ARN 위에서 가져온 값

• 바꾸기 <Panther 설정의 Delta 관리자 역할 ARN> 중 하나로 치환하십시오: Delta 관리자 역할 ARN 위에서 가져온 값

• 만약 9단계에서 생성한 로드 시크릿 KMS 키를 재사용할 경우 9단계 에서 12단계, 다음을 교체하세요 <Panther 설정의 Databricks 역할 ARN> 중 하나로 치환하십시오: Databricks 역할 ARN 위에서 가져온 값

• 만약 9단계에서 생성한 로드 시크릿 KMS 키를 재사용하지 않을 경우 9단계 (즉, 에서 새 쿼리 시크릿 KMS 키를 생성할 경우) 12단계제거하세요 "<Panther 설정의 Databricks 역할 ARN>" 완전히

{
  역할로 대체하십시오.
  <secret ARN>
    {
      "Sid": "Panther",
      의 값으로는 업데이트 중인 비밀의 ARN을 사용하십시오.
      "Principal": {
        "AWS": [
            "<Panther 설정의 Delta 컨트롤러 역할 ARN>",
            "<Panther 설정의 Delta 관리자 역할 ARN>",
            "<Panther 설정의 Databricks 역할 ARN>"
        ]
      },
      "Statement": [
      "Resource": "*"
    }
  ]
}

1. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. "Resource": "<secret ARN>".

2. 새로 생성한 시크릿의 ARN을 복사하여 databricks_load_secret_arn 값으로 구성 테이블.

3. Databricks 콘솔에서 외부 데이터 페이지로 돌아가세요 (클릭 카탈로그 > 외부 데이터).

4. 에서 외부 위치, 위에서 생성한 panther-processed-data 위치 를 클릭합니다.

5. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 권한.

6. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 권한 부여.

7. 에서 주체, 검색하여 선택 panther-load.

8. 에서 권한, 다음 항목의 상자를 체크하세요 탐색 와 파일 읽기.

9. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. Panther AI가 활성화된 경우.

11단계: Databricks에서 쿼리 서비스 주체 생성

1. Databricks 워크스페이스 설정에 액세스:

   1. 오른쪽 상단에서 이니셜을 클릭하세요.

   2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 설정.

2. 일반 구성 설정 탐색 표시줄에서, 워크스페이스 관리자인 경우 JSON 로그를 업로드했다면 클릭하세요 신원 및 접근.

3. 오른쪽의 서비스 프린시펄인 경우 JSON 로그를 업로드했다면 클릭하세요 관리.

4. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 서비스 프린시펄 추가.

5. 일반 구성 서비스 프린시펄 추가 모달에서 클릭하세요 새로 추가.

6. 일반 구성 서비스 프린시펄 이름 필드에 panther-query.

7. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 리디렉트 URL.

8. 테이블에서, panther-query 를 클릭하여 세부 정보 페이지를 봅니다.

9. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 시크릿.

10. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 시크릿 생성.

11. 에서 유효 기간(일), 입력 730 (최대).

12. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 생성.

13. 다음 값을 복사하세요 시크릿 와 클라이언트 ID 값들을 생성하여 안전한 장소에 저장하세요. 이후 단계에서 필요합니다(이 값을 복사하는 대신 이 브라우저 탭을 열린 상태로 유지할 수 있습니다).

12단계(선택 사항): 쿼리 시크릿 KMS 키 생성

다음 단계에서는 AWS에 추가 시크릿을 생성합니다. 이 시크릿에 연결할 새 KMS 키를 생성하거나 9단계에서 생성한 KMS 키(구성 표에 databricks_load_secret_kms_key_arn).

• 위에서 생성한 KMS 키를 재사용하려면, databricks_load_secret_kms_key_arn 에서 databricks_query_secret_kms_key_arn 구성 표 위의 값)를 복사하세요.

• 새 KMS 키를 생성하려면, 9단계: AWS에서 로드 시크릿 KMS 키 생성, 그런 다음 키의 ARN을 databricks_query_secret_kms_key_arn 구성 표 위의 값)를 복사하세요.

13단계: AWS에서 쿼리 시크릿 생성

1. AWS 콘솔에서 올바른 리전인지 확인하세요. 다음으로 이동: 시크릿 관리자.

이것은 Panther 인프라를 호스팅하는 AWS 계정에서 생성해서는 안 됩니다.

1. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 제목이 다음인 페이지가 표시됩니다:.

2. 에서 시크릿 유형SNS 주제 다른 유형의 시크릿.

3. 에서 키/값 쌍에서, 키/값 탭에서 다음 키/값 쌍을 입력하십시오:

   키	값
   시크릿	<다음 시크릿 단계에서 Databricks에서 생성한 값> 11단계>
   client-id	<다음 클라이언트 ID 단계에서 Databricks에서 생성한 값> 11단계>
   databricks-host	<Databricks 작업공간의 URL> Databricks 콘솔에서 Databricks 작업공간을 보고 있는 동안 해당 페이지의 URL을 복사합니다. 예: https://dbc-023ca860-3666.cloud.databricks.com

4. 에서 암호화 키, 선택한 databricks_query_secret_kms_key_arn 이전 단계에서 생성한 KMS 키(또는 재사용하는 databricks_load_secret_kms_key_arn KMS 키).

5. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 다음.

6. 일반 구성 시크릿 이름 필드에 panther-databricks-query-access을 클릭한 다음 다음.

7. 을(를) 변경하지 않고 회전 구성 - 선택 사항 페이지에서 다음.

8. 설정을 검토한 다음 클릭 AWS Secrets Manager가 비밀을 얼마나 자주 교체할지 구성한 다음.

9. 일반 구성 시크릿 목록에서 클릭 panther-databricks-query-access, 상세 페이지를 보려면

10. 일반 구성 리소스 권한 타일에서 권한 편집.

11. 에서 리소스 권한, 코드 편집기의 JSON을 아래 JSON으로 바꿉니다:

아래 정책에서 다음을 바꾸십시오:

• <Panther 설정의 Databricks 역할 ARN> 중 하나로 치환하십시오: Databricks 역할 ARN 위에서 가져온 값

{
  역할로 대체하십시오.
  <secret ARN>
    {
      "Sid": "Panther",
      의 값으로는 업데이트 중인 비밀의 ARN을 사용하십시오.
      "Principal": {
        "AWS": [
            "<Panther 설정의 Databricks 역할 ARN>"
        ]
      },
      "Statement": [
      "Resource": "*"
    }
  ]
}

1. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. "Resource": "<secret ARN>".

2. 새로 생성한 시크릿의 ARN을 복사하여 databricks_query_secret_arn 값으로 구성 테이블.

14단계: S3 버킷 및 외부 위치 생성

1. AWS 콘솔에서 올바른 리전인지 확인하세요. 다음으로 이동: S3.

Panther 인프라를 호스팅하는 AWS 계정에 있어서는 안 됩니다.

1. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 버킷 생성.

2. 시작하려면 다음 단계를 따르세요: 버킷 이름.

3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 버킷 생성.

4. 위에서 생성한 Databricks 작업공간에서 클릭 카탈로그을(를). (비-JSON 로그를 업로드했고 외부 데이터.

5. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 외부 위치 생성.

6. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. AWS 빠른 시작(권장)을(를). (비-JSON 로그를 업로드했고 다음.

7. 일반 구성 버킷 이름 필드에 방금 생성한 버킷의 이름을 입력하세요.

8. 에서 개인 액세스 토큰인 경우 JSON 로그를 업로드했다면 클릭하세요 Generate new token.

   • 이 값을 복사해 두세요. 다음 단계에서 필요합니다. 또는 이 페이지를 열어 둡니다.

9. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 빠른 시작에서 시작.

   • 새 브라우저 탭이 AWS에서 열리며, 빠른 스택 생성 CloudFormation 템플릿이 미리 로드된 화면이 표시됩니다.

10. 일반 구성 매개변수 필드 발견(Field Discovery) Databricks 개인 액세스 토큰 필드에 위에서 Databricks에서 생성한 개인 액세스 토큰 을 입력하세요.

11. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 스택 생성.

12. 스택 배포가 완료되면 Databricks 콘솔 브라우저 탭으로 돌아갑니다. 빠른 시작으로 외부 위치 생성 화면에서 확인.

    • 목록에 방금 생성한 항목이 포함되어 있는지 확인하세요. 외부 위치 15단계: Databricks 카탈로그 생성

데이터 추가

1. Databricks 작업 공간에서 클릭하세요 카탈로그.

2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 카탈로그 생성 > 새 카탈로그 생성.

3. 다음 카탈로그 이름 양식을 작성합니다:

   • : 카탈로그 이름을 입력하세요. 예:카탈로그 이름을 panther.

     로 지정하는 것이 권장됩니다. panther, 하지만 필수는 아닙니다.

   • 유형: 선택 표준.

   • 외부 위치 선택: 14단계에서 생성한 외부 위치를 선택하세요 14단계.

     선택하지 마세요 panther-processed-data.

     

4. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. Python 함수를 입력한 다음.

5. 페이지에서 카탈로그가 생성되었습니다! 모달에서 클릭하세요 카탈로그 보기.

6. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 권한.

7. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 권한 부여.

8. 일반 구성 panther에 권한 부여 모달에서 양식을 작성하세요:

   • 주체: 입력하고 선택 panther-load.

   • 다음 권한을 선택하세요:

     • 카탈로그 사용

     • 스키마 사용

     • 탐색

     • SELECT

     • 수정

     • 스키마 생성

     • 테이블 생성

9. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. Panther AI가 활성화된 경우.

10. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 권한 부여.

11. 일반 구성 panther에 권한 부여 모달에서 양식을 작성하세요:

    • 주체: 입력하고 선택 panther-query.

    • 다음 권한을 선택하세요:

      • 카탈로그 사용

      • 스키마 사용

      • 탐색

      • SELECT

12. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. Panther AI가 활성화된 경우.

13. 카탈로그 이름을 databricks_catalog 값으로 구성 테이블.

16단계: panther-load SQL 웨어하우스 생성

추가 SQL 웨어하우스 생성 지원은 Databricks의 SQL 웨어하우스 생성 문서.

1. Databricks 작업 공간에서 클릭하세요 컴퓨트.

2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. SQL 웨어하우스.

3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. SQL 웨어하우스 생성.

4. 다음을 작성하세요 새 SQL 웨어하우스 양식을 작성합니다:

   • 이름: 입력하세요 panther-load.

   • 클러스터 크기: 선택 2X-스몰.

   • 확장: 다음을 설정 최대 값을 40 (허용되는 최대값).

   • 유형: 선택 프로.

사용하지 마세요 서버리스.

1. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. Python 함수를 입력한 다음.

2. 일반 구성 권한 관리 모달에서 panther-load 사용자 추가한 다음 사용 가능 권한.

3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 리디렉트 URL.

4. 을 클릭하세요 X 모달을 닫으려면 오른쪽 상단의 권한 관리 를 선택하세요.

5. 페이지에서 panther-load 웨어하우스 상세 페이지에서 이름 옆의 ID 을 복사하여 databricks_load_warehouse_id 값으로 구성 테이블.

로 추가하세요.

17단계: panther-optimize SQL 웨어하우스 생성

추가 SQL 웨어하우스 생성 지원은 Databricks의 SQL 웨어하우스 생성 문서.

1. Databricks 작업 공간에서 클릭하세요 컴퓨트.

2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. SQL 웨어하우스.

3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. SQL 웨어하우스 생성.

4. 다음을 작성하세요 새 SQL 웨어하우스 양식을 작성합니다:

   • 이름: 입력하세요 이 웨어하우스는 야간 테이블 유지관리 작업을 실행합니다..

   • 클러스터 크기: 선택 2X-스몰.

   • 확장: 다음을 설정 최대 값을 40 (허용되는 최대값).

   • 유형: 선택 서버리스.

5. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. Python 함수를 입력한 다음.

6. 일반 구성 권한 관리 모달에서 panther-load 사용자 추가한 다음 사용 가능 권한.

7. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 리디렉트 URL.

8. 을 클릭하세요 X 모달을 닫으려면 오른쪽 상단의 권한 관리 를 선택하세요.

9. 페이지에서 이 웨어하우스는 야간 테이블 유지관리 작업을 실행합니다. 웨어하우스 상세 페이지에서 이름 옆의 ID 을 복사하여 databricks_optimize_warehouse_id 값으로 구성 테이블.

panther-optimize

추가 SQL 웨어하우스 생성 지원은 Databricks의 SQL 웨어하우스 생성 문서.

1. Databricks 작업 공간에서 클릭하세요 컴퓨트.

2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. SQL 웨어하우스.

3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. SQL 웨어하우스 생성.

4. 다음을 작성하세요 새 SQL 웨어하우스 양식을 작성합니다:

   • 이름: 입력하세요 panther-query.

   • 클러스터 크기: 선택 정보(Info).

   • 확장: 다음을 설정 최대 값을 40 (허용되는 최대값).

   • 유형: 선택 서버리스 이전에 생성한 Snowflake 사용자 이름, 예를 들면 프로.

18단계: panther-query SQL 웨어하우스 생성 서버리스 이전에 생성한 Snowflake 사용자 이름, 예를 들면 프로이 SQL 웨어하우스는 서버리스 , 하지만 프로 는 느리게 시작됩니다.

1. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. Python 함수를 입력한 다음.

2. 일반 구성 권한 관리 모달에서 panther-query 사용자 추가한 다음 사용 가능 권한.

3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 리디렉트 URL.

4. 을 클릭하세요 X 모달을 닫으려면 오른쪽 상단의 권한 관리 를 선택하세요.

5. 페이지에서 panther-query 웨어하우스 상세 페이지에서 이름 옆의 ID 을 복사하여 databricks_query_warehouse_id 값으로 구성 테이블.

19단계: panther-scheduled-query SQL 웨어하우스 생성

추가 SQL 웨어하우스 생성 지원은 Databricks의 SQL 웨어하우스 생성 문서.

1. Databricks 작업 공간에서 클릭하세요 컴퓨트.

2. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. SQL 웨어하우스.

3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. SQL 웨어하우스 생성.

4. 다음을 작성하세요 새 SQL 웨어하우스 양식을 작성합니다:

   • 이름: 입력하세요 panther-scheduled-query.

   • 클러스터 크기: 선택 3X-라지.

   • 확장: 다음을 설정 최대 값을 40 (허용되는 최대값).

   • 유형: 선택 서버리스 이전에 생성한 Snowflake 사용자 이름, 예를 들면 프로.

18단계: panther-query SQL 웨어하우스 생성 서버리스 이전에 생성한 Snowflake 사용자 이름, 예를 들면 프로이 SQL 웨어하우스는 서버리스 , 하지만 프로 는 느리게 시작됩니다.

1. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. Python 함수를 입력한 다음.

2. 일반 구성 권한 관리 모달에서 panther-query 사용자 추가한 다음 사용 가능 권한.

3. 를 선택하고 Panther가 설치된 계정 ID를 입력하십시오. 리디렉트 URL.

4. 을 클릭하세요 X 모달을 닫으려면 오른쪽 상단의 권한 관리 를 선택하세요.

5. 페이지에서 panther-scheduled-query 웨어하우스 상세 페이지에서 이름 옆의 ID 을 복사하여 databricks_scheduled_query_warehouse_id 값으로 구성 테이블.

20단계: 구성 값을 Panther로 전송

• 이제 1단계에서 생성한 구성 표가 완전히 작성되었으므로 Panther 팀과 공유하세요.

21단계: 설정 후 권장사항으로 돌아가기

• 로 돌아가기 설정 후 권장사항 에 클라우드 연결된 Panther 인스턴스 설정하기.