Panther용 Databricks 구성하기

개요

이 페이지에서는 구성 방법을 설명합니다 Databricks 를 Panther 데이터 저장 백엔드로 사용하도록 구성합니다. 아래 단계를 완료하면 다양한 구성 값을 수집하고 저장한 다음 Panther에 제공합니다.

이 페이지의 절차는 다음에 도달한 후에만 완료해야 합니다 단계 9 의 Cloud Connected Panther 인스턴스 설정하기.

이 절차를 통해 다음을 수행합니다:

• Panther용 Databricks 작업 영역을 생성합니다(AWS의 관련 Databricks 인프라도 함께 생성됨)

• Databricks가 Panther S3 스테이징 버킷에서 읽을 수 있도록 AWS에 IAM 역할을 생성합니다.

• 외부 저장 자격 증명을 생성합니다.

• Databricks가 로딩을 위해 S3에서 데이터를 읽을 수 있도록 외부 저장소 통합을 생성합니다.

• 서비스 주체를 생성합니다. 하나는 로딩용(읽기/쓰기), 하나는 쿼리용(읽기 전용)입니다.

• 서비스 주체의 OAuth 자격 증명을 보관할 수 있도록 AWS에서 KMS 키가 있는 비밀을 생성합니다.

• 서비스 주체에 대한 권한이 포함된 Panther 테이블용 카탈로그를 Databricks에 생성합니다.

• 로드, 최적화, 쿼리 및 예약 쿼리 웨어하우스를 생성합니다.

Panther용 Databricks 구성 방법

사전 요구 사항

• Databricks 계정이 있습니다.

• 다음의 안내를 완료했습니다 Cloud Connected Panther 인스턴스 설정하기 그리고 Panther 콘솔에 로그인할 수 있습니다.

• Panther 컴퓨팅에 사용할 AWS 계정의 AWS 콘솔에 로그인되어 있습니다. Databricks가 사용자를 대신해 작업 영역을 생성하므로 이것이 필요합니다.

이 AWS 계정은 Panther가 호스팅되는 AWS 계정이면 안 됩니다.

• 다음 페이지에 나열된 Databricks 및 AWS 권한이 있습니다:

  • 클래식 작업 영역 생성

  • Catalog Explorer 또는 SQL을 사용하여 S3용 저장 자격 증명 및 외부 위치 생성

  • SQL 웨어하우스 생성

1단계: 구성 표 사본 만들기

구성 과정 전반에 걸쳐 마지막에 Panther에 보낼 값을 수집하게 됩니다. 이러한 값을 정리하기 위해 아래 표의 사본을 만드세요.

매개변수	값
databricks_load_role_arn
databricks_load_secret_kms_key_arn
databricks_query_secret_kms_key_arn
databricks_load_secret_arn
databricks_query_secret_arn
databricks_catalog
databricks_load_warehouse_id
databricks_optimize_warehouse_id
databricks_query_warehouse_id
databricks_scheduled_query_warehouse_id

2단계(선택 사항): Databricks 작업 영역 생성

조직상 Panther 전용 Databricks 작업 영역을 만드는 것이 권장되지만 필수는 아닙니다. 기존 작업 영역을 사용하려면 이 단계를 건너뛰세요.

작업 영역 생성 중 추가 지원이 필요하면 Databricks의 다음 문서를 참조하세요 자동 구성으로 작업 영역 생성 문서에 설명된 Snowflake SQL 구문을 사용해야 합니다.

1. Databricks 콘솔에 로그인합니다.

2. 왼쪽 탐색 메뉴에서 다음을 클릭합니다 작업 영역.

3. 다음을 클릭하세요. 작업 영역 생성.

4. 다음을 작성합니다 작업 영역 생성 모달:

   • 작업 영역 이름: 기억하기 쉬운 이름을 입력합니다.

   • 리전: Panther의 AWS 배포와 일치하는 리전을 선택합니다.

   • 저장 및 컴퓨팅: 선택 기존 클라우드 계정 사용.

5. 다음을 클릭하세요. 계속.

6. 다음에서 클라우드 리소스, 클라우드 자격 증명 필드에서 다음을 선택합니다 클라우드 자격 증명 추가.

7. 다음 항목에서 클라우드 자격 증명 추가 모달에서 다음을 그대로 둡니다 자동 추가 가 선택된 상태로 두고 다음을 클릭합니다 확인.

   • 다음 두 항목 모두 클라우드 자격 증명 및 클라우드 저장소 필드에 값이 제공됩니다. 자동 추가 이 값들은 그대로 두세요.

8. 다음을 클릭하세요. AWS에 로그인하여 작업 영역 생성.

9. 다음 항목에서 AWS 리소스 검토 모달에서 다음을 클릭하세요. 작업 영역 생성 시작.

10. AWS 모달에서 다음을 클릭합니다 액세스 허용.

11. Databricks 브라우저 탭으로 돌아가 새 작업 영역이 다음 항목에 나타날 때까지 몇 분 기다립니다 작업 영역 목록. 나타나면 다음을 클릭합니다 열기 를 눌러 작업 영역 환경으로 들어갑니다.

3단계: 작업 영역에서 variant shredding 활성화

variant shredding 활성화 중 추가 지원이 필요하면 Databricks의 다음 문서를 참조하세요 shredding 활성화 문서에 설명된 Snowflake SQL 구문을 사용해야 합니다.

1. Databricks 작업 영역의 오른쪽 위에서 프로필 아이콘을 클릭한 다음 미리 보기.

2. 오른쪽에 있는 반구조화 데이터의 최적화된 읽기 성능을 위한 Variant Shredding의 토글을 클릭합니다 켜기.

4단계: 저장 자격 증명을 위한 Panther 역할 생성

IAM 역할 생성 중 추가 지원이 필요하면 Databricks의 다음 문서를 참조하세요 1단계: IAM 역할 생성 문서에 설명된 Snowflake SQL 구문을 사용해야 합니다.

1. Databricks 작업 영역 인프라를 생성한 AWS 계정에서 다음 이름의 IAM 역할을 생성합니다 panther-databricks-s3-reader-role-<region>, 모든 기본값을 수락합니다.

2. Panther 콘솔에서 다음 값을 가져옵니다 처리된 데이터 버킷 값:

   1. 톱니바퀴 아이콘(설정) > General.

   2. 다음을 클릭하세요. Data Lake.

   3. 다음에서 Databricks 구성을 클릭한 다음 처리된 데이터 버킷 값.

3. 역할의 신뢰 관계를 업데이트합니다:

   1. AWS 콘솔에서 역할 목록에서 새로 생성한 역할을 클릭하여 세부 정보 페이지를 봅니다.

   2. 다음을 클릭하세요. 신뢰 관계.

   3. 다음을 클릭하세요. 신뢰 정책 편집.

   4. 코드 편집기의 JSON을 아래 JSON으로 바꿉니다:

      다음 신뢰 정책은 "sts:ExternalId": "TBD" 를 자리표시자로 설정합니다. 나중에 이를 업데이트하게 됩니다. 또한 나중에 자기 가정(self-assumption) 문을 추가하게 됩니다.

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Principal": {
                      "AWS": [
                          "arn:aws:iam::414351767826:role/unity-catalog-prod-UCMasterRole-14S5ZJVKOTYTL",
                          "arn:aws:iam::<이 역할의 계정>:role/panther-databricks-s3-reader-role-<region>"
                      ]
                  },
                  "Action": "sts:AssumeRole",
                  "Condition": {
                      "StringEquals": {
                          "sts:ExternalId": "TBD"
                      }
                  }
              }
          ]
      }

   5. 다음을 클릭하세요. 정책 업데이트.

4. 역할의 권한을 업데이트합니다:

   1. 역할의 세부 정보 페이지에서 다음을 클릭합니다 권한.

   2. 다음을 클릭하세요. 권한 추가 > 인라인 정책 생성.

   3. 다음에서 정책 편집기 섹션에서 다음을 클릭합니다 JSON.

   4. 코드 편집기의 JSON을 아래 JSON으로 바꿉니다:

      아래 정책에서 다음을 바꿉니다 <Panther 설정의 처리된 데이터 버킷> 과 처리된 데이터 버킷 위에서 가져온 값.

      { 	
      "Statement": [ 		
        { 			
         "Action": [ 				
           "s3:ListBucket", 				
            "s3:GetBucketLocation" 			
         ], 			
         "Effect": "Allow", 			
         "Resource": "arn:aws:s3:::<Panther 설정의 처리된 데이터 버킷>" 		
       }, 		
       { 			
         "Action": "s3:GetObject", 			
          "Effect": "Allow", 			
          "Resource": "arn:aws:s3:::<Panther 설정의 처리된 데이터 버킷>/*" 		
       } 	
       ], 	
       "Version": "2012-10-17" 
      }

   5. 다음을 클릭하세요. 다음.

   6. 다음에서 정책 세부 정보, 다음을 입력합니다 정책 이름.

   7. 다음을 클릭하세요. 정책 생성.

5. 역할의 세부 정보 페이지에서 다음을 복사합니다 ARN, 그리고 이를 다음의 databricks_load_role_arn 값으로 추가합니다 구성 표.

   • 역할 세부 정보 페이지가 열린 브라우저 창은 그대로 두세요. 5단계에서 다시 돌아올 것입니다.

5단계: 저장 자격 증명 생성

저장 자격 증명 생성 중 추가 지원이 필요하면 Databricks의 다음 문서를 참조하세요 2단계: Databricks에 IAM 역할 세부 정보 제공 문서에 설명된 Snowflake SQL 구문을 사용해야 합니다.

Databricks 저장 자격 증명 을 생성하여 방금 만든 AWS IAM 역할을 나타냅니다:

1. Databricks 작업 영역에서 다음을 클릭합니다 카탈로그의 가장 높은 패치 버전으로 업그레이드한 다음, 외부 데이터.

2. 다음을 클릭하세요. Credentials.

3. 다음을 클릭하세요. 자격 증명 생성.

4. 다음에 내용을 입력합니다. 새 자격 증명 생성 양식:

   1. 자격 증명 유형: 선택 AWS IAM 역할.

   2. 자격 증명 이름: 입력 panther-storage-credential.

   3. IAM 역할(ARN): 위에서 생성한 IAM 역할의 ARN을 입력합니다(즉, databricks_load_role_arn 에서 구성 표).

5. 다음을 클릭하세요. 생성.

   • 다음 항목에서 자격 증명 생성됨 페이지에서 다음을 복사합니다 외부 ID 값을 안전한 위치에 저장하세요. 다음 단계에서 필요합니다.

6단계: IAM 역할 신뢰 관계 정책 업데이트

IAM 역할 업데이트 중 추가 지원이 필요하면 Databricks의 다음 문서를 참조하세요 3단계: IAM 역할 신뢰 관계 정책 업데이트 문서에 설명된 Snowflake SQL 구문을 사용해야 합니다.

1. AWS 콘솔로 돌아가 위에서 생성한 panther-databricks-s3-reader-role-<region> IAM 역할의 세부 정보 페이지로 이동합니다.

2. 다음을 클릭하세요. 신뢰 관계.

3. 다음을 클릭하세요. 신뢰 정책 편집.

4. 다음에서 "sts:ExternalId": "TBD" 줄에서 다음을 바꿉니다 TBD 과 외부 ID 위에서 Databricks에서 복사한 값.

5. 다음을 클릭하세요. 정책 업데이트.

7단계: 외부 저장 위치 생성

IAM 역할 업데이트 중 추가 지원이 필요하면 Databricks의 다음 문서를 참조하세요 AWS S3 버킷용 외부 위치 생성 문서에 설명된 Snowflake SQL 구문을 사용해야 합니다.

1. Databricks 작업 영역에서 다음을 클릭합니다 카탈로그의 가장 높은 패치 버전으로 업그레이드한 다음, 외부 데이터.

2. 다음을 클릭하세요. 외부 위치 생성.

3. 다음을 클릭하세요. 수동의 가장 높은 패치 버전으로 업그레이드한 다음, 다음.

4. 다음에 내용을 입력합니다. 새 외부 위치를 수동으로 생성 양식:

   • 외부 위치 이름: 입력 panther-processed-data.

   • 저장 유형: 선택 S3.

   • URL: 처리된 데이터 버킷 3단계에서 Panther 콘솔의 설정 페이지에서 가져온 값.

   • 저장 자격 증명: 선택 panther-storage-credential.

5. 다음을 클릭하세요. 생성.

6. 다음이 표시된 페이지로 이동됩니다 액세스 거부 경고 상자—다음을 클릭합니다 강제로 생성.

8단계: Databricks에서 로드 서비스 주체 생성

1. Databricks 작업 영역 설정에 액세스합니다:

   1. 오른쪽 위에서 이니셜을 클릭합니다.

   2. 다음을 클릭하세요. 설정.

2. 다음에서 설정 탐색 표시줄에서 다음 아래 Workspace admin의 오른쪽에서, 다음을 클릭합니다 Identity and access.

3. 오른쪽에 있는 Service principals의 오른쪽에서, 다음을 클릭합니다 Manage.

4. 다음을 클릭하세요. Add service principal.

5. 다음에서 Add service principal 모달에서 다음을 클릭하세요. Add new.

6. 다음에서 Service principal name 필드에 다음을 입력합니다 panther-load.

7. 다음을 클릭하세요. 추가.

8. 표에서 다음을 클릭합니다 panther-load 을 눌러 세부 정보 페이지를 봅니다.

9. 다음을 클릭하세요. 비밀.

10. 다음을 클릭하세요. 비밀 생성.

11. 다음에서 수명(일), 다음을 입력합니다 730 (최대값).

12. 다음을 클릭하세요. 생성.

13. 다음을 복사합니다. 시크릿 및 클라이언트 ID 값을 저장하고 안전한 위치에 보관하세요. 나중 단계에서 필요합니다(이 값들을 복사하는 대신 이 브라우저 탭을 열어 둘 수도 있습니다).

9단계: AWS에서 로드 비밀 KMS 키 생성

1. AWS 콘솔에서 올바른 리전에 있는지 확인합니다. 다음으로 이동합니다 Key Management Service.

2. 왼쪽 탐색 메뉴에서 다음을 클릭합니다 Customer managed keys.

3. 다음을 클릭하세요. Create Key.

4. 다음에서 키 유형에서 다음을 선택하세요 대칭형. 다음 아래에 키 용도에서 다음을 선택하세요 암호화 및 복호화.

5. 다음을 클릭하세요. 다음

6. 다음을 입력합니다 별칭 값을 입력한 다음 다음을 클릭합니다 다음.

7. 다음에서 키 관리자, 선택적으로 사용자 및/또는 역할을 선택한 다음 다음을 클릭합니다 다음.

8. 다음 항목에서 키 사용 권한 정의 - 선택사항 페이지에서 Other AWS accounts의 오른쪽에서, 다음을 클릭합니다 Add another AWS account.

   1. 에 표시되는 필드에 Panther 배포가 있는 계정의 AWS 계정 ID를 입력합니다. 이 값은 Panther 콘솔의 일반 설정 바닥글.

   2. 다음을 클릭하세요. 다음.

9. 에서 찾을 수 있습니다. Panther 콘솔이 열린 브라우저 탭으로 전환하여 다음 값을 가져옵니다 Delta Controller Role ARN 및 Delta Admin Role ARN 값:

   1. 톱니바퀴 아이콘(설정) > General.

   2. 다음을 클릭하세요. Data Lake.

   3. 다음에서 Databricks 구성, 다음 Delta Controller Role ARN 및 Delta Admin Role ARN 값을 기록합니다.

10. AWS 콘솔에서 아래의 Key policy의 오른쪽에서, 다음을 클릭합니다 편집로 이동한 다음 코드 편집기의 JSON을 아래 JSON으로 바꿉니다:

아래 정책에서 다음을 바꿉니다:

• <Panther 설정의 Delta Controller Role ARN> 과 Delta Controller Role ARN 위에서 가져온 값

• <Panther 설정의 Delta Admin Role ARN> 과 Delta Admin Role ARN 위에서 가져온 값

• <작업 중인 AWS 계정 ID> 작업 중인 계정의 계정 ID로 바꿉니다

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Sid": "Panther",
			"Effect": "Allow",
			"Principal": {
				"AWS": [
					"<Panther 설정의 Delta Controller Role ARN>",
					"<Panther 설정의 Delta Admin Role ARN>"
				]
			},
			"Action": "kms:Decrypt",
			"Resource": "*"
		},
		{
			"Sid": "root",
			"Effect": "Allow",
			"Action": [
				"kms:*"
			],
			"Resource": "*",
			"Principal": {
				"AWS": "arn:aws:iam::<작업 중인 AWS 계정 ID>:root"
			}
		}
	]
}

1. 다음을 클릭하세요. 다음.

2. 다음 항목에서 검토 페이지에서 구성을 검토한 다음 다음을 클릭합니다 완료.

3. Customer managed keys 목록에서 방금 생성한 키의 별칭을 클릭하여 세부 정보 페이지를 봅니다.

4. 키 ARN을 위 표의 databricks_load_secret_kms_key_arn 행에 복사합니다.

다음의 12단계에서 이 KMS 키를 재사용하거나 추가로 하나를 생성하게 됩니다.

10단계: AWS에서 로드 비밀 생성

1. AWS 콘솔에서 올바른 리전에 있는지 확인합니다. 다음으로 이동합니다 Secrets Manager.

Panther 인프라가 호스팅되는 AWS 계정에 있으면 안 됩니다.

1. 다음을 클릭하세요. 새 비밀 저장.

2. 다음에서 비밀 유형에서 다음을 선택하세요 다른 유형의 비밀.

3. 다음에서 키/값 쌍, 키/값 탭에 다음 키 값 쌍을 입력합니다:

   키	값
   secret	<the 시크릿 value you generated in Databricks in Step 8>
   client-id	<the 클라이언트 ID value you generated in Databricks in Step 8>
   databricks-host	<Databricks 작업 영역의 URL> 위에서 생성한 작업 영역을 Databricks 콘솔에서 보고 있는 동안 페이지의 URL을 복사합니다. 예를 들어, https://dbc-023ca860-3666.cloud.databricks.com

4. 다음에서 암호화 키, 다음을 선택합니다 databricks_load_secret_kms_key_arn 이전 단계에서 생성한 KMS 키.

5. 다음을 클릭하세요. 다음.

6. 다음에서 비밀 이름 필드에 다음을 입력합니다 panther-databricks-admin-access를 선택한 다음 다음.

7. 의 회전 구성 - 선택 사항 페이지에서 다음.

8. 비밀 설정을 검토한 다음 다음을 클릭합니다 저장.

9. 다음에서 비밀 목록에서 다음을 클릭합니다 panther-databricks-admin-access, 세부 정보 페이지를 봅니다.

10. 다음에서 리소스 권한 타일에서 다음을 클릭합니다 권한 편집.

11. 다음에서 리소스 권한, 코드 편집기의 JSON을 아래 JSON으로 바꿉니다:

아래 정책에서:

• 다음을 바꿉니다 <Panther 설정의 Delta Controller Role ARN> 과 Delta Controller Role ARN 위에서 가져온 값

• 다음을 바꿉니다 <Panther 설정의 Delta Admin Role ARN> 과 Delta Admin Role ARN 위에서 가져온 값

• 에서 생성한 로드 비밀 KMS 키를 재사용할 경우 단계 9 의 12단계에서 다음을 바꿉니다 <Panther 설정의 Databricks Role ARN> 과 Databricks Role ARN 위에서 가져온 값

• 에서 생성한 로드 비밀 KMS 키를 재사용하지 않을 경우 단계 9 (즉, 12단계에서 새 쿼리 비밀 KMS 키를 생성할 경우), 다음을 제거합니다 "<Panther 설정의 Databricks Role ARN>" 완전히

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Panther",
      "Effect": "Allow",
      "Principal": {
        "AWS": [
            "<Panther 설정의 Delta Controller Role ARN>",
            "<Panther 설정의 Delta Admin Role ARN>",
            "<Panther 설정의 Databricks Role ARN>"
        ]
      },
      "Action": "secretsmanager:GetSecretValue",
      "Resource": "*"
    }
  ]
}

1. 다음을 클릭하세요. 저장.

2. 새로 생성한 비밀의 ARN을 복사하여 다음의 databricks_load_secret_arn 값으로 추가합니다 구성 표.

3. Databricks 콘솔에서 다음으로 돌아갑니다 외부 데이터 페이지(클릭 카탈로그 > 외부 데이터).

4. 다음에서 External Locations을 클릭한 다음 panther-processed-data 위에서 생성한 위치를 선택합니다.

5. 다음을 클릭하세요. 권한.

6. 다음을 클릭하세요. Grant.

7. 다음에서 Principals, 검색하여 다음을 선택합니다 panther-load.

8. 다음에서 Privileges, 다음 확인란을 선택합니다 BROWSE 및 READ FILES.

9. 다음을 클릭하세요. Confirm.

11단계: Databricks에서 쿼리 서비스 주체 생성

1. Databricks 작업 영역 설정에 액세스합니다:

   1. 오른쪽 위에서 이니셜을 클릭합니다.

   2. 다음을 클릭하세요. 설정.

2. 다음에서 설정 탐색 표시줄에서 다음 아래 Workspace admin의 오른쪽에서, 다음을 클릭합니다 Identity and access.

3. 오른쪽에 있는 Service principals의 오른쪽에서, 다음을 클릭합니다 Manage.

4. 다음을 클릭하세요. Add service principal.

5. 다음에서 Add service principal 모달에서 다음을 클릭하세요. Add new.

6. 다음에서 Service principal name 필드에 다음을 입력합니다 panther-query.

7. 다음을 클릭하세요. 추가.

8. 표에서 다음을 클릭합니다 panther-query 을 눌러 세부 정보 페이지를 봅니다.

9. 다음을 클릭하세요. 비밀.

10. 다음을 클릭하세요. 비밀 생성.

11. 다음에서 수명(일), 다음을 입력합니다 730 (최대값).

12. 다음을 클릭하세요. 생성.

13. 다음을 복사합니다. 시크릿 및 클라이언트 ID 값을 저장하고 안전한 위치에 보관하세요. 나중 단계에서 필요합니다(이 값들을 복사하는 대신 이 브라우저 탭을 열어 둘 수도 있습니다).

12단계(선택 사항): 쿼리 비밀 KMS 키 생성

다음 단계에서 AWS에 추가 비밀을 생성하게 됩니다. 이 비밀에 연결할 새 KMS 키를 생성하거나, 9단계에서 생성한 KMS 키를 재사용할 수 있습니다(구성 표에 다음으로 추가됨 databricks_load_secret_kms_key_arn).

• 위에서 생성한 KMS 키를 재사용하려면 다음 값을 복사합니다 databricks_load_secret_kms_key_arn 를 databricks_query_secret_kms_key_arn 위의 구성 표에서

• 새 KMS 키를 생성하려면 다음을 반복합니다 9단계: AWS에서 로드 비밀 KMS 키 생성, 그런 다음 키의 ARN을 다음으로 추가합니다 databricks_query_secret_kms_key_arn 위의 구성 표에서

13단계: AWS에서 쿼리 비밀 생성

1. AWS 콘솔에서 올바른 리전에 있는지 확인합니다. 다음으로 이동합니다 Secrets Manager.

Panther 인프라가 호스팅되는 AWS 계정에서 생성하면 안 됩니다.

1. 다음을 클릭하세요. 새 비밀 저장.

2. 다음에서 비밀 유형에서 다음을 선택하세요 다른 유형의 비밀.

3. 다음에서 키/값 쌍, 키/값 탭에 다음 키 값 쌍을 입력합니다:

   키	값
   secret	<the 시크릿 value you generated in Databricks in 11단계>
   client-id	<the 클라이언트 ID value you generated in Databricks in 11단계>
   databricks-host	<Databricks 작업 영역의 URL> Databricks 콘솔에서 Databricks 작업 영역을 보는 동안 페이지의 URL을 복사합니다. 예를 들어, https://dbc-023ca860-3666.cloud.databricks.com

4. 다음에서 암호화 키, 다음을 선택합니다 databricks_query_secret_kms_key_arn 이전 단계에서 생성한 KMS 키(또는 databricks_load_secret_kms_key_arn KMS 키, 그것을 재사용하는 경우).

5. 다음을 클릭하세요. 다음.

6. 다음에서 비밀 이름 필드에 다음을 입력합니다 panther-databricks-query-access를 선택한 다음 다음.

7. 의 회전 구성 - 선택 사항 페이지에서 다음.

8. 설정을 검토한 다음 다음을 클릭합니다 저장.

9. 다음에서 비밀 목록에서 다음을 클릭합니다 panther-databricks-query-access, 세부 정보 페이지를 봅니다.

10. 다음에서 리소스 권한 타일에서 다음을 클릭합니다 권한 편집.

11. 다음에서 리소스 권한, 코드 편집기의 JSON을 아래 JSON으로 바꿉니다:

아래 정책에서 다음을 바꿉니다:

• <Panther 설정의 Databricks Role ARN> 과 Databricks Role ARN 위에서 가져온 값

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Panther",
      "Effect": "Allow",
      "Principal": {
        "AWS": [
            "<Panther 설정의 Databricks Role ARN>"
        ]
      },
      "Action": "secretsmanager:GetSecretValue",
      "Resource": "*"
    }
  ]
}

1. 다음을 클릭하세요. 저장.

2. 새로 생성한 비밀의 ARN을 복사하여 다음의 databricks_query_secret_arn 값으로 추가합니다 구성 표.

14단계: S3 버킷 및 외부 위치 생성

1. AWS 콘솔에서 올바른 리전에 있는지 확인합니다. 다음으로 이동합니다 S3.

Panther 인프라가 호스팅되는 AWS 계정에 있으면 안 됩니다.

1. 다음을 클릭하세요. 버킷 생성.

2. 다음을 입력하세요 버킷 이름.

3. 다음을 클릭하세요. 버킷 생성.

4. 위에서 생성한 Databricks 작업 영역에서 다음을 클릭합니다 카탈로그의 가장 높은 패치 버전으로 업그레이드한 다음, 외부 데이터.

5. 다음을 클릭하세요. 외부 위치 생성.

6. 다음을 클릭하세요. AWS Quickstart(권장)의 가장 높은 패치 버전으로 업그레이드한 다음, 다음.

7. 다음에서 Bucket Name 필드에 방금 생성한 버킷의 이름을 입력합니다.

8. 다음에서 Personal Access Token의 오른쪽에서, 다음을 클릭합니다 새 토큰 생성.

   • 이 값은 다음 단계에서 필요하므로 복사해 두세요. 또는 이 페이지를 열어 둘 수 있습니다.

9. 다음을 클릭하세요. Quickstart에서 시작.

   • 새 브라우저 탭이 AWS에서 열리고 Quick create stack 화면에 CloudFormation 템플릿이 미리 로드됩니다.

10. 다음에서 Parameters 섹션의 Databricks Personal Access Token 필드에 위에서 Databricks에서 생성한 Personal Access Token 을 입력합니다.

11. 다음을 클릭하세요. 스택 생성.

12. 스택 배포가 완료되면 Databricks 콘솔 브라우저 탭으로 돌아갑니다. Quickstart로 외부 위치 생성 화면에서 다음을 클릭합니다 확인.

    • 다음이 External Locations 목록에 방금 생성한 항목이 있는지 확인합니다.

15단계: Databricks 카탈로그 생성

1. Databricks 작업 영역에서 다음을 클릭합니다 카탈로그.

2. 다음을 클릭하세요. 데이터 추가 > 카탈로그 생성.

3. 다음에 내용을 입력합니다. 새 카탈로그 생성 양식:

   • 카탈로그 이름: 카탈로그 이름을 입력합니다. 예: panther.

     카탈로그 이름을 panther로 지정하는 것이 권장되지만 필수는 아닙니다.

   • 유형: 선택 표준.

   • 외부 위치 선택: 에서 생성한 외부 위치를 선택합니다 14단계.

     다음을 선택하지 마세요 panther-processed-data.

     

4. 다음을 클릭하세요. 생성.

5. 다음 항목에서 카탈로그 생성됨! 모달에서 다음을 클릭하세요. 카탈로그 보기.

6. 다음을 클릭하세요. 권한.

7. 다음을 클릭하세요. Grant.

8. 다음에서 panther에 대한 권한 부여 모달에서 다음 양식을 작성합니다:

   • Principals: 다음을 입력하고 선택합니다 panther-load.

   • 다음 권한을 선택합니다:

     • USE CATALOG

     • USE SCHEMA

     • BROWSE

     • SELECT

     • MODIFY

     • CREATE SCHEMA

     • CREATE TABLE

9. 다음을 클릭하세요. Confirm.

10. 다음을 클릭하세요. Grant.

11. 다음에서 panther에 대한 권한 부여 모달에서 다음 양식을 작성합니다:

    • Principals: 다음을 입력하고 선택합니다 panther-query.

    • 다음 권한을 선택합니다:

      • USE CATALOG

      • USE SCHEMA

      • BROWSE

      • SELECT

12. 다음을 클릭하세요. Confirm.

13. 카탈로그 이름을 다음의 databricks_catalog 값으로 추가합니다 구성 표.

16단계: panther-load SQL 웨어하우스 생성

SQL 웨어하우스 생성에 대한 추가 지원은 Databricks의 다음 문서를 참조하세요 SQL 웨어하우스 생성 문서에 설명된 Snowflake SQL 구문을 사용해야 합니다.

1. Databricks 작업 영역에서 다음을 클릭합니다 컴퓨트.

2. 다음을 클릭하세요. SQL 웨어하우스.

3. 다음을 클릭하세요. SQL 웨어하우스 생성.

4. 다음을 작성합니다 새 SQL 웨어하우스 양식:

   • 이름: 입력 panther-load.

   • 클러스터 크기: 선택 2X-Small.

   • 확장: 다음을 설정합니다 최대 값을 40 으로 설정합니다(허용되는 최대값).

   • 유형: 선택 Pro.

사용하지 마세요 Serverless.

1. 다음을 클릭하세요. 생성.

2. 다음에서 권한 관리 모달에서, 다음을 추가하세요 panther-load 사용자를 선택한 다음 다음을 사용할 수 있습니다 권한.

3. 다음을 클릭하세요. 추가.

4. 다음을 클릭하세요. X 오른쪽 상단 모서리에서 다음을 닫으세요 권한 관리 모달.

5. 다음 항목에서 panther-load 웨어하우스 세부 정보 페이지에서 다음을 복사하세요 ID (이름 옆에 있는)를 추가하여 다음으로 사용하세요 databricks_load_warehouse_id 값으로 추가합니다 구성 표.

단계 17: panther-optimize SQL 웨어하우스 만들기

이 웨어하우스는 매일 밤 테이블 유지 관리 작업을 실행합니다.

SQL 웨어하우스 생성에 대한 추가 지원은 Databricks의 다음 문서를 참조하세요 SQL 웨어하우스 생성 문서에 설명된 Snowflake SQL 구문을 사용해야 합니다.

1. Databricks 작업 영역에서 다음을 클릭합니다 컴퓨트.

2. 다음을 클릭하세요. SQL 웨어하우스.

3. 다음을 클릭하세요. SQL 웨어하우스 생성.

4. 다음을 작성합니다 새 SQL 웨어하우스 양식:

   • 이름: 입력 panther-optimize.

   • 클러스터 크기: 선택 2X-Small.

   • 확장: 다음을 설정합니다 최대 값을 40 으로 설정합니다(허용되는 최대값).

   • 유형: 선택 Serverless.

5. 다음을 클릭하세요. 생성.

6. 다음에서 권한 관리 모달에서, 다음을 추가하세요 panther-load 사용자를 선택한 다음 다음을 사용할 수 있습니다 권한.

7. 다음을 클릭하세요. 추가.

8. 다음을 클릭하세요. X 오른쪽 상단 모서리에서 다음을 닫으세요 권한 관리 모달.

9. 다음 항목에서 panther-optimize 웨어하우스 세부 정보 페이지에서 다음을 복사하세요 ID (이름 옆에 있는)를 추가하여 다음으로 사용하세요 databricks_optimize_warehouse_id 값으로 추가합니다 구성 표.

단계 18: panther-query SQL 웨어하우스 만들기

SQL 웨어하우스 생성에 대한 추가 지원은 Databricks의 다음 문서를 참조하세요 SQL 웨어하우스 생성 문서에 설명된 Snowflake SQL 구문을 사용해야 합니다.

1. Databricks 작업 영역에서 다음을 클릭합니다 컴퓨트.

2. 다음을 클릭하세요. SQL 웨어하우스.

3. 다음을 클릭하세요. SQL 웨어하우스 생성.

4. 다음을 작성합니다 새 SQL 웨어하우스 양식:

   • 이름: 입력 panther-query.

   • 클러스터 크기: 선택 Medium.

   • 확장: 다음을 설정합니다 최대 값을 40 으로 설정합니다(허용되는 최대값).

   • 유형: 선택 Serverless 또는 Pro.

이 SQL 웨어하우스는 다음과 같이 설정할 수 있습니다 Serverless 또는 Pro, 하지만 Serverless 가 권장됩니다. Pro 웨어하우스는 시작하는 데 시간이 오래 걸립니다.

1. 다음을 클릭하세요. 생성.

2. 다음에서 권한 관리 모달에서, 다음을 추가하세요 panther-query 사용자를 선택한 다음 다음을 사용할 수 있습니다 권한.

3. 다음을 클릭하세요. 추가.

4. 다음을 클릭하세요. X 오른쪽 상단 모서리에서 다음을 닫으세요 권한 관리 모달.

5. 다음 항목에서 panther-query 웨어하우스 세부 정보 페이지에서 다음을 복사하세요 ID (이름 옆에 있는)를 추가하여 다음으로 사용하세요 databricks_query_warehouse_id 값으로 추가합니다 구성 표.

단계 19: panther-scheduled-query SQL 웨어하우스 만들기

SQL 웨어하우스 생성에 대한 추가 지원은 Databricks의 다음 문서를 참조하세요 SQL 웨어하우스 생성 문서에 설명된 Snowflake SQL 구문을 사용해야 합니다.

1. Databricks 작업 영역에서 다음을 클릭합니다 컴퓨트.

2. 다음을 클릭하세요. SQL 웨어하우스.

3. 다음을 클릭하세요. SQL 웨어하우스 생성.

4. 다음을 작성합니다 새 SQL 웨어하우스 양식:

   • 이름: 입력 panther-scheduled-query.

   • 클러스터 크기: 선택 3X-Large.

   • 확장: 다음을 설정합니다 최대 값을 40 으로 설정합니다(허용되는 최대값).

   • 유형: 선택 Serverless 또는 Pro.

이 SQL 웨어하우스는 다음과 같이 설정할 수 있습니다 Serverless 또는 Pro, 하지만 Serverless 가 권장됩니다. Pro 웨어하우스는 시작하는 데 시간이 오래 걸립니다.

1. 다음을 클릭하세요. 생성.

2. 다음에서 권한 관리 모달에서, 다음을 추가하세요 panther-query 사용자를 선택한 다음 다음을 사용할 수 있습니다 권한.

3. 다음을 클릭하세요. 추가.

4. 다음을 클릭하세요. X 오른쪽 상단 모서리에서 다음을 닫으세요 권한 관리 모달.

5. 다음 항목에서 panther-scheduled-query 웨어하우스 세부 정보 페이지에서 다음을 복사하세요 ID (이름 옆에 있는)를 추가하여 다음으로 사용하세요 databricks_scheduled_query_warehouse_id 값으로 추가합니다 구성 표.

단계 20: 구성 값을 Panther로 보내기

• 이제 다음이 1단계에서 만든 구성 테이블이 완전히 채워졌으므로 Panther 팀과 공유하세요.

단계 21: 설정 후 권장 사항으로 돌아가기

• 다음으로 돌아가기 설정 후 권장 사항 의 Cloud Connected Panther 인스턴스 설정하기.