Panther를 위한 Databricks 구성하기

개요

이 페이지에서는 Panther 데이터 저장소 백엔드로 사용하기 위해 구성하는 방법을 설명합니다. Databricks 아래 단계를 완료하는 동안 다양한 구성 값을 수집하여 저장한 다음 Panther에 제공하게 됩니다.

다음에 도달한 후에만 이 페이지의 절차를 완료해야 합니다. 단계 9 에서 Cloud Connected Panther 인스턴스 설정하기.

이 프로세스는 다음을 수행합니다:

• Panther용 Databricks 작업 영역을 생성합니다(관련된 AWS의 Databricks 인프라 포함).

• Databricks가 Panther S3 스테이징 버킷을 읽을 수 있도록 허용하는 AWS의 IAM 역할을 생성합니다.

• 외부 스토리지 자격 증명을 생성합니다.

• Databricks가 로드를 위해 S3에서 데이터를 읽을 수 있도록 외부 스토리지 통합을 생성합니다.

• 로딩(읽기/쓰기)용 및 쿼리(읽기 전용)용 서비스 프린시펄을 각각 생성합니다.

• 서비스 프린시펄의 OAuth 자격 증명을 보관하기 위해 AWS에서 KMS 키를 사용한 시크릿을 생성합니다.

• 서비스 프린시펄에 대한 권한을 가진 Panther 테이블용 Databricks 카탈로그를 생성합니다.

• 로드, 최적화, 쿼리 및 예약된 쿼리 웨어하우스를 생성합니다.

Panther를 위한 Databricks 구성 방법

전제 조건

• Databricks 계정을 보유하고 있습니다.

• 다음 지침을 완료했으며 Cloud Connected Panther 인스턴스 설정하기 Panther 콘솔에 로그인할 수 있습니다.

• Panther 컴퓨트에 사용하려는 AWS 계정으로 AWS 콘솔에 로그인되어 있습니다. 이는 Databricks가 귀하를 대신하여 작업 영역을 생성하기 때문에 필요합니다.

이 AWS 계정은 Panther가 호스팅되는 AWS 계정이어서는 안 됩니다.

• 다음 페이지에 나열된 Databricks 및 AWS 권한을 가지고 있어야 합니다:

  • 클래식 작업 영역 만들기

  • 카탈로그 탐색기 또는 SQL을 사용하여 S3에 대한 스토리지 자격 증명 및 외부 위치 만들기

  • SQL 웨어하우스 만들기

1단계: 구성 표 복사하기

구성 절차 전반에서 Panther에 보낼 값을 수집합니다. 이러한 값들을 정리하려면 아래 표를 복사하세요.

매개변수	값
databricks_load_role_arn
databricks_load_secret_kms_key_arn
databricks_query_secret_kms_key_arn
databricks_load_secret_arn
databricks_query_secret_arn
databricks_catalog
databricks_load_warehouse_id
databricks_optimize_warehouse_id
databricks_query_warehouse_id
databricks_scheduled_query_warehouse_id

2단계(선택 사항): Databricks 작업 영역 생성

조직적 목적을 위해 Panther 전용 Databricks 작업 영역을 생성하는 것이 권장되지만 필수는 아닙니다. 기존 작업 영역을 사용하려면 이 단계를 건너뛰세요.

작업 영역 생성에 대한 추가 지원은 Databricks의 자동 구성으로 작업 영역 만들기 문서.

1. Databricks 콘솔에 로그인합니다.

2. 왼쪽 탐색 메뉴에서 작업 영역.

3. 클릭 작업 영역 생성.

4. 다음을 작성하세요 작업 영역 생성 모달:

   • 작업 영역 이름 : 기억하기 쉬운 이름을 입력하세요.

   • Region : Panther의 AWS 배포와 일치하는 리전을 선택하세요.

   • 스토리지 및 컴퓨트: 선택 기존 클라우드 계정 사용.

5. 클릭 계속.

6. 아래 클라우드 리소스에서, 클라우드 자격 증명 필드에서, 선택 클라우드 자격 증명 추가.

7. 페이지에서 클라우드 자격 증명 추가 모달, 그대로 두기 자동으로 추가 선택된 상태로 두고, 그런 다음 클릭 확인.

   • 다음 두 클라우드 자격 증명 와 클라우드 스토리지 필드는 자동으로 추가 값이 제공됩니다. 그대로 두세요.

8. 클릭 AWS에 로그인하여 작업 영역 생성.

9. 페이지에서 AWS 리소스 검토 모든 엔터티 다운로드 작업 영역 생성 시작.

10. AWS 모달에서, 클릭 액세스 허용.

11. Databricks 브라우저 탭으로 돌아가 새 작업 영역이 작업 영역 목록에 몇 분 내로 표시될 때까지 기다리세요. 표시되면 클릭 다음 파일을 열기: 작업 영역 환경에 들어갑니다.

3단계: 작업 영역에서 variant shredding 활성화

variant shredding 활성화에 대한 추가 지원은 Databricks의 Shredding 활성화 문서.

1. Databricks 작업 영역에서 오른쪽 상단의 프로필 아이콘을 클릭한 다음, 미리보기.

2. 다음 옆에 있는 반구조화된 데이터의 최적화된 읽기 성능을 위한 Variant Shredding, 토글을 클릭하세요 에서.

4단계: 스토리지 자격 증명을 위한 Panther 역할 생성

IAM 역할 생성에 대한 추가 지원은 Databricks의 1단계: IAM 역할 생성 문서.

1. Databricks 작업 영역 인프라를 생성한 AWS 계정에서 다음 이름의 IAM 역할을 생성하세요: panther-databricks-s3-reader-role-<region>, 모든 기본값을 수락합니다.

2. Panther 콘솔에서, 다음을 검색합니다: 처리된 데이터 버킷 - name: singleFormatTimestamp

   1. 톱니바퀴 아이콘(설정) > 일반.

   2. 클릭 데이터 레이크.

   3. 아래 Databricks 구성다음으로 이동하여, 복사하세요 처리된 데이터 버킷 값을 복사하세요.

3. 역할의 신뢰 정책(trust relationship)을 업데이트하세요:

   1. AWS 콘솔에서, 역할 목록에서 새로 생성한 역할을 클릭하여 세부 정보 페이지를 봅니다.

   2. 클릭 신뢰 관계.

   3. 클릭 신뢰 정책 편집.

   4. 코드 편집기에서 JSON을 아래의 JSON으로 교체하세요:

      다음 신뢰 정책은 "sts:ExternalId": "TBD" 를 자리표시자로 설정합니다—나중에 이를 업데이트할 것입니다. 또한 나중에 자체 수임(self-assumption) 문구를 추가할 것입니다.

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Principal": {
                      "AWS": [
                          "arn:aws:iam::414351767826:role/unity-catalog-prod-UCMasterRole-14S5ZJVKOTYTL",
                          "arn:aws:iam::<이 역할을 위한 귀하의 계정>:role/panther-databricks-s3-reader-role-<region>"
                      ]
                  },
                  "Action": "sts:AssumeRole",
                  "Condition": {
                      "StringEquals": {
                          "sts:ExternalId": "TBD"
                      }
                  }
              }
          ]
      }

   5. 클릭 정책 업데이트.

4. 역할의 권한을 업데이트하세요:

   1. 역할 세부 정보 페이지에서 클릭 권한.

   2. 클릭 권한 추가 > 인라인 정책 생성.

   3. 다음 정책 편집기 섹션에서, JSON.

   4. 코드 편집기에서 JSON을 아래의 JSON으로 교체하세요:

      아래 정책에서, 다음을 교체하세요 <Panther 설정에서의 처리된 데이터 버킷> 를 첫 번째 단계에서 수집한 처리된 데이터 버킷 위에서 검색한 값으로.

      { 	
      "Statement": [ 		
        { 			
         "Action": [ 				
           "s3:ListBucket", 				
            "s3:GetBucketLocation" 			
         ], 			
         "Effect": "Allow", 			
         "Resource": "arn:aws:s3:::<Panther 설정에서의 처리된 데이터 버킷>" 		
       }, 		
       { 			
         "Action": "s3:GetObject", 			
          "Effect": "Allow", 			
          "Resource": "arn:aws:s3:::<Panther 설정에서의 처리된 데이터 버킷>/*" 		
       } 	
       ], 	
       "Version": "2012-10-17" 
      }

   5. 클릭 다음(Next).

   6. 아래 정책 세부 정보, 입력하세요 정책 이름.

   7. 클릭 정책 생성.

5. 역할 세부 정보 페이지에서, 다음을 복사하세요 ARN, 그리고 이를 databricks_load_role_arn 값으로 구성표에 추가하세요 구성 표.

   • 역할 세부 정보 페이지가 열린 브라우저 창을 그대로 두세요. 5단계에서 돌아오게 됩니다.

5단계: 스토리지 자격 증명 생성

스토리지 자격 증명 생성에 대한 추가 지원은 Databricks의 2단계: Databricks에 IAM 역할 세부 정보 제공 문서.

Databricks 스토리지 자격 증명 생성 방금 생성한 AWS IAM 역할을 나타내기 위해:

1. Databricks 작업 영역에서 클릭 카탈로그그런 다음 외부 데이터.

2. 클릭 자격 증명.

3. 클릭 자격 증명 생성.

4. 다음 새 자격 증명 생성 양식을 작성하세요:

   1. 자격 증명 유형: 선택 AWS IAM 역할.

   2. 자격 증명 이름: 입력 panther-storage-credential.

   3. IAM 역할 (ARN): 위에서 생성한 IAM 역할의 ARN을 입력하세요(즉, databricks_load_role_arn 요일 구성 표).

5. 클릭 Create.

   • 페이지에서 자격 증명 생성됨 페이지에서 External ID 값을 복사하여 안전한 위치에 저장하세요. 다음 단계에서 필요합니다.

6단계: IAM 역할 신뢰 정책 업데이트

IAM 역할 업데이트에 대한 추가 지원은 Databricks의 3단계: IAM 역할 신뢰 정책 업데이트 문서.

1. AWS 콘솔로 돌아가 위에서 생성한 panther-databricks-s3-reader-role-<region> IAM 역할의 세부 정보 페이지로 이동하세요.

2. 클릭 신뢰 관계.

3. 클릭 신뢰 정책 편집.

4. 다음 "sts:ExternalId": "TBD" 줄에서, 다음을 교체하세요 TBD 를 첫 번째 단계에서 수집한 External ID 위에서 Databricks에서 복사한 값으로.

5. 클릭 정책 업데이트.

7단계: 외부 스토리지 위치 생성

IAM 역할 업데이트에 대한 추가 지원은 Databricks의 AWS S3 버킷에 대한 외부 위치를 생성하세요 문서.

1. Databricks 작업 영역에서 클릭 카탈로그그런 다음 외부 데이터.

2. 클릭 외부 위치 생성.

3. 클릭 수동그런 다음 다음(Next).

4. 다음 외부 위치를 수동으로 새로 생성 양식을 작성하세요:

   • 외부 위치 이름: 입력 panther-processed-data.

   • 스토리지 유형: 선택 S3.

   • URL: 다음 값을 입력하세요 처리된 데이터 버킷 값은 3단계에서 Panther 콘솔의 설정 페이지에서 가져온 값입니다.

   • 스토리지 자격 증명: 선택 panther-storage-credential.

5. 클릭 Create.

6. 권한 거부 경고 상자가 있는 페이지로 이동되며—클릭하세요 권한 거부 강제 생성 강제 생성.

8단계: Databricks에서 로드 서비스 프린시펄 생성

1. Databricks 작업 영역 설정에 접근하세요:

   1. 오른쪽 상단에서 이니셜을 클릭하세요.

   2. 클릭 설정.

2. 다음 설정 탐색 표시줄에서, 아래 작업 영역 관리자활성화되어 있다면, 클릭하세요 신원 및 접근.

3. 다음 옆에 있는 서비스 프린시펄활성화되어 있다면, 클릭하세요 관리.

4. 클릭 서비스 프린시펄 추가.

5. 다음 서비스 프린시펄 추가 모든 엔터티 다운로드 새로 추가.

6. 다음 서비스 프린시펄 이름 필드에 panther-load.

7. 클릭 리디렉트 URL.

8. 테이블에서 클릭하여 세부 정보 페이지를 보세요 panther-load 세부 정보 페이지 보기

9. 클릭 시크릿.

10. 클릭 시크릿 생성.

11. 아래 수명(일), 입력하세요 730 (최대값).

12. 클릭 생성.

13. 다음을 복사하세요 비밀(Secret) 와 섹션에서, 다음을 복사하세요, 값들을 복사하여 안전한 위치에 저장하세요. 이후 단계에서 필요합니다(또는 이 브라우저 탭을 열어 둬도 됩니다).

9단계: AWS에서 로드 시크릿 KMS 키 생성

1. AWS 콘솔에서 올바른 리전에 있는지 확인하세요. 다음으로 이동: 키 관리 서비스.

2. 왼쪽 탐색 메뉴에서 사용자 관리형 키.

3. 클릭 키 생성.

4. 아래 키 유형에서, 선택하십시오 대칭형를 포함하세요. 아래의 키 사용에서, 선택하십시오 암호화 및 복호화.

5. 클릭 다음(Next)

6. 를 클릭하세요 별칭 값을 입력한 다음 클릭 다음(Next).

7. 아래 키 관리자, 선택적으로 사용자 및/또는 역할을 선택한 뒤 클릭 다음(Next).

8. 페이지에서 키 사용 권한 정의 - 선택 사항l 페이지에서, 아래 다른 AWS 계정활성화되어 있다면, 클릭하세요 다른 AWS 계정 추가.

   1. 나타나는 필드에 Panther 배포가 있는 계정의 AWS 계정 ID를 입력하세요. 이 값은 Panther 콘솔의 일반 설정 푸터.

   2. 클릭 다음(Next).

9. Panther 콘솔이 열린 브라우저 탭으로 전환하여, 다음 값을 가져오세요: Delta 컨트롤러 역할 ARN 와 Delta 관리자 역할 ARN - name: multipleFormatTimestamp

   1. 톱니바퀴 아이콘(설정) > 일반.

   2. 클릭 데이터 레이크.

   3. 아래 Databricks 구성, 그리고 값을 기록하세요 Delta 컨트롤러 역할 ARN 와 Delta 관리자 역할 ARN 값을 포함할 수 있습니다.

10. AWS 콘솔에서, 아래로 이동 키 정책활성화되어 있다면, 클릭하세요 편집을 클릭하고, 그런 다음 코드 편집기의 JSON을 아래 JSON으로 교체하세요:

아래 정책에서 다음을 교체하세요:

• <Panther 설정의 Delta 컨트롤러 역할 ARN> 를 첫 번째 단계에서 수집한 Delta 컨트롤러 역할 ARN 위에서 가져온 값

• <Panther 설정의 Delta 관리자 역할 ARN> 를 첫 번째 단계에서 수집한 Delta 관리자 역할 ARN 위에서 가져온 값

• <귀하가 작업 중인 AWS 계정 ID> 귀하가 작업 중인 계정의 계정 ID로

{
	"Version": "2012-10-17",
	"Statement": [
		{
			"Sid": "Panther",
			"Effect": "Allow",
			"Principal": {
				"AWS": [
					"<Panther 설정의 Delta 컨트롤러 역할 ARN>",
					"<Panther 설정의 Delta 관리자 역할 ARN>"
				]
			},
			"Action": "kms:Decrypt",
			다음은 키 정책에 추가할 예시 항목이며, 계정 ID는 Panther가 실행되는 계정 ID로 대체되어야 합니다:
		},
		{
			"Sid": "root",
			"Effect": "Allow",
			"Action": [
				"kms:*"
			],
			"Resource": "*",
			"Principal": {
				"AWS": "arn:aws:iam::<귀하가 작업 중인 AWS 계정 ID>:root"
			}
		}
	]
}

1. 클릭 다음(Next).

2. 페이지에서 검토 페이지에서 구성을 검토한 다음 클릭하세요 완료.

3. 고객 관리형 키 목록에서 방금 생성한 키의 별칭을 클릭하여 세부 정보 페이지를 확인하세요.

4. 키 ARN을 위의 표의 databricks_load_secret_kms_key_arn 행에 복사하세요.

에 12단계, 이 경우 이 KMS 키를 재사용하거나 추가 키를 생성하게 됩니다.

10단계: AWS에서 로드 시크릿 생성

1. AWS 콘솔에서 올바른 리전에 있는지 확인하세요. 다음으로 이동: 시크릿 관리자.

Panther 인프라를 호스팅하는 AWS 계정에 있어서는 안 됩니다.

1. 클릭 새 비밀 저장.

2. 아래 시크릿 유형에서, 선택하십시오 다른 유형의 시크릿.

3. 아래 키/값 쌍에서, 키/값 탭에서 다음 키/값 쌍을 입력하세요:

   키	값
   시크릿	<다음 비밀(Secret) 값은 8단계에서 Databricks에서 생성한 값입니다 8단계>
   클라이언트 ID	<다음 섹션에서, 다음을 복사하세요, 값은 8단계에서 Databricks에서 생성한 값입니다 8단계>
   databricks-host	<Databricks 작업 영역의 URL> 위에서 Databricks 콘솔에서 생성한 작업 영역을 보고 있는 동안 해당 페이지의 URL을 복사하세요. 예: https://dbc-023ca860-3666.cloud.databricks.com

4. 아래 암호화 키, 선택하여 databricks_load_secret_kms_key_arn 이전 단계에서 생성한 KMS 키를 선택하세요.

5. 클릭 다음(Next).

6. 다음 시크릿 이름 필드에 panther-databricks-admin-access을 클릭한 다음 다음(Next).

7. 구성 회전 옵션을 변경하지 않고 회전 구성 - 선택 사항 페이지에서 클릭하십시오 다음(Next).

8. 시크릿 설정을 검토한 다음 클릭하세요 저장.

9. 다음 시크릿 목록에서 클릭 panther-databricks-admin-access해당 항목의 세부 정보 페이지를 보세요.

10. 다음 리소스 권한 타일에서, 클릭 권한 편집.

11. 아래 리소스 권한, 코드 편집기의 JSON을 아래 JSON으로 교체하세요:

아래 정책에서:

• 다음을 교체하세요 <Panther 설정의 Delta 컨트롤러 역할 ARN> 를 첫 번째 단계에서 수집한 Delta 컨트롤러 역할 ARN 위에서 가져온 값

• 다음을 교체하세요 <Panther 설정의 Delta 관리자 역할 ARN> 를 첫 번째 단계에서 수집한 Delta 관리자 역할 ARN 위에서 가져온 값

• 만약 9단계에서 생성한 로드 시크릿 KMS 키를 재사용할 경우, 단계 9 를 호출하여 각 12단계, 다음을 교체하세요 <Panther 설정의 Databricks 역할 ARN> 를 첫 번째 단계에서 수집한 Databricks 역할 ARN 위에서 가져온 값

• 9단계에서 생성한 로드 시크릿 KMS 키를 재사용하지 않을 경우(즉, 12단계에서 새 쿼리 시크릿 KMS 키를 생성할 경우), 단계 9 (즉, 12단계에서 새 쿼리 시크릿 KMS 키를 생성할 경우), 12단계다음을 제거하세요 "<Panther 설정의 Databricks 역할 ARN>" 완전히

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Panther",
      "Effect": "Allow",
      "Principal": {
        "AWS": [
            "<Panther 설정의 Delta 컨트롤러 역할 ARN>",
            "<Panther 설정의 Delta 관리자 역할 ARN>",
            "<Panther 설정의 Databricks 역할 ARN>"
        ]
      },
      "Action": "secretsmanager:GetSecretValue",
      다음은 키 정책에 추가할 예시 항목이며, 계정 ID는 Panther가 실행되는 계정 ID로 대체되어야 합니다:
    }
  ]
}

1. 클릭 저장.

2. 새로 생성한 시크릿의 ARN을 복사하여 databricks_load_secret_arn 값으로 구성표에 추가하세요 구성 표.

3. 값으로 추가하세요 외부 데이터 Databricks 콘솔에서, 카탈로그 > 외부 데이터).

4. 아래 페이지로 돌아가세요(클릭외부 위치 panther-processed-data ), 위에서 생성한

5. 클릭 권한.

6. 클릭 위치 를 클릭하세요..

7. 아래 권한 부여주체(프린시펄) panther-load.

8. 아래 , 검색하여 선택권한 , 다음 상자를 체크하세요 와 찾아보기.

9. 클릭 확인.

파일 읽기

1. Databricks 작업 영역 설정에 접근하세요:

   1. 오른쪽 상단에서 이니셜을 클릭하세요.

   2. 클릭 설정.

2. 다음 설정 탐색 표시줄에서, 아래 작업 영역 관리자활성화되어 있다면, 클릭하세요 신원 및 접근.

3. 다음 옆에 있는 서비스 프린시펄활성화되어 있다면, 클릭하세요 관리.

4. 클릭 서비스 프린시펄 추가.

5. 다음 서비스 프린시펄 추가 모든 엔터티 다운로드 새로 추가.

6. 다음 서비스 프린시펄 이름 필드에 11단계: Databricks에서 쿼리 서비스 프린시펄 생성.

7. 클릭 리디렉트 URL.

8. 테이블에서 클릭하여 세부 정보 페이지를 보세요 11단계: Databricks에서 쿼리 서비스 프린시펄 생성 세부 정보 페이지 보기

9. 클릭 시크릿.

10. 클릭 시크릿 생성.

11. 아래 수명(일), 입력하세요 730 (최대값).

12. 클릭 생성.

13. 다음을 복사하세요 비밀(Secret) 와 섹션에서, 다음을 복사하세요, 값들을 복사하여 안전한 위치에 저장하세요. 이후 단계에서 필요합니다(또는 이 브라우저 탭을 열어 둬도 됩니다).

panther-query

12단계(선택 사항): 쿼리 시크릿 KMS 키 생성 databricks_load_secret_kms_key_arn).

• 다음 단계에서 AWS에 추가 시크릿을 생성합니다. 이 시크릿에 연결할 새 KMS 키를 생성하거나 9단계에서 생성한 KMS 키를 재사용할 수 있습니다(구성 표에 databricks_load_secret_kms_key_arn 에서 databricks_query_secret_kms_key_arn 값으로 추가된).

• 위에서 생성한 KMS 키를 재사용하려면 구성 표에서 9단계: AWS에서 로드 시크릿 KMS 키 생성의 값을 복사하세요. databricks_query_secret_kms_key_arn 값으로 추가된).

새 KMS 키를 생성하려면,

1. AWS 콘솔에서 올바른 리전에 있는지 확인하세요. 다음으로 이동: 시크릿 관리자.

을(를) 반복한 다음 키의 ARN을

1. 클릭 새 비밀 저장.

2. 아래 시크릿 유형에서, 선택하십시오 다른 유형의 시크릿.

3. 아래 키/값 쌍에서, 키/값 탭에서 다음 키/값 쌍을 입력하세요:

   키	값
   시크릿	<다음 비밀(Secret) 값은 8단계에서 Databricks에서 생성한 값입니다 로 추가하세요.>
   클라이언트 ID	<다음 섹션에서, 다음을 복사하세요, 값은 8단계에서 Databricks에서 생성한 값입니다 로 추가하세요.>
   databricks-host	13단계: AWS에서 쿼리 시크릿 생성 https://dbc-023ca860-3666.cloud.databricks.com

4. 아래 암호화 키, 선택하여 databricks_query_secret_kms_key_arn 이것은 Panther 인프라를 호스팅하는 AWS 계정에서 생성해서는 안 됩니다. databricks_load_secret_kms_key_arn 11단계

5. 클릭 다음(Next).

6. 다음 시크릿 이름 필드에 <Databricks 작업 영역의 URL> Databricks 콘솔에서 Databricks 작업 영역을 보고 있는 동안 해당 페이지의 URL을 복사하세요. 예:을 클릭한 다음 다음(Next).

7. 구성 회전 옵션을 변경하지 않고 회전 구성 - 선택 사항 페이지에서 클릭하십시오 다음(Next).

8. 이전 단계에서 생성한 KMS 키(또는 재사용하는 경우 해당 KMS 키). 저장.

9. 다음 시크릿 목록에서 클릭 <Databricks 작업 영역의 URL> Databricks 콘솔에서 Databricks 작업 영역을 보고 있는 동안 해당 페이지의 URL을 복사하세요. 예:해당 항목의 세부 정보 페이지를 보세요.

10. 다음 리소스 권한 타일에서, 클릭 권한 편집.

11. 아래 리소스 권한, 코드 편집기의 JSON을 아래 JSON으로 교체하세요:

아래 정책에서 다음을 교체하세요:

• <Panther 설정의 Databricks 역할 ARN> 를 첫 번째 단계에서 수집한 Databricks 역할 ARN 위에서 가져온 값

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Panther",
      "Effect": "Allow",
      "Principal": {
        "AWS": [
            panther-databricks-query-access
        ]
      },
      "Action": "secretsmanager:GetSecretValue",
      다음은 키 정책에 추가할 예시 항목이며, 계정 ID는 Panther가 실행되는 계정 ID로 대체되어야 합니다:
    }
  ]
}

1. 클릭 저장.

2. 새로 생성한 시크릿의 ARN을 복사하여 databricks_query_secret_arn 값으로 구성표에 추가하세요 구성 표.

설정을 검토한 다음 클릭하세요

1. AWS 콘솔에서 올바른 리전에 있는지 확인하세요. 다음으로 이동: S3.

Panther 인프라를 호스팅하는 AWS 계정에 있어서는 안 됩니다.

1. 클릭 "<Panther 설정의 Databricks 역할 ARN>",.

2. 입력하세요 14단계: S3 버킷 및 외부 위치 생성.

3. 클릭 "<Panther 설정의 Databricks 역할 ARN>",.

4. 버킷 생성 카탈로그그런 다음 외부 데이터.

5. 클릭 외부 위치 생성.

6. 클릭 버킷 이름그런 다음 다음(Next).

7. 다음 버킷 이름 위에서 생성한 Databricks 작업 영역에서 클릭

8. 아래 개인 액세스 토큰활성화되어 있다면, 클릭하세요 새 토큰 생성(Generate new token).

   • AWS 빠른 시작(권장)

9. 클릭 필드에 방금 생성한 버킷의 이름을 입력하세요..

   • 이 값을 복사해 두세요. 다음 단계에서 필요합니다. 또는 이 페이지를 열린 상태로 유지할 수 있습니다. 빠른 시작에서 시작 새 브라우저 탭이 AWS에서 열리며,

10. 다음 Parameters 섹션, 의 클라우드포메이션 템플릿이 미리 로드된 빠른 스택 생성 화면이 표시됩니다. 개인 액세스 토큰 Databricks 개인 액세스 토큰

11. 클릭 스택 생성.

12. 필드에 위에서 Databricks에서 생성한 값을 입력하세요. 스택 배포가 완료되면 Databricks 콘솔 브라우저 탭으로 돌아가세요. 화면에서, 클릭하세요 빠른 시작으로 외부 위치 생성.

    • 확인 페이지로 돌아가세요(클릭 목록에 방금 생성한 항목이 포함되어 있는지 확인하세요.

15단계: Databricks 카탈로그 생성

1. Databricks 작업 영역에서 클릭 카탈로그.

2. 클릭 데이터 추가 > 카탈로그 생성.

3. 다음 새 카탈로그 생성 양식을 작성하세요:

   • 카탈로그 이름 : 카탈로그 이름을 입력하세요(예: Panther에서 정의한 것에서 가져오기.

     카탈로그 이름을 panther로 지정하는 것이 권장됩니다 Panther에서 정의한 것에서 가져오기하지만 필수는 아닙니다.

   • 타입: 선택 표준.

   • 외부 위치 선택 : 14단계에서 생성한 외부 위치를 선택하세요. 14단계.

     를 선택하지 마세요 panther-processed-data.

     

4. 클릭 Create.

5. 페이지에서 카탈로그 생성 완료! 모든 엔터티 다운로드 카탈로그 보기.

6. 클릭 권한.

7. 클릭 위치 를 클릭하세요..

8. 다음 panther에 대한 권한 부여 모달에서 양식을 작성하세요:

   • 권한 부여 : 입력하고 선택하세요 panther-load.

   • 다음 권한을 선택하세요:

     • 카탈로그 사용

     • 스키마 사용

     • , 다음 상자를 체크하세요

     • SELECT

     • 수정

     • 스키마 생성

     • 테이블 생성

9. 클릭 확인.

10. 클릭 위치 를 클릭하세요..

11. 다음 panther에 대한 권한 부여 모달에서 양식을 작성하세요:

    • 권한 부여 : 입력하고 선택하세요 11단계: Databricks에서 쿼리 서비스 프린시펄 생성.

    • 다음 권한을 선택하세요:

      • 카탈로그 사용

      • 스키마 사용

      • , 다음 상자를 체크하세요

      • SELECT

12. 클릭 확인.

13. 카탈로그 이름을 databricks_catalog 값으로 구성표에 추가하세요 구성 표.

로 추가하세요

16단계: panther-load SQL 웨어하우스 생성 SQL 웨어하우스 만들기 문서.

1. Databricks 작업 영역에서 클릭 SQL 웨어하우스 생성에 대한 추가 지원은 Databricks의.

2. 클릭 컴퓨트.

3. 클릭 SQL 웨어하우스.

4. 다음을 작성하세요 SQL 웨어하우스 생성 양식을 작성하세요:

   • 이름: 입력 panther-load.

   • 새 SQL 웨어하우스: 선택 클러스터 크기.

   • 2X-소형스케일링 : 값을 40 최대

   • 타입: 선택 (허용되는 최대)..

프로 사용하지 마세요.

1. 클릭 Create.

2. 다음 서버리스 권한 관리 panther-load 모달에서, 다음을 추가하세요 사용자, 그런 다음 선택 권한.

3. 클릭 리디렉트 URL.

4. 다음 항목을 클릭하십시오 X 사용 가능 서버리스 오른쪽 상단에서 모달을 닫으세요.

5. 페이지에서 panther-load 웨어하우스 세부 정보 페이지에서, 다음을 복사하세요 ID (이름 옆)에 있는 값을 복사하여 databricks_load_warehouse_id 값으로 구성표에 추가하세요 구성 표.

로 추가하세요

17단계: panther-optimize SQL 웨어하우스 생성

16단계: panther-load SQL 웨어하우스 생성 SQL 웨어하우스 만들기 문서.

1. Databricks 작업 영역에서 클릭 SQL 웨어하우스 생성에 대한 추가 지원은 Databricks의.

2. 클릭 컴퓨트.

3. 클릭 SQL 웨어하우스.

4. 다음을 작성하세요 SQL 웨어하우스 생성 양식을 작성하세요:

   • 이름: 입력 이 웨어하우스는 매일 밤 테이블 유지관리 작업을 실행합니다..

   • 새 SQL 웨어하우스: 선택 클러스터 크기.

   • 2X-소형스케일링 : 값을 40 최대

   • 타입: 선택 사용하지 마세요.

5. 클릭 Create.

6. 다음 서버리스 권한 관리 panther-load 모달에서, 다음을 추가하세요 사용자, 그런 다음 선택 권한.

7. 클릭 리디렉트 URL.

8. 다음 항목을 클릭하십시오 X 사용 가능 서버리스 오른쪽 상단에서 모달을 닫으세요.

9. 페이지에서 이 웨어하우스는 매일 밤 테이블 유지관리 작업을 실행합니다. 웨어하우스 세부 정보 페이지에서, 다음을 복사하세요 ID (이름 옆)에 있는 값을 복사하여 databricks_optimize_warehouse_id 값으로 구성표에 추가하세요 구성 표.

panther-optimize

16단계: panther-load SQL 웨어하우스 생성 SQL 웨어하우스 만들기 문서.

1. Databricks 작업 영역에서 클릭 SQL 웨어하우스 생성에 대한 추가 지원은 Databricks의.

2. 클릭 컴퓨트.

3. 클릭 SQL 웨어하우스.

4. 다음을 작성하세요 SQL 웨어하우스 생성 양식을 작성하세요:

   • 이름: 입력 11단계: Databricks에서 쿼리 서비스 프린시펄 생성.

   • 새 SQL 웨어하우스: 선택 어려움.

   • 2X-소형스케일링 : 값을 40 최대

   • 타입: 선택 사용하지 마세요 또는 (허용되는 최대)..

18단계: panther-query SQL 웨어하우스 생성 사용하지 마세요 또는 (허용되는 최대).이 SQL 웨어하우스는 사용하지 마세요 , 그러나 (허용되는 최대). 권장됩니다.

1. 클릭 Create.

2. 다음 서버리스 권한 관리 11단계: Databricks에서 쿼리 서비스 프린시펄 생성 모달에서, 다음을 추가하세요 사용자, 그런 다음 선택 권한.

3. 클릭 리디렉트 URL.

4. 다음 항목을 클릭하십시오 X 사용 가능 서버리스 오른쪽 상단에서 모달을 닫으세요.

5. 페이지에서 11단계: Databricks에서 쿼리 서비스 프린시펄 생성 웨어하우스 세부 정보 페이지에서, 다음을 복사하세요 ID (이름 옆)에 있는 값을 복사하여 databricks_query_warehouse_id 값으로 구성표에 추가하세요 구성 표.

웨어하우스는 시작하는 데 시간이 오래 걸립니다.

16단계: panther-load SQL 웨어하우스 생성 SQL 웨어하우스 만들기 문서.

1. Databricks 작업 영역에서 클릭 SQL 웨어하우스 생성에 대한 추가 지원은 Databricks의.

2. 클릭 컴퓨트.

3. 클릭 SQL 웨어하우스.

4. 다음을 작성하세요 SQL 웨어하우스 생성 양식을 작성하세요:

   • 이름: 입력 19단계: panther-scheduled-query SQL 웨어하우스 생성.

   • 새 SQL 웨어하우스: 선택 panther-scheduled-query.

   • 2X-소형스케일링 : 값을 40 최대

   • 타입: 선택 사용하지 마세요 또는 (허용되는 최대)..

18단계: panther-query SQL 웨어하우스 생성 사용하지 마세요 또는 (허용되는 최대).이 SQL 웨어하우스는 사용하지 마세요 , 그러나 (허용되는 최대). 권장됩니다.

1. 클릭 Create.

2. 다음 서버리스 권한 관리 11단계: Databricks에서 쿼리 서비스 프린시펄 생성 모달에서, 다음을 추가하세요 사용자, 그런 다음 선택 권한.

3. 클릭 리디렉트 URL.

4. 다음 항목을 클릭하십시오 X 사용 가능 서버리스 오른쪽 상단에서 모달을 닫으세요.

5. 페이지에서 19단계: panther-scheduled-query SQL 웨어하우스 생성 웨어하우스 세부 정보 페이지에서, 다음을 복사하세요 ID (이름 옆)에 있는 값을 복사하여 databricks_scheduled_query_warehouse_id 값으로 구성표에 추가하세요 구성 표.

3X-대형

• 20단계: 구성 값을 Panther에 전송 이제 1단계에서 생성한 구성 표가

완전히 작성되었으면 Panther 팀과 공유하세요.

• 21단계: 사후 설정 권장사항으로 돌아가기 다음으로 돌아가기:',' 사후 설정 권장사항 에서 Cloud Connected Panther 인스턴스 설정하기.