Databricks 감사 로그

Panther는 AWS S3를 통해 Databricks 감사 로그 수집을 지원합니다

개요

Databricks는 Apache Spark 기반의 통합 분석 플랫폼입니다. 감사 로그는 사용자 작업, API 호출, 관리 변경 사항을 포함한 계정 및 작업 공간 활동을 캡처합니다.

Panther는 수집할 수 있습니다 Databricks 감사 로그 S3 버킷에 전달됩니다. 이러한 로그는 보안 모니터링 및 규정 준수를 위해 관리 작업, 사용자 인증 패턴, 데이터 액세스, 노트북 실행에 대한 포괄적인 가시성을 제공합니다.

Panther에 Databricks 감사 로그를 온보드하는 방법

사전 요구 사항

• 감사 로그 전달이 구성된 Databricks 계정

  • Databricks 감사 로그 전달에는 Databricks Premium 또는 Enterprise 등급이 필요합니다

• Databricks 감사 로그를 전달할 수 있는 AWS S3 버킷

• Databricks 감사 로그 전달을 구성할 수 있는 관리자 권한

1단계: Databricks 감사 로그를 S3로 전달하도록 구성

1. Databricks 계정 콘솔에 로그인합니다.

2. 다음으로 이동합니다: 설정 > 계정 설정 > 감사 로그 전달.

3. 클릭합니다 로그 전달 생성.

4. S3 대상을 구성합니다:

   • 대상: 선택 Amazon S3.

   • S3 버킷: S3 버킷 이름을 입력합니다(예: my-databricks-audit-logs).

   • S3 접두사: (선택 사항) 로그를 정리할 접두사를 입력합니다(예: databricks/audit/).

   • 리전: S3 버킷이 위치한 AWS 리전을 선택합니다.

5. 전달 설정을 구성합니다:

   • 로그 유형: 선택 Audit Logs.

   • 전달 경로 패턴: Databricks는 다음 패턴을 사용합니다: workspaceId=<workspaceId>/date=<yyyy-mm-dd>/auditlogs_<id>.json.

6. 클릭합니다 생성 을 사용하여 감사 로그 전달을 활성화합니다.

Databricks는 몇 시간 내에 지정한 S3 버킷으로 감사 로그 전달을 시작합니다.

2단계: Panther에서 새 S3 소스 만들기

1. Panther Console의 왼쪽 탐색 모음에서 로그 소스.

2. 클릭합니다 새로 만들기.

3. "Databricks"를 검색한 다음 해당 타일을 클릭합니다.

4. 오른쪽 상단에서 다음을 클릭하세요: 설정 시작.

5. 다음 페이지에서 구성 페이지에서 다음 필드를 채웁니다

   • 이름: 소스에 설명적인 이름을 입력하세요. 예: Databricks 감사 로그.

   • AWS 계정 ID: S3 버킷이 위치한 AWS 계정 ID를 입력합니다.

   • 버킷 이름: S3 버킷 이름을 입력합니다.

   • KMS 키 ARN: (선택 사항) S3 버킷이 KMS 암호화를 사용하는 경우 KMS 키 ARN을 입력합니다.

   • S3 접두사 필터: (선택 사항) 1단계에서 접두사를 지정한 경우 Panther가 처리하는 객체를 제한하려면 여기에 입력합니다.

6. 클릭합니다 설정.

7. 다음 페이지에서 인프라 페이지에서 Panther가 S3 버킷에서 읽을 수 있도록 필요한 AWS 인프라를 설정하는 지침이 표시됩니다. 지침에 따라 다음을 수행합니다:

   • Panther가 사용할 IAM 역할 생성

   • S3 버킷에서 읽을 수 있도록 역할에 권한 부여

   • 새 감사 로그가 도착할 때 Panther에 알리도록 S3 이벤트 알림 구성

8. 클릭합니다 설정.

9. 성공 화면으로 이동합니다:

   

   • 선택적으로 하나 이상의 디택션 팩.

   • 다음 이벤트가 처리되지 않으면 알러트를 발생시키기 설정의 기본값은 예. 일정 시간 후 로그 소스에서 데이터 흐름이 중단되면 알러트를 받게 되므로 이 설정을 켠 상태로 두는 것을 권장합니다. 시간 범위는 구성 가능하며 기본값은 24시간입니다.

     

Panther가 관리하는 디택션

참고 Panther가 관리하는 Databricks에 대한 규칙 panther-analysis GitHub 저장소.

지원되는 로그 유형

Databricks.Audit

Databricks 감사 로그는 사용자 작업, API 호출, 관리 변경 사항을 포함한 계정 및 작업 공간 활동을 캡처합니다.

참조: Databricks 감사 로그 전달 문서

스키마: Databricks.Audit
설명: Databricks 감사 로그는 사용자 작업, API 호출, 관리 변경 사항을 포함한 계정 및 작업 공간 활동을 캡처합니다.
referenceURL: https://docs.databricks.com/aws/en/admin/account-settings/audit-log-delivery
필드:
  - 이름: version
    설명: 스키마 버전(예: 2.0)
    유형: string
  - name: auditLevel
    설명: 이벤트 범위(ACCOUNT_LEVEL 또는 WORKSPACE_LEVEL)
    유형: string
  - 이름: timestamp
    필수: true
    설명: Unix 밀리초 단위의 이벤트 타임스탬프
    유형: timestamp
    시간 형식:
      - unix_ms
    이벤트 시간 여부: true
  - 이름: orgId
    설명: 조직 식별자
    유형: string
  - name: shardName
    설명: 샤드 지정
    유형: string
  - name: accountId
    설명: Databricks 계정 UUID
    유형: string
  - name: sourceIPAddress
    설명: 요청의 IP 주소 출처
    유형: string
    지표:
      - ip
  - name: userAgent
    설명: 클라이언트 사용자 에이전트 문자열
    유형: string
  - name: sessionId
    설명: 세션 식별자
    유형: string
  - name: requestId
    설명: 고유 요청 식별자
    유형: string
  - 이름: serviceName
    필수: true
    설명: 작업을 수행한 서비스
    유형: string
  - name: actionName
    필수: true
    설명: 실행된 특정 작업
    유형: string
  - name: userIdentity
    설명: 행위자에 대한 정보
    유형: object
    필드:
      - 이름: email
        설명: 사용자의 이메일 주소
        유형: string
        지표:
          - email
      - name: subjectName
        설명: 대체 사용자 식별자
        유형: string
        지표:
          - username
  - name: requestParams
    설명: 작업별 요청 매개변수
    유형: json
  - 이름: response
    설명: 응답 정보
    유형: object
    필드:
      - 이름: statusCode
        설명: HTTP 응답 상태 코드
        유형: bigint
      - name: errorMessage
        설명: 해당하는 경우 오류 메시지
        유형: string
      - 이름: result
        설명: 작업 결과 데이터
        유형: json
  - name: MAX_LOG_MESSAGE_LENGTH
    설명: 바이트 단위의 최대 로그 메시지 길이
    유형: bigint