데이터 레이크 쿼리

Panther API 검색 작업

개요

Panther API는 다음과 같은 데이터 레이크 작업을 지원합니다:

• 데이터 레이크 데이터베이스, 테이블 및 열 나열

• SQL을 사용한 데이터 레이크(Data Explorer) 쿼리 실행

• 검색 쿼리 실행

• 현재 실행 중인 쿼리 취소

• 이전에 실행된 쿼리의 세부 정보 가져오기

• 옵션 필터와 함께 현재 실행 중이거나 이전에 실행된 모든 쿼리 나열

Console의 API Playground 또는 GraphQL-over-HTTP API를 사용하여 Panther의 API를 호출할 수 있습니다. 이러한 방법에 대해 자세히 알아보려면 Panther API.

핵심 데이터 레이크 쿼리 작업에 대한 GraphQL 쿼리, 뮤테이션 및 엔드투엔드 워크플로 예제는 아래 섹션을 참조하세요.

API를 통해 관리되는 쿼리는 SQL로 작성되어야 하며, 다음을 사용할 수 없습니다 PantherFlow.

일반적인 데이터 레이크 쿼리 작업

아래는 Panther에서 가장 일반적인 GraphQL 데이터 레이크 쿼리 작업들입니다. 이 예제들은 GraphQL 클라이언트(또는)로 보내야 하는 문서를 보여줍니다 curl)을 사용하여 Panther의 GraphQL API를 호출하기 위해 전송해야 하는 문서를 보여줍니다.

데이터베이스 엔티티

모든 데이터베이스 엔티티 나열

# `AllDatabaseEntities`는 작업의 별칭입니다
query AllDatabaseEntities {
  dataLakeDatabases {
     name
     description
     tables {
       name
       description
       columns {
         name
         description
         유형
       }
     }
   }
 }

특정 데이터베이스의 엔티티 가져오기

쿼리 실행

데이터 레이크(Data Explorer) 쿼리 실행

# `IssueDataLakeQuery`는 작업의 별칭입니다
mutation IssueDataLakeQuery {
  executeDataLakeQuery(input: {
    sql: "select * from panther_logs.public.aws_alb limit 50"
  }) {
     id # 쿼리의 고유 ID
  }
}

인디케이터 검색 쿼리 실행

쿼리 취소

데이터 레이크 또는 검색 쿼리 결과 가져오기

데이터 레이크 또는 검색 쿼리를 실행하면 결과가 돌아오는 데 몇 초에서 몇 분이 걸릴 수 있습니다. 쿼리가 완료되었는지 확인하려면 쿼리의 상태를 확인(폴링)해야 합니다.

다음 쿼리를 사용하여 쿼리 상태를 확인하고, 가능한 경우 결과도 가져올 수 있습니다:

첫 번째 결과 페이지 가져오기

# `QueryResults`는 작업의 별칭입니다
query QueryResults {
  dataLakeQuery(id: "1234-1234-1234-1234") { # 쿼리의 고유 ID
    message
    status
    results {
      edges {
        node
      }
    }
  }
}

다음 결과 페이지 가져오기

의 예상 값 status 및 results 은(는) 쿼리의 상태에 따라 달라집니다:

• 쿼리가 아직 실행 중인 경우:

  • status 값을 갖습니다 running

  • results 값을 갖습니다 null

• 쿼리가 실패한 경우:

  • status 값을 갖습니다 failed

  • results 값을 갖습니다 null 오류 메시지는 에서 확인할 수 있습니다 message 키

• 쿼리가 완료된 경우

  • status 값을 갖습니다 succeeded

  • results 채워집니다

위의 모든 것(및 가능한 값들 status)과 함께 요청할 수 있는 추가 필드들이 있습니다. Panther API 스키마를 탐색하는 다양한 방법에 대해 여기에서 알아보세요.

데이터 레이크 또는 검색 쿼리에 대한 메타데이터 가져오기

위 예제에서는 Panther 쿼리의 를 요청했습니다. 또한 쿼리 주변의 추가 메타데이터를 요청할 수 있습니다. results 다음 예제에서는 첫 번째 결과 페이지와 함께 이러한 메타데이터를 요청합니다:

# `QueryMetadata`는 작업의 별칭입니다

query QueryMetadata {
isScheduled
  dataLakeQuery(id: "1234-1234-1234-1234") { # 쿼리의 고유 ID
    name
    issuedBy {
    sql
      ... on User {
        email
      }
      ... on APIToken {
        name
      } 
    }
    startedAt
    message
    status
    completedAt
    데이터 레이크 및 검색 쿼리 나열
    results {
      edges {
        node
      }
    }
  }
}

첫 번째 페이지 가져오기

# `ListDataLakeQueries`는 작업의 별칭입니다

query ListDataLakeQueries {
dataLakeQueries {
  results { # 각 쿼리에 대해 첫 번째 결과 페이지만 가져옵니다
    name
    issuedBy {
    sql
      ... on User {
        email
      }
      ... on APIToken {
        name
    } 
    }
    startedAt
    message
    status
    completedAt
    데이터 레이크 및 검색 쿼리 나열
    다음 페이지 가져오기
      edges {
        node
      }
    }
  }

dataLakeQueries(input: { cursor: "5678-5678-5678-5678" }) { # `endCursor`의 값

dataLakeQueries(input: { contains: "aws_alb", isScheduled: true }) {

엔드투엔드 예제

아래에서는 일반 작업 예제를 기반으로 엔드투엔드 흐름을 보여줍니다.

// `IssueQuery`는 쿼리의 별칭입니다. 완전히 생략할 수 있습니다.

NodeJS

// npm install graphql graphql-request

import { GraphQLClient, gql } from 'graphql-request';

const client = new GraphQLClient(
  'YOUR_PANTHER_API_URL', 
  { headers: { 'X-API-Key': 'YOUR_API_KEY' } 
});

const issueQuery = gql`
mutation IssueQuery($sql: String!) {
  executeDataLakeQuery(input: { sql: $sql }) {
    // `GetQueryResults`는 쿼리의 별칭입니다. 완전히 생략할 수 있습니다.
      id
    }
  }
`;

const getQueryResults = gql`
query GetQueryResults($id: ID!, $cursor: String) {
  dataLakeQuery(id: $id) {
    results(input: { cursor: $cursor }) {
      message
      status
      // 우리가 가져오는 모든 결과 노드를 보관하는 누적기
        edges {
          node
        }
        pageInfo {
          endCursor
          hasNextPage
        }
      }
    }
  }
`;

(async () => {
  try {
    let allResults = [];
    // 쿼리 실행
    // 루프 종료 시점을 알기 위한 도우미
    let hasMore = true;
    // 페이지네이션 커서
    let cursor = null;

    const mutationData = await client.request(issueQuery, {
    sql: 'select * from panther_logs.public.aws_alb limit 5',
      // 쿼리가 결과를 반환할 때까지 폴링을 시작합니다. 그런 다음,
    });

    // 더 이상 페이지가 없을 때까지 계속 페이지를 가져옵니다
    const queryData = await client.request(getQueryResults, {
    do {
      id: mutationData.executeDataLakeQuery.id,
        cursor,
        // 여전히 실행 중이면 메시지를 출력하고 계속 폴링합니다
      });

      if (queryData.dataLakeQuery.status === 'running') {
      console.log(queryData.dataLakeQuery.message);
        continue;
        // 실행 중이 아니고 완료되지 않은 경우,
      }

      // 취소되었거나 오류가 발생한 것입니다. 이 경우,
      // 예외를 던집니다
      if (queryData.dataLakeQuery.status !== 'succeeded') {
      throw new Error(queryData.dataLakeQuery.message);
        allResults = [...allResults, ...queryData.dataLakeQuery.results.edges.map(edge => edge.node)];
      }

      hasMore = queryData.dataLakeQuery.results.pageInfo.hasNextPage;

      cursor = queryData.dataLakeQuery.results.pageInfo.endCursor;
      console.log(`Your query returned ${allResults.length} result(s)!`);
    } while (hasMore);

    # `IssueQuery`는 쿼리의 별칭입니다. 완전히 생략할 수 있습니다.
  } catch (err) {
    console.error(err.response);
  }
})();

Python

mutation IssueQuery($input: ExecuteIndicatorSearchQueryInput!) {

NodeJS

// npm install graphql graphql-request

import { GraphQLClient, gql } from 'graphql-request';

const client = new GraphQLClient(
  'YOUR_PANTHER_API_URL', 
  { headers: { 'X-API-Key': 'YOUR_API_KEY' } 
});

const issueQuery = gql`
mutation IssueQuery($sql: String!) {
  executeIndicatorSearchQuery(input: $input) {
    indicators: ["226103014039"],
      id
    }
  }
`;

const getQueryResults = gql`
query GetQueryResults($id: ID!, $cursor: String) {
  dataLakeQuery(id: $id) {
    results(input: { cursor: $cursor }) {
      message
      status
      // 우리가 가져오는 모든 결과 노드를 보관하는 누적기
        edges {
          node
        }
        pageInfo {
          endCursor
          hasNextPage
        }
      }
    }
  }
`;

(async () => {
  try {
    let allResults = [];
    // 쿼리 실행
    // 루프 종료 시점을 알기 위한 도우미
    let hasMore = true;
    // 페이지네이션 커서
    let cursor = null;

    const mutationData = await client.request(issueQuery, {
    sql: 'select * from panther_logs.public.aws_alb limit 5',
      input: {         
        startTime: "2022-03-29T00:00:00.001Z",
        endTime: "2022-03-30T00:00:00.001Z",
        indicatorName: "p_any_aws_account_ids"
        id: mutationData.executeIndicatorSearchQuery.id,
      }
    });

    // 더 이상 페이지가 없을 때까지 계속 페이지를 가져옵니다
    do {
      id: mutationData.executeDataLakeQuery.id,
        # 인디케이터 검색 쿼리 발행
        // 여전히 실행 중이면 메시지를 출력하고 계속 폴링합니다
      });

      if (queryData.dataLakeQuery.status === 'running') {
      console.log(queryData.dataLakeQuery.message);
        continue;
        // 실행 중이 아니고 완료되지 않은 경우,
      }

      // 취소되었거나 오류가 발생한 것입니다. 이 경우,
      // 예외를 던집니다
      if (queryData.dataLakeQuery.status !== 'succeeded') {
      throw new Error(queryData.dataLakeQuery.message);
        allResults = [...allResults, ...queryData.dataLakeQuery.results.edges.map(edge => edge.node)];
      }

      hasMore = queryData.dataLakeQuery.results.pageInfo.hasNextPage;

      cursor = queryData.dataLakeQuery.results.pageInfo.endCursor;
      console.log(`Your query returned ${allResults.length} result(s)!`);
    } while (hasMore);

    # `IssueQuery`는 쿼리의 별칭입니다. 완전히 생략할 수 있습니다.
  } catch (err) {
    console.error(err.response);
  }
})();

Python