Ir para o conteúdo

Controle de Custos

Esta documentação define os controles de custos implementados nos projetos datahub-igarape e datahub-igarape-dev para garantir gestão eficiente dos recursos e prevenção de gastos excessivos.

Conceito Técnico: Quotas no Google Cloud

No Google Cloud Platform, quotas são limites que controlam o uso de recursos computacionais. Elas funcionam como barreiras de proteção, impedindo que o consumo de recursos exceda valores pré-estabelecidos, protegendo assim contra gastos inesperados e garantindo distribuição equilibrada de recursos entre diferentes usuários e projetos.

Limites a Nível de Projeto

Processamento de Dados no BigQuery

Foram estabelecidos limites diários de processamento de dados para ambos os projetos do Datahub.

Limite Diário Estabelecido

Capacidade de Processamento:

  • Projeto datahub-igarape (Produção): 500 GB por dia
  • Projeto datahub-igarape-dev (Desenvolvimento): 500 GB por dia

Este limite representa aproximadamente $2,50 USD por dia por projeto, considerando o custo padrão do BigQuery de $5 por terabyte de dados processados. Em termos mensais, isso equivale a um orçamento de aproximadamente $75.50 USD por projeto para processamento de consultas.

Escopo de Aplicação

O limite de 500 GB diários aplica-se a todas as operações de consulta realizadas nos projetos BigQuery, incluindo:

  • Consultas interativas executadas diretamente no console do BigQuery
  • Consultas programáticas realizadas via APIs e SDKs

Comportamento do Limite

Quando o limite diário de 500 GB é atingido, o sistema automaticamente bloqueia novas consultas até que a quota seja renovada à meia-noite. A modificação dos limite pode ser feito pelo painel de admnistração da GCP.

Processamento via Metabase

O mesmo limite de 500 GB diários se estende ao processamento realizado através da plataforma Metabase, que utiliza o BigQuery como fonte de dados para dashboards e análises visuais.

Integração com Ferramentas de BI

O Metabase, sendo uma ferramenta de Business Intelligence que se conecta ao BigQuery para executar consultas e gerar visualizações, está sujeito aos mesmos controles de quota estabelecidos para os projetos. Isso significa que:

  • Dashboards automáticos consomem da quota diária de 500 GB
  • Consultas exploratórias realizadas pelos usuários do Metabase são contabilizadas no limite
  • Relatórios agendados também impactam o consumo diário da quota

Controle Orçamentário

A implementação destes limites proporciona previsibilidade financeira aos projetos, garantindo que os custos mensais com processamento de dados não excedam valores pré-estabelecidos. Com limites de 500 GB por dia por projeto, o gasto máximo mensal estimado fica em torno de $150 USD para ambos os projetos combinados.

Reset Automático

As quotas são automaticamente renovadas diariamente à meia-noite (horário do Pacífico), garantindo que cada dia operacional inicie com a capacidade total de processamento disponível. Este reset automático elimina a necessidade de intervenção manual para renovação dos limites.

Analisar os custos

No projeto datahub-igarape do Big Query existe o conjunto de dados custo_datahub, que abriga a tabela gcp_billing_export_v1_01E5E7_D116A0_AEC59F. Esta tabela contém os custos da forma mais desagregada possível, para todos os serviços configurados (Big Query, Storage, VM - metabase -). Por meio dela, é possível realizar análises mais profundas sobre a composição de custos para ter monitoramento e transparência na gestão de custos do Datahub.

  • Por exemplo:
    • construir dashboard com diversas visualizações de custo no Metabase (Custo por projeto, Custo diário por projeto)
    • saber a média do custo diário de processamento para cada projeto (datahub-igarape ou datahub-igarape-dev)
    • Indetificar consultas que incorreram em cobranças acima do esperado, para diagnósticar problemas.

Além dos custos diretamente relacionados ao Datahub, existem outros custos apresentados na tabela acima?

Além dos serviços diretamente relacionados ao processo de dados do Datahub, esta tabela contém os custos associados aos serviços da aplicação de monitoramento de riscos, no projeto TTRI da GCP, associado a organização igarapé.