Metadados

O que são Metadados e para o que servem?

Metadados são informações utilizadas para descrever tanto sobre do que se trata a tabela em específico quanto para descrever em profundidade o que são cada uma das suas colunas. Eles servem para facilitar o entendimento e a utilização dos dados. Dessa forma, para cada tabela criada precisamos especificar através dos metadados o que cada coluna significa e o seu formato.

A nível de tabela:

• Descrição da tabela

A nível de coluna

• descrição de cada uma das colunas
• formato em que os dados estão salvos

Essas informações estão salvas nos arquivos dos modelos DBT

Tabela de Arquitetura e Normalização

As tabelas de arquitetura auxiliam na determinação da estrutura de cada tabela do conjunto de dados. Elas definem, por exemplo, o nome, ordem e alguns metadados das colunas, e como uma coluna deve ser tratada quando há mudanças em versões (por exemplo, se uma coluna muda de nome de um ano para o outro).

Cada tabela do conjunto de dados deve ter sua própria tabela de arquitetura (planilha), que pode ser preenchida no Google Drive ou localmente (Excel, editor de texto).

Baixe aqui a pasta template e renomeie para o nome do seu conjunto de dados. Seguindo nosso manual de estilo, nós renomeamos, definimos os tipos, preenchemos descrições e aplicamos a compatibilização entre anos para todas as variáveis (colunas). As tabelas de arquitetura preenchidas podem ser consultadas aqui inserir link igarapé.

• Nome da coluna: nome da coluna.

• Tipo da Coluna: tipo de dado do BigQuery (veja quais são no nosso manual de estilo).

• Descrição da coluna: descrição dos dados que estão nesta coluna.

• Observações: observações de tratamento que precisam ser evidenciados. Indicar, por exemplo, porque determinada coluna foi criada ou modificada.

• Nome original da coluna YYYY: indicar o nome original de cada coluna para cada ano, no formato original_name_YYYY. Essa etapa ajuda na normalização de tabelas, onde o nome de colunas podem mudar no tempo ou não existirem mais. Por isso, criamos colunas à direita em ordem descendente (e.g. 2020, 2019, 2018, ...).