Pipelines operacionais de observação da Terra
Mova de um caderno exploratório para um fluxo de trabalho de observação rastreável e mantenível.

A situação.
Uma análise funciona para uma pequena amostra, mas precisa executar repetidamente quando novas observações chegarem. O projeto operacional deve lidar com entradas incompletas, falhas no processamento, modificação de versões e a capacidade de reproduzir um produto anterior.
Uma abordagem prática.
- 01
Definir o contrato de dados
Especificar fontes, chegadas esperadas, verificações de qualidade, saídas e proprietários responsáveis.
- 02
Processamento de desenho
Ingestão, validação, transformação e publicação separadas com re-esforço e replays.
- 03
Operar o produto
Monitorar a frescura e a exaustividade e ensaiar a recuperação de uma entrada falhada ou corrigida.
O que validar
- Referências de fonte de versão, configuração de processamento e linhagem de saída.
- Manter produtos incompletos que distinjam dos produtos completos que não mostram alteração.
Produtos típicos
- Arquitetura de tubulação e linhagem
- Controlos da qualidade dos dados e da frescura
- Procedimento de recuperação e de reprocessamento
Medidas de exemplo
- Produtos entregues no âmbito da janela acordada
- Observações incompletas detectadas
- Reprodução exitosa de produtos anteriores
Concorde com um critério de base e de aceitação para o projeto específico.
Escenário e imagem conceitual. As provas de alcance, de prestabilidade e de aceitação são acordadas para cada compromisso; por exemplo, as medidas não são alcançadas.
