Machine learning for nowcasting and data correction: applications in epidemiological surveillance and credit risk

Abstract

Em sistemas operacionais complexos, a latência inerente entre a ocorrência de um evento e o seu registro oficial cria vulnerabilidades estruturais severas. Esta tese explora a fundação probabilística compartilhada entre atrasos de notificação epidemiológica e a latência de verificação financeira, reconhecendo ambos como problemas de agregação de probabilidades condicionais heterogêneas sob censura temporal e mudanças de distribuição. Para superar os gargalos computacionais de abordagens paramétricas convencionais e as limitações de predição pontual do aprendizado de máquina padrão, esta pesquisa introduz uma metodologia unificada e escalável de nowcasting conformal. Ao sintetizar o reconhecimento de padrões não-lineares do Gradient Boosting com Conformal Prediction, a metodologia gera intervalos de predição robustos. Embora o framework utilize estruturas probabilísticas específicas para modelar a variância heteroscedástica, os limites preditivos finais mantêm uma cobertura marginal matematicamente válida, independente dessas premissas distribucionais subjacentes. A eficácia do framework é demonstrada por meio de três contribuições centrais. Primeiro, desenvolvemos os modelos ViDAS e SViDAS para estimar o cenário proporcional de vírus respiratórios, contornando a ausência sistemática de registros de testes negativos em bases de dados de saúde pública. Segundo, introduzimos uma arquitetura conformal bottom-up para o nowcasting de contagens absolutas de Síndrome Respiratória Aguda Grave (SRAG). Ao modelar a variância através de convoluções Binomiais Negativas, o framework atinge limites heteroscedásticos altamente calibrados, reduzindo o tempo de execução de horas para segundos em comparação com modelos espaço-temporais tradicionais. Finalmente, adaptamos essa arquitetura para o domínio de risco de crédito, modelando a inadimplência de portfólios via distribuição Poisson-Binomial. Durante o choque macroeconômico de 2021, o framework proposto identificou um Prior Shift estrutural no horizonte precoce de h=4 meses, corrigindo com sucesso a taxa de pico de inadimplência projetada (de 12,0% para 15,0%) com exatos 8 meses de antecedência em relação aos modelos tradicionais de 12 meses. Ao aplicar uma translação marginal de log-odds, a metodologia permite que instituições ajustem as provisões de Perda Esperada de Crédito (ECL) de maneira antecipada, preservando a ordenação de risco (rank-ordering) do modelo sem acionar ciclos rígidos de validação de retreinamento. Em suma, esta tese fornece frameworks metodológicos escaláveis — desde pipelines epidemiológicos em código aberto até aplicações avançadas de Gestão de Risco de Modelo (MRM) — que mitigam substancialmente os pontos cegos operacionais causados pela latência de informação.