Statistical calibration methods effects to accuracy and uncertainty representation of sub-seasonal to seasonal ensemble forecasts

dc.contributor.advisor1Aguiar, Fernando
dc.contributor.advisor1Latteshttp://lattes.cnpq.br/2081741860624898
dc.contributor.authorScardellato e Silva, Eduardo
dc.contributor.authorlatteshttp://lattes.cnpq.br/3733594155553181
dc.date.accessioned2025-12-17T19:49:25Z
dc.date.issued2025-12-11
dc.description.abstractThis work investigates the impact of a statistical calibration method on the accuracy and uncertainty representation of ensemble forecasts at the sub-seasonal to seasonal (S2S) scale. The study is motivated by the importance of these forecasts for sectors such as energy, agriculture, and risk management, as well as by the known limitations of raw models, which often exhibit systematic biases and inadequate spread. Based on a literature review of advanced statistical post-processing techniques, with emphasis on approaches such as Bayesian Model Averaging (BMA), Non-homogeneous Gaussian Regression (NGR), and homogeneous bias-correction methods, this study focuses on evaluating the Mean-Variance Adjustment (MVA) method, already used at seasonal scales, examining whether its simplicity and low computational cost are sufficient to improve S2S forecasts in comparison with raw forecasts from the ECMWF extended-range model and with a reference climatology. The main objective is to quantify how the application of MVA affects the accuracy and calibration of wind-speed forecasts at 100 m height. To this end, ERA5 reanalysis data are used as ground truth, together with operational forecasts and hindcasts from ECMWF for Northern Hemisphere winter over Europe, processed in Python with the Xarray library and evaluated using deterministic metrics (bias, root mean square error – RMSE) and probabilistic metrics (spread, spread–skill ratio – SSR, rank histograms, Continuous Ranked Probability Score – CRPS, and Continuous Ranked Probability Skill Score – CRPSS). The results show that MVA significantly reduces the bias of raw forecasts and improves CRPS and CRPSS relative to both the raw model and the climatology in the first forecast days, especially in the first and second weeks, although the method leads to some underdispersion of the ensemble and to limited gains in terms of SSR, indicating that uncertainty is still not represented in an ideal way. It is concluded that MVA is a simple and efficient solution as a first level of calibration for S2S wind forecasts, improving the statistical compatibility between forecasts and observations at short to intermediate lead times, but that, for longer horizons or for a more realistic representation of uncertainty, it is advisable to investigate more sophisticated and possibly multivariate calibration techniques in future work.eng
dc.description.resumoEste trabalho investiga o impacto de um método de calibração estatística na precisão e na representação da incerteza de previsões em conjunto na escala sub-sazonal a sazonal (S2S), motivado pela importância dessas previsões para setores como energia, agricultura e gestão de riscos, bem como pelas limitações conhecidas de modelos brutos, que frequentemente apresentam vieses sistemáticos e espalhamento inadequado. A partir de uma revisão bibliográfica sobre técnicas avan¸cadas de pós-processamento estatístico, com destaque para abordagens como Bayesian Model Averaging (BMA), Non-homogeneous Gaussian Regression (NGR) e métodos homogêneos de correção de viés, este estudo foca na avaliação do método de ajuste de média e variância (Mean-Variance Adjustment, MVA), já utilizado em escalas sazonais, investigando se sua simplicidade e baixo custo computacional são suficientes para melhorar previsões S2S em comparação as previsões brutas do modelo estendido do ECMWF e a uma climatologia de referência. O objetivo central é quantificar como a aplicação do MVA afeta a acurácia e a calibração de previsões de velocidade do vento a 100 m de altura. Para isso, utilizam-se dados de reanálise ERA5 como verdade-terreno, além de previsões operacionais e hindcasts do ECMWF para o inverno do Hemisfério Norte sobre a Europa, processados em Python com a biblioteca Xarray, e avaliados por meio de métricas determinísticas (viés, erro quadrático médio – RMSE) e probabilísticas (espalhamento, razão espalhamento–habilidade – SSR, histogramas de postos, Continuous Ranked Probability Score – CRPS e Continuous Ranked Probability Skill Score – CRPSS). Os resultados mostram que o MVA reduz significativamente o viés das previsões brutas e melhora o CRPS e o CRPSS em relação tanto ao modelo bruto quanto a climatologia nos primeiros dias de previsão, especialmente na primeira e segunda semanas, embora o método leve a um certo subespalhamento (underdispersion) do conjunto e a ganhos limitados em termos de SSR, indicando que a incerteza ainda não é representada de forma ideal. Conclui-se que o MVA é uma solução simples e eficiente como primeiro nível de calibração para previsões S2S de vento, melhorando a compatibilidade estatística entre previsões e observações em horizontes curtos a intermediários, mas que, para horizontes mais longos ou para uma representação mais realista da incerteza, é recomendável investigar técnicas de calibração mais sofisticadas e possivelmente multivariadas em trabalhos futuros.
dc.description.sponsorshipNão recebi financiamento
dc.identifier.citationSCARDELLATO E SILVA, Eduardo. Statistical calibration methods effects to accuracy and uncertainty representation of sub-seasonal to seasonal ensemble forecasts. 2025. Trabalho de Conclusão de Curso (Graduação em Engenharia Mecânica) – Universidade Federal de São Carlos, São Carlos, 2025. Disponível em: https://repositorio.ufscar.br/handle/20.500.14289/23279.por
dc.identifier.urihttps://hdl.handle.net/20.500.14289/23279
dc.language.isoeng
dc.publisherUniversidade Federal de São Carlos
dc.publisher.addressCampus São Carlos
dc.publisher.courseEngenharia Mecânica - EMec
dc.publisher.initialsUFSCar
dc.rightsAttribution-NonCommercial-NoDerivs 3.0 Brazilen
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/3.0/br/
dc.subjectPrevisão sub-sazonal a sazonal
dc.subjectAnálise de dados
dc.subjectCalibração estatística
dc.subject.cnpqENGENHARIAS
dc.subject.ods7. Energia limpa e acessível
dc.titleStatistical calibration methods effects to accuracy and uncertainty representation of sub-seasonal to seasonal ensemble forecasts
dc.title.alternativeStatistical calibration methods effects to accuracy and uncertainty representation of sub-seasonal to seasonal ensemble forecastseng
dc.typeTCC

Arquivos

Pacote Original

Agora exibindo 1 - 1 de 1
Carregando...
Imagem de Miniatura
Nome:
TCC_Scardellato_rev04_Final.pdf
Tamanho:
2.68 MB
Formato:
Adobe Portable Document Format

Coleções