dc.contributor.author | Santos, Claudio Filipi Gonçalves dos | |
dc.date.accessioned | 2022-07-04T13:52:18Z | |
dc.date.available | 2022-07-04T13:52:18Z | |
dc.date.issued | 2022-06-22 | |
dc.identifier.citation | SANTOS, Claudio Filipi Gonçalves dos. Avoiding overfiting: new algorithms to improve generalisation in convolutional neural networks. 2022. Tese (Doutorado em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2022. Disponível em: https://repositorio.ufscar.br/handle/ufscar/16345. | * |
dc.identifier.uri | https://repositorio.ufscar.br/handle/ufscar/16345 | |
dc.description.abstract | Deep Learning has achieved state-of-the-art results in several domains, such as image processing, natural language processing, and audio processing. To accomplish such results, it uses neural networks with several processing layers along with a massive amount of labeled information. One particular family of Deep Learning is the Convolutional Neural Networks (CNNs), which works using convolutional layers derived from the digital signal processing area, being very helpfull to detect relevant features in unstructured data, such as audio and pictures. One way to improve results on CNN is to use regularization algorithms, which aim to make the training process harder but generate models that generalize better for inference when use in applications. The present work contributes in the area of regularization methods for CNNs, proposing more methods for using in different image processing tasks. This thesis presents a collection of works developed by the author during the research period, which were published or submited until present time, presenting: (i) a survey, listing recent regularization works and highlighting the solutions and problems of the area; (ii) a neuron droping method to use in the tensors generated during CNNs training; (iii) a variation of the mentioned method, changing the droping rules, targeting different features of the tensor; and (iv) a label regularization algorithm used in different image processing problems. | eng |
dc.description.sponsorship | Não recebi financiamento | por |
dc.language.iso | eng | eng |
dc.publisher | Universidade Federal de São Carlos | por |
dc.rights | Attribution-NonCommercial-NoDerivs 3.0 Brazil | * |
dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/3.0/br/ | * |
dc.subject | Redes Neurais Convolucionais | por |
dc.subject | Regularização | por |
dc.subject | Convolutional Neural Networks | eng |
dc.subject | Regularization | eng |
dc.title | Avoiding overfiting: new algorithms to improve generalisation in convolutional neural networks | eng |
dc.title.alternative | Novos algoritmos de regularização para redes neurais convolucionais | por |
dc.type | Tese | por |
dc.contributor.advisor1 | Papa, João Paulo | |
dc.contributor.advisor1Lattes | http://lattes.cnpq.br/9039182932747194 | por |
dc.description.resumo | Aprendizagem Profundo alcançou resultados estado-da-arte em vários domínios, como processamento de imagem, processamento de linguagem natural e processamento de áudio. Para alcançar tais resultados, usa-se redes neurais com várias camadas de processamento juntamente com uma enorme quantidade de informações rotuladas. Uma família particular de Aprendizagem Profundo são as Redes Neurais Convolucionais (do inglês, Convolutional Neural Networks, CNNs), que funcionam utilizando camadas convolucionais derivadas da área de processamento digital de sinais, sendo muito úteis para detectar características relevantes em dados não estruturados, como áudio e imagens. Uma forma de melhorar os resultados nas CNNs é o uso de algoritmos de regularização, que visam dificultar o processo de treinamento, mas geram modelos que generalizam melhor para inferência quando usados em aplicações. O presente trabalho contribui na área de métodos de regularização para CNNs, propondo mais métodos para uso em diferentes tarefas de processamento de imagens. Esta tese apresenta uma coletânea de trabalhos desenvolvidos pelo autor durante o período de pesquisa, que foram publicados ou submetidos até a atualidade, apresentando: (i) um levantamento, listando trabalhos recentes de regularização e destacando as soluções e problemas da área; (ii) um método de queda de neurônios para uso nos tensores gerados durante o treinamento das CNNs; (iii) uma variação do método mencionado, alterando as regras de descarte, visando diferentes características do tensor; e (iv) um algoritmo de regularização de rótulos utilizado em diferentes problemas de processamento de imagens. | por |
dc.publisher.initials | UFSCar | por |
dc.publisher.program | Programa de Pós-Graduação em Ciência da Computação - PPGCC | por |
dc.subject.cnpq | CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO | por |
dc.publisher.address | Câmpus São Carlos | por |
dc.contributor.authorlattes | http://lattes.cnpq.br/3056931143168619 | por |