Vector representation of texts applied to prediction models
| dc.contributor.advisor1 | Izbicki, Rafael | |
| dc.contributor.advisor1Lattes | http://lattes.cnpq.br/9991192137633896 | por |
| dc.contributor.author | Stern, Deborah Bassi | |
| dc.contributor.authorlattes | http://lattes.cnpq.br/0580971589615088 | por |
| dc.date.accessioned | 2020-03-27T16:25:42Z | |
| dc.date.available | 2020-03-27T16:25:42Z | |
| dc.date.issued | 2020-03-09 | |
| dc.description.abstract | Natural Language Processing has gone through substantial changes over time. It was only recently that statistical approaches started receiving attention. The Word2Vec model is one of these. It is a shallow neural network designed to fit vectorial representations of words according to their syntactic and semantic values. The word embeddings acquired by this method are state-of-art. This method has many uses, one of which is the fitting of prediction models based on texts. It is common in the literature for a text to be represented as the mean of its word embeddings. The resulting vector is then used in the predictive model as an explanatory variables. In this dissertation, we propose getting more information of text by adding other summary statistics besides the mean, such as other moments and quantiles. The improvement of the prediction models is studied in real datasets. | eng |
| dc.description.resumo | Processamento de linguagem natural sofreu uma grande mudança com o tempo. Abordagens estatísticas passaram a ganhar atenção apenas recentemente. O modelo word2vec é uma destas. Ele é uma rede neural rasa desenhada para ajustar representações vetoriais de palavras segundo seus valores semânticos e sintáticos. As representações de palavras obtidas por este método são o estado da arte. Este método tem muitas aplicações, como permitir o ajuste de modelos preditivos baseadas em textos. Na literatura é comum um texto ser representado pela média das representações vetorias das palavras que o compõem. O vetor resultante é então incluído como variável explicativa no modelo. Nesta dissertação propomos a obtenção de mais informação sobre o texto através de outras estatísticas descritivas além da média, como outros momentos e quantis. A melhora dos modelos preditivos é estudada com dados reais. | por |
| dc.description.sponsorship | Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) | por |
| dc.description.sponsorshipId | CAPES: Código de Financiamento 001 | por |
| dc.identifier.citation | STERN, Deborah Bassi. Vector representation of texts applied to prediction models. 2020. Dissertação (Mestrado em Estatística) – Universidade Federal de São Carlos, São Carlos, 2020. Disponível em: https://repositorio.ufscar.br/handle/20.500.14289/12362. | * |
| dc.identifier.uri | https://repositorio.ufscar.br/handle/20.500.14289/12362 | |
| dc.language.iso | eng | por |
| dc.publisher | Universidade Federal de São Carlos | por |
| dc.publisher.address | Câmpus São Carlos | por |
| dc.publisher.initials | UFSCar | por |
| dc.publisher.program | Programa Interinstitucional de Pós-Graduação em Estatística - PIPGEs | por |
| dc.rights | Attribution-NonCommercial-NoDerivs 3.0 Brazil | * |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/3.0/br/ | * |
| dc.subject | Processamento de linguagem natural | por |
| dc.subject | Redes neurais | por |
| dc.subject | Representação vetorial de palavras | por |
| dc.subject | Modelos de predição | por |
| dc.subject | Natural language processing | eng |
| dc.subject | Neural networks | eng |
| dc.subject | WordVectors | eng |
| dc.subject | Prediction models | eng |
| dc.subject.cnpq | CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA | por |
| dc.title | Vector representation of texts applied to prediction models | eng |
| dc.title.alternative | Representações vetoriais de textos aplicados a modelos preditivos | por |
| dc.type | Dissertação | por |