dc.contributor.author | Olivato, Gabriel | |
dc.date.accessioned | 2021-06-28T21:11:55Z | |
dc.date.available | 2021-06-28T21:11:55Z | |
dc.date.issued | 2021-06-16 | |
dc.identifier.citation | OLIVATO, Gabriel. Infraestrutura computacional altamente replicável e portável para pesquisa em Ciência de Dados utilizando OpenHPC. 2021. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) – Universidade Federal de São Carlos, São Carlos, 2021. Disponível em: https://repositorio.ufscar.br/handle/ufscar/14449. | * |
dc.identifier.uri | https://repositorio.ufscar.br/handle/ufscar/14449 | |
dc.description.abstract | High-performance computing or HPC refers to the use of supercomputers or the use of multiple computers in tasks that require a large amount of processing. An HPC infrastructure is a requirement to carry out research in the most varied areas of knowledge. Deploying and maintaining this type of infrastructure is not a simple task and that is why, in large scientific computing centers, there are large teams responsible for this task. This work reports the lessons learned from the implementation of HPC infrastructure at the Federal University of São Carlos, which has a reduced staff. The OpenHPC project, made available and maintained by the free software community, helps to reduce the complexity of this infrastructure. However, there were some adaptations to the standard OpenHPC installation process: (1) the correction of a security hole related to the way the node provisioner is configured; and (2) the use of Ceph as an alternative network file system with greater performance and reliability than NFS, but less complex to operate than Lustre. Then, this study addresses the use of containers as a way to promote the reproducibility and portability of scientific experiments. While container technologies for HPC environments such as Singularity are relatively mature, there is still not as plentiful an abundance of ready-to-use components as in Kubernetes and other cloud-based platforms. Therefore, this work collaborates with the implementation and documentation of a container Singularity to run the Apache Spark platform, widely used in data science research, in an HPC environment. Furthermore, this work proposes and documents a series of facilities for the day-to-day activities of a research group, for example, notification of the completion of experiments through instant messengers. Finally, the complete infrastructure is validated by performing some experiments. | por |
dc.description.sponsorship | Não recebi financiamento | por |
dc.language.iso | por | por |
dc.publisher | Universidade Federal de São Carlos | por |
dc.rights | CC0 1.0 Universal | * |
dc.rights.uri | http://creativecommons.org/publicdomain/zero/1.0/ | * |
dc.subject | Computação de alto desempenho | por |
dc.subject | OpenHPC | por |
dc.subject | HPC | por |
dc.subject | Infraestrutura computacional | por |
dc.subject | Slurm | por |
dc.title | Infraestrutura computacional altamente replicável e portável para pesquisa em Ciência de Dados utilizando OpenHPC | por |
dc.title.alternative | Highly replicable and portable computing infrastructure for Data Science research using OpenHPC | por |
dc.type | TCC | por |
dc.contributor.advisor1 | Matias, Paulo | |
dc.contributor.advisor1Lattes | http://lattes.cnpq.br/3792055796261017 | por |
dc.description.resumo | Computação de alto desempenho ou HPC (High-performance computing) refere-se ao uso de supercomputadores ou ao uso de múltiplos computadores em tarefas que exigem uma grande quantidade processamento. Uma infraestrutura de HPC é requisito para realizar pesquisas nas mais variadas áreas do conhecimento. Implantar e manter esse tipo de infraestrutura não é tarefa simples e por isso, em grandes centros de computação científica, existem grandes equipes responsáveis por essa tarefa. Este trabalho relata as lições aprendidas com a implantação de uma infraestrutura de HPC na Universidade Federal de São Carlos, que dispõe de uma equipe reduzida. O projeto OpenHPC, disponibilizado e mantido pela comunidade de software livre, auxilia a reduzir a complexidade dessa infraestrutura. No entanto, realizaram-se algumas adaptações no processo de instalação padrão do OpenHPC: (1) a correção de uma falha de segurança relacionada à forma como o provisionador de nós é configurado; e (2) a utilização do Ceph como alternativa de sistema de arquivos de rede com maior desempenho e confiabilidade que o NFS, porém de menor complexidade de operação que o Lustre. Em seguida, este estudo aborda a utilização de containers como forma de promover a reprodutibilidade e portabilidade de experimentos científicos. Embora tecnologias de container para ambientes de HPC, como o Singularity, sejam relativamente maduras, ainda não há uma abundância tão grande de componentes prontos para reutilização como em Kubernetes e outras plataformas baseadas em nuvem. Este trabalho colabora, portanto, com a implementação de um container Singularity para execução da plataforma Apache Spark, amplamente utilizada em pesquisas na área de ciência de dados, em um ambiente de HPC. Além disso, este trabalho propõe e documenta uma série de facilidades para o dia-a-dia de um grupo de pesquisa, por exemplo a notificação da conclusão de experimentos por meio de mensageiros instantaneos. Por fim, a infraestrutura completa é validada com a realização de alguns experimentos. | por |
dc.publisher.initials | UFSCar | por |
dc.subject.cnpq | CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO | por |
dc.publisher.address | Câmpus São Carlos | por |
dc.contributor.authorlattes | http://lattes.cnpq.br/1002422343204177 | por |
dc.publisher.course | Ciência da Computação - CC | por |