“Bicentenário da Independência: 200 anos de ciência, tecnologia e inovação no Brasil e 96 anos de contribuição da UFV”.
8 a 10 de novembro de 2022
Trabalho 17145
| ISSN | 2237-9045 |
|---|---|
| Instituição | Universidade Federal de Viçosa |
| Nível | Graduação |
| Modalidade | Pesquisa |
| Área de conhecimento | Ciências Exatas e Tecnológicas |
| Área temática | Ciência da computação |
| Setor | Departamento de Informática |
| Bolsa | PIBIC/CNPq |
| Conclusão de bolsa | Não |
| Apoio financeiro | CNPq |
| Primeiro autor | Natascha Siqueira Martinez Palhares |
| Orientador | VITOR BARBOSA CARLOS DE SOUZA |
| Título | Minimizando interrupções na conexão de redes utilizando aprendizado por reforço orientado a aproximação de funções |
| Resumo | A computação em névoa é um novo paradigma de redes de computadores e sistemas distribuídos. Ela é aplicada, por exemplo, à internet das coisas (IoT–Internet of Things), uma vez que emprega recursos computacionais na borda da rede, ou seja, ela traz os serviços da computação em nuvem para mais próximo dos usuários finais, conservando a largura de banda e reduzindo a latência de comunicação. Porém, como o acesso a recursos computacionais presentes na névoa é dependente da localização física, a potencial mobilidade observada em dispositivos na borda torna proibitiva a disponibilidade de recursos compartilhados de forma contínua. Esse trabalho tem como objetivo criar um agente que minimize as interrupções na conexão e trocas frequentes entre domínios da névoa em redes veiculares, a fim de maximizar a disponibilidade de recursos. No modelo proposto, tal agente realiza decisões de forma inteligente sobre qual domínio de névoa se conectar, por meio de aprendizado por reforço usando aproximação de função. No aprendizado por reforço o agente aprende a alcançar um objetivo através da tentativa e erro. Para isso, o mesmo recebe recompensas ou penalidades pelas ações que executa, buscando maximizar os ganhos totais. O emprego de aproximação de função, em detrimento de técnicas tabulares como Q-learning, tem o objetivo de evitar treinamentos demorados e geração de tabelas de estados muito grandes, além de permitir que um agente treinado possa se adaptar facilmente a cenários não conhecidos previamente. No modelo proposto, as funções utilizadas foram: (1) função de distância entre o veículo e os pontos de acesso (AP–Access Point) que dão acesso a cada névoa, que objetiva evitar desconexões causadas por longas distâncias; (2) função que analisa se o veículo permaneceu conectado ao mesmo AP ou se decidiu conectar-se a outro (handover), que tem o intuito de impedir migrações frequentes e desnecessárias entre domínios de névoas distintas; e (3) função de aproximação, que determina a variação da distância entre veículo e AP, permitindo dar preferência para APs que estarão mais próximos nas etapas seguintes. O uso do agente foi comparado com duas abordagens simples, mas que são utilizadas em cenários reais. Na primeira, o veículo sempre se conecta no AP com melhor sinal e se mantém conectado até a desconexão por perda do sinal, quando busca novamente pelo AP com melhor sinal. Em uma segunda abordagem, o veículo sempre muda para o AP com melhor sinal, mesmo que o conectado atualmente ainda tenha um sinal bom. Resultados preliminares obtidos através de simulações mostraram que o modelo proposto foi capaz de oferecer melhorias em relação às estratégias comparativas analisadas. Essas melhorias se deram em função da minimização no número de desconexões ou na diminuição no número de handovers desnecessários entre névoas distintas. Consequentemente, concluímos que o modelo proposto cumpre o objetivo de ampliar a disponibilidade de recursos em redes veiculares na névoa. |
| Palavras-chave | Redes veiculares, Computação em névoa, Aprendizado por reforço |
| Forma de apresentação..... | Painel |
| Link para apresentação | Painel |
|---|