APRIMORAMENTO DE UM ALGORITMO DE ROTEAMENTO BASEADO EM APRENDIZADO POR REFORÇO: UM ESTUDO DE CASO USANDO VOIP
Algoritmos de Roteamento, Aprendizagem de Máquina, Roteamento Inteligente, VoIP, QoE.
A capacidade do canal de transmissão, a capacidade de processamento dos roteadores e os algoritmos de roteamento são alguns dos principais fatores que impactam diretamente o desempenho de uma rede de computadores. Enquanto os parâmetros de rede, como perda de pacote, taxa de transferência e atraso, afetam a qualidade da experiência dos usuários em diferentes serviços multimídia. Os algoritmos de roteamento são responsáveis por escolher a melhor rota entre um nó de origem e um destino. Porém, algoritmos de roteamento convencionais não consideram o histórico de dados da rede na tomada de decisão, por exemplo, sobrecarga ou falhas recorrentes nos equipamentos. Portanto, espera-se que algoritmos de roteamento baseados em aprendizado de máquina que utilizam o histórico da rede para tomada de decisão apresentem algumas vantagens. No entanto, um algoritmo de roteamento baseado na técnica de aprendizado por reforço (Reinforcement Learning, RL) pode necessitar de cabeçalhos de mensagens de controle adicionais. Nesse contexto, esta pesquisa apresenta um protocolo de roteamento aprimorado baseado em RL, denominado e-RLRP, no qual a sobrecarga de mensagens de controle é reduzida. Especificamente, um ajuste dinâmico no intervalo da mensagem Hello é implementado para compensar a sobrecarga gerada pelo uso de RL. Diferentes cenários de rede ad-hoc são implementados nos quais os parâmetros de desempenho da rede, como perda de pacotes, atraso, taxa de transferência e sobrecarga, são obtidos. Além disso, um cenário de comunicação Voice Over IP (VoIP) é implementado, no qual o algoritmo E-model é usado para prever a qualidade da comunicação. Para comparação de desempenho, são usados os protocolos OLSR, BATMAN e RLRP. Resultados experimentais mostram que o e-RLRP reduz a sobrecarga da rede em relação ao RLRP e supera na maioria dos casos testados todos esses protocolos, considerando os parâmetros de rede e a qualidade do VoIP.