OTIMIZAÇÃO DE MODELOS DE LINGUAGEM PEQUENOS PARA SISTEMAS RAG EM PORTUGUÊS BRASILEIRO: UMA INVESTIGAÇÃO EM CONTEXTOS COM RECURSOS LIMITADOS
Retrieval-Augmented Generation; Modelos de Linguagem Pequenos; Otimização de Modelos; Processamento de Linguagem Natural; Português Brasileiro.
A técnica de geração aumentada por recuperação (RAG) tem revolucionado a recuperação de informação ao combinar modelos de linguagem com fontes de conhecimento externas para responder perguntas complexas. Entretanto, a escassez de estudos sobre a aplicação de modelos de linguagem pequenos (SLMs) em sistemas RAG para português brasileiro limita a compreensão sobre sua viabilidade como alternativa acessível aos modelos de grande escala (LLMs), especialmente considerando as restrições de custo e infraestrutura computacional características do contexto brasileiro. Para superar essa lacuna, este trabalho propõe uma investigação sistemática sobre otimização e avaliação de SLMs em tarefas de RAG para português brasileiro, utilizando como caso de estudo documentos institucionais da Universidade Federal de Lavras (UFLA). Por meio de análises comparativas entre diferentes arquiteturas de SLMs e LLMs, e da investigação de técnicas de aprimoramento como ajuste fino e engenharia de prompt, objetiva-se identificar as abordagens mais eficazes e eficientes para maximizar o desempenho de modelos pequenos em contextos institucionais brasileiros. Espera-se que os resultados desta pesquisa contribuam para o avanço do processamento de linguagem natural (PLN) para o português e ofereçam diretrizes práticas para a implementação de sistemas RAG eficientes com recursos computacionais limitados, demonstrando a viabilidade de SLMs como alternativa sustentável para instituições brasileiras.