Avaliação do impacto de entradas multimodais em LLMs: um estudo de caso de respostas ao POSCOMP

Carregando...
Imagem de Miniatura

Título da Revista

ISSN da Revista

Título de Volume

Editor

Universidade Federal do Oeste do Pará

Resumo

Large Language Models (LLMs) can support students in their studies and teachers in creating tests because they support multimodal inputs. However, there is still a gap in the literature on the evaluation of the multimodality of LLMs in solving test questions. The literature presents an experimental structure that does not cover all possible types of input. This study aims to fill this gap by evaluating the effect of images, PDFs, and LATEX texts on the accuracy of Google’s Gemini 1.5 Pro and OpenAI’s ChatGPT-4o via API and web interface on POSCOMP LFA questions. Thus, it was observed that Gemini outperformed ChatGPT in LFA, that pictorial questions have lower accuracy, and that the API enhances the advantage of LATEX. In summary, the research findings have the potential to impact students, teachers, and the productive sector.

Resumo

Large Language Models (LLMs) podem apoiar alunos no estudo e docentes na criação de provas devido suportarem entradas multimodais. Porém, ainda há uma lacuna na literatura sobre a avaliação da multimodalidade dos LLMs na resolução de questões de provas. A literatura apresenta uma estrutura experimental que não abrange os possíveis tipos de entrada. Este estudo visa preencher tal lacuna, avaliando o efeito de imagens, PDFs e textos em LATEX nas acurácias do Gemini 1.5 Pro do Google e ChatGPT-4o da OpenAI via API e interface web em questões de LFA do POSCOMP. Destarte, observou-se que o Gemini superou o ChatGPT em LFA, que questões pictóricas têm menor acurácia e que a API potencializa a vantagem do LATEX. Em suma, os achados de pesquisa têm o potencial de impactar alunos, docentes e o setor produtivo.

Descrição

Citação

CARRETEIRO, Florindo Rian Silva. As vozes líricas libertárias amazônicas de kerolayne kemblin e Roberta Tavares no Instagram./ Orientador: Fábio Manoel França Lobato 2025. 47 p. Trabalho de Conclusão de Curso (Ciências da Computação) - Instituto de Engenharia e Geociências, Universidade Federal do Oeste do Pará, Santarém, 2025. Disponível em: https://repositorio.ufopa.edu.br/handle/123456789/3363. Acesso em: .

Avaliação

Revisão

Suplementado Por

Referenciado Por