Avaliação do impacto de entradas multimodais em LLMs: um estudo de caso de respostas ao POSCOMP
Carregando...
Data
Autores
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal do Oeste do Pará
Resumo
Large Language Models (LLMs) can support students in their studies and teachers
in creating tests because they support multimodal inputs. However, there is still a gap in
the literature on the evaluation of the multimodality of LLMs in solving test questions.
The literature presents an experimental structure that does not cover all possible types
of input. This study aims to fill this gap by evaluating the effect of images, PDFs, and
LATEX texts on the accuracy of Google’s Gemini 1.5 Pro and OpenAI’s ChatGPT-4o via
API and web interface on POSCOMP LFA questions. Thus, it was observed that Gemini
outperformed ChatGPT in LFA, that pictorial questions have lower accuracy, and that
the API enhances the advantage of LATEX. In summary, the research findings have the
potential to impact students, teachers, and the productive sector.
Resumo
Large Language Models (LLMs) podem apoiar alunos no estudo e docentes na criação de
provas devido suportarem entradas multimodais. Porém, ainda há uma lacuna na literatura
sobre a avaliação da multimodalidade dos LLMs na resolução de questões de provas. A
literatura apresenta uma estrutura experimental que não abrange os possíveis tipos de
entrada. Este estudo visa preencher tal lacuna, avaliando o efeito de imagens, PDFs e
textos em LATEX nas acurácias do Gemini 1.5 Pro do Google e ChatGPT-4o da OpenAI
via API e interface web em questões de LFA do POSCOMP. Destarte, observou-se que o
Gemini superou o ChatGPT em LFA, que questões pictóricas têm menor acurácia e que a
API potencializa a vantagem do LATEX. Em suma, os achados de pesquisa têm o potencial
de impactar alunos, docentes e o setor produtivo.
Descrição
Palavras-chave
Citação
CARRETEIRO, Florindo Rian Silva. As vozes líricas libertárias amazônicas de kerolayne kemblin e Roberta Tavares no Instagram./ Orientador: Fábio Manoel França Lobato 2025. 47 p. Trabalho de Conclusão de Curso (Ciências da Computação) - Instituto de Engenharia e Geociências, Universidade Federal do Oeste do Pará, Santarém, 2025. Disponível em: https://repositorio.ufopa.edu.br/handle/123456789/3363. Acesso em: .

