25th International Conference on Artificial Intelligence in Education
Tiago Maluta
🇧🇷 Rastreamento de Conhecimento Desconectado: Da Coleta de Dados à Implantação do Modelo
Luiz Rodrigues, Anderson P. Avila-Santos, Thomaz E. Silva, Rodolfo S. da Penha, Carlos Neto, Geiser Challco, Ermesson L. dos Santos, Everton Souza, Guilherme Guerino, Thales Vieira, Marcelo Marinho, Valmir Macario, Ig Ibert Bittencourt, Diego Dermeval, and Seiji Isotani
Explanation: This paper addresses the gap in prior research on integrating Knowledge Tracing (KT) within resource-limited, "unplugged," contexts. It explores the creation, refinement, and implementation of KT models in such settings, presenting a novel procedure for simulating data collection in these contexts, resulting in a dataset and methodology valuable for future AIED unplugged studies. An empirical study investigates KT model development and validation for resource-constrained devices, using both sophisticated deep learning and simpler Bayesian algorithms. Finally, a technical evaluation assesses the deployment feasibility on disconnected, low-cost mobile devices.
Este artigo aborda a lacuna na pesquisa anterior sobre a integração do Rastreamento de Conhecimento (KT) em contextos com recursos limitados, "desconectados". Explora a criação, refinamento e implementação de modelos de KT nesses ambientes, apresentando um novo procedimento para simular a coleta de dados nesses contextos, resultando em um conjunto de dados e metodologia valiosos para futuros estudos de IAED desconectada. Um estudo empírico investiga o desenvolvimento e validação de modelos de KT para dispositivos com recursos limitados, utilizando algoritmos sofisticados de aprendizado profundo e algoritmos Bayesianos mais simples. Por fim, uma avaliação técnica avalia a viabilidade de implantação em dispositivos móveis desconectados e de baixo custo.
🇧🇷 O GPT4 Pode Responder a Testes Educacionais? Análise Empírica da Qualidade da Resposta com Base na Complexidade e Dificuldade da Questão
Luiz Rodrigues, Filipe Dwan Pereira, Luciano Cabral, Geber Ramalho, Dragan Gasevic, and Rafael Ferreira Mello
Explanation: This study assesses GPT4's ability to answer open-ended questions related to high school topics, comparing its performance with native and non-native speakers. The research uses a dataset of 7,380 questions, considering both question difficulty (assessed via Item Response Theory) and complexity (categorized using Bloom's Taxonomy). The findings indicate that GPT4 surpasses non-native speakers and demonstrates comparable performance to native speakers. GPT4's performance improves with increasing question difficulty, despite facing challenges in tasks requiring basic recall or creative thinking.
Este estudo avalia a capacidade do GPT4 de responder a perguntas abertas relacionadas a tópicos do ensino médio, comparando seu desempenho com falantes nativos e não nativos. A pesquisa utiliza um conjunto de dados de 7.380 perguntas, considerando tanto a dificuldade da pergunta (avaliada por meio da Teoria de Resposta ao Item) quanto a complexidade (categorizada usando a Taxonomia de Bloom). Os resultados indicam que o GPT4 supera os falantes não nativos e demonstra desempenho comparável aos falantes nativos. O desempenho do GPT4 melhora com o aumento da dificuldade da pergunta, apesar de enfrentar desafios em tarefas que exigem recordação básica ou pensamento criativo.
🇧🇷 Detecção Automática de Categorias e Elementos Retóricos Narrativos em Redações do Ensino Fundamental
Rafael Ferreira Mello, Luiz Rodrigues, Erverson Sousa, Hyan Batista, Mateus Lins, Andre Nascimento, and Dragan Gasevic
Explanation: This paper explores using NLP techniques, including machine learning, deep learning, and large language models, to automatically detect narrative structures in essays written in Brazilian Portuguese. The study uses a dataset of middle school essays and evaluates the performance of different models in identifying narrative elements such as character, setting, initiating event, complication, and consequence.
Este artigo explora o uso de técnicas de PLN, incluindo aprendizado de máquina, aprendizado profundo e modelos de linguagem grandes, para detectar automaticamente estruturas narrativas em redações escritas em português brasileiro. O estudo utiliza um conjunto de dados de redações do ensino fundamental e avalia o desempenho de diferentes modelos na identificação de elementos narrativos como personagem, cenário, evento inicial, complicação e consequência.
🇧🇷 “Estou Confuso! Como Diferenciar Entre...?” Perguntas de Acompanhamento Adaptativas Facilitam a Aprendizagem do Tutor com Tempo de Tarefa Eficaz
Tasmia Shahriar and Noboru Matsuda
Explanation: This paper investigates the use of adaptive follow-up questions generated by LLMs to promote reflective thinking in tutors within a learning-by-teaching environment, where students act as tutors to a teachable agent (TA). The proposed framework, ExpectAdapt, utilizes stacked LLMs to generate questions that guide tutors towards an expected, reflective response based on their previous contributions and conversation history. An empirical study with middle school students demonstrates that adaptive follow-up questions enhance tutor learning, leading to improved problem-solving accuracy in the learning-by-teaching environment.
Este artigo investiga o uso de perguntas de acompanhamento adaptativas geradas por LLMs para promover o pensamento reflexivo em tutores dentro de um ambiente de aprendizagem por ensino, onde os alunos atuam como tutores para um agente ensinável (TA). A estrutura proposta, ExpectAdapt, utiliza LLMs empilhados para gerar perguntas que guiam os tutores em direção a uma resposta reflexiva esperada com base em suas contribuições anteriores e histórico de conversas. Um estudo empírico com alunos do ensino fundamental demonstra que as perguntas de acompanhamento adaptativas melhoram a aprendizagem do tutor, levando a uma melhor precisão na resolução de problemas no ambiente de aprendizagem por ensino.
🇧🇷 Avaliando a Eficácia das Atividades de Comparação em um Tutor CTAT para o Pensamento Algorítmico
Amanda Keech and Kasia Muldner
Explanation: This paper investigates whether comparison activities improve algorithmic thinking among novice programmers. Two versions of a CTAT tutoring system were designed: a comparison tutor that presents pairs of programming examples and a sequential tutor that presents examples individually. An experimental study involving 57 participants showed that, irrespective of the tutor version, learners benefitted from the system. Notably, the comparison tutor significantly improved procedural knowledge about loops.
Este artigo investiga se as atividades de comparação melhoram o pensamento algorítmico entre programadores novatos. Duas versões de um sistema de tutoria CTAT foram projetadas: um tutor de comparação que apresenta pares de exemplos de programação e um tutor sequencial que apresenta exemplos individualmente. Um estudo experimental envolvendo 57 participantes mostrou que, independentemente da versão do tutor, os alunos se beneficiaram do sistema. Notavelmente, o tutor de comparação melhorou significativamente o conhecimento procedural sobre loops.
🇧🇷 Implantação e Avaliação no Mundo Real do Kwame para Ciências, um Assistente de Ensino de IA para a Educação Científica na África Ocidental
George Boateng, Samuel John, Samuel Boateng, Philemon Badu, Patrick Agyeman-Budu, and Victor Kumbol
Explanation: This paper reports on the real-world deployment and evaluation of Kwame for Science, an AI teaching assistant for science education in West Africa. The system leverages SBERT and a custom-built topic detection model to provide passages from curated knowledge sources and related past national exam questions as answers to student queries. Deployed as a web app for 8 months, Kwame for Science had over 750 users across 32 countries. The evaluation showed high accuracy, indicating the system’s potential to support science education in resource-constrained settings.
Este artigo relata a implantação e avaliação no mundo real do Kwame para Ciências, um assistente de ensino de IA para a educação científica na África Ocidental. O sistema utiliza SBERT e um modelo de detecção de tópicos personalizado para fornecer trechos de fontes de conhecimento selecionadas e questões de exames nacionais anteriores relacionadas como respostas às perguntas dos alunos. Implantado como um aplicativo da web por 8 meses, o Kwame para Ciências teve mais de 750 usuários em 32 países. A avaliação mostrou alta precisão, indicando o potencial do sistema para apoiar a educação científica em ambientes com recursos limitados.
🇧🇷 Uma Abordagem de Otimização para Reconhecimento de Expressões Matemáticas Manuscritas do Ensino Fundamental
Sergio F. Chevtchenko, Ruan Carvalho, Luiz Rodrigues, Everton Souza, Daniel Rosa, Filipe Cordeiro, Cicero Pereira, Thales Vieira, Marcelo Marinho, Diego Dermeval, Ig Ibert Bittencourt, Seiji Isotani, and Valmir Macario
Explanation: This paper introduces a multiobjective optimization approach for improving the performance of handwritten mathematical expression recognition (HMER) models for elementary school students. Recognizing the unique characteristics of children's handwriting and limited training data, the study utilizes a custom dataset of arithmetic equations, augmenting it with additional data. Applying state-of-the-art HMER methods and a genetic algorithm-based multiobjective optimization technique, significant improvements are observed in expression recognition rate and inference speed, demonstrating its potential for AI-assisted learning in elementary mathematics.
Este artigo apresenta uma abordagem de otimização multiobjetivo para melhorar o desempenho de modelos de reconhecimento de expressões matemáticas manuscritas (HMER) para alunos do ensino fundamental. Reconhecendo as características únicas da caligrafia infantil e os dados de treinamento limitados, o estudo utiliza um conjunto de dados personalizado de equações aritméticas, complementando-o com dados adicionais. Aplicando métodos HMER de última geração e uma técnica de otimização multiobjetivo baseada em algoritmo genético, observam-se melhorias significativas na taxa de reconhecimento de expressões e na velocidade de inferência, demonstrando seu potencial para a aprendizagem assistida por IA em matemática elementar.
🇧🇷 Detecção de Equações Manuscritas em Dispositivos Móveis Desconectados e de Baixo Custo
Everton Souza, Ermesson L. dos Santos, Luiz Rodrigues, Daniel Rosa, Filipe Cordeiro, Cicero Pereira, Sergio Chevtchenko, Ruan Carvalho, Thales Vieira, Marcelo Marinho, Diego Dermeval, Ig Ibert Bittencourt, Seiji Isotani, and Valmir Macario
Explanation: This paper investigates the feasibility of detecting handwritten equations on disconnected, low-cost mobile devices. Addressing the need for offline AI solutions in resource-constrained environments, the study leverages a dataset of handwritten equations and uses the YOLOv8 object detection model. After optimizing the model, it is converted using Tensorflow Lite for deployment on a mobile testbed application. Performance assessments conducted on two low-cost devices reveal accurate and efficient handwritten equation detection capabilities, even in offline settings, supporting advancements in AIED Unplugged and its application to mathematics education in underserved regions.
Este artigo investiga a viabilidade da detecção de equações manuscritas em dispositivos móveis desconectados e de baixo custo. Abordando a necessidade de soluções de IA offline em ambientes com recursos limitados, o estudo utiliza um conjunto de dados de equações manuscritas e usa o modelo de detecção de objetos YOLOv8. Após otimizar o modelo, ele é convertido usando o TensorFlow Lite para implantação em um aplicativo de teste móvel. As avaliações de desempenho conduzidas em dois dispositivos de baixo custo revelam recursos precisos e eficientes de detecção de equações manuscritas, mesmo em ambientes offline, apoiando avanços no AIED Unplugged e sua aplicação ao ensino de matemática em regiões carentes.