Portugués (pdf)
Articulo en XML
Traducción automática
Enviar articulo por email
Permalink
Introdução
A demanda por educação de qualidade impulsiona o desenvolvimento de tecnologias para melhorar o desempenho dos estudantes, incluindo a inteligência artificial - IA - e seus algoritmos de aprendizado de máquina - AM. Com grande quantidade de dados gerados na educação, há oportunidades de aplicar técnicas de AM para analisar e prever o desempenho dos alunos. O Generative Pre-trained Transformer - GPT -, desenvolvido pela OpenAI em 2018 com base em Natural Language Processing - NLP -, pode ajudar na melhoria do desempenho dos alunos.
O GPT é treinado em grandes quantidades de texto de diferentes fontes usando pré-treinamento para prever a próxima palavra em uma frase ou a completar uma frase com sentido. A combinação do GPT com algoritmos de AM pode prever e melhorar o desempenho dos alunos em tarefas educacionais, permitindo uma educação individualizada. As técnicas de AM podem contribuir para aprimorar a qualidade da educação, permitindo que educadores desenvolvam estratégias pedagógicas mais eficazes.
A previsão do desempenho acadêmico - PDA - é crucial para monitorar o progresso dos alunos e adaptar o ensino às necessidades individuais (Ofori et al., 2020). Identificar possíveis dificuldades de aprendizagem com antecedência é importante para melhorar os resultados acadêmicos. A PDA também pode fornecer informações precisas para a escola adotar políticas acadêmicas e práticas de ensino mais eficazes, (Pojon, 2017), mas essa tarefa é desafiadora devido à grande quantidade de dados educacionais que precisam ser considerados. Estudos estão focando em ferramentas eficazes para integrar e processar esses dados.
Ahmad et al. (2022) constataram que a sincronização de dados internos das escolas é insuficiente, gerando dependência de sistemas de previsão externos. Algoritmos de AM são cada vez mais usados para predizer o desempenho acadêmico, aproveitando a grande quantidade de dados disponíveis. Estudos citados pelos autores indicam que fatores emocionais, como ansiedade e estresse, influenciam o desempenho dos alunos, o que demanda cautela na coleta de dados sensíveis, especialmente de menores. O tempo dedicado aos estudos impacta positivamente o desempenho. A AM não substitui os softwares acadêmicos que geram bancos de dados para decisões, mas os complementa (Meirelles, 2022).
Este estudo investiga o efeito da combinação dos algoritmos AM e GPT na previsão e sugestão de melhoria do desempenho acadêmico dos alunos. Para isso, foi criado um delineamento metodológico com quatro questionamentos e hipóteses testáveis que compreendem os aspectos de causalidade, dependência e influência (Gil, 2017, p.19). É enfatizado que a validade dos resultados depende da consideração cuidadosa dos dados e metodologia utilizada para evitar viés (Gil, 2017, p.19).
As hipóteses para os questionamentos são doravante nomeadas com H de hipótese e se relacionam com Q de questão.
Q1. Quais são os principais algoritmos de aprendizagem de máquina utilizados para prever o desempenho dos alunos?
HQ1. Conhecer os algoritmos mais adequados para o problema depende de treinamentos e testes no conjunto de dados.
Q2. Quais são variáveis e as melhores métricas do algoritmo para avaliar o desempenho do aluno?
HQ2. A avaliação de todas as métricas existentes indica a melhor, mas que podem estar intrinsicamente ligadas às variáveis numéricas, dependendo do problema a ser resolvido.
Q3. Qual é o grau de precisão dos algoritmos de aprendizagem de máquina na previsão do desempenho dos alunos?
HQ3. Quanto melhor o planejamento na preparação dos dados a serem utilizados, maior poderá ser a precisão na previsão do desempenho dos alunos.
Q4. Qual é o impacto do uso de algoritmos de aprendizagem de máquina na avaliação do progresso dos alunos e na adaptação do ensino de acordo com as necessidades individuais?
HQ4. Os algoritmos de AM impactam positivamente a avaliação do desempenho dos alunos e podem influenciar a adaptação do ensino de acordo com as necessidades individuais.
Este trabalho se justifica pelo crescente interesse das escolas em compreender o desempenho dos alunos, o uso de tecnologias digitais que tem gerado uma grande quantidade de dados, possibilitando a análise desses dados com o uso de AM para fornecer insights valiosos sobre o processo de aprendizagem dos alunos. Além disso, o uso de AM pode auxiliar os professores a identificar precocemente os alunos com dificuldades e oferecer intervenções personalizadas para melhorar o desempenho. A pesquisa também contribui para avançar os estudos sobre prever o desempenho dos alunos, abordando um aspecto controverso na literatura, com um modelo estruturado que pode ser facilmente replicado por pesquisadores e escolas interessados. Duas teorias são propostas para auxiliar na melhoria do aprendizado do aluno, alinhadas com as hipóteses elaboradas.
Generative Pre-trained Transformer - GPT
O Generative Pre-trained Transformer - GPT - é um modelo de processamento de linguagem natural desenvolvido pela OpenAI, uma organização de pesquisa em inteligência artificial. O primeiro modelo, GPT-1, foi lançado em 2018, seguido pelo GPT-2 em 2019 e pelo GPT-3 em 2020, sendo a sua última versão o GPT-3.5 em 2023. O GPT foi introduzido em 2018 por pesquisadores liderado por Alec Radford, e desde então tem sido utilizado em uma variedade de aplicações, incluindo previsão de texto, tradução automática e análise de sentimento, entre outros.
O GPT utiliza técnicas de PLN e pré-treinamento por transferência de aprendizagem para gerar textos coesos e semânticos. O seu desenvolvimento envolveu o uso de técnicas de AM, como redes neurais e algoritmos de otimização. A AM é uma técnica computacional amplamente utilizada em problemas de análise de dados, permitindo treinar algoritmos para PDA com base em dados históricos e em tempo real para identificar alunos que precisam de intervenções personalizadas.
Prever o Desempenho dos Alunos - PDA
A PDA é uma prática comum na educação, avaliada por notas e frequências, além de trabalhos extras, com o objetivo de propor melhorias na jornada educacional. Melhorar o desempenho dos alunos envolve diversas estratégias pedagógicas e de gestão educacional (Shovon; Haque, 2012). A PDA é um tema relevante que desperta interesse de pesquisadores e profissionais da educação, sendo importante considerar o papel do aluno na aprendizagem. A PDA possibilita alertar o aluno sobre sua jornada educacional e oferecer oportunidades de melhoria durante sua formação (Alamri; Alharbi, 2021; Karthikeyan; Kavipriya, 2017). É possível utilizar técnicas de mineração de dados educacionais e análise do aprendizado dos alunos para aprimorar a oferta de educação por meio de abordagens estatísticas e de AM (Al-Shabandar et al., 2017).
A escola é um ambiente propício para a utilização de tecnologias da informação e comunicação, sendo a 5ª indústria que mais investe em TI no Brasil (Cortex, 2022). É comum que a PDA seja uma temática recorrente nas escolas, e a demanda por ferramentas de apoio é crescente devido ao volume de dados gerados nesse ecossistema educacional.
Estudos, como Kabakchieva (2012), Obsie e Adem (2018) e Shovon e Haque (2012), apontam a importância da PDA para auxiliar na trajetória educacional e garantir a retenção dos estudantes. O uso de históricos de notas pregressas permite uma avaliação mais eficaz do desempenho do aluno e a previsão de seu sucesso acadêmico. A PDA é uma ferramenta valiosa para auxiliar as escolas a aprimorar a oferta de educação e garantir o sucesso acadêmico dos estudantes desde o início de sua jornada educacional.
Algoritmos, tipos de aprendizado e ferramentas
Algoritmos de AM têm se mostrado úteis na PDA para prever desempenhos, melhorar metodologias de ensino e identificar métodos instrucionais adequados aos alunos (Belachew; Gobena, 2017; Ofori et al., 2020; Soni et al., 2018). A AM é amplamente utilizada para estudos sobre PDA, processando notas para prever desempenho. Isso requer grandes conjuntos de dados, cujas entradas são calculadas para gerar saídas sobre a eficiência da PDA, com base em técnicas e algoritmos específicos (Belachew; Gobena, 2017; Ofori et al., 2020; Soni et al., 2018).
O aprendizado supervisionado é uma técnica que permite a análise de dados para estimar os parâmetros do modelo. Ele utiliza técnicas de regressão básica e classificação, e pode ser aplicado em projetos de diversas áreas, como logística e reconhecimento de imagens (Karthikeyan; Kavipriya, 2017). Organizações como Google, OpenAI, Meta, FedEx, Amazon, Mercado Livre e Walmart, têm utilizado essa técnica em seus projetos para melhorar suas operações. Por exemplo, na logística, o reconhecimento de produtos por câmeras permite que eles sejam encaminhados automaticamente para seus destinos, sem a necessidade de intervenção humana.
Já o aprendizado não supervisionado é menos eficiente, caro e demorado, pois não há uma entrada para reconhecimento do padrão inicial, portanto o algoritmo precisa aprender a combinar os dados para chegar a alguma informação. Aplicações que sugerem perfis de pessoas que combinam, por exemplo, utilizam esse tipo de algoritmo,
porém, sem intervenção no resultado. Esse tipo de aprendizado pode ser comparado com a forma de aprender de uma criança, ou seja, pela observação e imitação das ações de seus pais (Abdi, 2016).
Por fim, o aprendizado por reforço treina a máquina para tomar decisões específicas, expondo-a a um ambiente onde ela aprende continuamente por tentativa e erro, registrando a relação da ação e recompensa, aprendendo e decidindo novas ações por meio desse conceito de recompensa cumulativa (Abdi, 2016). Esse tipo de aprendizado é utilizado em projetos que envolvem a tomada de decisão, como em jogos de xadrez, por exemplo. No quadro 1, apresenta-se um resumo dos tipos de AM explicados, brevemente, nos parágrafos anteriores.
Quadro 1 Resumo dos tipos de AM.
| Tipo | Resumo |
| Supervisionada | Todos os dados são rotulados, e o algoritmo aprende a prever a saída a partir dos dados de entrada. |
| Não supervisionado | \Todos os dados não estão rotulados, e o algoritmo aprende a estrutura inerente a partir dos dados introduzidos. |
| Aprendizado por reforço | Reforçar a aprendizagem é uma área de AM preocupada com a forma como o agente de software deve tomar medidas num ambiente, de modo a maximizar alguma noção de recompensa. |
Fonte: autores.
Estes são os tipos de AM, podendo ainda ser encontrado o semi-supervisionado, que foi deixado de fora deste trabalho para minimizar o tamanho deste documento. Este artigo segue o estudo do tipo supervisionado.
A aplicação de AM requer softwares especializados ou bibliotecas para processar grandes quantidades de dados de diversas fontes. Existem ferramentas proprietárias pagas e de acesso livre disponíveis, incluindo produtos de grandes empresas de tecnologia, como ilustrado no quadro 2. A escolha de uma ferramenta deve levar em consideração o seu funcionamento e abrangência em relação aos algoritmos que se deseja utilizar.
Quadro 2 Ambientes e ferramentas para AM.
| Fabricante | Solução | Descritivo |
| Microsoft | Azure Machine Learning | É uma plataforma de nuvem que permite que os desenvolvedores criem, treinem e implantem modelos de IA. A Microsoft está constantemente fazendo atualizações e melhorias em suas ferramentas de AM e anunciou recentemente alterações no Azure Machine Learning, aposentando o Azure Machine Learning Workbench. |
| IBM | Watson Machine Learning | O Watson Machine Learning é um serviço de nuvem da IBM que usa dados para colocar em produção modelos de machine learning e deep learning. Essa ferramenta de AM permite que os usuários realizem treinamento e pontuação, duas operações fundamentais de AM. O IBM Watson é mais adequado para construir aplicativos de AM por meio de conexões de API1. |
| TensorFlow | É uma biblioteca de software de código aberto para programação de fluxo de dados. O resultado do TensorFlow é uma estrutura de AM. Essa ferramenta de AM é relativamente nova no mercado e está evoluindo rapidamente. A fácil visualização de redes neurais do TensorFlow é provavelmente o recurso mais atraente para os desenvolvedores. | |
| Amazon | Amazon Machine Learning | É um serviço gerenciado para construir modelos de Machine Learning e gerar previsões. O Amazon Machine Learning inclui uma ferramenta de transformação automática de dados, simplificando ainda mais a ferramenta de machine learning para o usuário. |
| The University of Waikato | Weka | Weka é uma coleção de algoritmos de AM para tarefas de mineração de dados. Ele contém ferramentas para preparação de dados, classificação, regressão, agrupamento, mineração de regras de associação e visualização. |
| RapidMiner | RapidMiner Studio Educational 9.10 | É uma plataforma de software de ciência de dados desenvolvida pela empresa de mesmo nome que fornece um ambiente integrado para preparação de dados, AM, aprendizado profundo, mineração de texto e análise preditiva. |
| Linguagem de programação Python | Python Software Foundation | O Python Software Foundation é uma organização dedicada ao avanço da tecnologia de código aberto relacionada à linguagem de programação Python com centenas de bibliotecas para AM. |
Fonte: autores.
Neste trabalho foi usada a linguagem de programação Python Software Foundation com a biblioteca SciKit-learn. Essa biblioteca atende os tipos de AM mais atuais, citados anteriormente, e tem dezenas de algoritmos de interesse desta pesquisa.
A escolha de técnicas e algoritmos
Atualmente, o campo de AM oferece uma ampla variedade de algoritmos. O quadro 3 apresenta uma lista concisa dessas técnicas e algoritmos, com suas respectivas abreviações ou siglas. Essas abreviações serão utilizadas na seção de metodologia e resultados deste estudo. As técnicas de aprendizado supervisionado são indicadas pela letra S, após a descrição do algoritmo. Para fins deste estudo, foram considerados apenas algoritmos de aprendizado supervisionado. Algoritmos dos tipos não supervisionados e de aprendizado por reforço não foram considerados.
Quadro 3 Agrupamento dos algoritmos que serão utilizados nesta pesquisa.
| Técnica | Algoritmo | Sigla |
| Linear Models (S) | Ridge regression | LRR |
| Linear Models (S) | Logistic regression | LLR |
| Linear Models (S) | Linear Regression | LiR |
| Linear and Quadratic Discriminant Analysis (S) | Dimensionality Reduction using Linear Discriminant Analysis | LDA |
| Support Vector Machines (S) | Classification | SVC |
| Support Vector Machines (S) | Regression | SVR |
| Stochastic Gradient Descent (S) | Classification | SGDC |
| Stochastic Gradient Descent (S) | Regression | SGDR |
| Nearest Neighbors (S) | Nearest Neighbors Classification | NNC |
| Nearest Neighbors (S) | Nearest Neighbors Regression | NNR |
| Naive Bayes (S) | Gaussian Naive Bayes | NBG |
| Naive Bayes (S) | Bernoulli Naive Bayes | NBB |
| Decision Trees (S) | Classification | DTC |
| Decision Trees (S) | Regression | DTR |
| Ensemble methods (S) | Gradient Tree Boosting (Classification) | GBC |
| Ensemble methods (S) | Gradient Tree Boosting (Regression) | GBR |
| Ensemble methods (S) | Random Forest (Classification) | RFC |
| Ensemble methods (S) | Random Forest (Regression) | RFR |
| Neural network models (S) | Multi-layer Perceptron | NNP |
| Neural network models (S) | Classification | NNC |
| Neural network models (S) | Regression | NNR |
Fonte: autores.
A classificação por técnica e tipo permite uma visão estruturada ou agrupada dos algoritmos. As siglas substituem os nomes por extenso dos algoritmos que serão chamados ou linkados com a biblioteca SciKit-learn durante a escrita do algoritmo em Python. Em algum momento deste trabalho, nos referiremos apenas à sigla.
Algoritmos de classificação e regressão foram escolhidos para avaliar a precisão do modelo em prever o desempenho dos alunos. Os algoritmos selecionados incluem Linear Regression, Logistic Regression, Gradient Tree Boosting e Random Forest. Eles são capazes de lidar com conjuntos de dados complexos e altamente não lineares. Uma melhor compreensão dos algoritmos de Classificação e Regressão permite ao pesquisador determinar quais algoritmos seriam mais adequados para responder aos objetivos específicos do seu trabalho. Algoritmos de classificação são usados para associar um conjunto de observações sob a mesma categoria. Eles são do tipo supervisionado e predizem resultados do tipo de uma classe dentro de categorias com valores binários.
Um breve exemplo sobre classes e categorias:
spam: (“spam”, “não spam”) ou
cães: (“poodle”, “beagle”, “pastor belga”, “pastor alemão”) ou de
frutas: (“laranja”, “goiaba”, “banana”) ou
diagnóstico de saúde sobre tumores: (“maligno”, “benigno”) como também o resultado de uma operação de cartão de crédito: (“fraude”, “não fraude”).
A conversão dessas observações para binário ou números inteiros é um trabalho essencial para o funcionamento dos algoritmos.
Algoritmos de classificação e regressão
Os algoritmos de classificação e regressão são técnicas fundamentais em aprendizado de máquina. A classificação é usada para prever a classe de uma entidade com base em seus atributos, enquanto a regressão busca modelar relações entre variáveis dependentes (y) e independentes (x). Esses algoritmos são aplicados em uma variedade de áreas, como previsão de desempenho de alunos. A compreensão desses algoritmos permite ao pesquisador determinar quais variáveis serão usadas no processamento, sendo a variável dependente (y) conhecida como meta ou target.
Os problemas de Regressão buscam prever um valor numérico, por exemplo prever o preço de uma casa com base no endereço, ou valor de ações no mercado, ou as notas de alunos em uma disciplina, como neste estudo, em que o atributo meta é um valor numérico (Kubat, 2017, p. 3).
Neste trabalho, a variável y é a nota média final das disciplinas que o aluno concluiu, e as demais variáveis x são aquelas que influenciam a predição do desempenho, tais como: gênero, idade, tempo de curso etc.
Metodologia
Foi elaborado um delineamento estruturado seguindo as melhores práticas de metodologia de pesquisa, com critérios de qualidade. O modelo conceitual desse delineamento é apresentado na figura 1, seguindo a ordem descrita abaixo. O primeiro item, Hipótese, não será detalhado nesta seção, pois já foi mencionado junto com as questões. O segundo item, Teoria, será descrito de forma breve nesta seção, mas não será aprofundado, sugerindo seu uso em futuros trabalhos que desejem discutir como melhorar o desempenho do aluno com base nas hipóteses.
A seguir, as teorias que poderiam ser usadas para fundamentar a melhoria do desempenho individual do aluno, mas não foram aprofundadas nesta pesquisa, pois não foram utilizadas para as melhorias após a previsão do desempenho. Duas teorias merecem destaque: a teoria da expectativa de Victor Vroom, apresentada em seu livro Work and motivation de 1964, quando era professor de administração de empresas na Escola de Administração de Yale.
A teoria da expectativa argumenta que a motivação para agir de um modo específico depende da força das seguintes relações:
Expectativa: meu esforço melhora o desempenho;
Instrumentalidade: meu desempenho traz recompensas;
Valência: as recompensas são atraentes e valiosas.
Sugere-se aqui uma abordagem de retroalimentação após a previsão do desempenho do aluno, procedendo com o devido reforço, conforme essa teoria da expectativa. Esse autor não faz parte das referências deste trabalho.
A teoria da dependência do aprendizado explica como as pessoas aprendem novas habilidades e comportamentos e foi desenvolvida por Skinner em 1971. Ela sugere que o comportamento é controlado por estímulos externos. No entanto, o risco de aplicar essa teoria neste estudo é baseado no uso de várias tecnologias mencionadas anteriormente em sala de aula, as quais podem projetar e influenciar o comportamento humano, interpretando-o como uma nova filosofia da tecnologia. As aplicações apropriadas dessa teoria foram investigadas por Rutherford (2017). No contexto educacional, a teoria da dependência do aprendizado pode ser explorada como reforços positivos, sugerindo ações para prever notas baixas ou altas.
Neste sentido, seguem pontos de melhorias após a PDA: o reforço precisa ser pontual; o reforço precisa ser criativo e não repetitivo, evitando ser considerado comum; é importante ser claro e específico em relação ao reforço aplicado; é importante não relacionar o reforço como forma de punição, pois isso invalida o reforço; precisa haver frequência ou continuidade do reforço.
Ressalta-se que este trabalho não se aprofundou nas teorias citadas, pois extrapolaria o seu objetivo principal. As citações são sugestões para futuros pesquisadores que queiram aventurar-se na aplicação da melhoria da PDA em conjunto com o GPT.
Abordagem de pesquisa
Esta pesquisa adota uma abordagem quantitativa, pois é mais apropriada para testar hipóteses e responder questões relacionadas à relação entre variáveis e seu uso em algoritmos de AM. Além disso, algoritmos tendem a responder melhor a dados numéricos, como notas, participação em aula e outras métricas quantitativas, sendo importante para avaliar o desempenho dos alunos. Essa abordagem também permite a generalização dos resultados para a população de interesse, extrapolando as conclusões para além da amostra estudada.
Este estudo utilizou níveis de pesquisa descritivo e explicativo. O nível descritivo foi utilizado para explorar detalhes do estudo, enquanto o nível explicativo foi necessário para a manipulação intencional de variáveis e seus efeitos mútuos a fim de testar as hipóteses. O nível explicativo também permitiu a realização de análises como a correlação de Pearson e análise de regressão para determinar a relação entre as variáveis.
O método de pesquisa é o experimental, pois envolveu o uso de controles e variáveis independentes e dependentes para testar hipóteses e prever resultados. O método experimental nos permitiu manipular variáveis independentes (x) e medir o efeito dessa manipulação na variável dependente (y).
Utilizou-se algumas técnicas de pesquisa para coletar e analisar os dados. Enquadrou-se neste trabalho o uso de algumas dessas técnicas, conforme descrito no Quadro 4. Todas as técnicas listadas neste quadro foram utilizadas nesta pesquisa, cada uma em determinada etapa do trabalho.
Quadro 4 Técnicas de pesquisa utilizadas neste trabalho.
| Técnica ou procedimento de pesquisa | Breve resumo e uso | Autor |
| Indicação de variáveis | Todas as variáveis que podem interferir ou afetar o objeto em estudo devem ser não só levadas em consideração, mas também devidamente controladas, para impedir comprometimento ou risco de invalidação da pesquisa: aplicado na separação das variáveis (registros) dos alunos para posteriores treinamentos e testes dos algoritmos. | Lakatos e Marconi (2021, p. 193) |
| Estudo de campo | Os estudos de campo geralmente são realizados em um local específico, como uma comunidade, organização ou instituição, e podem incluir técnicas como entrevistas, observação participante, questionários e análise de documentos. Eles são considerados importantes, pois possibilitam o acesso a dados de fontes primárias e permitem a análise de fenômenos que são difíceis de serem estudados em outros tipos de ambientes: acesso a fonte de dados primários junto com a equipe acadêmica da escola durante nove meses. | Lakatos e Marconi (2021, p. 219) |
| Experimental | O método experimental é uma técnica de pesquisa que visa testar hipóteses ou teorias científicas por meio da manipulação controlada de variáveis independentes e observação das variações nas variáveis dependentes: estudo da influência de variáveis preditoras sobre as variáveis contínuas e discretas. | Gil (2017, p. 106) |
| Levantamento | Procede-se à solicitação de informações a um grupo significativo de pessoas acerca do problema estudado para, em seguida, mediante análise quantitativa, obterem-se as conclusões correspondentes aos dados coletados. Quanto o levantamento recolhe informações de todos os integrantes do universo pesquisado, tem-se um censo: detalhamento da composição das notas médias obtidas em cada disciplina cursada pelos alunos. | Gil (2017, p. 56) |
| Observação | Campos da observação que foram utilizados: Assistemática (observar o desempenho dos alunos); Sistemática (objetividade na observação participante); Participante (compreender regras de negócios); Individual (acompanhamento da previsão do desempenho por aluno - não invasivo); Vida real (entender o comportamento do aluno em relação ao seu desempenho). | Gil (2017, p. 132-136); Lakatos e Marconi (2021, p. 226) |
| Pesquisa ação | Técnica com base empírica que é concebida e realizada em estreita associação com uma ação ou com a resolução de um problema coletivo e no qual os pesquisadores e participantes representativos da situação ou do problema estão envolvidos de modo cooperativo ou participativo: apoio direto na conversão do padrão de notas em percentuais para notas decimais de 0 a 5 para uso na previsão do desempenho. | Vergara (2010); Gil (2017, p. 126) |
Fonte: autores.
As técnicas ou procedimentos de pesquisa listadas neste quadro 4 foram de extrema importância para a organização e qualidade deste trabalho, embora tenha requerido um grande esforço de preparação, trazendo resultados confiáveis pela robustez das técnicas utilizadas.
População
Esta pesquisa utilizou uma população de 900 registros de alunos de uma escola online de desenvolvimento de software, incluindo alunos de várias faixas etárias e status, localizados em vários países, incluindo Angola, Portugal, Alemanha e Estados Unidos. Os dados foram divididos em 70% para treinamento e 30% para testes em 21 algoritmos de AM, com foco em métricas de acurácia, precisão, revocação e F1-score. A análise ocorreu entre abril e dezembro de 2022 e o objetivo final foi selecionar o melhor algoritmo para prever a nota final de 23 alunos. As métricas serão explicadas em uma seção posterior e para facilitar a compreensão prática da metodologia descrita, foi criado um esquema de solução apresentado na Figura 2, que ilustra as etapas do processo em um diagrama para a obtenção dos resultados da previsão
Cada etapa da metodologia descrita foi documentada em nove execuções ao longo de nove meses. Foram utilizados 900 registros de alunos com 41 colunas de dados, totalizando 36.900 registros analisados em cada execução do algoritmo.
Análises e resultados
Nesta pesquisa, foi observado que a retirada de variáveis desnecessárias e a conversão de variáveis categóricas para numéricas foram importantes para economizar tempo e melhorar a precisão dos algoritmos de aprendizado de máquina. Foi necessário transformar a variável meta em discreta para avaliar as métricas adequadas para cada problema. A Tabela 1 mostra a acurácia dos algoritmos selecionados, com três modelos -DTC, GBC e GBR - alcançando 100% de acurácia na previsão da variável meta.
Observa-se na tabela 1 o resultado considerado alto de acurácia, com destaque para os algoritmos com 100%. A acurácia é a primeira métrica obtida neste trabalho, porém serão avaliadas outras métricas para garantir a melhor previsão da variável meta.
A acurácia é uma medida de desempenho do modelo que mede a proporção de predições corretas em relação ao total de predições realizadas. Embora seja uma métrica importante, ela não é a única a ser considerada na avaliação do desempenho de um algoritmo de classificação. Precisão, revocação e F1-score também são relevantes para uma visão completa. Na Tabela 2, apresentam-se informações sobre precisão e revocação para 13 dos 21 algoritmos testados. Alguns algoritmos não foram processados devido a erros de execução. A Logistic Regression - LLR - e o Support Vector Classification - SVC - apresentaram desempenho muito bom na tarefa de classificação, com acurácia de 0,9777 e 0,9629, respectivamente.
Tabela 2 Resultado da previsão e revocação dos algoritmos finalistas.
| Algoritmo | Sigla | Acurácia | Precisão | Revocação |
| Ridge regression | LRR | 0.9516 | - | - |
| Logistic regression | LLR | 0.9777 | 0.9528 | 0.9777 |
| Linear Regression | LiR | 0.9535 | - | - |
| Dimensionality Reduction using Linear Discriminant Analysis | LDA | 0.9444 | 0.7458 | 0.9444 |
| Classification | SVC | 0.9629 | 0.7182 | 0.9629 |
| Regression | SVR | 0.9660 | - | - |
| Classification | SGDC | 0.8666 | 0.4360 | 0.8666 |
| Regression | SGDR | 0.9531 | - | - |
| Nearest Neighbors Classification | NNC | 0.9407 | 0.6656 | 0.9407 |
| Nearest Neighbors Regression | NNR | 0.9564 | - | - |
| Gaussian Naive Bayes | NBG | 0.9185 | 0.8433 | 0.9185 |
| Bernoulli Naive Bayes | NBB | 0.6185 | 0.3583 | 0.6185 |
| Classification | DTC | 1.0000 | 1.0000 | 1.0000 |
| Regression | DTR | 1.0000 | 1.0000 | 1.0000 |
| Gradient Tree Boosting (Classification) | GBC | 1.0000 | 1.0000 | 1.0000 |
| Gradient Tree Boosting (Regression) | GBR | 0.9999 | - | - |
| Random Forest (Classification) | RFC | 0.9925 | 0.9780 | 0.9925 |
| Random Forest (Regression) | RFR | 0.9855 | - | - |
| Multi-layer Perceptron | NNP | 0.8888 | 0.5577 | 0.8888 |
| Classification | NNC | 0.9407 | 0.6656 | 0.9440 |
| Regression | NNR | 0.9564 | - | - |
Fonte: autores.
As células com o conteúdo hífen (-) indicam que o algoritmo não conseguiu processar a precisão e revocação, por serem utilizadas variáveis inteiras, inviabilizando a execução do algoritmo. Pode-se ver que alguns algoritmos demonstram uma precisão considerada baixa ou seja, abaixo de 50% e média-alta até 90%. Entretanto, confirmaram-se aqueles algoritmos que tinham a acurácia de 100% com precisões e revocações iguais em 100%.
A precisão é uma métrica que mede a proporção de exemplos positivos corretamente identificados pelo algoritmo em relação ao total de exemplos positivos identificados. Já a revocação mede a proporção de exemplos positivos corretamente identificados pelo algoritmo em relação ao total de exemplos positivos presentes no conjunto de dados. A F1-score, na Tabela 3, é uma métrica que combina precisão e revocação e é dada pela média harmônica entre elas. A escolha da melhor métrica depende das necessidades do projeto e do conjunto de dados. A F1-score varia entre 0 e 1, sendo um valor de 1 indicativo de previsões perfeitamente precisas e completas, enquanto um valor de 0 indica previsões completamente incorretas.
Tabela 3 Resultado da F1-score.
| Algoritmo | Sigla | Acurácia | Precisão | Revocação | F1-Score |
| Ridge regression | LRR | 0.9516 | - | - | - |
| Logistic regression | LLR | 0.9777 | 0.9528 | 0.9777 | 0.98 |
| Linear Regression | LiR | 0.9535 | - | - | - |
| Dimensionality Reduction using Linear Discriminant Analysis | LDA | 0.9444 | 0.7458 | 0.9444 | 0.94 |
| Classification | SVC | 0.9629 | 0.7182 | 0.9629 | 0.96 |
| Regression | SVR | 0.9660 | - | - | - |
| Classification | SGDC | 0.8666 | 0.4360 | 0.8666 | 0.94 |
| Regression | SGDR | 0.9531 | - | - | - |
| Nearest Neighbors Classification | NNC | 0.9407 | 0.6656 | 0.9407 | 0.95 |
| Nearest Neighbors Regression | NNR | 0.9564 | - | - | - |
| Gaussian Naive Bayes | NBG | 0.9185 | 0.8433 | 0.9185 | 0.96 |
| Bernoulli Naive Bayes | NBB | 0.6185 | 0.3583 | 0.6185 | 0.62 |
| Classification | DTC | 1.0000 | 1.0000 | 1.0000 | 1.00 |
| Regression | DTR | 1.0000 | 1.0000 | 1.0000 | 1.00 |
| Gradient Tree Boosting (Classification) | GBC | 1.0000 | 1.000 | 1.0000 | 1.00 |
| Gradient Tree Boosting (Regression) | GBR | 0.9999 | - | - | - |
| Random Forest (Classification) | RFC | 0.9925 | 0.9780 | 0.9925 | 0.99 |
| Random Forest (Regression) | RFR | 0.9855 | - | - | - |
| Multi-layer Perceptron | NNP | 0.8888 | 0.5577 | 0.8888 | 0.89 |
| Classification | NNC | 0.9407 | 0.6656 | 0.9440 | 0.95 |
| Regression | NNR | 0.9564 | - | - | - |
Fonte: autores.
Observando com cautela, pode-se afirmar que os F1-score ficaram próximos das acurácias e da revocação, o que é positivo, porém, para se escolher o melhor algoritmo, é necessária a escolha dos maiores percentuais. Assim, os finalistas dessa etapa são os mesmos algoritmos que já apresentaram alta acurácia, precisão e revocação, agora com 100% de F1-score.
O F1-score é uma métrica robusta para avaliar o desempenho de modelos de classificação com desequilíbrio de classes. A acurácia pode ser enganosa nesses casos. O algoritmo Decision Tree Classifier obteve o valor máximo de 1.00 no F1-score para a previsão de notas de alunos específicos, mas é importante avaliar outros aspectos além do F1-Score, como o tempo de treinamento e a capacidade de generalização. Como a variável meta é discreta, o algoritmo mais adequado é o Decision Tree Regressor, que será usado para prever as notas médias finais dos alunos individualmente.
Essa PDA foi realizada em 23 alunos durante o período de abril a dezembro de 2022, e as previsões foram satisfatórias e consistentes com as médias finais. Há um recorte, na Tabela 4, com alguns dos 23 alunos para demonstrar esse resultado.
Tabela 4 Resultado das previsões do algoritmo DTR, amostra parcial dos alunos.
| Código do aluno | Média final | Previsão DTR | % aproximação |
| 10 | 3.24 | 3.2436 | 100% |
| 333 | 3.88 | 3.8921 | 100% |
| 545 | 3.71 | 3.7500 | 101% |
| 655 | 3.43 | 3.4552 | 101% |
| 659 | 3.30 | 3.3121 | 100% |
Fonte: autores.
Utilizando DTR com o tipo de varável contínua, pode-se ver números no mesmo formato das notas médias finais, evitando dúvidas sobre a previsão do algoritmo. Este resultado também demonstra que o trabalho de análise de todas as métricas garante maior robustez e qualidade da informação.
Os valores de aproximação dos alunos indicam que o algoritmo DTR previu suas médias finais com precisão. Isso sugere que o modelo DTR pode ser uma boa opção para prever o desempenho dos alunos com base em seus dados históricos.
Usando o GPT para apoiar na melhoria do desempenho dos alunos
É possível utilizar o modelo de linguagem GPT para ajudar na melhoria do aprendizado de alunos em risco, mesmo sem o conhecimento prévio da ementa. Através de questionamentos específicos, é possível obter sugestões pontuais de melhoria para alunos que ficaram abaixo do esperado em determinadas disciplinas. No Quadro 5, é apresentado o resultado de um questionamento e as considerações sobre o uso do GPT. As cinco primeiras colunas do quadro foram submetidas ao GPT como entrada para análise e obtenção de sugestão de melhoria.
Quadro 5 Submissão de dados ao GPT e solicitação de recomendação de melhoria.
| Aluno | Disciplina | Média final | Média esperada | Previsão AM | Recomendação GPT |
| 1 | Sistemas Operacionais | 2.50 | 3.50 | 3.10 | Para ajudar o aluno a melhorar seu desempenho em Sistemas Operacionais e alcançar a média esperada de 3.50, o GPT pode recomendar que ele foque nos seguintes conhecimentos e habilidades: 1. Revisar a estrutura de um sistema operacional, incluindo o kernel, gerenciamento de memória, gerenciamento de processos e gerenciamento de dispositivos; 2. Conhecer e saber utilizar os principais comandos e funções do sistema operacional, como o gerenciador de arquivos, editor de texto, gerenciador de pacotes e terminal; 3. Aprender a programar scripts de shell para automatizar tarefas e personalizar a configuração do sistema. |
Fonte: autores.
Pelo fato de o GPT não ter acesso à ementa, a recomendação acima é coerente com o contexto da disciplina, porém, se tratando de conteúdos específicos de cada escola a resposta do GPT poderia ser diferente. Dessa forma, questionou-se ao GPT como sua recomendação seria alterada caso tivesse acesso prévio à ementa da disciplina.
Eu posso ser mais específico nas recomendações se tiver acesso antecipado à ementa da disciplina. Com base nos tópicos abordados, eu poderia sugerir livros, materiais de estudo, tutoriais ou exercícios práticos específicos para ajudar o aluno a melhorar seu desempenho. Além disso, eu também poderia sugerir outras estratégias de estudo, como fazer anotações, resumos, revisões frequentes e formação de grupos de estudo. ChatGPT (2023).
Perguntou-se se o GPT seria capaz de indicar melhorias para milhares de alunos caso houvesse uma integração por API, passando a ementa de cada disciplina e o resultado das previsões de desempenho de alunos. A resposta não foi apresentada no texto fornecido.
Com a integração por API, seria possível gerar recomendações personalizadas de estudo para cada aluno, identificando as habilidades específicas que precisam ser melhoradas com base nas previsões de desempenho e no conteúdo da disciplina. Recomendações de leituras, exercícios e atividades práticas seriam geradas para atender às necessidades individuais de cada aluno, aumentando suas chances de sucesso acadêmico (ChatGPT, 2023).
Essa etapa do resultado foi surpreendente e provocante, porém, deixa-se aqui uma avenida de possibilidades para outros pesquisadores. A seguir, as respostas às hipóteses declaradas anteriormente, como se segue.
Q1. Quais são os principais algoritmos de aprendizagem de máquina utilizados para prever o desempenho dos alunos?
Os resultados indicaram que o algoritmo de regressão foi a melhor escolha para este estudo em particular, pois apresentou a melhor aproximação em relação às médias finais dos alunos. No entanto, é importante ressaltar que a escolha do algoritmo mais adequado pode variar dependendo das características do conjunto de dados e do problema em questão.
HQ1. Conhecer os algoritmos mais adequados para o problema depende de treinamentos e testes no conjunto de dados.
De fato, o treinamento repetitivo demonstrou ser necessário para se obter a melhor predição. É incoerente afirmar que determinado algoritmo é o melhor sem um treinamento com um número expressivo de registros, igualmente para testes.
Q2. Quais são variáveis e as melhores métricas do algoritmo para avaliar o desempenho do aluno?
Observou-se que os dados numéricos inteiros são os mais adequados para se obter métricas com índices altos;
Com base no resultado das métricas utilizadas para avaliar o desempenho dos algoritmos: acurácia, precisão, revocação e F1-score, o F1-score foi determinante para a escolha do algoritmo.
HQ2. A avaliação de todas as métricas existentes indica a melhor, mas que podem estar intrinsicamente ligadas às variáveis numéricas, dependendo do problema a ser resolvido.
A escolha das melhores métricas para avaliar o desempenho do aluno depende do problema em questão e das variáveis envolvidas;
É importante considerar todas as métricas disponíveis, mas algumas delas podem ser mais relevantes dependendo das características dos dados e do objetivo do modelo. Por exemplo, em um problema de classificação binária, a precisão e a revocação podem ser mais importantes do que a acurácia, enquanto em um problema de regressão, o F1-score pode não ser relevante;
É importante avaliar as métricas disponíveis e escolher aquelas que melhor se adequam ao problema em questão.
Q3. Qual é o grau de precisão dos algoritmos de AM na previsão do desempenho dos alunos?
Não é possível fornecer uma resposta precisa e universal para essa pergunta, pois o grau de precisão dos algoritmos de AM na previsão do desempenho dos alunos pode variar amplamente dependendo das características do conjunto de dados, das variáveis de entrada selecionadas, do algoritmo de aprendizagem utilizado e de outros fatores, como demonstrado nos resultados anteriores;
Além disso, é importante ressaltar que, embora os algoritmos de AM possam oferecer previsões precisas, eles não são infalíveis e ainda podem cometer erros devido a fatores imprevisíveis ou variáveis não consideradas;
Portanto, a avaliação da precisão dos algoritmos de AM deve ser realizada em conjunto com outras análises e julgamentos, além de ser constantemente revisada e aprimorada com a adição de novos dados e ajustes nos modelos.
HQ3. Quanto melhor o planejamento na preparação dos dados a serem utilizados, maior poderá ser a precisão na previsão do desempenho dos alunos.
De fato, a qualidade dos dados utilizados para treinar os algoritmos de aprendizado de máquina é fundamental para a precisão das previsões;
É importante que haja um planejamento cuidadoso na preparação dos dados, incluindo limpeza, tratamento de valores ausentes, seleção de atributos relevantes e normalização dos dados, para que os algoritmos possam aprender padrões relevantes e realizar previsões mais precisas;
Além disso, é importante ter em mente que a precisão das previsões também depende do algoritmo escolhido, do tamanho e qualidade do conjunto de dados de treinamento e da complexidade do problema a ser resolvido.
Q4. Qual é o impacto do uso de algoritmos de AM na avaliação do progresso dos alunos e na adaptação do ensino de acordo com as necessidades individuais?
Os algoritmos de AM podem ter um impacto significativo na avaliação do progresso dos alunos e na adaptação do ensino de acordo com as necessidades individuais. Com o uso desses algoritmos, é possível coletar e analisar grandes quantidades de dados sobre o desempenho dos alunos e identificar padrões e tendências que podem ajudar a prever o desempenho futuro;
Além disso, esses algoritmos podem ajudar os educadores a personalizar o ensino de acordo com as necessidades individuais dos alunos, permitindo que eles progridam em seu próprio ritmo e com uma abordagem de ensino mais adaptada às suas habilidades e necessidades específicas;
No entanto, é importante ressaltar que a implementação desses algoritmos requer uma estrutura adequada de coleta de dados, preparação e treinamento do modelo para garantir a precisão e eficácia das previsões e adaptações.
HQ4. Os algoritmos de AM impactam positivamente a avaliação do desempenho dos alunos e podem influenciar a adaptação do ensino de acordo com as necessidades individuais.
Os algoritmos de AM têm o potencial de impactar positivamente a avaliação do desempenho dos alunos e, consequentemente, contribuir para a adaptação do ensino de acordo com as necessidades individuais. Isso ocorre porque esses algoritmos podem ser utilizados para analisar uma grande quantidade de dados e identificar padrões, o que pode levar a uma avaliação mais precisa e detalhada do desempenho dos alunos;
Com essas informações, é possível adaptar o ensino para melhor atender às necessidades individuais dos alunos, tornando o processo de aprendizagem mais eficaz;
No entanto, é importante lembrar que os algoritmos de AM não devem ser vistos como uma solução completa para todos os problemas de ensino e aprendizagem, mas sim como uma ferramenta complementar que pode ajudar os educadores a tomar decisões mais informadas e eficazes.
Considerações finais
Recentes pesquisas têm explorado o uso de algoritmos de aprendizado de máquina para prever o desempenho dos alunos. Embora não haja consenso sobre o melhor algoritmo ou sua eficiência, nenhuma pesquisa aplicou o AM com o GPT para acompanhar o desempenho dos alunos ao longo de nove meses. Esta pesquisa destacou a importância da escolha da variável adequada para análise e recomendou o uso do algoritmo DTR para resultados compreensíveis.
Embora o GPT seja uma ferramenta poderosa, é importante destacar que seu uso para prever e melhorar o desempenho dos estudantes deve ser avaliado cuidadosamente. O GPT é treinado em uma grande quantidade de dados não estruturados e, portanto, é capaz de gerar textos fluentes e coerentes com base em alguns poucos inputs. No entanto, essa capacidade pode não se traduzir em uma precisão ou confiabilidade suficiente para a melhoria do desempenho dos alunos.
Além disso, o GPT pode apresentar problemas de viés, já que seu treinamento é baseado em dados coletados de fontes diversas, que podem conter preconceitos ou desigualdades. Portanto, é importante considerar o impacto desses possíveis vieses em uma aplicação real do GPT. Outro aspecto do GPT é utilizá-lo para gerar hipóteses e insights para futuras investigações sobre os fatores que influenciam o desempenho dos alunos. Em resumo, o uso do GPT para prever e melhorar o desempenho dos futuros estudantes deve ser avaliado cuidadosamente, considerando seus pontos fortes e limitações.
Convém citar a limitação da pesquisa sobre o relacionamento dos dados do aluno no banco de dados com os resultados obtidos pelo algoritmo. O processo de relacionamento dos dados é trabalhoso, já que o algoritmo não leva em conta o código (ID) do registro do aluno, o que dificulta o cruzamento dos dados finais. Embora isso possa ser resolvido por meio da linguagem Python, esse não era o foco da pesquisa. Em futuros trabalhos, essa limitação pode ser superada com a utilização de técnicas mais avançadas de relacionamento de dados.
Neste estudo, foi demonstrado que a utilização de modelos de árvores de decisão, especificamente a Decision Tree Regressor - DTR -, foi superior na abordagem das questões propostas. A comparação do desempenho dos algoritmos de AM, como Logistic Regression, Random Forest Classification e Nearest Neighbors Classification, evidenciou que a DTR apresentou uma acurácia, precisão e revocação superior, além de maior robustez, confirmado pelo F1-score. A DTR mostrou-se capaz de lidar com variáveis categóricas e numéricas, bem como a seleção automática de características, o que é uma vantagem importante em problemas com alta dimensionalidade de variáveis. Em suma, este estudo forneceu fortes evidências de que a DTR é uma escolha eficaz e confiável para problemas de classificação e regressão e deve ser considerada como uma opção prioritária para futuras pesquisas nesta área.
Esta pesquisa não abordou as teorias como forma de melhorar o desempenho do aluno, o que poderia ter requerido um aprofundamento útil e possivelmente a criação de um constructo que demonstrasse a sua aplicação prática em conjunto com o GPT. Embora tenha ficado claro que é possível a aplicabilidade das teorias para essa finalidade, estudos futuros devem focar no contexto da melhoria do aprendizado do aluno com esse desafio.
O uso de modelos de AM em conjunto com tecnologias de processamento de linguagem natural, como o GPT, tem se mostrado promissor para a previsão e melhoria do desempenho dos estudantes. Com essas ferramentas, é possível coletar e analisar grandes quantidades de dados, identificar padrões e prever o desempenho futuro de um aluno em uma determinada disciplina. No entanto, é importante ressaltar que a utilização dessas tecnologias não é um divisor de águas por si só. A qualidade e a precisão dos resultados dependem da qualidade dos dados coletado como já demonstrado.
O GPT e outras ferramentas de PLN podem ajudar a identificar lacunas de conhecimento e áreas em que o aluno precisa melhorar, permitindo que os professores ajustem seu ensino de forma mais precisa e individualizada. No entanto, é importante lembrar que essas tecnologias não substituem o papel fundamental dos professores no processo de aprendizagem.
