Introdução1
A pandemia da COVID-19 transformou abruptamente a realidade mundial, com destaque para a área da educação. A exigência de isolamento, bem como o necessário distanciamento social, na condição de medidas de proteção contra a contaminação pelo vírus, resultaram na adoção de tecnologias digitais para possibilitar o ensino e a aprendizagem (VARGO et al., 2021).
No Brasil, ao lado dos cursos a distância que já eram ofertados, instituições de ensino públicas e privadas, da educação infantil à educação superior, precisaram recorrer a diversas tecnologias digitais para minimizar a influência negativa da pandemia sobre a formação de milhões de estudantes de cursos presenciais. Ambientes virtuais de aprendizagem, sistemas de gerenciamento de conteúdo, plataformas de comunicação baseadas em vídeo, aplicativos de mensagens instantâneas e de compartilhamento de texto, imagem, áudio e vídeo, redes sociais, entre outras tecnologias, estão sendo utilizadas para favorecer a interação de professores e estudantes.
Em tais circunstâncias, estamos cada vez mais imersos em um mundo de indicadores. Produzimos, constantemente, dados que são armazenados em algum dispositivo ou servidor. No momento em que digitamos uma consulta em um buscador na internet, essa busca é armazenada; quando fazemos uma ligação para um amigo, novo dado é criado; ao enviar uma mensagem em um fórum de um curso a distância ou de ensino remoto, essa ação é registrada.
No mundo contemporâneo, a crescente disponibilidade de big data exige novas modalidades de armazenamento, tratamento e gestão, em decorrência da complexidade dos sistemas de informação. As instituições que executam esses sistemas têm interesse em encontrar maneiras de extrair valor (econômico, social, político etc.) com base em seus grandes conjuntos de dados (MAYER-SCHÖNBERGER; CUKIER, 2013).
No âmbito da educação, as instituições de ensino estão cada vez mais empenhadas em avaliar, medir, comparar, discutir e melhorar o desempenho educacional (FERGUSON, 2013). As instituições governamentais utilizam suas áreas administrativas e de planejamento com o objetivo de colher maneiras de identificar as melhores práticas, a fim de aperfeiçoar o aprendizado e os resultados educacionais.
Com efeito, não basta apenas obter e armazenar dados educacionais, pois é imprescindível saber utilizá-los no sentido de apoiar o ensino e a aprendizagem. Na educação, desponta a área denominada de learning analytics (LA), acerca da qual cuidamos neste artigo como analítica da aprendizagem. Cambruzzi (2014) ressalta que a analítica da aprendizagem não é uma seara nova de pesquisa, mas uma síntese de técnicas de áreas convergentes com o uso da tecnologia para a melhoria da aprendizagem. Com base em Chatti et al. (2012), a analítica da aprendizagem congrega a pesquisa-ação2, mineração de dados educacionais, sistemas de recomendação e aprendizagem personalizada e adaptativa.
Conforma um tema desafiador e instigante, em face de ainda existirem poucos estudos na América Latina (CECHINEL et al., 2020; NUNES, 2015; SANTOS, et al. 2017). Segundo a 1st International Conference on Learning Analytics and Knowledge, realizada em Banff, Alberta (Canadá), em 2011, a LA é concebida como a “[...] medição, coleta, análise e divulgação de dados sobre os alunos e seus contextos, com o propósito de compreender e otimizar a aprendizagem e os ambientes em que ela ocorre”3. Os docentes recorrem à analítica da aprendizagem para monitorar a aprendizagem, explorando os dados dos alunos, identificando problemas, descobrindo padrões, verificando possíveis sinais de sucesso, de insucesso ou de abandono e evasão, além de avaliar a utilidade dos materiais de aprendizagem, promover consciência, reflexão e entendimento de ambientes de aprendizagem (FERGUSON, 2013).
Utilizada na educação a distância (EaD), visa a possibilitar uma tomada de decisão rápida e fundamentada. Mostra seu potencial na coleta e análise de dados produzidos por alunos, professores, tutores ou gestores, de modo associado com a aprendizagem discente, a fim de se observar e compreender os comportamentos dos distintos agentes, permitindo a intervenção apropriada ao aprendiz.
A analítica da aprendizagem é aplicada para pesquisar e criar modelos em diversas áreas passíveis de influenciar sistemas de aprendizagem on-line; tem o potencial de tornar os dados visíveis, no sentido de desenvolver uma cultura de uso de indicadores para a tomada de decisões instrucionais (BIENKOWSKI; FENG; MEANS, 2012). Essa prática abre a possibilidade para os alunos desenvolverem autonomia e habilidades a serviço de sua aprendizagem e verem diretamente como seu esforço melhora o sucesso. Ali et al. (2012) enfatizam que a analítica da aprendizagem combina princípios de áreas diversas da Computação (mineração de dados e texto, análise visual e visualização de dados) com os de Ciências Sociais, Pedagogia e Psicologia. Na perspectiva de Nunes (2016), a LA articula conhecimentos da Educação, Psicologia, Computação e Estatística.
A analítica da aprendizagem é focada, especificamente, nos alunos e em sua aprendizagem (LONG; SIEMENS, 2011). Preconiza utilizar os avanços da mineração de dados, interpretação e modelagem preditiva para melhorar o entendimento sobre o ensino-aprendizagem, a fim de adequar esse processo de ensino aos estudantes individuais, de modo mais eficaz. Possibilita identificar alunos em risco de insucesso acadêmico, de modo a proporcionar intervenções positivas destinadas a diminuir o abandono e a evasão e aumentar a aprovação, fornecer recomendações para os alunos em relação ao material de estudo e atividades de aprendizagem, bem como avaliar os resultados de estratégias pedagógicas (HARMELEN, 2012; HARMELEN; WORKMAN, 2012). O desafio é reunir conjuntos de dados e conhecimentos de dentro e fora da instituição, a fim de aplicar ferramentas de análise que tenham influxo positivo e mensurável sobre o ensino-aprendizagem.
Em função de seu potencial, a analítica da aprendizagem é aplicável para melhorar a qualidade da formação de professores por meio da modalidade de EaD. No Brasil, marco dessa modalidade foi a criação, por meio do Decreto nº 5.800/2006, do Sistema Universidade Aberta do Brasil (UAB), com financiamento público e viabilizado pelo regime de colaboração, a ser executado por instituições públicas de educação superior. Exprime como prioridade a oferta de cursos de licenciatura e formação inicial de professores e gestores nas diversas áreas do conhecimento (NUNES; SALES, 2013).
Desde 2015, há registros de pesquisas desenvolvidas no Brasil, procurando articular a analítica da aprendizagem com a formação de professores, tomando por base cursos de licenciatura do Sistema UAB (AGUIAR, 2016; BARBOSA, 2019; BARBOSA; NUNES; CHAVES, 2019; CHAVES, 2015, 2020; GONÇALVES, 2018; NUNES; SALES; CHAVES, 2019; SALES, 2017).
A UAB consolida a temática da EaD na agenda governamental e a expansão do ensino superior. Exige que haja polos presenciais, credenciamento, regulamentação específica e parte da carga horária presencial. Funciona em parceria com estados e municípios. Oferece cursos de graduação, sequencial, pós-graduação lato e stricto sensu, prioritariamente orientados para a formação de professores e para a Administração Pública.
A implementação desses cursos a distância ocorre por meio das instituições de educação superior que possuem, como ponto de apoio presencial, os polos localizados em diversos municípios que tiveram suas propostas de criação de guias aprovadas pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)4.
Entre os cursos de licenciatura ofertados pelas diversas instituições participantes do Sistema UAB, destaca-se o curso de Pedagogia, destinado à formação de professores para o magistério na Educação Infantil e nos anos iniciais do Ensino Fundamental, e na área de apoio escolar, que exijam conhecimentos pedagógicos, conforme define a Resolução CNE/CP5 n° 1, de 15 de maio de 2006 (BRASIL, 2006).
A formação do pedagogo para a gestão escolar é uma das áreas de sua atuação profissional, entendida como organização do trabalho pedagógico em termos de planejamento, coordenação, acompanhamento e avaliação nos sistemas educativos formais e não formais (PIMENTA, 2002). Pesquisa de Vieira e Vidal (2015, p. 121) mostram o perfil de formação dos gestores escolares no Brasil, revelando que apenas 47,3% possuem o curso superior de Pedagogia. Os demais são oriundos de outras licenciaturas e “[...] apresentam outro tipo de formação inicial diferente do que recomenda a legislação”. Observa-se que a gestão das unidades escolares, sejam estaduais ou municipais, precisam ser fortalecidas por meio de profissionais capazes de compreender a função e agir para sua melhoria. Outro dado relevante na pesquisa de Vieira e Vidal (2015) é a existência dos gestores sem formação em nível superior, muitas vezes com nível médio incompleto, o que é injustificável em face dos avanços registrados nas últimas décadas relacionados à formação docente.
A Resolução nº 460/2017, do Conselho de Educação do Ceará, recomenda no art. 1º que, para o exercício do cargo em direção das instituições de ensino de educação básica, “[...] será exigida a formação do gestor/administrador escolar em curso de graduação em Pedagogia”. Preconiza, ainda que “[...] os profissionais de educação graduados em Pedagogia deverão apresentar comprovação em histórico escolar, de disciplinas cursadas na área de gestão, totalizando, no mínimo, duzentas e quarenta horas-aula”. (CEARÁ, 2017, art. 1º, parágrafo único). Aos profissionais que tenham a formação inicial em outra licenciatura, a Resolução recomenda a pós-graduação na área da gestão ou administração escolar.
No âmbito federal, a Resolução CNE/CP nº 2, que define as diretrizes curriculares nacionais para a formação de professores, no capítulo VII, trata da formação para atividades pedagógicas e da gestão. Exige que os cursos de graduação em Pedagogia com aprofundamento de estudos nas áreas da gestão devem formar com uma carga horária mínima de 3.600 (três mil e seiscentas) horas. Por conseguinte, a carga horária destinada às disciplinas da área em apreço é de 400 horas (BRASIL, 2019).
O experimento sob relato, por conseguinte, traz os resultados de uma pesquisa cujo objetivo foi estabelecer um modelo preditivo, com base na analítica da aprendizagem, que auxilie no acompanhamento do desempenho dos alunos do curso de Licenciatura em Pedagogia na modalidade de educação a distância, de uma universidade localizada no Estado do Ceará (Brasil) e participante do Sistema UAB, no tocante à formação na área da gestão escolar.
Metodologia
Para dar resposta ao objetivo da pesquisa, adotamos o método estatístico, conduzindonos ao entendimento da relação entre as variáveis, buscando a adequada modalidade de análise e interpretação dos dados (AGRESTI; FINLAY, 2012). Empregamos, ademais, o ciclo proposto por Chatti et al. (2012) para a analítica da aprendizagem, que possui três etapas básicas: (1) coleta de dados e pré-processamento; (2) analítica e ação; e (3) pós-processamento. Nesta pesquisa, foram cumpridas as duas primeiras etapas desse ciclo. O pós-processamento, para ser realizado, implicaria a inserção de novos elementos, introdução de variáveis, entre outros aspectos, o que não constituiu finalidade deste relato.
A investigação está circunscrita ao Estado do Ceará, tendo como área estudada o curso de Licenciatura em Pedagogia na modalidade de EaD, oferecido por uma das universidades localizadas no Estado, por meio do Sistema UAB. O curso utiliza o ambiente virtual de aprendizagem (AVA) Moodle.
A oferta do curso teve início no ano 2009, em oito polos. Em 2010, passou a ser oferecido em sete: Beberibe, Brejo Santo, Campos Sales, Jaguaribe, Maranguape, Mauriti e Quixeramobim. O curso possui periodicidade semestral, com integralização em oito módulos/semestres e carga horária de 3.230 horas/aula (h/a), agrupadas em 190 créditos, incluindo 408 horas de estágio supervisionado.
Do conjunto de disciplinas do curso, foram identificadas apenas duas cujos ementários são relativos a gestão escolar: Estrutura e Funcionamento da Educação Básica e Política, Planejamento e Gestão Educacional. Essas disciplinas são de quatro créditos, totalizando 68 h/a cada qual, compondo, respectivamente, o 3º e o 4º módulos/semestres do curso.
Como a LA trabalha com grandes conjuntos de dados, o universo da pesquisa está constituído pelos alunos do período 2010-2014 no referido curso, nos sete polos onde é ofertado. Esta demanda limitou-se, contudo, apenas às interações dos alunos das citadas duas disciplinas. Procedemos à análise dos dados dos alunos de todos os polos.
A extração dos dados foi baseada nas experiências de Chaves (2015), Aguiar (2016) e Sales (2017), codificando polos, estudantes e categorias de ações6, fazendo as adaptações necessárias à adequação do objeto em estudo. Como parte da fase de pré-processamento, foram organizadas planilhas no LibreOffice Calc7, contendo: relação das sete turmas do curso de Licenciatura em Pedagogia objeto do estudo (2010-2014), por polo, que realizaram as disciplinas retrocitadas; relação de todos os estudantes do curso, segundo estão registrados no Moodle, por turma e polo; e relatórios de notas, acesso, recursos e atividades do Moodle nas disciplinas. Foram inseridas as notas dos alunos, de cada disciplina, com apoio no rendimento acadêmico oficial. Essas notas foram transformadas em resultados (aprovado, reprovado por nota, reprovado por falta).
As planilhas foram sistematizadas em apenas uma, contendo 549 linhas, incluindo a linha de cabeçalho, e 34 colunas, sendo uma de identificador geral, 32 de categorias de ações (variáveis independentes Xi) e uma de resultado (variável dependente Y). Na coluna do identificador geral, constam o código do aluno, o polo e a disciplina, a fim de se dispor da quantidade de interações desses sujeitos, em cada ação disponibilizada no AVA. Por exemplo: E01BB_S4D1 - corresponde ao aluno E01, do polo de Beberibe (BB), na disciplina Política, Planejamento e Gestão Educacional (S4D1 - disciplina 1 do semestre 4). As 32 categorias de ações receberam códigos de A04 a A75, não sequenciados, em virtude de haver categorias de ações não incluídas por não haver nenhum registro. O resultado obedeceu à classificação nas categorias 0 (aprovado), 1 (reprovado por nota) e 2 (reprovado por falta), de acordo com a ocorrência dos eventos.
Para cumprir a etapa de Analítica e Ação, apelamos para a técnica multivariada denominada regressão logística multinomial (RLM). Essa etapa envolve ações que incluem monitoramento, análise, previsão, intervenção, avaliação, adaptação, personalização, recomendação e reflexão (CHATTI et al., 2012). Nesta pesquisa, essa etapa se limitou a análise, predição, recomendações e reflexões.
Os modelos de regressão logística são utilizados quando o fenômeno a ser estudado se mostra de maneira qualitativa e é representado por uma ou mais variáveis dummy, dependendo da quantidade de possibilidades de resposta (categorias) da variável dependente (FÁVERO, 2015).
Recorremos ao programa de análise estatística Stata, versão 15, capaz de realizar de tarefas simples até estatísticas mais complexas, como regressão logística, regressão linear múltipla, regressão não linear, dentre outras. Uma das funcionalidades desse software está nos comandos utilizados para obter a análise estatística, além de gerar gráficos, tabelas etc.
Esta pesquisa, desde sua concepção até a divulgação dos resultados, procura guiar-se por princípios e procedimentos éticos (BROOKS; RIELE; MAGUIRE, 2017). Obtivemos consentimento institucional para acesso aos dados dos estudantes, cujo anonimato foi garantido por meio de codificação. Ademais, segundo a Resolução CNS nº 510/2016, que se reporta às especificidades das investigações em Ciências Humanas e Sociais, não é necessário submeter ao sistema CEP/CONEP “[…] pesquisa com bancos de dados, cujas informações são agregadas, sem possibilidade de identificação individual [...].” (BRASIL, 2016, art. 1º, parágrafo único, alínea V).
Análise e discussão
A quantidade das ações é observada como fator relevante na tomada de decisão, pois fornece a visão das interações com maior frequência. Realizamos a análise dessas frequências, visando a compreendê-las com base no entendimento de que a RLM considera que “[...] a variável predita Y seja categórica de múltiplas categorias [...]” (LOESCH; HOELTGEBAUM, 2012, p. 98).
Do total de frequências de interações realizadas, 56,2% ocorreram na disciplina Estrutura e Funcionamento da Educação Básica e 43,8% na disciplina Política Planejamento e Gestão Educacional. As atividades mais frequentes são relacionadas a “logar”, tarefa e fórum, representadas pelas categorias de ações A31 (visualizar a página principal de um curso), A05 (visualizar o link de uma tarefa), A46 (clicar em um tópico de discussão em um fórum) e A47 (clicar no link que dá acesso a um fórum). As categorias de ações com menor frequência foram, respectivamente, A68 (visualizar todos os recursos em uma mesma tela), A72 (modificar senha), A40 (receber mensagem do fórum por e-mail), A42 (retirar a inscrição de todos os usuários de um fórum), A64 (visualizar todos os questionários em uma mesma tela) e A35 (excluir um tópico de discussão dentro de um fórum).
Essa constatação indica a necessidade de os profissionais responsáveis pelo planejamento do curso atentarem “[...] para assegurar um aprendizado apropriado e eficaz, definindo estratégias de apoio pertinentes aos alunos”. (GAMEZ, 2012, p. 79). É preciso haver mais dinamismo da parte dos planejadores, gestores, professores conteudistas, docentes formadores e tutores, no sentido de incentivar os estudantes para que busquem recursos alternativos, sejam criativos na superação das dificuldades estruturais, exprimam compromisso e motivação para participar das atividades e estabelecer metas de participação nas atividades propostas. Nesse sentido, a LA é capaz de contribuir na utilização de sistemas de alerta, para sinalizar quando os alunos estão com pouca interação em determinada atividade, fornecendo feedback para os tutores, objetivando subsidiar o trabalho.
A instituição formadora deve prever caminhos adequados aos perfis dos estudantes, acompanhar as atividades de interação das pessoas, mapeando suas características e necessidades, objetivando que alcancem o sucesso escolar. Para tanto, o uso da LA é importante ferramenta de apoio para interpretação dos indicadores, já que fornece elementos para a gestão dos dados educacionais e intervenção dos processos (KAY; HARMELEN, 2012).
Realizamos a análise do desempenho dos estudantes, expresso por meio da aprovação ou reprovação (por nota ou por falta). A Tabela 1 demonstra esses indicadores em cada polo, por disciplina.
Polo | Disciplinas | |||||||||
---|---|---|---|---|---|---|---|---|---|---|
Estrutura e Funcionamento da Educação Básica | Política, Planejamento e Gestão Educacional | |||||||||
Total | Ap. | % | Rep. Total | % | Total | Ap. | % | Rep. Total | % | |
Beberibe | 46 | 44 | 95,65 | 2 | 4,35 | 46 | 43 | 93,48 | 3 | 6,52 |
Brejo Santo | 34 | 33 | 97,05 | 1 | 2,95 | 34 | 33 | 97,05 | 1 | 2,95 |
Campos Sales | 34 | 2 | 94,12 | 2 | 5,88 | 34 | 30 | 88,24 | 4 | 11,76 |
Jaguaribe | 43 | 43 | 100,0 | - | - | 43 | 42 | 97.67 | 1 | 2,33 |
Maranguape | 33 | 25 | 75,76 | 8 | 24,24 | 35 | 28 | 80,00 | 7 | 20,00 |
Mauriti | 43 | 38 | 88,37 | 5 | 11,63 | 42 | 32 | 76,20 | 10 | 23,80 |
Quixeramobim | 41 | 37 | 90,24 | 4 | 9,76 | 40 | 34 | 85,00 | 6 | 15,00 |
Total | 274 | 252 | 91,97 | 22 | 8,03 | 274 | 242 | 88,32 | 32 | 11,68 |
Fonte: Elaboração própria.
Comprovamos que a disciplina Estrutura e Funcionamento da Educação Básica denotou maior percentual de aprovação, com destaque para os polos de Jaguaribe (100%), Brejo Santo (97,05%) e Beberibe (95,65%). Esses exprimem melhor desempenho também na disciplina Política, Planejamento e Gestão Educacional. O mais baixo desempenho é registrado nos polos de Maranguape (75,76% na disciplina Estrutura e Funcionamento da Educação Básica e 80,00% na disciplina Política, Planejamento e Gestão Educacional) e Mauriti (88,37% e 76,20%, respectivamente).
Os dados de interação analisados nesta pesquisa, após a consolidação da planilha final, foram salvos no formato csv8, a fim de possibilitar a leitura no software Stata. Observemos que os dados são compostos por 5489 observações de alunos, 32 variáveis independentes (Xi) e uma variável dependente (Y). Os dados evidenciam que aproximadamente 90% (493) dos alunos foram aprovados nas disciplinas sob análise. Os alunos reprovados por nota são 3,5% (19) e os reprovados por falta 6,5% (36), o que é conducente à reflexão: quais os motivos que levam um estudante a ficar reprovado por falta em um curso a distância? De que maneira a instituição é passível de organizar um curso,
a fim de que não aconteça esse tipo de situação? Abandono, retenção, taxas de sucesso/ insucesso, alunos que necessitam de maiores desafios são dados observáveis por meio da LA, fornecendo elementos da gestão e intervenção (AGUIAR, 2016; FERGUSON, 2013).
Antes de proceder à RLM, detectamos a multicolinearidade entre as variáveis A54 e A55, denotando uma correlação linear aproximadamente perfeita (0,9958). Com suporte nas recomendações de Prearo, Gouvea e Monari (2009), as sugestões para resolver a multicolinearidade são: (1) eliminar variáveis; (2) reformular o modelo - usando, por exemplo, a razão entre variáveis, e (3) aumentar o tamanho da amostra. Optamos pela eliminação de variáveis.
Efetuamos, por conseguinte, a experiência retirando do cálculo a variável A5510, resultando na obtenção dos coeficientes da RLM. Ao analisarmos a significância estatística11, no entanto, notamos que a variável A04 (fazer um upload de um arquivo para uma tarefa) apresentou o valor de P>|z|= 0,055, na categoria 1 (reprovado por nota), situando-se no limite do arredondamento12. Resolvemos, então, adotar critérios para a exclusão de variáveis. Decidimos analisar as frequências das 31 categorias de ações com base nos quartis.
Fonte: Elaboração própria.
O ponto de corte estabelecido foi a frequência 53, correspondendo ao primeiro quartil, ou seja, compreendendo aproximadamente 25% das categorias de ações com menor frequência. Por conseguinte, foram eliminadas as variáveis A68 (visualizar os recursos em uma mesma tela); A72 (modificar sua senha); A64 (visualizar todos os questionários em uma mesma tela); A40 (assinar um fórum, receber mensagens do fórum por e-mail); A42 (retirar a inscrição de todos os usuários de um fórum); A35 (excluir um tópico de discussão dentro de um fórum) e A73 (modificar o seu perfil), com frequência menor que 53, a fim de se aplicar novamente a RLM a esse novo conjunto de variáveis.
No total, foram necessárias 12 iterações para estimar o modelo (TABELA 2). O valor-p da estatística qui-quadrado foi 0,0000, ou seja, p < 0,05, indicando que podemos rejeitar a hipótese nula de que todos os coeficientes sejam iguais a zero. Isso significa que, no mínimo, uma variável independente é estatisticamente significante para explicar a probabilidade de ocorrência de, no mínimo, uma das situações (aprovado, reprovado por nota, reprovado por falta).
A interpretação do Pseudo R2 de McFadden é similar ao do R2 convencional, utilizado na regressão linear, e mede o poder explicativo do modelo. É uma medida que fornece indícios sobre a qualidade do ajuste do modelo obtido (RODRIGUES; MEDEIROS GOMES, 2013). Em regressão linear, o coeficiente de determinação R2 expressa a proporção da variância determinada pelas variáveis explicativas (FÁVERO, 2015). Em RLM, o Pseudo R2 serve para resumir a força global de um modelo, oscilando de 0 a 1. Se o valor for igual a 0, indica um modelo sem valor preditivo, se for igual a 1, indica um ajuste perfeito do modelo de regressão logística (HU; SHAO; PALTA, 2006). No presente caso, o Pseudo R2 de McFadden resultou em 0,338, indicando um excelente ajuste do modelo por estar entre 0,2 e 0,4 (MCFADDEN, 1977).
A categoria adotada como referência pelo Stata é a com maior frequência. Nesta pesquisa, foi a categoria 0 (aprovado). Há, portanto, duas outras possibilidades de situação relativamente a essa categoria de referência, representadas pelas categorias 1 (reprovado por nota) e 2 (reprovado por falta). Assim, semelhante a Fávero (2015, p. 130), “[...] serão definidos dois vetores de variáveis explicativas com os respectivos parâmetros estimados, ou seja, dois logitos13 [...]”. Pela análise da Tabela 2, identificamos quais variáveis denotam valores menores do que z=-1,96 ou maiores do z=1,96, e o correspondente p (coluna P>|z|) menor que 0,05, cujos resultados estão nos Quadros 1 e 2.
AÇÃO | DESCRIÇÃO DA VARIÁVEL |
---|---|
A04 | Fazer um upload de um arquivo para uma tarefa |
A46 | Clicar em um tópico de discussão em um fórum |
A67 | Visualizar um recurso (um arquivo em PDF, por exemplo) |
Fonte: Elaboração própria.
AÇÃO | DESCRIÇÃO DA VARIÁVEL |
---|---|
A04 | Fazer um upload de um arquivo para uma tarefa |
A46 | Visualizar todas as tarefas em uma mesma tela |
Fonte: Elaboração própria.
Passam a compor o modelo, por conseguinte, as variáveis dos Quadros 1 e 2, pois exprimem significância estatística, ao nível de confiança de 95%, para explicar as diferenças de ser reprovado por nota ou por falta, em relação a ser aprovado. Observamos que o envio das tarefas integra o modelo para as categorias 1 e 2 (variável A04), adquirindo relevância a participação nos fóruns e o acesso a recursos do AVA.
Esse resultado coaduna-se com os relatos de Dietz-Uhler e Hurn (2013), em relação às pesquisas de Smith, Lange e Huston (2012), que utilizaram dados extraídos de um AVA e analisaram variáveis como frequência, login, engajamento local, ritmo do estudante, objetivando prever o resultado do curso. De modo análogo, Macfadyen e Dawson (2010) analisaram a frequência de utilização de mensagens enviadas e de postagem nos fóruns para prever o desempenho do estudante. Minaei-Bidgoli et al. (2003) descobriram que o número de tentativas de fazer as tarefas, o tempo empregado e a leitura de material são relevantes na previsão do desempenho. Na pesquisa de Falakmasir e Jafar (2010, citado em DIETZ-UHLER; HURN, 2013), o fórum para discussão foi o melhor preditor de desempenho.
Esses resultados diferem daqueles da investigação de Sales (2017), que apontou as variáveis A34 (adicionar uma postagem em um fórum), A37 (erro de mensagem enviada a e-mail) e A71 (fazer o upload de um arquivo) como estando no modelo do polo de Mauriti: “[...] postar uma mensagem no fórum de discussão; fazer upload de um arquivo e indicar erro de mensagem enviada a e-mail interferem significativamente no resultado (aprovação/ reprovação) dos estudantes do curso de licenciatura em Pedagogia [...] do polo de Mauriti.” (SALES, 2017, p. 177).
Com base na Tabela 2, escrevemos as expressões finais das probabilidades médias estimadas de ocorrência de cada uma das três categorias da variável dependente.
Probabilidade de um estudante i ser aprovado (categoria 0):
Probabilidade de um estudante i ficar reprovado por nota (categoria 1):
Probabilidade de um estudante i ficar reprovado por falta (categoria 2):
Para finalizar a análise dos dados quantitativos, realizamos o procedimento de estimar o modelo da RLM (Tabela 3), de modo que sejam fornecidas as chances de ocorrência de cada um dos eventos (aprovação, reprovação por nota, reprovação por falta), alterando uma unidade correspondente à variável explicativa. Trata-se da razão de risco relativo (relative risk ratio - RRR), segundo Fávero (2015).
RESULTADO | RRR | ERRO PADRÃO | Z | P>|z| | INTERVALO DE CONFIANÇA 95% | |
---|---|---|---|---|---|---|
Aprovado (0) | (categoria de referência) | |||||
Reprovado por nota (1) | ||||||
A04 | 0,1508722 | 0,1263357 | -2,25 | 0,024 | 0,029117 | 0,7817561 |
A46 | 1,019718 | 0,0091227 | 2,18 | 0,029 | 1,001993 | 1,037756 |
A67 | 1,114359 | 0,0472381 | 2,55 | 0,011 | 1,025516 | 1,210899 |
Reprovado por falta (2) | ||||||
A04 | 0,4493922 | 0,1743865 | -2,06 | 0,039 | 0,2100473 | 0,9614661 |
A06 | 1,170785 | 0,0877677 | 2,10 | 0,035 | 1,010804 | 1,356086 |
Fonte: Elaboração própria.
O RRR informa quanto se altera (aumenta ou diminui) a chance de um evento acontecer em relação ao evento de referência, dado o acréscimo de uma unidade da variável explicativa (independente/previsora), mantidas as demais constantes. Se o valor de RRR é maior do que 1, significa que, quando a variável explicativa aumenta em uma unidade, a chance de o evento acontecer aumenta. Caso o valor de RRR seja menor do que 1, significa que, quando a variável explicativa (independente/previsora) aumenta em uma unidade, a chance de o evento acontecer diminui (FÁVERO, 2015).
Aumentando-se uma ação de fazer upload de arquivo para uma tarefa (A04), mantidas as demais constantes, a chance de o aluno ser reprovado por nota em relação a ser aprovado cai 84,91% (1 - 0,1508722 = 0,8491278 ||| 0,8491278 x 100% = 84,91%). Esse resultado referenda o fato de que fazer o upload de um arquivo para uma tarefa é uma atividade relevante para o sucesso do aluno.
Com relação à variável A46 (clicar em um tópico para discussão em um fórum), o risco relativo é de 1,019718. Significa que, quando a variável A46 aumenta em uma unidade, mantidas as demais constantes, a chance de o aluno ser reprovado por nota em relação a ser aprovado aumenta aproximadamente 1,97%, ou seja, um valor de acréscimo bem pequeno. Apesar de parecer estranho esse resultado, por meio da análise do comportamento das probabilidades de cada um dos eventos em função de cada variável explicativa que compõe o modelo, verificamos que isso acontece na medida em que se atingem determinadas quantidades de cliques. Esse achado acende o alerta para como o curso está estruturando o fórum como atividade formativa.
Analisando a variável A67, é depreensível o RRR=1,114359, que denota o aumento da chance de o estudante ser reprovado por nota em 11,44% em relação a ser aprovado, a cada acréscimo de visualização de um recurso, mantidas as demais constantes. Se a visualização de material disponibilizado no AVA (por exemplo, vídeos e textos em PDF) contribui negativamente para a aprovação do aluno, isso submete a xeque sua capacidade como elemento formativo na área da gestão, necessitando ser redefinido.
Na categoria 2 (reprovado por falta), a chance de um estudante ser reprovado por falta em relação a ser aprovado, quando faz o upload de um arquivo para uma tarefa (categoria de ação A04), cai 55,06% (1 - 0,4493922 = 0,5506078 || 0,5506078 x 100% = 55,06%), dado o crescimento de uma unidade nessa categoria de ação, mantendo-se as demais condições constantes.
O valor de RRR da variável A06 (visualizar todas as tarefas em uma mesma tela) é 1,170785, denotando o fato de que, aumentando em uma unidade essa categoria de ação, a chance de um aluno ser reprovado por falta em relação a ser aprovado cresce em 17,08%. Nesse caso, levanta-se a hipótese para ser verificada por outros estudos de que essa ação é factível de vir a dispersar os alunos.
Depreendemos que as variáveis componentes do modelo de RLM expressas nas categorias 1 (reprovado por nota) e 2 (reprovado por falta) representam categorias de ação capazes de ser promovidas (quando diminuem a chance de reprovação por nota ou falta) ou devem ser evitadas (quando aumentam a chance de reprovação por nota ou falta) na oferta das disciplinas do eixo da gestão da Licenciatura em Pedagogia a distância da Universidade estudada, devendo ser realizados outras pesquisas que traduzam as especificidades da formação e incidam no aperfeiçoamento do curso.
Convém salientar os resultados de outra investigação que revelaram como as ações referentes a visualizar todas as tarefas em uma mesma tela (A06), pesquisar termos nos fóruns, visualizar relatório de usuário de fórum e visualizar todos os recursos em uma mesma tela não influenciaram positivamente na probabilidade de aprovação. A autora expressou “[...] que elas podem conduzir o estudante a perder o foco no que está realizando no AVA Moodle.” (SALES, 2017, p. 187).
Destarte, concluímos que o modelo de predição obtido por meio da RLM para este conjunto de dados evidencia que os recursos e atividades utilizados no processo de aprendizagem são passíveis de incitar os estudantes a alcançar o bom resultado, com a consequente aprovação; entretanto, conforme salienta Sales (2017, p. 188), “[...] o modelo estatístico está subordinado ao desenho do curso”. Elementos como respeito ao ritmo do aluno, autonomia, flexibilidade, incentivo à interação, à formação de comunidades de aprendizagem e a redes de convivência são alguns fatores relevantes para se considerar na elaboração dos modelos pedagógicos para o desenvolvimento de conhecimentos, habilidades e atitudes na formação via EaD (VENDRÚSCOLO; BEHAR, 2016).
Considerações finais
Ao demandarmos estabelecer um modelo preditivo que auxilie no acompanhamento do desempenho dos estudantes do curso de Licenciatura em Pedagogia a distância de uma universidade localizada no Estado do Ceará (Brasil) e participante do Sistema UAB, no tocante à formação na área da gestão escolar, ficaram evidentes as categorias de ações que interferem diretamente no desempenho do estudante, seja para ser aprovado, reprovado por nota ou por falta. A RLM elucidou a probabilidade de ocorrência de cada categoria, revelando a necessidade de mudanças no design do curso, nos componentes curriculares da área da gestão, no sentido de garantir a diversidade de ações ensejadoras da aprendizagem dos alunos.
Resta evidente o fato de que as variáveis que compõem o modelo preditivo na categoria “reprovado por nota” - A04 (fazer upload de um arquivo para uma tarefa), A46 (clicar em um tópico de discussão em um fórum) e A67 (visualizar um recurso) - interferem no desempenho do estudante. A probabilidade de o aluno ser reprovado por nota, em comparação a ser aprovado, diminui em 85% com o envio da tarefa (A04), aumenta em aproximadamente 2%, ao clicar em um tópico para discussão em um fórum (A46); e aumenta em 11,43% com a visualização de recursos (A67), mantidas as demais condições constantes.
Na categoria “reprovado por falta”, as probabilidades são diferentes mantidas as demais condições constantes, uma vez que, para a ação A04 (fazer upload de um arquivo para uma tarefa), as chances de o aluno ser reprovado por falta diminuem em 55,06% em comparação a ser aprovado. Para a variável A06 (visualizar todas as tarefas em uma mesma tela), a probabilidade de ser reprovado aumenta aproximadamente 17%.
A analítica da aprendizagem resta viabilizada por meio da aplicação do modelo preditivo, ou aperfeiçoamento deste em futuros alunos do curso de Licenciatura em Pedagogia a distância da Universidade estudada. Com base nos resultados obtidos nesta pesquisa, a equipe do curso tem a ensancha de ampliar, para as disciplinas da área da gestão escolar, a quantidade da atividade tarefa no ambiente Moodle, de modo a aumentar a necessidade do envio de tarefa (A04), favorecendo a aprovação e diminuindo a reprovação por nota e por falta.
Também deveria atentar para o design dessas disciplinas no curso, particularmente para a atividade fórum e os recursos disponibilizados (textos, vídeos, áudios etc.), que deveriam influenciar positivamente na aprovação e não o contrário. Inclusive, a visualização de todas as tarefas em uma mesma tela é factível de trazer dispersão aos estudantes, favorecendo a reprovação por falta.
Defendemos o argumento de que os benefícios das análises aqui expressas vão servir de reflexão para todos os níveis da administração da Universidade sob estudo, a fim de que a formação de professores/gestores no curso de Licenciatura em Pedagogia a distância seja replanejada no plano da instituição, do currículo, professor conteudista, tutor, entre outros. O micronível da analítica da aprendizagem centra-se no suporte das atividades de aprendizagem individuais e colaborativas e o modelo preditivo pode otimizar os caminhos do aprendizado, adaptar-se às recomendações e aumentar o engajamento.
É possível delinear o caminho da formação no citado curso de Pedagogia a distância, de modo a evitar as reprovações por falta? São inseríveis elementos capazes de identificar as dificuldades dos alunos e promover intervenções para minimizá-las? É importante insertar algumas mudanças no AVA Moodle, de maneira que esse ambiente de aprendizagem se torne mais detalhado, visto que estudos indicam a preferência dos alunos por sistemas mais detalhados, com análises elaboradas e recomendações personalizadas para seus aprendizes. Para inserir recursos personalizados, é necessário utilizar os dados sociodemográficos dos estudantes, visando a mapear suas preferências e incluir recursos que favoreçam seu aprendizado. São necessárias mudanças na lógica perceptiva do sistema de EaD, demandando a composição de equipes bem formadas, dedicadas à educação a distância, integralmente.
Impõe-se registrar o fato de que, limitando a formação na área da gestão escolar a duas disciplinas com carga horária total de 136 h/a, o curso de Licenciatura em Pedagogia analisado não está cumprindo com o que preceitua a legislação do Conselho Estadual de Educação do Ceará. Demanda, pois, redefinição da matriz curricular para atender a essa legislação, bem como é preciso ampliar a formação para a gestão educacional com base nas recomendações da legislação nacional, que prevê carga de 400 horas para essa área.
A análise resultante da aplicação de um processo de LA, semelhante ao realizado nesta pesquisa, recorrendo à regressão logística multinomial ou a outras técnicas estatísticas, é individualizável por disciplina, por turma, estendível para todo um curso ou para vários cursos, abrangendo uma universidade ou todo um sistema de ensino, não restrita à modalidade de educação a distância. Essa aplicação está receptiva a reunir outras variáveis quantitativas e qualitativas, provenientes do emprego de instrumentos de pesquisa ou de bancos de dados institucionais, que favoreçam a ampliação das características e condições disponíveis para o estabelecimento de modelos preditivos cada vez mais robustos e adequados à realidade estudada.
A LA abre, por conseguinte, possibilidades para a organização de ambientes de aprendizagem personalizados, capazes de ajudar a promover as habilidades dos alunos para gerenciar, monitorar e refletir sua aprendizagem. Utiliza informações estáticas e dinâmicas sobre aprendentes e ambientes de aprendizagem, avaliando, provocando e analisando, para modelagem em tempo real, além de previsão e otimização de processos de aprendizagem, ambientes de aprendizagem e tomada de decisão educacional. Cabe à equipe responsável pelos cursos na modalidade de EaD fazer uso dessa área, definindo as estratégias para garantir a melhoria do ensino-aprendizagem.