texto em 
Inglês (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
A pesquisa relatada neste artigo foi realizada na capital de um dos estados da federação do Brasil. Nesta cidade, por decisão da prefeitura, as aulas presenciais foram suspensas em meados de março de 2020, em todas as instituições de ensino. Essa medida atendeu a protocolos sanitários da Organização Mundial da Saúde para reduzir a disseminação da pandemia da COVID-19.
Os sujeitos da nossa pesquisa são estudantes de uma escola que oferece ensino técnico integrado e profissionalizante de nível médio. Na época em que este texto foi escrito, a suspensão das aulas presenciais continuava em vigor. Para designar esta realidade nós utilizamos a expressão Educação/Ensino Remoto Emergencial (ERE) ao invés de Educação a Distância (EaD), conforme proposto por Arruda (2020) e por Saraiva, Traversini e Lockmann (2020).
Arruda (idem) distingue EaD e ERE para: 1- combater o que ele considera ser um preconceito contra a EaD, cuja origem é a ideia de que essa modalidade de educação teria qualidade inferior à educação presencial; 2- destacar o caráter precário de várias experiências de ERE, que diferem da EaD pela falta da infraestrutura necessária ou de uma formação adequada dos sujeitos envolvidos.
Já Saraiva, Traversini e Lockmann (idem) distinguem EaD e ERE em função das diferentes racionalidades que orientam essas duas modalidades de educação ou ensino. A primeira está baseada em uma racionalidade orientada por metas, sem a pretensão do controle de tempos e espaços nos quais os discentes realizam as tarefas. A segunda herdou a racionalidade disciplinar, que é característica do ensino presencial. A responsabilidade por controlar os comportamentos e atitudes dos estudantes durante as atividades acadêmicas foi, então, transferida dos professores para as famílias.
Em nosso contexto de pesquisa, o ERE foi iniciado em agosto de 2020, depois de cinco meses de paralisação das aulas. As desigualdades sociais e a inexistência de políticas públicas voltadas para a inclusão digital criaram dificuldades para as/os estudantes de escolas públicas terem acesso ao ERE. A escola onde realizamos a pesquisa utilizou recursos de seu orçamento para a criação de “bolsas digitais” com as quais as/os estudantes puderam pagar por provedores de acesso à internet. Ainda assim, uma parte desses sujeitos acessou as atividades do ERE em diminutas telas de celular. Posteriormente, a escola alugou notebooks e os emprestou aos estudantes que usavam celulares para estudar.
O início do ERE confrontou o grupo de professores de Física da escola com o desafio de conceber um curso quase inteiramente novo, que foi orientado pelo objetivo de suscitar, avaliar e manter o engajamento das/dos estudantes. Sabemos disso porque um dos coautores deste artigo faz parte desse grupo de professores. Em função desse objetivo, os professores elaboraram um questionário auto declarativo e anônimo no qual os estudantes foram convidados a avaliar o primeiro módulo do curso, além de seu próprio engajamento nas atividades de ensino e aprendizagem.
O grupo responsável pela pesquisa apresentada neste artigo decidiu analisar informações oriundas do questionário para responder às seguintes questões: (a) houve engajamento das/dos estudantes com o curso? (b) em caso positivo, como qualificar esse engajamento?
Além desta breve seção de introdução, o corpo deste manuscrito apresenta: na Seção II, uma descrição das características da escola e do ensino de Física oferecido às/aos estudantes, tanto antes da pandemia da COVID-19, quanto durante a crise sanitária que a acompanhou; na Seção III, o referencial teórico e a metodologia da pesquisa; na Seção IV, uma apresentação dos processos de construção dos dados da pesquisa, além de uma interpretação de seus resultados; na Seção V, uma avaliação geral dos resultados e das limitações da pesquisa, bem como de suas contribuições para docentes e pesquisadores.
CONTEXTO DA PESQUISA
A pesquisa foi realizada em uma escola pública federal profissionalizante de nível médio. As/os estudantes passam o dia inteiro na escola na qual ingressam por meio de um processo de seleção.1 A experiência de dois coautores desta pesquisa em conselhos de classe da escola mostra que a avaliação dos professores sobre o envolvimento das/dos estudantes nas diversas disciplinas é muito variada. A performance das/dos estudantes nas atividades avaliativas e as notas que eles obtêm nas disciplinas escolares também mostra variação significativa. Esses fatos podem ser considerados indícios de que o engajamento das/dos estudantes difere entre as disciplinas.
Na Física, a maioria das/dos estudantes apresenta desempenho acadêmico satisfatório, apesar de muitos temas complexos estarem incluídos na programação.2 Nós já realizamos algumas pesquisas nas quais os estudantes foram convidados a avaliar o curso introdutório de Física no primeiro ano (Paula e Talim, 2012 e 2015). A estratégia de convidar os estudantes para avaliar o curso de Física é uma prática adotada na escola há muitos anos. Os resultados de avaliações sucessivas indicaram que a grande maioria dos estudantes têm interesse sobre os temas tratados no curso.
Este histórico com vários indícios de engajamento dos estudantes no curso de Física não deu à equipe de professores boas expectativas em relação ao ERE, porque o curso sofreu algumas alterações profundas. Na escola onde realizamos a pesquisa, a Física é uma disciplina que ocupa quatro aulas semanais de cinquenta minutos agrupadas em duas aulas geminadas. Uma das aulas geminadas é realizada com todos os estudantes da turma reunidos em uma sala de aula convencional. A outra reúne metade dos estudantes organizados em pequenos grupos que trabalham em um laboratório com bancadas retangulares cercadas por cadeiras.
Mesmo nas aulas realizadas em sala de aula convencional, frequentemente, as/os estudantes também se reúnem em grupos e manipulam materiais experimentais. Em todos os temas tratados no curso, os conceitos, modelos e teorias da Física Escolar são apresentados como recursos para interpretação de resultados experimentais, da estrutura e do funcionamento de artefatos tecnológicos conhecidos pelos estudantes ou de situações cotidianas. Formalismos matemáticos que não contribuem para as/os estudantes realizarem essas interpretações são evitados. Além disso, há um grande investimento retórico na proposição e justificação de problemas que orientam cada atividade proposta. Essa orientação é coerente com a epistemologia de Bachelard (2001, p. 166) para o qual “(...) todo o conhecimento é uma resposta a uma questão. Se não houver uma questão, não pode haver conhecimento científico”.
No curso presencial, a interação entre os estudantes e o professor de Física sempre foi bastante intensa, como também intensa era a interação dos estudantes com seus pares. A interpretação dos fenômenos abordados no curso é feita de forma colaborativa, mediante interações discursivas entre o professor e as/os estudantes, aliadas às interações desses com seus pares. As atividades marcadas para casa são raras, sendo dimensionadas para serem realizadas em pouco tempo. Por isso, podemos dizer que o curso é quase totalmente presencial sendo, também, predominantemente experimental.
Com a instauração do ERE, roteiros de atividade, que levaram anos sendo aperfeiçoados, perderam sua utilidade. Os aplicativos com simulações de fenômenos físicos, que antes eram explorados como recursos auxiliares do “laboratório real”, se tornaram os principais recursos mediacionais das atividades de ensino e aprendizagem. Outra mudança foi a perda de um espaço síncrono para a circulação e o compartilhamento de sentidos e significados por meio de interações discursivas entre professores e estudantes. Com a pandemia da COVID-19 e as condições encontradas para a continuidade do trabalho pedagógico, a escola foi confrontada com a necessidade de instaurar um ERE predominantemente assíncrono.3
Esse tipo de ERE dificultou a escuta e o acolhimento das contribuições das/dos estudantes em esforços compartilhados de interpretação de fenômenos e acontecimentos (Freitas e Aguiar Júnior, 2012), bem como o uso de perguntas para orientar o pensamento desses sujeitos e ajudá-los a dominar conceitos, modelos e teorias das ciências (Chin, 2007). Como metade da carga horária do curso de Física ocorria dentro de laboratórios nos quais as/os estudantes trabalhavam em pequenos grupos, também houve prejuízos para as interações entre pares, cuja importância para aprendizagem já foi ressaltada por vários pesquisadores (Driver et al., 1999; Barbosa e Jófili, 2004).
Quando a decisão de iniciar o ERE foi tomada, uma equipe de servidores docentes e técnico-administrativos da escola fez uma consulta ao conjunto dos professores e separou as disciplinas escolares em dois grupos. Para a maioria dos professores, passou a existir um intervalo de, no mínimo, quatro semanas entre dois módulos consecutivos de interação com as/os estudantes.
Antes da pandemia, a escola já havia feito um contrato de utilização da plataforma GSuite da empresa Google.4 No início da pandemia, o Grêmio Estudantil fez uma consulta aos estudantes e reivindicou que as/os professoras(es) utilizassem uma única plataforma para a realização do ensino remoto. Os estudantes anteviram as dificuldades de enfrentar várias curvas de aprendizagem associadas a diferentes plataformas. Neste contexto, o acordo prévio da escola com a Google impôs, na prática, um uso muito intensivo do pacote de aplicativos do GSuite.5
Como sujeitos desse processo, os professores de Física adentraram na experiência de conceber um curso totalmente mediado por aplicativos dessa plataforma. Cada conteúdo do ERE de Física deu origem a um roteiro de atividade elaborado no Google Forms e a uma sala criada no Chat do GSuite. Salas de Chat específicas para cada atividade compuseram o principal canal usado para a interação assíncrona entre professores e estudantes. A interação síncrona, por sua vez, ficou restrita a encontros semanais entre os professores e suas turmas que foram realizados por intermédio do aplicativo Meet. A participação nesses encontros, todavia, era facultativa, assim como o acesso aos vídeos provenientes de suas gravações. A frequência nos encontros síncronos foi baixa. Por isso, acreditamos que a avaliação do curso feita pelas/os estudantes - que deu origem aos dados da nossa pesquisa - teve como foco as atividades assíncronas do ERE.
Na medida do possível, as atividades remotas estruturadas como formulários mantiveram algumas das orientações básicas do projeto pedagógico do curso de Física na modalidade presencial. Assim, links para vídeos de experimentos e explorações realizadas em laboratórios virtuais serviram como contexto para uma apresentação progressiva de diversas facetas dos conceitos da Física Escolar. Os conceitos continuaram, desta forma, sendo apresentados como recursos para interpretação de resultados experimentais, da estrutura e do funcionamento de artefatos tecnológicos ou de situações cotidianas. Além disso, os estudantes continuaram a ser confrontados com pedidos para formulação de previsões, elaboração de hipóteses e criação de explicações parciais para fenômenos com os quais elas/eles estavam sendo confrontadas(os).
REFERENCIAL TEÓRICO E METODOLOGIA DA PESQUISA
Todos os professores de Física da escola têm Doutorado em Educação e experiência em pesquisa. Um dos professores da equipe do primeiro ano, que não compõe o grupo responsável pela pesquisa relatada neste artigo, fez seu mestrado sobre o engajamento de estudantes e utilizou o trabalho de Fredricks et al. (2004) como uma de suas principais referências.6 Citar este fato é importante para entendermos a escolha dessa equipe de professores em elaborar um questionário para avaliar o engajamento dos estudantes com o curso.
Um dos professores de Física da equipe do primeiro ano é orientador dos dois estudantes de iniciação científica que compõem o grupo responsável pela realização da pesquisa. O grupo é composto, ainda, por um professor de Física aposentado na mesma escola. O grupo de pesquisa propôs alterações na primeira versão do questionário elaborado pelos professores de Física do primeiro ano. O questionário é, portanto, fruto da cooperação entre o grupo de pesquisa e o grupo de professores.
A análise dos dados do questionário e as conclusões da pesquisa relatada aqui foram elaboradas em reuniões do grupo de pesquisa. Os estudantes de iniciação científica participaram de todas as reuniões e contribuíram com a revisão da literatura. Tal revisão, todavia, não pôde ser apresentada neste artigo, porque o texto atingiu o tamanho máximo permitido pelo periódico e nós decidimos privilegiar a apresentação dos dados e a descrição de nossos procedimentos de análise, no espaço que nos era disponível. O segundo coautor concebeu toda a arquitetura da análise estatística. O primeiro coautor orientou os estudantes de iniciação científica, participou da concepção do formulário desde sua primeira versão7 e teve participação destacada na redação final do manuscrito.
O fato de termos utilizado informações oriundas de um questionário concebido e utilizado por professores como parte de sua estratégia de ensino, nos levou a acreditar que não seria estritamente necessário submeter nossa pesquisa a um comitê de ética (COEP), apesar desse procedimento ser o ideal. Lidamos com um cronograma de pesquisa muito apertado porque nos comprometemos com a equipe de professores a apresentar dados e análises que pudessem orientar possíveis alterações no ERE, com o intuito de suscitar ou manter o engajamento dos estudantes. A cooperação estabelecida entre o grupo de professores e o grupo de pesquisadores colocou um horizonte máximo de quatro semanas para iniciarmos e concluirmos a pesquisa.
Como pesquisadores experientes, ao tomarmos a decisão de realizar a pesquisa sem aguardar a autorização de um COEP, também levamos em consideração o fato de que nossos dados não foram produzidos para fins exclusivos da pesquisa e de que a resposta ao questionário era anônima e facultativa. Ademais, recebemos autorização dos professores de Física do 1º ano para fazer a pesquisa.
O engajamento dos estudantes com a escola ou seu engajamento em disciplinas escolares específicas se tornou um objeto de pesquisa de bastante destaque ao longo da década de 1990 e no início dos anos 2000. Apesar da grande variedade de concepções sobre o que é o engajamento (Christenson, Reschly e Wylie, 2012), existe relativo consenso de que esse construto serve para a previsão de resultados desejados para a aprendizagem acadêmica. De forma similar, o desengajamento é considerado capaz de prever a evasão escolar e está relacionado a toda uma série de comportamentos e atitudes que a prenunciam como a infrequência, o mau desempenho em provas e testes, a apatia, os problemas disciplinares, dentre outros (Klem & Connell, 2004).
Outro ponto de convergência sobre o construto engajamento, que é encontrado na literatura (Christenson, Reschly e Wylie, 2012; Fredricks et al., 2004; Fredricks et al., 2016), é a afirmação de que ele é multidimensional e envolve vários aspectos que, a depender dos autores, são nomeados como afetivos, emocionais, cognitivos, comportamentais, atitudinais, sociais, dentre outros. Em nossa pesquisa, nós adotamos a perspectiva de Fredricks et al. (2016) para quem o engajamento envolve quatro dimensões irredutíveis uma à outra, mas também interdependentes e indissociáveis: a comportamental, a cognitiva, a emocional e a social. A este respeito é importante dizer que embora a concepção de engajamento possua várias dimensões - para diversos autores - o engajamento é um construto único e assim deve ser interpretado.
De acordo com Fredricks et al. (2004), o engajamento comportamental diz respeito ao cumprimento das regras escolares pelos estudantes, a ausência de comportamentos inadequados, a participação, a atenção, a persistência e o esforço diante das atividades propostas. O engajamento emocional diz respeito às reações afetivas dos estudantes aos professores e às atividades, assim como o sentimento de pertencimento e identificação com a escola. O engajamento cognitivo está relacionado às estratégias usadas pelas(os) estudantes com o intuito de aprender, tais como as estratégias metacognitivas para resolver problemas e entender ideias complexas. A dimensão social, que foi introduzida no construto engajamento por Fredricks et al. (2016), é definida em termos do envolvimento desses sujeitos com as interações sociais que fazem parte dos processos de ensino e aprendizagem.
Durante nossa colaboração com a equipe de professores que elaborou o questionário de onde vieram os nossos dados, nós sugerimos o uso da concepção de engajamento proposta por Fredricks et al. (2016). Além do trabalho desses autores, nós encontramos na literatura vários outros trabalhos que apresentam instrumentos para a medida do engajamento por meio de questionários auto avaliativos (Wang et al., 2016; Gale et al., 2015; Wang et al., 2014; Wang et al., 2019; Veiga, 2016). As pesquisas supracitadas fizeram uso de questionários auto avaliativos que, todavia, foram concebidos para cursos presenciais. Para a educação a distância (EaD) nós encontramos poucos trabalhos, tais como os de Nasir et al. (2020) e Dixson (2012 e 2015).
Vários desses autores realizaram estudos pilotos com amostras de estudantes como etapa de validação de seu instrumento de pesquisa. Posteriormente, estudantes compuseram grupos focais por meio dos quais os pesquisadores procuraram entender como esses sujeitos interpretavam as questões propostas no questionário. Nós não realizamos essas e outras etapas de validação do questionário que utilizamos. Primeiro porque ele não foi elaborado especificamente para a nossa pesquisa. Segundo porque não dispúnhamos do tempo e das condições necessárias. Por isto, não realizamos uma validação completa do nosso instrumento de pesquisa, embora tenhamos efetuado procedimentos suficientes para responder às nossas questões de pesquisa, como veremos na próxima seção deste artigo.
Nosso questionário foi inserido em um formulário intitulado “Avaliação do Módulo Sobre Ondas”. Em sua introdução, os três professores de Física responsáveis pelo curso assumiram sua dificuldade em transformar um curso 100% presencial e fortemente experimental em um curso com atividades assíncronas e remotas. Na mesma introdução, esses sujeitos também assumiram o compromisso de se esforçarem para melhorar a experiência das/dos estudantes no módulo de ERE seguinte. Por fim, a introdução do formulário informou às/aos estudantes que elas(es) não seriam identificadas(os) e que a resposta era facultativa, embora importante para a melhoria do curso.
Depois da introdução, o formulário apresentou às/aos estudantes um total de vinte e sete afirmações, que são apresentadas no Apêndice e foram divididas em quatro seções com os seguintes temas: Comportamentos e Atitudes; Emoções e Sentimentos; Estratégias de aprendizagem; Interações com o Professor e os Colegas. Os estudantes deveriam interpretar as afirmações para, então, marcar uma das opções numéricas da seguinte escala tipo Likert: 1 - Discordo totalmente; 2 - Discordo parcialmente; 3 - Nem discordo nem concordo; 4 - Concordo parcialmente; 5 - Concordo totalmente.
Nós utilizamos as respostas ao questionário para realizar uma análise fatorial exploratória com o intuito de verificar se a estrutura de fatores sustentava as quatro dimensões do engajamento do nosso construto: comportamental, emocional, cognitiva e social. Também avaliamos a fidedignidade da escala total do engajamento e das escalas construídas para cada fator identificado. Os resultados dessas análises, obtidos com os programas SPSS8 (versão 23) e JASP9 (versão 0.13.1.0), são apresentados na seção seguinte.
A última seção do formulário recebeu o título de “Espaço aberto para sugestões e comentários” e apresentou um pedido para que os estudantes ajudassem os professores a melhorar o Ensino Remoto Emergencial imposto pela Pandemia da COVID-19. Este era o único espaço para resposta discursiva em todo o formulário.
CONSTRUÇÃO, APRESENTAÇÃO, ANÁLISE E INTERPRETAÇÃO DOS DADOS
Dos 172 estudantes regularmente matriculados nas seis turmas de primeiro ano, apenas 99 responderam ao questionário, o que corresponde a cerca de 58% dos estudantes. Para entender esta taxa de adesão ao convite de avaliação do primeiro módulo é importante considerar que: 1º- as/os estudantes já haviam realizado doze atividades remotas emergenciais de Física; 2º- tanto as atividades remotas, quanto o questionário de pesquisa foram apresentados às/aos estudantes por meio de formulários. Assim, a taxa de adesão ao questionário pode ter sido limitada: (a) pelo cansaço das/dos estudantes demandados a responder a sucessivos formulários; (b) pelo fato da resposta ao questionário da pesquisa ser apresentada como anônima e facultativa; (c) em virtude das/dos estudantes já terem iniciado o ERE de um novo grupo de disciplinas com as quais estavam começando a interagir, pela primeira vez, no mesmo período em que foram convidados para responder ao questionário.
1. Análise Fatorial Exploratória
Decidimos realizar uma análise fatorial exploratória dos dados para avaliar se as/os estudantes deram respostas coerentes aos itens do questionário e se as correlações entre as respostas sustentavam uma concepção multidimensional do engajamento. Nosso primeiro passo foi verificar se os nossos dados atendiam às condições necessárias para a realização de uma análise fatorial (Hair et al., 2009). A primeira condição diz respeito ao tamanho da amostra, que precisa ser igual ou maior do que 100. As 99 respostas dadas ao questionário nos colocaram no limite inferior da primeira condição para esse tipo de análise.
A segunda condição é o índice MSA, que varia entre 0 e 1. Os valores de MSA devem estar acima de 0,8. Esse índice avalia o grau de intercorrelações entre as variáveis e a adequação da amostra. O valor do MSA para os nossos dados foi 0,840. A terceira e última condição é a de que as correlações entre as variáveis apresentem valor significativo com p < 0,05. A verificação dessa última condição foi feita com o teste de esfericidade de Bartlett, cujo resultado também se mostrou adequado (X2(351) = 1616,918; p < 0,001).
Outro ponto importante da análise fatorial exploratória é a utilização de critérios para estabelecer o número de fatores que explicam adequadamente as correlações entre as variáveis. Hair et al. (2009, p. 114) afirmam que “uma base quantitativa exata para decidir o número de fatores a extrair ainda não foi desenvolvida”. Por esta razão, a decisão sobre a quantidade de fatores mantidos em uma análise fatorial deve combinar: 1º- uma fundamentação conceitual (quantos fatores devem estar na estrutura?); 2º - uma evidência empírica (quantos fatores podem ser razoavelmente sustentados?). Disso concluímos que a escolha do número de fatores está relacionada com a interpretação dada a esses fatores, bem como a sua relevância na explicação dos fenômenos estudados.
Tanto a partir da leitura da bibliografia sobre engajamento, quanto pelo acompanhamento do processo de desenvolvimento do questionário, nós tínhamos a expectativa de encontrar quatro fatores na análise de nossos dados, mas sabíamos da necessidade de encontrar evidências para sustentá-los. Um dos critérios que utilizamos para encontrar o número de fatores foi a análise paralela. Na análise paralela são realizadas várias simulações com dados aleatórios com as mesmas características dos dados reais (mesmo número de variáveis e de sujeitos). Uma análise fatorial é realizada em cada uma dessas simulações e os autovalores médios dos fatores obtidos com os dados aleatórios são comparados com os autovalores dos fatores da análise realizada com os dados reais. Os autovalores medem a porcentagem de variância explicada por cada fator, que deve ser maior do que a obtida apenas por acaso. Logo, deve-se considerar apenas os fatores com autovalores maiores do que os obtidos nas simulações com dados aleatórios.
A análise paralela costuma ser mais efetiva para a identificação do número de fatores do que outros métodos (Hayton, Allen e Scarpello, 2004). O programa JASP faz esse tipo de análise e, por isso, nós o utilizamos em nossa pesquisa. O resultado dessa análise mostrou que, em apenas três fatores, a análise fatorial com dados reais apresentava autovalores maiores do que os obtidos com os dados aleatórios.
Esse resultado contrariou nossa expectativa inicial de que as quatro dimensões do engajamento citadas no trabalho de Fredricks at al (2016) surgiriam da análise fatorial exploratória. Para interpretá-lo temos duas hipóteses. A primeira é a de que o tamanho da nossa amostra não foi grande o suficiente para permitir a diferenciação entre as dimensões cognitiva e comportamental do engajamento que, em nossos dados, apareceram como associadas a um único fator, como veremos a seguir. A segunda é a de que as/os estudantes podem ter interpretado os itens do questionário de maneira diferente daquela que nós o fizemos. A primeira hipótese é sustentada pelo fato do tamanho de nossa amostra ter ficado no limite inferior do necessário à análise fatorial. A segunda hipótese não pode ser devidamente apreciada, tendo em vista que nós não realizamos estudos pilotos qualitativos apoiados em grupos focais e/ou entrevistas para avaliar como os estudantes interpretavam as questões ou para solicitar que eles explicassem suas respostas.
Neste ponto da análise é muito importante esclarecer que o tamanho da amostra pode ser suficiente para possibilitar a análise fatorial e, ao mesmo tempo, não ser grande o suficiente para permitir uma diferenciação de todos os possíveis fatores. Este é um fato conhecido da análise de significância, onde diferenças que não são significantes em amostras pequenas podem passar a ser significantes caso se aumente o tamanho da amostra.
Tabela 1 Cargas fatoriais
| Fator 1 | Fator 2 | Fator 3 | Comunalidade | |
|---|---|---|---|---|
| Q_01 | 0,663 | 0,45 | ||
| Q_02 | 0,534 | 0,553 | ||
| Q_03 | 0,645 | 0,502 | ||
| Q_04 | 0,757 | 0,362 | ||
| Q_05 | 0,779 | 0,363 | ||
| Q_06 | 0,751 | 0,405 | ||
| Q_07 | 0,51 | 0,597 | ||
| Q_08 | -0,497 | 0,726 | ||
| Q_09 | 0,623 | 0,564 | ||
| Q_10 | 0,595 | 0,492 | ||
| Q_11 | 0,58 | 0,542 | 0,281 | |
| Q_12 | 0,771 | 0,285 | ||
| Q_13 | -0,81 | 0,342 | ||
| Q_14 | -0,853 | 0,251 | ||
| Q_15 | -0,631 | 0,548 | ||
| Q_16 | 0,758 | 0,374 | ||
| Q_17 | 0,646 | 0,462 | ||
| Q_18 | 0,654 | 0,446 | ||
| Q_19 | 0,97 | |||
| Q_20 | -0,596 | 0,622 | ||
| Q_21 | 0,505 | 0,598 | ||
| Q_22 | 0,565 | 0,633 | ||
| Q_23 | 0,524 | 0,56 | ||
| Q_24 | 0,547 | 0,546 | ||
| Q_25 | 0,651 | 0,497 | ||
| Q_26 | 0,754 | 0,421 | ||
| Q_27 | 0,499 | 0,695 |
Fontte Elaborada pelos autores a partir de dados oriundos do programa JASP (versão 0.13.1.0).
A Tabela 1 mostra o resultado obtido pelo programa JASP para as cargas fatoriais. Os textos das afirmativas Q_01 a Q_27 citados na Tabela 1 podem ser encontrados no Apêndice. A análise fatorial exploratória feita com o JASP identificou três fatores com o método de rotação Varimax. Apenas as cargas fatoriais iguais ou acima de 0,40 foram consideradas significativas, em acordo com o padrão que é utilizado nesse tipo de análise (Hair et al., 2009). A afirmativa Q_11 apresentou carga fatorial em dois fatores. Outro destaque dissonante é a afirmativa Q_19, que não apresenta carga fatorial alguma.
Em virtude destes resultados, as afirmativas Q_11 e Q_19 foram descartadas da nossa análise. No Apêndice, ambas aparecem destacadas em linhas de cor cinza, além de não conterem informações nas células apresentadas na terceira coluna. A exclusão de apenas duas afirmativas, aliada à presença de outras vinte e cinco que têm carga fatorial significativa e estão associadas a apenas um dos três fatores, é uma evidência da existência de uma estrutura fatorial consistente nas correlações. Juntos, os três fatores identificados na Tabela 1 explicam 51% da variância dos dados. Apesar de parecer baixo, esse percentual é considerado plenamente satisfatório para esse tipo de análise (Veiga, 2016; Gunuc e Kuzu, 2015; Nasir et al., 2020).
Nossa análise nos permitiu associar os fatores identificados na Tabela 1 com as dimensões do engajamento propostas por Fredricks et al. (2016), apesar de termos encontrado apenas três fatores em nossos dados. O Fator 1 inclui nove afirmativas: Q_01, Q_07, Q_08, Q_10, Q_12, Q_13, Q_14, Q_15 e Q_20 (ver Tabela 1). Uma leitura atenta dessas afirmativas, listadas no Apêndice, mostra que o Fator 1 está relacionado com sentimentos e emoções das/dos estudantes e, por isso, nós o associamos com a dimensão Emocional do engajamento.
Nova consulta à Tabela 1 e ao Apêndice mostra que o Fator 2 inclui nove afirmativas: Q_04, Q_05, Q_06, Q_09, Q_22, Q_23, Q_25, Q_26 e Q_27 e que todas estão todas relacionadas com a interação das/dos estudantes com o professor ou com seus pares. Por isto, nós associamos o Fator 2 com a dimensão Social do engajamento. Por fim, o Fator 3 contém sete afirmativas: Q_02, Q_03, Q_16, Q_17, Q_18, Q_21 e Q_24, que estão relacionadas aos comportamentos dos estudantes ou às suas estratégias de aprendizagem. Por isso, nós denominamos o Fator 3 como Cognitivo-comportamental e o interpretamos como uma combinação das dimensões comportamental e cognitiva propostas na literatura sobre engajamento.
A denominação dos três fatores encontrados na nossa análise fatorial foi introduzida na quarta coluna do Apêndice. Essa nova denominação e não a classificação original das afirmativas é que deve ser levada em consideração na continuidade desta seção dedicada à apresentação e análise dos dados.
2. Engajamento das/dos estudantes nos três fatores ou dimensões
Na segunda etapa da análise estatística, nós somamos as respostas dadas pelos estudantes aos vinte e cinco itens do questionário que restaram após o descarte das afirmativas Q_11 e Q_19. Para realizar esta soma, tomamos o cuidado de inverter a escala de valores para os cinco itens em que a opção pelo maior valor da escala indica menor engajamento. Os itens com essa característica aparecem na penúltima coluna do Apêndice com um asterisco, além de serem sucedidos pela palavra Invertida, situada entre parêntesis. A partir deste ajuste, o valor obtido com a soma dos vinte e cinco itens validados pela análise fatorial ficou situado entre 25 e 125. Nós utilizamos este valor para definir uma escala de engajamento geral dos estudantes.
Depois de obter essa escala de engajamento geral, nós iniciamos uma terceira etapa da análise estatística. Desta vez, reunimos os sete itens do questionário identificados com a dimensão Cognitivo-comportamental e utilizamos o mesmo tipo de soma acima descrito. Repetimos esse conjunto de operações para os nove associados com a dimensão Emocional e para os nove que foram interpretados como uma expressão da dimensão Social do engajamento.
Para facilitar a comparação dos resultados das somas efetuadas para as dimensões Cognitivo-comportamental, Emocional e Social do engajamento, nós decidimos realizar uma média na qual dividimos a soma das pontuações dos itens de cada dimensão pelo número de itens. Com essa média, garantimos que o valor obtido para o perfil de engajamento em cada fator ou dimensão ficasse situado entre 1 e 5.
Tabela 2 Estatística das escalas de engajamento
| 1- Geral | 2- Cognitivo-comport. | 3- Emocio. | 4- Social | |
|---|---|---|---|---|
| Média | 3,42 | 3,75 | 3,45 | 3,16 |
| Desvio-Padrão | 0,76 | 0,83 | 0,94 | 1,06 |
| Mínimo | 1,68 | 1,57 | 1,11 | 1 |
| Máximo | 4,88 | 5,00 | 4,89 | 5 |
Fonte: Elaborada pelos autores a partir de dados oriundos do programa JASP (versão 0.13.1.0).
A Tabela 2 apresenta os resultados do cálculo da média da escala de engajamento geral e as três médias das escalas de engajamento nas dimensões Cognitivo-comportamental, Emocional e Social.
Além dos valores médios, a Tabela 2 apresenta o desvio padrão e os valores máximo e mínimo de cada medida. Tendo em vista que os números situados entre 1 e 5 correspondem a um tipo de escala Likert, nós resolvemos interpretar o valor encontrado pelas operações acima descritas da seguinte maneira: (a) valores abaixo de 3 indicam baixo engajamento, que é tanto menor, quanto mais próximo de 1 o valor estiver; (b) valores acima de 3 indicam engajamento, que será tanto maior, quanto mais próximo de 5 o valor estiver.
Para avaliarmos a confiabilidade da escala de engajamento geral, bem como das escalas dos perfis de engajamento em cada uma das três dimensões mostradas na Tabela 2, nós recorremos ao cálculo do coeficiente alfa de Cronbach (Hair et al., 2009). Os resultados deste cálculo, que testa a consistência interna de cada escala, são apresentados na Tabela 3.
Valores desse coeficiente alfa acima de 0,8 indicam uma escala consistente e altamente fidedigna. Portanto, os dados da Tabela 3 mostram que as escalas que nós construímos são confiáveis e fidedignas.
3. Os dados e as questões de pesquisa
A esta altura da análise já podemos resgatar nossa questão de pesquisa. Os dados apresentados nas subseções anteriores trazem evidências da fidedignidade das escalas que criamos para avaliar o engajamento das/dos estudantes no curso, bem como nos ajudam a qualificar esse engajamento.
Analisando os dados da Tabela 2, vemos que as médias para os engajamentos Cognitivo-comportamental, Emocional e Social são diferentes. Antes de interpretar essas diferenças, nós decidimos verificar se elas eram estatisticamente significativas. Para isso, fizemos o teste ANOVA de medidas repetidas no SPSS, bem como um teste post hoc de Bonferroni, no mesmo programa. Combinados, esses testes mostraram que todas as diferenças eram significativas (F(1,72; 168,63) = 17,57; p < 0,001). Os dados da Tabela 2 mostram que o engajamento Cognitivo-comportamental foi o maior, seguido do Emocional e, por último, do Social.
Os valores médios das respostas dadas a cada uma das vinte e cinco afirmativas reunidas em nosso instrumento de pesquisa nos permitem entender melhor como o engajamento dos estudantes variou. Se considerarmos que valores iguais ou acima de 4,0 indicam alto engajamento, vemos que há três afirmativas de alto engajamento (Q_17, Q_18 e Q_21) na dimensão Cognitivo-comportamental (43% dos itens),10 duas afirmativas de alto engajamento (Q_08 e Q_20) na dimensão Emocional (22% dos itens) e nenhuma afirmativa com alto engajamento na dimensão Social.
As três afirmativas com alto engajamento na dimensão Cognitivo-Comportamental indicam que a maioria das/dos estudantes: (a) tentou relacionar o que estava estudando com o que aprendeu em atividades remotas anteriores. (b) tentou entender seus erros quando percebeu que os havia cometido; (c) se esforçou para realizar as tarefas e aprender, mesmo quando teve dificuldade. Essas afirmativas são exemplos claros do que Fredricks et al. (2004) consideram ser expressões de engajamento cognitivo e, mais especificamente, de estratégias metacognitivas para entender ideias complexas. As duas afirmativas com alto engajamento na dimensão Emocional, por sua vez, indicam que a maioria das/dos estudantes: (a) teve interesse pelos assuntos tratados; (b) não desistiu de lidar com assuntos difíceis de entender e os abandonou para passar a fazer as tarefas seguintes.
Podemos interpretar esse conjunto de achados da nossa pesquisa como um indicativo de que as atividades do ERE de Física apresentaram características capazes de permitir que as/os estudantes: (a) se mantivessem interessados; (b) vencessem os obstáculos com as/os quais foram confrontadas(dos); (c) estabelecessem relações entre os fenômenos estudados e os conceitos introduzidos para compreendê-los.
Uma segunda maneira de interpretar os mesmos achados, que não é incompatível com a anterior, diz respeito às características das/dos estudantes. Na seção dedicada à descrição do contexto da pesquisa deste manuscrito, nós chamamos a atenção para o fato de que as/os estudantes ingressam na escola através de um processo de seleção por concurso. Esse tipo de processo tende a selecionar as/os estudantes que conseguiram se manter engajados em sua experiência escolar anterior e que, por essa razão, provavelmente, dispõem das condições necessárias para aprenderem Física nas condições adversas do ERE oferecidas pela escola onde realizamos a pesquisa.
Tendo terminado, nos parágrafos anteriores, nossa interpretação das evidências de engajamento cognitivo-comportamental e emocional, nós decidimos finalizar esta seção com um destaque para as evidências de baixo engajamento dos estudantes na dimensão Social. Apenas uma afirmativa associada a essa dimensão (Q_27) apresentou valor significativamente maior do que três (valor médio de 3,84 no Apêndice). Trata-se da afirmativa na qual os estudantes dizem ter usado “outros recursos de comunicação (WhatsApp, por exemplo)” para interagir com seus colegas. De forma complementar, as afirmativas Q_05 e Q_06, que têm as duas menores médias dentre todos os itens do questionário, são justamente aquelas que expressam a insistência dos professores no uso das salas de Chat como canal de interação assíncrona.
Dados obtidos na questão discursiva do questionário - que ainda não foram citados na análise realizada até aqui - nos ajudam a complementar nossa interpretação do engajamento dos estudantes no curso. Trinta e três dos noventa e nove estudantes que responderam ao formulário fizeram uso do “Espaço aberto para sugestões e comentários”. Nós fizemos uma leitura atenta das respostas cujo conteúdo pôde ser resumido nas seguintes categorias: destaques positivo e negativo do curso, sugestões, reclamações e elogios. Vamos nos ater às manifestações mais frequentes.
Dez entre as trinta e três respostas fizeram referência ao uso de vídeos que explicam os conteúdos das atividades. As referências variaram entre: (a) elogios a introdução desse recurso a partir da metade do Módulo I, como resultado de uma reivindicação feita por muitas(os) estudantes; (b) reclamações sobre a ausência desse recurso no início do Módulo. Sete estudantes usaram diferentes palavras e recursos de linguagem para pedirem que os professores “ensinassem a matéria” antes de fazer perguntas sobre os assuntos tratados. Outras dez respostas discursivas apresentaram sugestões ou queixas sobre a forma escolhida pelos professores para interagirem com as turmas: o aplicativo Chat do GSuíte. Seis estudantes abordaram este tema ao criticarem diretamente a obrigatoriedade do uso do Chat. Outros quatro usaram o questionário para pedir que a plataforma WhatsApp fosse usada no lugar do Chat.
As respostas ao item discursivo do formulário deram origem a um texto de apresentação do Módulo II do ERE de Física, que foi enviado pelos professores para as/os estudantes antes do início dessa nova etapa do calendário escolar. No texto, os professores se comprometeram a atender a algumas sugestões e apresentaram justificativas para negar o atendimento a duas solicitações específicas. A primeira negativa foi para a solicitação de “explicar a matéria antes de fazer perguntas”.
Como justificativa para esta negativa, os professores disseram que era importante para as/os estudantes aprenderem a responder perguntas dentro de assuntos que elas/eles estavam apenas começando a compreender porque: (a) conviver com o desconforto gerado por essa situação é uma parte importante da aprendizagem em ciências; (b) para aprender uma ciência é preciso aprender como essa ciência funciona e como os cientistas produzem conhecimentos; (c) é uma situação comum nas ciências a necessidade de conviver com respostas apenas parciais para as perguntas e ter de raciocinar a partir de perguntas, mais do que a partir de respostas e de informações confiáveis. Embora não seja nosso objetivo, neste artigo, analisar esse discurso pedagógico dos professores, é importante ressaltar que ele revela aspectos importantes da concepção de ensino e de aprendizagem das ciências desse grupo de professores.
A segunda negativa dos professores foi dada para a sugestão de utilização do WhatsApp ao invés do Chat. Os professores afirmaram que haviam retirado a obrigatoriedade do uso do Chat, mas reiteraram que a criação de uma sala no Chat para cada atividade era a melhor maneira de permitir que as/os estudantes contassem com sua ajuda no caso de dúvidas. Para justificar, eles disseram que: (a) no Chat é possível iniciar uma nova conversa para cada nova dúvida; (b) quem acessa o Chat e encontra conversas já iniciadas pode inserir sua dúvida ou comentário nessas conversas ou iniciar uma nova conversa com uma dúvida diferente; (c) no Chat fica mais fácil encontrar respostas para dúvidas já tratadas pelo professor; (d) nenhuma dessas funcionalidades existe no WhatsApp, onde é difícil localizar e retomar um assunto já tratado anteriormente.
CONSIDERAÇÕES FINAIS
A pesquisa apresentada neste manuscrito apresentou evidências de engajamento de estudantes que realizaram um curso introdutório, remoto e emergencial de Física em condições adversas. Os resultados da pesquisa ajudam a entender quais aspectos do curso suscitaram maior e menor engajamento.
Ao invés das quatro dimensões do construto engajamento validadas no trabalho de Fredricks et al. (2016), nossa análise fatorial exploratória mostrou as dimensões comportamental e cognitiva fundidas em um único fator. Este resultado pode ser interpretado como um efeito do tamanho da nossa amostra, mas também como resultante das seguintes limitações da nossa pesquisa: (a) não envolvemos experts independentes na elaboração do nosso construto;11 (b) tivemos um prazo pequeno para realização da pesquisa e isso impossibilitou a realização de estudos pilotos qualitativos com grupos focais e/ou entrevistas para avaliar como os estudantes interpretavam as questões ou solicitar explicações para as respostas que esses sujeitos deram ao instrumento; (c) não triangulamos nossos dados com outras fontes de informação (gravações de encontros realizados no Meet ou análise das interações nos Chats criados para cada atividade, por exemplo).
Cientes dessas limitações, consideramos importante afirmar que nosso instrumento de pesquisa: (a) não foi submetido a uma validação robusta e completa; (b) não pode ser utilizado para aferir o engajamento de estudantes em aulas remotas em outros contextos. Mesmo com essas limitações, nossa pesquisa construiu evidências de engajamento das/dos estudantes e nos permitiu qualificar esse engajamento.
Além disso, gostaríamos de chamar a atenção para o fato de que trabalhamos em cooperação com a equipe de professores responsável pelo curso e que parte de nossos dados teve um impacto significativo e imediato em melhorias nos módulos seguintes do curso. Em suma, o principal mérito da nossa pesquisa é pedagógico e não teórico ou metodológico. É difícil para os professores realizarem pesquisas com prazos pequenos e a tempo de seus resultados interferirem no planejamento e na prática pedagógica. Daí a importância da colaboração entre equipes de professores e de pesquisadores, sempre que isso for possível.
Uma característica presente em vários instrumentos de medida ou avaliação de engajamento que nós encontramos na literatura é a adequação desses instrumentos às especificidades das atividades acadêmicas em relação às quais os estudantes estariam ou não engajados. Esta é uma característica que dificulta a reutilização completa e sem adaptações de instrumentos previamente validados em novos contextos.
As evidências que nós encontramos vieram de procedimentos de análise estatística acessados em dois softwares complementares: o SPSS e o JASP. Os procedimentos usados foram apresentados e descritos na quarta seção deste artigo. Nossos resultados sugerem que parte significativa dos estudantes apresenta engajamento em aspectos essenciais para a aprendizagem que estão associados às dimensões Emocional e Cognitivo-comportamental.
Esse é um resultado que merece destaque quando consideramos as condições adversas em que o ERE foi instituído na escola.12 A esse respeito, na introdução deste manuscrito, nós chamamos a atenção para o fato de que muitos estudantes acessaram as atividades propostas no primeiro módulo do ERE pelo celular. Por outro lado, na seção dedicada à apresentação do referencial teórico e à descrição da metodologia, nós informamos que os professores confessaram aos estudantes - na introdução do questionário - sua dificuldade em transformar um curso 100% presencial e fortemente experimental em um curso com atividades assíncronas e remotas.
Assim como Dixson (2015), nós acreditamos que a avaliação do engajamento em cursos a distância pode orientar os professores a promover as necessárias adaptações com o intuito de suscitar ou aumentar o envolvimento das/dos estudantes com suas experiências educacionais. Diferentemente dessa autora, no entanto, nós acreditamos que cursos presenciais contam com mais e melhores recursos do que os cursos a distância. Particularmente, no nosso caso, consideramos que o contexto no qual as/os estudantes vivenciaram o ERE era excepcionalmente desfavorável.
A despeito do enorme esforço pedagógico empreendido pelos professores: (a) houve uma transformação repentina de um curso cem por cento presencial e predominantemente experimental em um curso remoto; (b) as aulas de laboratório com equipamentos reais se tornaram inviáveis, o que acarretou em um empobrecimento dos recursos mediacionais utilizados no curso; (c) a interpretação de fenômenos e a utilização de ideias das ciências não pôde continuar a ser realizada de forma colaborativa, mediante interações discursivas síncronas entre o professor e as/os estudantes e desses com seus pares; (d) houve drástica redução das possibilidades de interação social dos estudantes com o professor e com seus colegas.
Pensando na pertinência do trabalho que apresentamos aqui para a comunidade de pesquisadores, nós acreditamos que um ponto positivo do esforço que realizamos foi o uso consequente das possibilidades oferecidas pela estatística para a compreensão de fenômenos educacionais, mesmo em situações em que não é possível realizar um estudo metodologicamente robusto e completo. Por fim, também acreditamos que nossa pesquisa contribui com um campo novo de pesquisas dedicadas a estudar os impactos da pandemia da COVID-19 para a educação escolar.
Quando consideramos o fato de estarmos ainda em plena pandemia, bem como os prazos normalmente exigidos para a produção e publicação de pesquisas, nós entendemos a limitação da quantidade e da qualidade dos trabalhos disponíveis sobre o tema, na época em que este manuscrito foi finalizado. Alguns artigos são relatos de experiência (Barbosa, Ferreira e Kato, 2020; Hoffmann et al., 2020; Silva e Ramos, 2020; Piffero et al., 2020), outros apresentam falhas metodológicas que comprometem o trabalho (Médici, et al., 2020). Há, ainda, aqueles que apresentam a imposição do ensino remoto como uma oportunidade para “inovações na educação” sem, todavia, apresentar dados consistentes que corroborem essa alegação (Carneiro et al.; 2020; Bezerra et al., 2020).
