Introdução

Em função da pandemia da Covid-19 que se alastrou pelo mundo, de imediato foram implantadas medidas de distanciamento social na maior parte dos países como uma das estratégias profiláticas restritivas preconizadas para conter o contágio. A área da educação foi particularmente afetada e, no Brasil, houve a decisão de interrupção das atividades presenciais de todas as instituições de ensino. Em função desse cenário, boa parte das escolas e das Universidades passaram a utilizar a tecnologia digital, que na maioria das vezes era proveniente da modalidade de Educação a Distância - EaD (^{CAMACHO et al., 2020}), para dar continuidade aos estudos remotamente, tendo sido denominado como Ensino Remoto Emergencial (ERE). Nesse mesmo período, a política educacional brasileira estava incentivando e ampliando as possibilidades da EaD em Instituições de Ensino Superior (IES) (^{FERREIRA; MOURÃO, 2020}), o que com as circunstâncias estabelecidas pela pandemia aceleraram as tendências já existentes para a vigência da modalidade em cursos superiores.

Em outros países do mundo também foram desenvolvidas estratégias educacionais para viabilizar o Ensino Superior durante a pandemia. Na Índia, várias IES já tinham iniciado esse processo de adoção do ensino remoto de forma voluntária anteriormente, tendo sido intensificadas as iniciativas durante a crise sanitária. A China criou um programa de aulas online (school’s out, class’s in) para garantir a continuação da aprendizagem mesmo sem as aulas presenciais. Nos Estados Unidos, cursos gratuitos foram disponibilizados através de grandes plataformas (e.g., Massive Open Online Courses - MOOCs) e em Portugal, o governo criou um website (https://apoioescolas.dge.mec.pt/) para oferecer ferramentas de ensino online gratuitas aos professores (^{CHAKRABORTY et al., 2021}).

Para regulamentar as medidas educacionais no Brasil, o Ministério da Educação (MEC) publicou a Portaria nº 343, de 17 de março de 2020, que autorizava a substituição das aulas presenciais por aulas em meios digitais, enquanto durasse a situação de pandemia. Tal medida funcionou como um reconhecimento do governo acerca da necessidade de haver alternativas para suprir o processo de ensino e aprendizagem que acontecia de forma presencial. A tecnologia, que em alguns momentos era vista como algo que poderia reduzir o grau de convívio social, tornou-se, durante a pandemia da Covid-19, uma forma de ampliar os encontros sociais e de permitir a continuidade das atividades educacionais, favorecendo a coletividade (^{SANTOS JÚNIOR; MONTEIRO, 2020}).

Porém, enquanto algumas IES adaptaram-se rapidamente à implantação do ERE, outras optaram pela interrupção das aulas, seja por uma dificuldade de acesso à internet por parte dos alunos, seja porque a mudança demandaria investimentos e um período de adaptação dos professores e da equipe técnica. A esse respeito, estudos apontam que o ERE, de modo geral, se mostrou desafiador a professores e alunos, especialmente em termos de um desempenho competente na realização das atividades nesse contexto (^{ADNAN; ANWAR, 2020}; NAJI et al., 2020).

Ao passo que a pandemia se estendeu além da previsão inicial, impossibilitando a volta às aulas presenciais no curto prazo, aquelas IES que não adotaram o ERE de imediato tiveram que desenvolver e aplicar novas estratégias, mesmo considerando as restrições de acesso de alguns alunos a internet e equipamentos tecnológicos. Nesse sentido, constataramse desigualdades entre estudantes, estando alguns em vantagem em termos de disponibilidade acesso, treinamento e uso das tecnologias digitais frente a outros que não dispunham de recursos suficientes para acompanhar as aulas online (^{PASINI; PAULA; DEMENECH, 2021}).

Apesar da variabilidade de estratégias pedagógicas adotadas pelas IES, todas utilizaram em algum grau da virtualidade nos seus processos de ensino-aprendizagem e interações professor-aluno. Cabe ressaltar que o novo modelo adotado, o ERE, não se configura como uma expansão ou variante da EaD, mas uma alternativa para afrontar um período atípico da história (^{HODGES, 2020}; ^{RONDINI; PEDRO; DUARTE, 2020}). Assim, o ERE foi definido como uma estratégia de ensino que tem como objetivo permitir o acesso aos conteúdos curriculares que seriam desenvolvidos presencialmente, caracterizando-se como uma mudança temporária nas estratégias pedagógicas para atender circunstâncias de crise (^{HODGES, 2020}; ^{RONDINI et al., 2020}). O modelo se diferencia da EaD visto que é considerado como uma solução momentânea, com estratégias educacionais adaptadas às condições e aos recursos disponíveis nesse período.

Um exemplo de diferença da EaD e do ERE seria a interação síncrona entre professor e aluno, que acontece na maioria das aulas desse ensino emergencial e que se distingue das estratégias pedagógicas dos cursos a distância - na maioria das vezes, assíncronas (^{HODGES, 2020}). Nesse sentido, o ERE exigiu do docente o uso constante de ferramentas interativas, a disponibilidade de conexão à internet, a organização e um senso crítico reflexivo sobre sua atuação (^{CAMACHO et al., 2020}). Com essa transformação instantânea da metodologia de ensino, mesmo os que já possuíam habilidades com a tecnologia, necessitaram ser capacitados para atuar com as novas ferramentas (^{BARBOSA; VIEGAS; BATISTA, 2020}).

O ERE também exigiu uma dedicação contínua dos estudantes, visto que a dinâmica espaço-temporal da sala de aula virtual requer certo domínio tecnológico e autodisciplina. Como aconteceu com alguns professores, uma parte dos estudantes também não estava preparada para essa mudança, apresentando dificuldades de adaptação (^{ABMES, 2020}), pois estava acostumada com o ensino presencial, que possui estabilidade, previsão, tempo e local demarcado (^{BEHAR; SILVA, 2012}). Muitos deles também tiveram que investir no desenvolvimento de uma autodisciplina para acompanhar o novo ritmo de estudos e se adaptar às condições ambientais em que as aulas ocorriam (^{SOUZA et al., 2021}).

Mas apesar do desconforto inicial, o ERE trouxe, além da oportunidade de continuidade do processo formativo, novas vivências e aprendizagens (^{GOEDERT; ARNDT, 2020}; ^{SANTOS JÚNIOR; MONTEIRO, 2020}), como o uso de distintas estratégias de aprendizagem e ferramentas tecnológicas (ANTONELLI-PONTI; VERSUTI; LOBO, 2020). Na maioria das IES, as aulas aconteceram via plataformas e recursos digitais, com maior frequência de forma síncrona, no horário das aulas que antes eram presenciais (^{SANTOS JÚNIOR; MONTEIRO, 2020}).

Diante desse contexto, mesmo os docentes e discentes que já possuíam certo domínio tecnológico precisaram passar por um processo de adaptação e de desenvolvimento de novas habilidades e atitudes (^{BARBOSA et al., 2020}). Tal domínio é fundamental para o desempenho de quem estuda ou trabalha utilizando esse tipo de ferramenta (^{ABBAD et al., 2015}), da mesma forma que as atitudes dos discentes em relação ao estudo a distância também são decisivas para o processo de aprendizagem.

Destarte, as estratégias pedagógicas oriundas do ensino remoto - quase sempre ancoradas em plataformas e recursos digitais e com um modelo de aulas síncronas - contribuíram para o desenvolvimento de habilidades e atitudes dos universitários (^{SANTOS JÚNIOR; MONTEIRO, 2020}). Entende-se que as habilidades se referem a processos cognitivos, motores e técnicos que estão relacionadas à aplicação produtiva do conhecimento, sendo construídas por meio da prática (^{ABBAD et al., 2015}; ^{BEHAR; SILVA, 2012}). Já as atitudes funcionam como um estado de prontidão, sendo organizado pela experiência e exercem uma influência diretiva e dinâmica sobre as respostas das pessoas a determinados estímulos (^{ALLPORT, 1935}). Também podem ser definidas como respostas avaliativas relativamente estáveis dadas por pessoas a entidades ou situações ou como percepções do indivíduo que podem influenciar suas intenções comportamentais e comportamentos (^{POMPÊO et al., 2015}).

Assim, no contexto do ERE, destacamos entre as habilidades a serem desenvolvidas nos discentes: a autodisciplina e o domínio tecnológico. A autodisciplina, foi considerada uma competência-chave para o enfrentamento desse período, com reflexos não só para o contexto acadêmico, mas também para a motivação no trabalho e o alcance de eficácia e bemestar (^{WANG et al., 2021}). Da mesma forma, o domínio das habilidades de uso de novas tecnologias mostrou-se fundamental para o desempenho de quem estuda remotamente. Sendo assim, muitos discentes que não tinham vivenciado anteriormente disciplinas online tiveram que investir, por um lado, no desenvolvimento de autodisciplina para acompanhar o novo ritmo de estudos e se adaptar às condições ambientais em que as aulas ocorriam (^{SOUZA et al., 2021}), e por outro, frequentar as aulas, antes presenciais, via plataformas e recursos digitais, de maneira síncrona (^{SANTOS JÚNIOR; MONTEIRO, 2020}).

O domínio de tais habilidades se entrelaça com as atitudes dos discentes em relação ao estudo a distância, com potencial de influência para o processo de aprendizagem (^{ABBAD et al., 2015}). Tais atitudes são influenciadas pela percepção tanto de utilidade como de facilidade de uso das tecnologias (^{POMPÊO et al., 2015}). Assim, apesar de o ERE ter características distintas da modalidade a distância, as atitudes em relação à EaD podem influenciar as vivências dos estudantes de graduação com o ensino remoto, que também requer certa abertura para a aprendizagem mediada por tecnologias (^{CARNEIRO et al., 2020}; ^{MOURÃO et al., 2020}; ^{SANTOS JÚNIOR; MONTEIRO, 2020}). Portanto, aqueles que conseguem visualizar maior utilidade na EaD e também apresentam maior domínio tecnológico, tendem a apresentar uma atitude mais favorável a esse tipo de ensino e uma intenção comportamental que favorece a modalidade (^{POMPÊO et al., 2015}) e, por conseguinte, seus resultados.

Dos estudantes de graduação que tiveram aulas remotas durante a pandemia da Covid- 1 9, espera-se que suas experiências associadas ao ERE estejam vinculadas positivamente à sua percepção de desenvolvimento profissional, favorecendo-o (^{BARBOSA et al., 2020}; ^{GUSSO et al., 2020}; ^{WANG et al., 2021}). Tal desenvolvimento pode ser entendido como um processo intencional e contínuo de aquisição e aperfeiçoamento de competências, presente na trajetória de diferentes ocupações laborais, que guarda relação com experiências pessoais, com transformações identitárias e com melhorias de desempenho (^{FERNANDES; MOURÃO; GONDIM, 2019}).

Dado que as experiências vivenciadas durante a graduação podem favorecer ou prejudicar o processo de desenvolvimento profissional dos discentes (^{MOURÃO et al., 2020}) e considerando as experiências tão inovadoras vivenciadas durante a pandemia, propiciando o desenvolvimento de novas competências, o contexto do ERE revelou, então, a necessidade de escalas que pudessem mensurar tanto a autodisciplina quanto o domínio tecnológico. Tais dimensões devem ser melhor investigadas, viabilizando diagnósticos sobre o nível de preparo de discentes, conforme essas habilidades, para se beneficiar do ensino remoto (emergencial ou não).

Assim, o objetivo deste estudo foi apresentar o processo de desenvolvimento e as evidências iniciais de validade da Escala de Experiências Associadas ao Ensino Remoto (EEAER). Como parte complementar das evidências de validade foram testadas relações com variáveis externas, a saber: atitudes frente ao EaD e desenvolvimento profissional, por serem efeitos esperados da exposição à modalidade emergencial relacionados às novas habilidades de interesse em questão. Para tanto, apresentamos a seguir o método adotado e os resultados obtidos nas diferentes etapas do processo: Construção e validação teórica da escala, definição e confirmação da estrutura empírica da escala, relação da escala com variáveis externas e comparação entre grupos de estudantes.

Método

O Método desta pesquisa envolve três etapas sucessivas: (i) a construção e validação teórica da escala; (ii) a definição e confirmação da estrutura fatorial da escala; e (iii) a relação da escala com variáveis externas e comparação entre grupos de estudantes. A criação dos itens derivou de duas fontes. A primeira foi a adaptação de alguns itens oriundos da Escala de Domínio de Habilidades de Uso de Novas Tecnologias da Informação e Comunicação em

Organizações (^{ABBAD et al., 2015}). A segunda fonte foram entrevistas com professores (n = 8 ) e alunos (n = 12) de graduação a distância. O objetivo dessas entrevistas era identificar recursos e estratégias, respectivamente, de ensino e de aprendizagem (e.g., criação de grupos em aplicativos como WhatsApp e Telegram; busca de ajuda por meio de recursos tecnológicos como e-mails e chat) adotados como adaptação ao ensino remoto durante a pandemia da Covid-19.

Também analisamos a definição constitutiva dos conceitos centrais presentes na medida, uma vez que contribui para a sua compreensão teórica e permite uma discussão mais consistente dos resultados para quando a escala for aplicada. Os conceitos centrais considerados para a construção dos itens da escala foram: autodisciplina e domínio tecnológico. A autodisciplina pode ser definida como o controle da própria força de vontade para cumprir o que se considera desejável e evitar aquilo considerado indesejável, ou ainda para postergar uma recompensa (^{KOHN, 2008}). Já o domínio tecnológico associa-se à alfabetização digital e à habilidade para entender e usar informação em múltiplos formatos, em uma extensiva gama de fontes digitais apresentadas por computadores e outros equipamentos (^{GOMEZ, 2004}). Na presente pesquisa, tal domínio refere-se a algumas competências tecnológicas especificamente voltadas para equipamentos e recursos direcionados ao processo de ensino e aprendizagem e à comunicação interpessoal.

A identificação das definições constitutivas (^{GOMEZ, 2004}; ^{KOHN, 2008}) e da escala que inspirou alguns itens (^{ABBAD et al., 2015}) remete ao suporte teórico deste estudo, o que constitui um aspecto fundamental para avaliar a validade de conteúdo e a estrutura interna da medida, considerada a propriedade mais importante de uma escala (^{SCHWEIZER, 2011}). Além disso, as entrevistas realizadas com professores e estudantes remetem ao suporte empírico da medida, no sentido de ouvir pessoas que estavam vivenciando, naquele momento, o ensino remoto e que, portanto, poderiam descrever com legitimidade suas experiências.

A Tabela 1 apresenta os 20 itens incluídos na primeira versão da escala, com base nos conceitos centrais definidos para a medida (autodisciplina e domínio tecnológico), identificando os itens que foram adaptados da Escala de Domínio de Habilidades de Uso de Novas Tecnologias da Informação e Comunicação em Organizações (^{ABBAD et al., 2015}) e os que vieram das entrevistas.

Após a escolha dos itens, foi realizada a validação teórica da escala por juízes. Participaram dessa etapa duas pesquisadoras com mais de 15 anos de experiência em EaD, que analisaram os itens propostos na primeira versão. As especialistas julgaram o grau de pertinência (1 - Nada pertinente a 5 - Totalmente pertinente) do item à dimensão teórica a que ele se associava (autodisciplina ou domínio tecnológico). Somente foram mantidos na escala os itens que receberam pontuação máxima pelas duas juízas em termos de pertinência e cuja classificação na respectiva dimensão foi consensual.

Assim, dos 20 itens inicialmente propostos, 15 itens permaneceram para as etapas seguintes, tendo sido excluídos os itens 08, 17, 18, 19 e 20. Em alguns casos de excessiva similaridade, as juízas informaram ter considerado como “totalmente pertinente” o item mais adequado para permanecer na escala. Elas optaram também por recomendar a retirada do item “Busquei ajuda do professor durante as aulas por meio de recursos tecnológicos (e-mails, chat, central de mensagem)” porque avaliaram que essa estratégia nem sempre seria aplicável, uma vez que a dinâmica do uso desse tipo de recurso para acessar os professores dependem não só do aluno, mas também da dinâmica combinada pelos docentes.

Além disso, as juízas também avaliaram que itens que diziam respeito a ações que eram muito frequentes no ensino presencial não necessitariam permanecer, uma vez que a Escala de Experiências Associadas ao Ensino Remoto voltava-se especificamente para este novo contexto. Nesse sentido, elas optaram por retirar quatro itens que diziam respeito a ações bastante frequentes no ensino presencial, quais sejam: acessar os documentos/materiais disponibilizados para as atividades acadêmicas; salvar em pastas os arquivos e documentos digitados no computador; converter arquivos para o formato PDF; e criar grupos em aplicativos de conversas como o WhatsApp. A lógica adotada pelas juízas era de que muitos discentes que não tinham vivenciado disciplinas online tiveram que se adaptar às ferramentas tecnológicas atuais e às estratégias de aprendizagem para dar continuidade ao seu processo formativo (^{BARBOSA et al., 2020}; ^{CARNEIRO et al., 2020}).

Para a definição da estrutura empírica da escala, foi feita a análise fatorial exploratória - AFE e, em seguida, a confirmação da estrutura pela análise fatorial confirmatória - AFC. Para a realização dessas análises, a escala foi aplicada a 971 universitários matriculados em cursos superiores presenciais, mas devido à pandemia da Covid-19, estavam em ensino remoto emergencial. A amostra total contou com a participação de estudantes de diferentes cursos de graduação, ofertados em 17 instituições públicas e privadas dos estados do Amazonas, Bahia, Goiás, Minas Gerais, Pernambuco, Paraná, Rio de Janeiro e Rio Grande do Sul, além do Distrito Federal, com predominância da região Sudeste (94,9%).

A faixa etária dos participantes variou entre 18 e 61 anos, com média de 28,6 anos (desvio padrão = 9,2) e mediana de 25 anos. A maior parte era do sexo feminino (66%), solteira (63,5%) e com renda familiar de mil a três mil reais (55%). No que tange à trajetória acadêmica: 18% estavam na fase inicial do curso (até o 3º período), 39% estavam na fase intermediária (4º ao 6º) e 43% no final do curso (do 7º período em diante).

A EEAER continha 15 itens, subdivididos nas dimensões teóricas: Autodisciplina (4 itens) e Domínio Tecnológico (11 itens), que avaliam a adaptação ao ERE. Os itens eram respondidos por escala tipo Likert de concordância variando de discordo fortemente (1) a concordo fortemente (5). O questionário permitia que, caso o estudante não tivesse vivenciado algumas das situações descritas (por exemplo: “Consegui enviar arquivos que foram solicitados nas atividades acadêmicas”), ele marcasse a opção “não se aplica”. Isso era importante, pois nem todos os discentes foram expostos durante o ERE a todas as situações descritas na medida.

A coleta de dados foi realizada online, sendo a pesquisa divulgada por meio de emails, redes sociais e aplicativos de troca de mensagens, no período de setembro de 2020 a fevereiro de 2021. Os participantes tinham acesso inicialmente ao Termo de Consentimento Livre e Esclarecido - TCLE e somente aqueles que concordaram com as condições da pesquisa eram direcionados a responder às questões.

As análises iniciais foram realizadas com apoio do software Statistical Package for Social Science (SPSS, versão 23.0) para verificar as cargas fatoriais e o índice de confiabilidade das escalas utilizadas neste estudo (descritas adiante na Etapa 3). Não houve a necessidade de análise da distribuição de casos omissos, pois na coleta de dados online os itens eram de resposta obrigatória. Na sequência, a AFE e a AFC foram realizadas com apoio do software Jamovi, versão 1.6.3.

Na AFE, foi utilizado o critério de Kaiser-Meyer-Olkin (KMO), para analisar a fatorabilidade da matriz de dados. O Teste de Esfericidade de Bartlett, embora tenha sido significativo (p < 0,01), não permite uma avaliação tão precisa, uma vez que amostras maiores - como a do presente estudo - tendem a gerar resultados significativos nesse tipo de teste. Também foram analisadas as correlações na matriz de dados que foram bastante frequentes e elevadas. Em termos das cargas fatoriais, na AFE, foi adotado como ponto de corte o valor de 0,40 (^{HAIR et al., 2019}).

Na AFC, o método de estimação foi o ML (Maximum Likelihood). Como índices de confiabilidade foram usados o Alfa de Cronbach (α) e o Ômega de McDonald (ω) (^{LUCKE, 2005}). As faixas desses parâmetros foram classificadas da seguinte forma: < 0 ,60 = inadequados; 0,60 a 0,69 = fidedignidade marginal; 0,70 a 0,79 = aceitável; 0,80 a 0 ,89 = boa; e 0,90 ou mais = excelente (^{HAIR et al., 2019}). Para análise do ajuste dos modelos, adotou-se como critérios: CFI (> 0,90), TLI (> 0,90), RMSEA (< 0,08) e SRMR (< 0 ,08) (^{BROWN, 2015}).

Para a terceira etapa de relação da escala com variáveis externas e comparação entre grupos de estudantes, foi testada a relação da Escala de Experiências Associadas ao Ensino Remoto - em suas dimensões de autodisciplina e domínio tecnológico - com os construtos de atitudes frente à EaD e desenvolvimento profissional. A escolha dessa variável externa se deu porque acreditamos que o domínio tecnológico guarde relação direta com as atitudes dos discentes em relação à EaD, uma vez que elas são influenciadas pela percepção de utilidade e de facilidade de uso (^{POMPÊO et al., 2015}). Dessa forma, aqueles que conseguem visualizar maior utilidade na EaD, conseguem ter mais autodisciplina e detêm maior domínio tecnológico, tenderiam a apresentar uma atitude mais favorável a esse tipo de ensino e uma intenção comportamental que favorece a modalidade (^{POMPÊO et al., 2015}; ^{SOUZA et al., 2021}).

De forma similar, seria de se esperar que, como a experiência no período pandêmico foi muito inovadora, ela despertou o desenvolvimento de novas competências, sobretudo relacionadas ao uso de ferramentas digitais, o que pode contribuir para o desenvolvimento profissional dos universitários. Além disso, o próprio modelo de desenvolvimento profissional tem a formação como um de seus principais elementos, presente na trajetória de diferentes ocupações laborais (^{FERNANDES et al., 2019}). Nesse sentido, as experiências vivenciadas durante a graduação podem favorecer ou prejudicar o processo de desenvolvimento profissional dos discentes (^{MOURÃO et al., 2020}), razão pela qual consideramos relevante avaliar a relação entre a Escala de Experiências Associadas ao Ensino Remoto e a Escala de Percepção de Desenvolvimento Profissional.

Em termos metodológicos, foi utilizada a mesma amostra já descrita anteriormente e, portanto, os mesmos procedimentos de coleta de dados. Os instrumentos de coleta de dados incluíram não só a EEAER, mas também a medida relativa às atitudes sobre EaD e a medida relativa ao desenvolvimento profissional, ambas descritas a seguir.

A Escala de Atitudes sobre Treinamento a Distância (^{POMPÊO et al., 2015}) é uma escala unifatorial, composta por nove itens, associados a uma escala Likert de concordância (1 = discordo fortemente e 5 = concordo fortemente). A versão original apresentou um Alpha de Cronbach de 0,90, com cargas fatoriais variando entre 0,43 e 0,79, enquanto na presente pesquisa o Alpha foi de 0,76 e as cargas fatoriais variaram de 0,50 a 0,74. Considerando a natureza do público-alvo - alunos em ensino remoto emergencial - foram realizadas adaptações no texto de alguns itens, uma vez que eles eram voltados para treinamentos realizados a distância. Por exemplo, o item “Considero-me habilidoso(a) como participante de cursos a distância” foi alterado para “Considero-me habilidoso(a) como participante de cursos ou de disciplinas a distância”.

A Escala de Percepção Evolutiva do Desenvolvimento Profissional - EPEDP (^{MOURÃO et al., 2020}) é unifatorial e contém 13 itens associados a uma escala Likert variando de 1 (Nada preparado) a 5 (Totalmente preparado). No estudo original apresenta grau de confiabilidade mensurado pelo Alpha de Cronbach de 0,94 e cargas fatoriais entre 0 ,62 e 0,84. No presente estudo, adotou-se uma versão reduzida de seis itens, que obteve um Alpha de Cronbach de 0,91 e cargas fatoriais variaram de 0,80 a 0,86. Um exemplo de item é “Propor melhorias para minhas atividades profissionais”.

Ainda, algumas análises complementares foram realizadas para a comparação dos escores dos estudantes que tinham ou não experiência prévia com a EaD, tendo a finalidade de verificar se aqueles já expostos a experiências anteriores de estudar online, de um modo planejado e voluntário, poderiam apresentar mais facilidade na adaptação ao ERE. Para tanto, foram realizados testes t de Student, com análise prévia da assunção de homogeneidade de variância (teste de Levene) e análise do tamanho do efeito pelo d de Cohen (^{ESPÍRITO SANTO; DANIEL, 2017}). No que diz respeito à relação com as demais variáveis externas, foram realizadas correlações de Pearson (r) (p < 0,01).

Resultados

A matriz de dados apontou uma boa correlação entre os itens, com elevado valor de KMO (0,89). A indicação do número de fatores confirmou a estrutura teórica inicialmente proposta, uma vez que tanto o método de Kaiser (eigenvalues maiores que 1), quanto o método da análise paralela (^{DAMÁSIO, 2012}) indicaram a existência de dois fatores: Autodisciplina e Domínio Tecnológico. Nessa etapa da AFE, todos os 15 itens foram mantidos, sendo explicada 45% da variância. A Tabela 2 expõe as cargas fatoriais dos itens que variaram de 0,57 a 0,85 na dimensão Autodisciplina (α = 0,80) e de 0,44 a 0,74 na dimensão Domínio Tecnológico (α = 0,79).

No segundo momento, foi realizada a análise fatorial confirmatória - AFC. Dentre os 1 5 itens advindos da AFE, somente um foi excluído antes da realização da AFC, por não atender ao ponto de corte mínimo (cutoff de 0,50) recomendado para a AFC (^{HAIR et al., 2019}). O item excluído foi “Consegui baixar aplicativos que me auxiliaram no processo de estudo a distância” (domínio tecnológico), possivelmente sua carga fatorial pode ter sido mais baixa em função de muitos estudantes não terem apresentado essa necessidade de baixar aplicativos, já que muitas vezes as plataformas utilizadas eram as oferecidas pela própria instituição.

O primeiro modelo com os 14 itens não apresentou índices satisfatórios (TLI = 0,886; CFI = 0,908; RMSEA = 0,080), sendo necessário executar a etapa seguinte que foi uma análise da correlação entre os erros dos itens, apontados pelo Modification Index (MI). Tal análise não apontou cargas cruzadas (crossloadings) entre os itens das duas dimensões, mas indicou elevada correlação nos erros de quatro pares de itens. Como regra geral, optamos por manter o item com maior carga fatorial.

Assim, no par “Utilizei sem dificuldades as funções dos aplicativos/ferramentas usados nas atividades” e “Acessei com facilidade os ambientes virtuais utilizados para as atividades acadêmicas” (MI = 373,2) permaneceu o segundo item. Dentre o par “Consegui criar links para encontros virtuais com colegas e/ou professores” e “Consegui compartilhar a tela do computador facilmente para apresentar trabalhos”, (MI = 95,9) foi excluído o primeiro item. No par “Consegui enviar os arquivos que foram solicitados nas atividades acadêmicas” e “Consegui acessar os documentos/materiais disponibilizados para as atividades acadêmicas” (MI = 92,6) foi excluído o segundo item. Por fim, entre o par “Consegui compartilhar a tela do computador facilmente para apresentar trabalhos” e “Consegui usar recursos tecnológicos para realizar trabalhos em grupo” (MI = 68,0), foi excluído o segundo item.

Após a retirada desses quatro itens, todos pertencentes à dimensão Domínio Tecnológico, obtivemos um modelo que sinaliza para um bom ajuste dos dados ao modelo hipotetizado. O qui-quadrado permaneceu significativo, o que já seria esperado em função do elevado tamanho da amostra (χ2/gl = 4,67), mas os indicadores TLI e CFI apresentaram valores satisfatórios 0,942 e 0,956, respectivamente. O RMSEA também confirmou que o segundo modelo é mais parcimonioso 0,071 (Tabela 3).

A correlação entre as dimensões Autodisciplina e Domínio Tecnológico foi de 0,43 e suas cargas fatoriais acima de 0,50 para todos os itens (Figura 1). A fidedignidade da medida foi mensurada pelo Alpha de Cronbach e pelo Ômega McDonald, cujos valores foram idênticos (0,80) para a dimensão Autodisciplina e para a dimensão Domínio Tecnológico (0,87). Assim, a versão final da escala apresenta estrutura bifatorial e 10 itens.

Fonte: autoras.

Figura 1 Resultado final da Análise Fatorial Confirmatória da Escala Experiências Associadas ao Ensino Remoto 

Os resultados das análises da relação da escala com variáveis externas indicam que as correlações das dimensões de autodisciplina e domínio tecnológico com as atitudes em relação à EaD são significativas, mas de baixa magnitude, respectivamente, r = 0,18 e r = 0,21. Tal resultado reforça a ideia de que EaD e ERE são distintos e que as dimensões das experiências associadas ao ensino remoto no período de crise sanitária apresentam baixa ligação com as atitudes em relação à EaD. Já as correlações entre autodisciplina e domínio tecnológico com o desenvolvimento profissional (r = 0,31 e r = 0,24, respectivamente), indicam uma conexão positiva das experiências associadas ao ERE com o desenvolvimento discente.

Os resultados dos testes t comparando universitários que estavam vivenciando a primeira experiência com aulas remotas e os que já tinham experiência prévia com EaD indicaram uma diferença significativa nas médias das atitudes em relação à EaD (t (429) = 2 ,38; p < 0,05), bem como nas dimensões autodisciplina (t (429) = 4,34; p < 0,01) e domínio tecnológico (t (356) = 3,60; p < 0,01). Os tamanhos do efeito mensurados pelo d de Cohen para a autodisciplina e para o domínio tecnológico foram elevados (d = 0,55 e 0,45, respectivamente), indicando que a experiência anterior com a EaD foi decisiva para a adaptação ao ERE durante a pandemia.

Considerações Finais

O presente estudo teve como objetivo apresentar evidências iniciais de validade da Escala de Experiências Associadas ao Ensino Remoto - EEAER. A medida foi desenvolvida a partir da adaptação de instrumento já existente na literatura e do levantamento de informações junto aos principais atores expostos ao ERE durante a pandemia, de forma a avaliar a autodisciplina e o domínio tecnológico daqueles que estavam vivenciando experiências acadêmicas nesse período. Também foi testada a relação dessa escala com variáveis externas (atitudes em relação à EaD e percepção evolutiva de desenvolvimento profissional dos universitários durante a pandemia). O trabalho foi desenvolvido em três etapas sucessivas, desde a construção da escala, passando pela AFE e AFC, até o teste de sua relação com as variáveis mencionadas.

O objetivo do presente estudo foi atingido, uma vez que a estrutura fatorial da escala foi condizente com os aportes teóricos adotados (^{ABBAD et al., 2015}; ^{BARBOSA et al., 2020}; ^{GOMEZ, 2004}; ^{KOHN, 2008}; ^{POMPÊO et al., 2015}; ^{SOUZA et al., 2021}) e suas qualidades psicométricas adequadas (consistência interna > 0,80 e cargas fatoriais > 0,50) (^{HAIR et al., 2019}). Além disso, as relações com as variáveis externas confirmam as evidências iniciais de validade da medida, uma vez que a EEAER se correlacionou tanto com as atitudes em relação à EaD, quanto com o desenvolvimento profissional (^{FERNANDES et al., 2019}; ^{MOURÃO et al., 2020}).

Assim, o modelo com melhores propriedades psicométricas e consistência teórica foi encontrado por meio de técnicas de análise de dados exploratórias e confirmatórias que apresentam uma escala curta (10 itens) que permite mensurar a autodisciplina (4 itens) e o domínio tecnológico (6 itens) no contexto do ensino remoto - emergencial ou não, já que os itens permitem analisar o grau de adaptação e preparo de alunos para estudar mediados por tecnologias digitais, considerando um conjunto de competências fundamentais para garantir um bom aproveitamento durante o curso e rendimento acadêmico.

Ao longo do processo de análise de dados, alguns itens foram retirados por terem apresentado elevado valor de semelhança com outros itens, o que acarretava um modelo pouco parcimonioso, conforme indicado pelos índices de ajuste do modelo (^{HAIR et al., 2019}). A decisão do item que iria permanecer levou em conta o valor da carga fatorial, em que optamos por aqueles que apresentavam carga mais elevada e, portanto, uma contribuição maior para a estabilidade da medida em aplicações futuras. Mas para além dos indicadores estatísticos, a retirada desses itens também levou em conta questões teóricas ou práticas, conforme discutido a seguir.

O item “Utilizei sem dificuldades as funções dos aplicativos/ferramentas usados nas atividades” foi retirado em função da elevada similaridade com o item “Acessei com 15 facilidade os ambientes virtuais utilizados para as atividades acadêmicas”. Ambos os itens abordavam o grau de facilidade/dificuldade de uso dos recursos tecnológicos para realização das atividades acadêmicas, no entanto, o segundo item, além de ter uma carga fatorial maior, apresentava a vantagem de remeter aos ambientes virtuais, o que é condizente com o dado de que 78% das IES particulares utilizaram estratégias de ensino remoto para dar continuidade imediata aos cursos de graduação no início da pandemia, adotando os ambientes virtuais até então utilizados somente pela modalidade EaD (^{ABMES, 2020}).

A análise de dados também identificou correlação elevada do item “Consegui compartilhar a tela do computador facilmente para apresentar trabalhos” tanto com o item “Consegui criar links para encontros virtuais com colegas e/ou professores”, quanto com o item “Consegui usar recursos tecnológicos para realizar trabalhos em grupo”. Nesse caso, a opção foi manter o item referente ao compartilhamento de tela do computador, porque nas entrevistas realizadas com os discentes e docentes, este foi um aspecto bastante abordado. Muitos relatavam que não tinham experiência com isso e que, durante a aula, tinham dificuldades quando precisavam compartilhar suas telas. Essa dificuldade decorria de dois motivos principais, a saber: (i) há diferentes formas de fazer o compartilhamento (e.g., todas as telas do computador, somente a tela em uso ou uma tela específica dentre todas as que estão abertas); e (ii) as plataformas para as aulas remotas adotam sistemas distintos - algumas permitem que todos os presentes compartilhem suas telas e, em outras, o compartilhamento depende da liberação da pessoa que é a responsável pela sala virtual (host). Já a criação de links para encontros virtuais foi relatada como algo menos frequente e também mais fácil de ser gerenciado porque as plataformas apresentam formas mais simples de criar tais links. E o uso de recursos tecnológicos para realizar trabalhos em grupo era algo que a maioria dos estudantes já usava, mesmo quando os cursos estavam no formato presencial.

Por fim, no par “Consegui enviar os arquivos que foram solicitados nas atividades acadêmicas” e “Consegui acessar os documentos/materiais disponibilizados para as atividades acadêmicas”, mantivemos o primeiro item porque nas entrevistas com estudantes e professores, ambos relataram que o processo de download costuma ser mais conhecido pelas pessoas do que o processo de upload, que é menos frequente no cotidiano acadêmico, especialmente de quem estuda na modalidade presencial. Nesse sentido, como a escala voltase para uma adaptação ao contexto do ensino remoto, é importante que permaneça o item que requer maior adaptação por parte dos discentes, uma vez que o ensino não presencial requer adaptação e estratégias distintas (^{ANTONELLI-PONTI et al., 2020}).

O fato de a escala ser curta facilita a sua aplicação junto com outras medidas e atende também a uma prerrogativa de coleta de dados mais ágil e menos enfadonha, de acordo com uma tendência de usar instrumentos menores (^{ROMERO et al., 2012}; ^{SCHWEIZER, 2011}). Ademais, permite e estimula a realização de diagnósticos rápidos e fidedignos para a tomada de decisões na área educacional, com a finalidade de oferecer suporte aos alunos, de maneira personalizada, para se beneficiarem dos estudos na modalidade remota, como na disponibilização de treinamentos específicos para desenvolver as habilidades requeridas indicadas a partir da aplicação da EEAER.

Considerando a versão final da medida, os indicadores psicométricos foram bastante favoráveis, com cargas fatoriais elevadas e consistência interna satisfatória (tanto pelo Alfa de Cronbach quanto pelo Ômega McDonald). Vale pontuar que a exclusão de quatro itens, apoiada em critérios estatísticos, não viola a adequação da medida proposta, uma vez que tais competências devem ter sido menos requeridas dos alunos (como por exemplo, realizar trabalhos em grupo ou criar links para encontros virtuais com colegas ou professores) ou já estavam contempladas nos itens mantidos na escala.

Os indicadores CFI, TLI, RMSEA e SRMR sugeriram um modelo parcimonioso e de bom ajuste dos dados ao modelo hipotetizado. Além disso, a relação da escala com variáveis externas indicou que as dimensões de autodisciplina e domínio tecnológico tendem a apresentar escores mais elevados entre os discentes que já tinham alguma experiência com a EaD, o que encontra respaldo na literatura da área (^{ABBAD et al., 2015}; ^{POMPÊO et al., 2015}; ^{SOUZA et al., 2021}) e amplia a validade da EEAER. Ainda acerca da relação com variáveis externas, a autodisciplina e o domínio tecnológico apresentaram relação positiva com as atitudes em relação à EaD (^{ABBAD et al., 2015}; ^{POMPÊO et al., 2015}) e a percepção de desenvolvimento profissional dos discentes (^{FERNANDES et al., 2019}; ^{MOURÃO et al., 2020}). Dessa forma, os resultados permitem recomendar o uso da escala que foi desenvolvida.

A aplicação da escala permite uma autoavaliação do estudante acerca tanto do seu domínio tecnológico para situações de ensino remoto, como também da sua capacidade de se organizar e manter estratégias que lhe permitam um bom aproveitamento dessa forma de ensino. Além disso, a aplicação da EEAER permite que gestores e professores habilidades e atitudes dos discentes em relação ao ensino remoto, possibilitando o desenvolvimento de estratégias mais eficazes, seja em termos pedagógicos, seja em termos de infraestrutura ofertada pelas IES. Dessa forma, professores e gestores podem adaptar estratégias de aprendizagem à realidade de seus estudantes e estimular vivências que propiciem o domínio tecnológico e a autodisciplina. As investigações com o uso dessa escala ganham maior relevância no contexto pós-pandêmico, em que há uma tendência de aumento do ensino híbrido nos cursos de graduação, sobretudo considerando as experiências e aprendizagens ocorridas durante o ERE. Além disso, o uso da escala também permitirá que os pesquisadores dessa temática desenvolvam novos estudos e ampliem as discussões teóricas acerca das experiências associadas ao ensino remoto.

Mesmo diante dos resultados positivos que permitem recomendar o uso da EEAER, há limitações a serem relatadas. Grande parte da amostra foi de estudantes da região Sudeste, que costuma apresentar melhor acesso à internet, quando comparada a outras regiões brasileiras. Essa questão é relevante sobretudo porque, entre as dificuldades de adaptação ao ERE, parte dos estudantes indicaram a baixa cobertura de internet e a falta de acesso a recursos tecnológicos próprios. No mesmo sentido, os achados que apontam os alunos com experiência anterior com a EaD como mais aptos a se beneficiar do ERE mostram a importância, além da disponibilidade e do acesso a recursos tecnológicos, da exposição e familiaridade no uso dessas ferramentas, o que atua como um facilitador no momento de estudo, podendo impactar os resultados de aprendizagem. Em suma, as experiências associadas ao ERE referem-se tanto à possessão dos recursos adequados, bem como do treino e domínio na sua utilização e manejo, aliadas a estratégias apropriadas às novas condições, i.e., estudar e aprender mediado por tecnologias.

Assim, sugerimos que estudos futuros ampliem a amostra nas demais regiões brasileiras, se possível, estabelecendo uma comparação entre elas. Também seria importante a realização de estudos que dessem continuidade à testagem de validade dessa medida, por exemplo, com análise da invariância da medida para estudantes que estejam nos semestres iniciais ou finais dos cursos de graduação. Por fim, recomendamos também pesquisas que utilizem a escala para avaliar outros contextos de ensino remoto e não apenas aqueles ligados às estratégias emergenciais para lidar com a crise sanitária causada pela pandemia.