Serviços Personalizados
Journal
Artigo
texto em 
Inglês (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por emailCompartilhar
Permalink
Revista Brasileira de Educação Médica
versão impressa ISSN 0100-5502versão On-line ISSN 1981-5271
Rev. Bras. Educ. Med. vol.45 no.4 Rio de Janeiro 2021 Epub 15-Set-2021
https://doi.org/10.1590/1981-5271v45.4-20210066.ing
ARTIGO ORIGINAL
Avaliação psicométrica do instrumento Instructional Materials Motivation Survey (IMMS) em ambiente remoto de aprendizagem
1 Universidade José do Rosário Vellano, Belo Horizonte, Minas Gerais, Brasil.
2 Universidade Federal de Minas Gerais, Belo Horizonte, Minas Gerais, Brasil.
Introdução:
A motivação contribui sobremaneira para a aprendizagem, sendo um fator preditor da performance do estudante. Assim, instrumentos que avaliam a motivação, após exposição a diferentes estratégias e materiais de ensino, podem contribuir para a análise de sua efetividade e decisão sobre esta. Nesse sentido, o instrumento Instructional Materials Motivation Survey (IMMS) mede a motivação dos estudantes após atividades instrucionais.
Objetivo:
Esta pesquisa teve como objetivo avaliar as evidências de validade do IMMS, previamente traduzido e adaptado transculturalmente para o português brasileiro.
Método:
Trata-se de um estudo transversal de avaliação das propriedades psicométricas do questionário IMMS, aplicado a 211 estudantes do primeiro, terceiro e quarto períodos do curso de Medicina da Universidade José do Rosário Vellano (Unifenas - câmpus de Belo Horizonte). Adotaram-se a análise de componentes principais (ACP) com rotação Varimax e o coeficiente alfa de Cronbach para avaliação da validade e da confiabilidade do instrumento.
Resultado:
A ACP reduziu os itens do instrumento de 36 para 25, distribuídos em quatro dimensões. A saturação dos itens nas dimensões variou de 0,529 a 0,790, e a variância total explicada foi de 63,12%. A confiabilidade do IMMS modificado (IMMS-BRV), medida pelo alfa de Cronbach, variou de 0,76 (dimensão atenção) a 0,93 (dimensão interesse).
Conclusão:
A aplicação do IMMS no cenário de ensino remoto, por meio de videoaulas assíncronas de anatomia humana, resultou em instrumento alternativo (IMMS-BRV), modificado com menor número de itens (mais parcimonioso) e boa consistência interna, demonstrando evidências preliminares de adequação de sua validade e confiabilidade.
Palavras-chave: Educação Médica; Motivação; Avaliação Educacional; Educação a Distância; Psicometria
Introduction:
Motivation contributes greatly to learning, being a predictor of student performance. Thus, instruments that assess motivation after exposure to different teaching strategies and materials can contribute to the analysis and decision on its effectiveness. In this sense, the Instructional Materials Motivation Survey (IMMS) instrument measures students’ motivation after instructional activities.
Objective:
This study aimed to evaluate the evidence of validity of the IMMS, previously translated and cross-culturally adapted to Brazilian Portuguese.
Method:
Cross-sectional study used to evaluate the psychometric properties of the IMMS questionnaire, applied to 211 students from the first, third and fourth semesters of the medical course at José do Rosário Vellano University (Unifenas - Campus Belo Horizonte). The principal component analysis (PCA) with Varimax rotation and Cronbach’s alpha coefficient were used to assess the validity and reliability of the instrument.
Results:
The PCA reduced the instrument’s items from 36 to 25 items, distributed in four dimensions. The saturation of the items in the dimensions ranged from 0.529 to 0.790 and the total explained variance was 63.12%. The reliability of the modified IMMS (IMMS-BRV), measured by Cronbach’s alpha, ranged from 0.76 (Attention dimension) to 0.93 (Interest dimension).
Conclusion:
The IMMS application in the remote education scenario, through asynchronous video lectures of human anatomy, resulted in an alternative instrument (IMMS-BRV), with fewer items (more parsimonious) and good internal consistency, demonstrating preliminary evidence of its validity and reliability adequacy.
Keywords: Medical Education; Motivation; Educational Measurement; Distance Education; Psychometrics
INTRODUÇÃO
O objetivo dos métodos de ensino é propiciar um ambiente que facilite a aprendizagem dos estudantes. Nesse contexto, a motivação se relaciona diretamente aos esforços empreendidos por determinada pessoa na aquisição de conhecimentos ou no desenvolvimento de determinada habilidade. Estudantes altamente motivados se envolvem ativamente nos estudos sem se preocupar com recompensas externas. Contudo, quando pouco motivados, podem ter as habilidades necessárias ao aprendizado comprometidas e não alcançar boa proficiência1. Dessa forma, instrumentos, baseados em teorias sólidas, que avaliem a motivação, após exposição a diferentes estratégias e materiais de ensino, podem contribuir para análise de sua efetividade e decisão sobre esta.
Várias teorias foram concebidas para explicar os fatores e fenômenos que interferem na motivação para a aprendizagem, tais como a teoria da motivação intrínseca e extrínseca, a autodeterminação, a teoria cognitiva social, a teoria expectativa-valor, bem como o modelo ARCS (attention, relevance, confidence and satisfaction), que embasa o constructo do instrumento Instructional Materials Motivation Survey (IMMS), analisado no presente estudo2),(3.
O modelo ARCS de design motivacional foi proposto por Keller3 a partir de perspectivas cognitivistas. O objetivo do autor foi encontrar meios mais efetivos de entender as principais influências da motivação na aprendizagem e criar um método sistematizado de identificar e resolver problemas relacionados, construindo uma ponte entre o estudo da motivação e a prática instrucional, como forma de aumentar a motivação dos estudantes. Sua origem está alicerçada na teoria expectativa-valor a qual, por sua vez, estabelece que as pessoas ficam motivadas para que possam se engajar em uma atividade, se ela é associada à satisfação de suas necessidades pessoais (valores) e a uma expectativa positiva de sucesso em seu desempenho4)-(6.
No modelo original de design motivacional de Keller3, essas duas dimensões (valor e expectativa)5),(6 foram expandidas para quatro da seguinte maneira:
A dimensão valor foi subdividida em duas dimensões: interesse e relevância.
Interesse se referia mais precisamente a fatores relacionados à atenção no ambiente educacional.
Relevância vinculava-se às atividades direcionadas por objetivos ou metas.
Expectativa foi mantida referindo-se à crença do estudante de que seria bem-sucedido na tarefa.
Criou-se a dimensão resultado, que denotava o valor de reforço dado pela instrução, conforme explicado pelo condicionamento operante.
A partir desse constructo inicial (interesse, relevância, expectativa e resultado), conduziram-se experimentos qualitativos para validação do modelo, o qual foi modificado para o atual ARCS (atenção, relevância, confiança e satisfação). As dimensões do modelo ARCS são assim definidas por Keller3),(4:
Atenção apresenta características que estimulam e sustentam o interesse e a curiosidade.
Relevância está relacionada às necessidades e metas pessoais dos estudantes, gerando atitude positiva de aprendizagem.
Confiança refere-se à crença e ao sentimento dos estudantes de que estão no controle do resultado da própria aprendizagem e serão bem-sucedidos.
Satisfação é gerada pelo processo e/ou pelo resultado da experiência de aprendizagem, podendo estar relacionada a fatores intrínsecos (sensação de competência) ou extrínsecos (graus acadêmicos, certificados, recompensa material) e ao desejo de continuar aprendendo.
Com base no constructo teórico ARCS, foi desenvolvido o instrumento IMMS para avaliar a motivação dos estudantes expostos a materiais ou estratégias educacionais4. Como se trata de um instrumento situacional, o IMMS não se presta a medir níveis de motivação de maneira generalizada, como a motivação a respeito da aprendizagem escolar. O objetivo desse instrumento é mensurar o quanto estudantes estão motivados para uma determinada atividade instrucional, como a videoaula, ou para uma estratégia específica, como o ensino a distância. Devido à importância de ser bem interpretado pelo respondente, pode ser usado em populações de estudantes a partir do ensino médio4.
Segundo Keller4, a concepção do IMMS valeu-se da construção de um pool de itens baseados nos conceitos motivacionais do ARCS, que foram revisados por dez estudantes de graduação bem versados na literatura motivacional. A partir das respostas dos estudantes, os itens foram revisados e retestados ou excluídos, gerando o conjunto de variáveis que, atualmente, compõem o IMMS em suas quatro dimensões: atenção, relevância, confiança e satisfação. A confiabilidade medida por meio da consistência interna, pelo coeficiente alfa de Cronbach, foi de 0,96 para a escala total (atenção = 0,89; relevância = 0,81; confiança = 0,90; satisfação = 0,92), segundo Keller4.
Desde a concepção, o IMMS tem sido largamente empregado, em vários países, em diversos contextos de ensino-aprendizagem, especialmente naqueles que utilizam meios tecnológicos na plataforma pedagógica, como os cursos baseados na web, o e-learning e a gamificação7)-(10. Devido à robustez do constructo ARCS, à ampla empregabilidade do IMMS para avaliação da motivação de estudantes e à necessidade de um instrumento adequado para essa mensuração, Cardoso-Júnior et al.11 realizaram a tradução e adaptação transcultural do IMMS para o português brasileiro.
Entretanto, apesar de muito utilizado, desde sua criação, para mensuração da motivação de estudantes, com o objetivo de melhorar estratégias de ensino, os estudos que avaliaram a validade psicométrica do IMMS apresentaram resultados heterogêneos12)-(14. Tais estudos resultaram na redução do número de itens e na modificação de sua distribuição em dimensões, ressaltando o caráter situacional do instrumento, pontuado por Keller15, e enfatizando a necessidade de modificação do instrumento para acomodação ao contexto de sua aplicação. Em outras palavras, sugere-se que a situação do instrumento é dinâmica e varia de acordo com fatores relacionados à sua implementação que vão desde as características dos estudantes até as características dos programas instrucionais envolvidos.
Nesse sentido, Huang et al.12) avaliaram a validade do IMMS com a participação de alunos do primeiro ano de Engenharia que estudavam um tutorial baseado em computador, denominado MATLAB. O resultado da validação foi a manutenção de 20 itens, distribuídos em quatro dimensões de maneira diversa do instrumento original. Por sua vez, Loorbach et al.13 conduziram um estudo em um ambiente de aprendizagem autodirigida e concluíram que, nesse contexto, o instrumento poderia ser reduzido para 12 itens que se ajustavam adequadamente nas quatro dimensões originais do IMMS. Dessa forma, os autores propuseram um instrumento denominado Reduced Instructional Materials Motivation Survey (RIMMS). Recentemente, Hauze et al.14 estudaram a validade do IMMS em cenário de treinamento simulado aplicado a estudantes de Enfermagem. Nesse estudo, houve retenção de 19 itens distribuídos nas quatro dimensões do IMMS original. Na conclusão do trabalho, os autores ressaltaram que a validade de sua utilização em outras populações e para avaliar outros tipos de métodos instrucionais não pôde ser prevista pelo estudo.
A partir da análise desses estudos, observa-se a falta de homogeneidade em relação aos resultados das evidências de validade de constructo do IMMS, quando aplicado em diferentes contextos relativos às características dos estudantes, do material instrucional avaliado, do ambiente de ensino e do contexto sociocultural. Logo, em face da heterogeneidade dos resultados dos estudos descritos, do seu caráter situacional e da importância de se investigar sua aplicabilidade para medir a motivação de estudantes de Medicina no contexto do ensino remoto de ciências básicas, esta pesquisa objetivou analisar as evidências de validade de constructo do IMMS, anteriormente traduzido e adaptado para o português brasileiro, aplicado em alunos dos primeiros dois anos do curso de Medicina da Universidade José do Rosário Vellano - Unifenas (câmpus de Belo Horizonte), para avaliação da motivação em relação às videoaulas assíncronas de anatomia humana assistidas no período de isolamento social da pandemia da coronavirus disease 2019 (Covid-19).
A crescente utilização desse instrumento em ambientes de ensino tecnológicos, observada na literatura, acentua a importância de se ter versão com parâmetros de validade conhecidos no Brasil, uma vez que a adoção de novas tecnologias no campo da educação é uma tendência em crescimento que necessita de avaliação de suas propriedades motivacionais7),(9. Além de sua aplicabilidade nesse contexto, o IMMS também apresenta como particularidade, em relação a outros instrumentos de avaliação da motivação para aprendizagem, seu embasamento no modelo ARCS de design motivacional, cujos conceitos e estratégias podem ser aplicados, a partir do diagnóstico realizado pela observação dos resultados apresentados pelo instrumento, para correção e aprimoramento da atividade instrucional sob investigação4.
MÉTODOS
Desenho do estudo
Trata-se de um estudo transversal de avaliação das evidências de validade do questionário IMMS, versão previamente submetida à tradução e adaptação transcultural11.
Características da amostra
A população-alvo foi composta por estudantes dos dois primeiros anos, de qualquer sexo ou idade, do curso de Medicina da Unifenas, câmpus de Belo Horizonte. Foram incluídos no estudo, em amostragem por conveniência, todos os alunos que estavam regularmente matriculados, no primeiro semestre de 2020, na estratégia Práticas Laboratoriais (PL) de anatomia humana, que desejaram participar e não preencheram os critérios de exclusão. Os critérios de exclusão foram: desejo declarado de deixar o estudo, falta de aderência ao protocolo, conhecimento prévio do IMMS, erro na alocação em relação aos critérios da pesquisa e naturalidade estrangeira. Após observância dos critérios de inclusão e exclusão, os alunos que se interessaram pelo estudo assinaram o Termo de Consentimento Livre e Esclarecido (TCLE), sendo alocados na pesquisa. Esta pesquisa foi aprovada pelo Comitê de Ética em Pesquisa (CEP) da Unifenas, como consta no Certificado de Apresentação para Apreciação Ética (CAAE) nº 31795820.4.0000.5143, Parecer nº 4.074.707.
Videoaulas assíncronas de anatomia humana
O curso de Medicina da Unifenas, fundado em 2003, adota a metodologia problem-based learning. A anatomia humana é estudada em quatro períodos letivos semestrais, nos dois primeiros anos. Para ensino da anatomia, utilizam-se modelos sintéticos, mesa anatômica digital, exames de imagem, vídeos de procedimentos cirúrgicos e prossecção. O currículo é composto por blocos temáticos que realizam a integração horizontal e vertical dos conhecimentos. A duração do curso é de 12 semestres divididos em fases pré-clínica, clínica e internatos.
Durante o período de isolamento social, ocorrido a partir de meados de março de 2020, optou-se pela utilização de videoaulas assíncronas para manutenção da estratégia educacional anatomia humana. Os cinco professores dessa estratégia de ensino realizaram a gravação das aulas utilizando o programa Open Broadcaster Software (OBS), versão 25.0.4, e seu upload para o aplicativo Google Drive Institucional, com disponibilização do link de acesso, semanalmente, no ambiente de aprendizagem virtual (Moodle), de acordo com a programação dos blocos temáticos. A duração média das videoaulas era de 30 minutos. Após inseridas no Google Drive Institucional, as videoaulas ficavam à disposição dos estudantes para consulta, por livre demanda, durante todo o bloco temático em curso.
Aplicação do Instructional Materials Motivation Survey
O IMMS original é derivado do constructo ARCS, tendo sido desenvolvido com o intuito de ser aplicado após os estudantes terem vivenciado uma experiência educacional. O questionário é composto por três sentenças referentes às instruções para preenchimento e por 36 itens pertencentes às quatro dimensões da motivação: atenção (12 itens), relevância (nove itens), confiança (nove itens) e satisfação (seis itens). A finalidade é medir a motivação do respondente, utilizando a escala Likert, com a seguinte pontuação: (1) discordo totalmente; (2) discordo parcialmente; (3) nem discordo, nem concordo; (4) concordo parcialmente; (5) concordo totalmente. A pontuação total varia de 36 a 180, e pode-se avaliar cada dimensão ou o escore total, gerando, assim, a nota da motivação. Os valores mínimos, máximos e médios para cada dimensão variam, pois o número de itens é diferente e eles são independentes. Alguns itens, mencionados como inversos, devem ser pontuados da seguinte forma: 5 = 1, 4 = 2, 3 = 3, 2 = 4 e 1 = 5. As pontuações mais altas no escore total indicam maior motivação15.
O IMMS utilizado nesta pesquisa foi a versão previamente traduzida e adaptada para o português brasileiro por Cardoso-Júnior et al.11, que manteve todas as dimensões e itens do questionário original. O instrumento autoaplicável foi confeccionado no aplicativo Google Forms, precedido pelo TCLE e pelo questionário sociodemográfico. O link para acesso foi postado na plataforma Moodle-Unifenas. Após ler o TCLE e aceitar participar do estudo, o estudante era direcionado ao questionário.
Nas informações sobre o preenchimento, estava explícito que o instrumento era destinado a “avaliar a sua motivação em relação às videoaulas de anatomia humana, estudadas nas Práticas de Laboratório (PL) ENT#091;...ENT#093;”. Para tanto, palavras relativas ao material instrucional foram adaptadas a esse contexto de aplicação nas sentenças dos itens, conforme instruções do IMMS, sem alterar o sentido deles15.
Os estudantes que, após leitura do TCLE, marcaram a opção “não concordo” foram direcionados a uma mensagem que agradecia a atenção deles e não tiveram acesso aos questionários. O tempo médio para preenchimento dos formulários foi de 15 minutos.
Análise de componentes principais
Com o objetivo de verificar as evidências de validade do constructo estudado, foi realizada estatística utilizando-se o método de análise de componentes principais (ACP) e rotação Varimax. Com a rotação, objetiva-se facilitar a interpretação das dimensões, ou seja, a saturação dos itens nos componentes, encontrando-se uma solução na qual cada variável apresente saturação elevada em poucos componentes16),(17. Os itens com sentido inverso tiveram suas pontuações invertidas.
Para a ACP, o tamanho da amostra deve ser superior ou igual a 100 observações, preferencialmente, atingindo cinco ou mais observações por item do instrumento, para evitar a extração de componentes amostra-específicos, pouco generalizáveis17. Neste estudo, o tamanho amostral (n = 211) foi adequado, compreendendo seis sujeitos por item do IMMS.
Para avaliar a existência de conveniência do modelo da ACP, utilizaram-se o teste de esfericidade de Bartlett e a medida de adequação da amostra de Kaiser-Meyer-Olkin (KMO). Valores superiores a 0,5 no teste KMO e p < 0,05 no teste de esfericidade foram definidos como parâmetros para que a ACP fosse considerada adequada para o conjunto das variáveis estudadas.
A determinação do número de dimensões retidas foi realizada por meio de técnicas de determinação com base em autovalores. Consideraram-se como parâmetro autovalores > 1 (critério de Kaiser-Guttman). As cargas (saturação dos itens) foram consideradas significativas quando superiores a 0,40 (parâmetro considerado adequado para amostra de 211 sujeitos ao nível de significância de 0,05 e poder de 80%)17. Utilizaram-se medidas referentes ao método sem rotação seguidas de rotação do tipo Varimax, conforme realizado em estudos prévios, o que possibilita melhor comparação dos resultados12),(14.
Medidas de comunalidade (COM) e medidas de adequação da amostra (measures of sampling adequacy - MSA), para cada um dos itens analisados, também foram realizadas, considerando-se adequados valores para comunalidade e para adequação da amostra superiores 0,50. Com o objetivo de avaliar a interdependência das dimensões latentes apontadas pela ACP, foi realizada análise de correlação de Pearson.
Além disso, examinaram-se as diferenças entre as correlações observadas (matriz de correlação com todos os itens originais) e as correlações reproduzidas (correlações estimadas pela matriz de constructos), em que tais diferenças, denominadas resíduos, quando apresentam valores muito baixos, indicam um bom ajuste do modelo gerado.
Os parâmetros adotados no presente estudo estão baseados nas publicações de Landis et al.16 e Hair Jr. et al.17. Utilizou-se o software estatístico SPSS (IBM), versão 17.0, para a realização das análises.
Alfa de Cronbach
O coeficiente alfa de Cronbach foi a medida utilizada para avaliar a confiabilidade da consistência interna de cada uma das dimensões determinadas pela ACP. Esse coeficiente varia de 0 a 1, e valores iguais ou superiores a 0,6 indicam confiabilidade satisfatória da consistência interna16),(17.
RESULTADOS
Participaram deste estudo 211 estudantes de 17 a 46 anos, com média de idade de 21,4 anos. Destes, 33% tinham entre 17 e 19 anos, 44,5% entre 20 e 22 anos, 13% entre 23 e 25 anos, 6% entre 26 e 30 anos e 3,5% com pelo menos 31 anos. Houve predomínio de mulheres (67,8%). Em relação ao período do curso, 46,4% dos estudantes estavam no primeiro período, 35,1% no terceiro período e 18,5% no quarto período. Os estudantes do segundo período foram excluídos do estudo porque, ao contrário dos demais, participaram de aulas on-line síncronas. Apenas 5,7% dos discentes tinham outro curso superior completo.
Análise da evidência de validade de constructo do IMMS
A ACP inicial foi realizada com todos os 36 itens que compõem o questionário IMMS original, traduzido e adaptado para o português brasileiro11. A Tabela 1 mostra a avaliação do comportamento dos alunos perante cada um dos itens do IMMS.
Tabela 1 Avaliação do comportamento dos alunos perante cada um dos itens do IMMS.
| Questão | Respostas | Total | Média | d.p. | ||||
|---|---|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||||
| 1. Quando eu assisti estas videoaulas pela primeira vez, tive a impressão de que seria fácil para mim. | 11,4 | 19,9 | 25,6 | 29,4 | 13,7 | 100,0 | 3,1 | 1,2 |
| 2. Havia alguma coisa interessante no início destas atividades que me chamou a atenção. | 9,5 | 14,7 | 28,0 | 32,2 | 15,6 | 100,0 | 3,3 | 1,2 |
| 3. Estas videoaulas foram mais difíceis de entender do que eu gostaria. | 20,4 | 28,4 | 14,2 | 26,6 | 10,4 | 100,0 | 2,8 | 1,3 |
| 4. Depois de ouvir as informações iniciais, eu me senti confiante de que sabia o que se esperava que deveria ser aprendido com essa atividade. | 12,8 | 19,4 | 25,6 | 27,5 | 14,7 | 100,0 | 3,1 | 1,2 |
| 5. Completar os exercícios dessa atividade me deu um sentimento satisfatório de realização. | 10,4 | 15,2 | 18,5 | 34,1 | 21,8 | 100,0 | 3,4 | 1,3 |
| 6. Está claro para mim como o conteúdo deste material está relacionado com conhecimentos que eu já tenho. | 7,1 | 15,2 | 32,7 | 29,8 | 15,2 | 100,0 | 3,3 | 1,1 |
| 7. Muitos slides tinham tanta informação que foi difícil escolher e lembrar os pontos importantes. | 27,0 | 25,1 | 18,0 | 18,5 | 11,4 | 100,0 | 2,6 | 1,4 |
| 8. Essas videoaulas são interessantes. | 10,0 | 11,4 | 18,5 | 32,2 | 27,9 | 100,0 | 3,6 | 1,3 |
| 9. Havia histórias, figuras ou exemplos que me mostraram como estas videoaulas poderiam ser importantes para algumas pessoas. | 5,2 | 8,5 | 22,3 | 33,2 | 30,8 | 100,0 | 3,8 | 1,1 |
| 10. Completar essa atividade com sucesso foi importante para mim. | 4,3 | 4,3 | 21,8 | 27,0 | 42,6 | 100,0 | 4,0 | 1,1 |
| 11. A qualidade do vídeo ajudou a manter minha atenção. | 7,1 | 13,3 | 16,1 | 31,7 | 31,8 | 100,0 | 3,7 | 1,2 |
| 12. Essas videoaulas são tão abstratas que foi difícil manter minha atenção nelas. | 25,1 | 28,4 | 15,7 | 18,5 | 12,3 | 100,0 | 2,6 | 1,4 |
| 13. Enquanto eu trabalhava nessa atividade, estava confiante de que poderia aprender o conteúdo. | 8,0 | 16,6 | 26,1 | 32,2 | 17,1 | 100,0 | 3,3 | 1,2 |
| 14. Gostei tanto dessas videoaulas que gostaria de saber mais sobre este assunto. | 15,2 | 22,7 | 27,5 | 25,1 | 9,5 | 100,0 | 2,9 | 1,2 |
| 15. Os slides desse material parecem pouco interessantes. | 30,8 | 31,8 | 16,1 | 12,8 | 8,5 | 100,0 | 2,4 | 1,3 |
| 16. O conteúdo dessas videoaulas é relevante para os meus interesses. | 1,4 | 3,3 | 10,0 | 27,5 | 57,8 | 100,0 | 4,4 | 0,9 |
| 17. A forma como a informação está organizada nos slides ajudou a manter minha atenção. | 8,5 | 12,8 | 19,9 | 34,1 | 24,7 | 100,0 | 3,5 | 1,2 |
| 18. Há explicações ou exemplos de como as pessoas usam o conhecimento dessas videoaulas. | 6,2 | 13,7 | 30,8 | 21,8 | 27,5 | 100,0 | 3,5 | 1,2 |
| 19. Os exercícios dessas videoaulas foram muito difíceis. | 18,5 | 33,6 | 38,9 | 7,6 | 1,4 | 100,0 | 2,4 | 0,9 |
| 20. Estas videoaulas têm elementos que estimularam minha curiosidade. | 8,0 | 17,5 | 20,4 | 37,0 | 17,1 | 100,0 | 3,4 | 1,2 |
| 21. Gostei muito de estudar essa atividade. | 11,4 | 18,9 | 25,6 | 28,9 | 15,2 | 100,0 | 3,2 | 1,2 |
| 22. A quantidade de repetição nestas videoaulas me fez ficar, eventualmente, entediado. | 27,0 | 20,4 | 23,7 | 19,4 | 9,5 | 100,0 | 2,6 | 1,3 |
| 23. O conteúdo e o estilo dos slides neste material dão a impressão de que vale a pena conhecê-lo. | 6,6 | 15,2 | 20,4 | 37,4 | 20,4 | 100,0 | 3,5 | 1,2 |
| 24. Aprendi algumas coisas que foram surpreendentes ou inesperadas. | 6,2 | 11,8 | 17,1 | 38,4 | 26,5 | 100,0 | 3,7 | 1,2 |
| 25. Depois de trabalhar nessa atividade por algum tempo, eu estava confiante de que seria capaz de passar em um teste sobre ela. | 13,8 | 18,5 | 23,2 | 28,4 | 16,1 | 100,0 | 3,1 | 1,3 |
| 26. Estas videoaulas não foram relevantes para as minhas necessidades porque eu já sabia a maior parte delas. | 63,0 | 29,4 | 4,7 | 1,9 | 1,0 | 100,0 | 1,5 | 0,8 |
| 27. A maneira como foi dado o feedback, após os exercícios, ou outros comentários na atividade ajudou-me a sentir recompensado pelo meu esforço. | 19,9 | 18,5 | 30,8 | 19,9 | 10,9 | 100,0 | 2,8 | 1,3 |
| 28. A variedade de trechos de leitura, exercícios, ilustrações etc. ajudou a manter minha atenção na atividade. | 10,5 | 16,1 | 21,3 | 32,2 | 19,9 | 100,0 | 3,4 | 1,3 |
| 29. O estilo de escrever é entediante. | 27,9 | 24,2 | 23,2 | 17,1 | 7,6 | 100,0 | 2,5 | 1,3 |
| 30. Eu pude relacionar o conteúdo destas videoaulas com as coisas que tenho visto, feito ou pensado sobre minha própria vida. | 8,0 | 16,1 | 27,5 | 31,8 | 16,6 | 100,0 | 3,3 | 1,2 |
| 31. Há tantas palavras em cada slide que é irritante. | 47,4 | 28,0 | 13,7 | 8,5 | 2,4 | 100,0 | 1,9 | 1,1 |
| 32. Foi bom concluir esta atividade com sucesso. | 4,2 | 3,8 | 22,3 | 30,8 | 38,9 | 100,0 | 4,0 | 1,1 |
| 33. O conteúdo destas videoaulas será útil para mim. | 0,5 | 3,3 | 7,6 | 30,3 | 58,3 | 100,0 | 4,4 | 0,8 |
| 34. Eu realmente não consegui entender muito o material destas videoaulas. | 23,2 | 29,4 | 16,6 | 20,8 | 10,0 | 100,0 | 2,6 | 1,3 |
| 35. A boa organização do conteúdo me ajudou a ter certeza de que eu aprenderia este material. | 5,7 | 16,1 | 29,4 | 35,1 | 13,7 | 100,0 | 3,4 | 1,1 |
| 36. Foi um prazer trabalhar em uma atividade tão bem planejada. | 12,8 | 16,6 | 25,6 | 24,2 | 20,8 | 100,0 | 3,2 | 1,3 |
d.p.: desvio padrão.
A redação dos itens sofreu pequenas alterações para adequação à atividade instrucional avaliada (videoaulas), sem alterar seu significado.
O modelo inicial mostrou conveniência da aplicação dessa técnica estatística no que tange à sua adequação (medida de adequação amostral de KMO = 0,943; teste de esfericidade de Bartlett p < 0,0001). A Tabela 2 mostra o resultado do número de fatores extraídos pela ACP inicial.
Tabela 2 Resultado do número de fatores extraídos baseado na ACP inicial.
| FATORES | Soma de quadrados de cargas fatoriais SEM rotação | Soma de quadrados de cargas fatoriais COM rotação | ||||
|---|---|---|---|---|---|---|
| Autovalor | % de variância | % acumulada | Autovalor | % de variância | % acumulada | |
| A | 14,500 | 40,279 | 40,279 | 5,767 | 16,021 | 16,021 |
| B | 1,852 | 5,145 | 45,424 | 5,379 | 14,942 | 30,963 |
| C | 1,698 | 4,717 | 50,141 | 2,954 | 8,206 | 39,169 |
| D | 1,325 | 3,681 | 53,822 | 2,700 | 7,501 | 46,669 |
| E | 1,194 | 3,317 | 57,139 | 2,626 | 7,295 | 53,965 |
| F | 1,081 | 3,003 | 60,142 | 1,943 | 5,398 | 59,363 |
| G | 1,015 | 2,818 | 62,960 | 1,295 | 3,598 | 62,960 |
| Total | 22,665 | 62,961 | -------- | 22,664 | 62,961 | -------- |
Base de dados: 211 alunos. Método de rotação: Varimax.
Entretanto, durante as rodadas de ACP, foram retirados 11 itens do instrumento original por motivos distintos:
Os itens 6, 16, 18, 30 e 33 apresentaram baixa proporção de variância explicada (comunalidade < 0,50) na ACP inicial ou nas subsequentes.
Os itens 10 e 32 foram retirados em razão das cargas semelhantes apresentadas em vários componentes (dimensões).
O item 19 apresentou componente com um único item, ou seja, não mostrou correlações significativas com as demais variáveis.
Os itens 1, 2 e 26 apresentaram baixa confiabilidade de consistência interna nas dimensões para as quais foram alocados.
A Tabela 3 mostra os itens retirados do IMMS original e as causas da exclusão.
Tabela 3 Itens retirados do IMMS original e causas da exclusão.
| Dimensão do IMMS | Item excluído | Causa da exclusão |
|---|---|---|
| Atenção | 02 - Havia alguma coisa interessante no início destas atividades que me chamou a atenção. | CI |
| Relevância | 06 - Está claro para mim como o conteúdo deste material está relacionado com conhecimentos que eu já tenho. | COM < 0,5 |
| 10 - Completar essa atividade com sucesso foi importante para mim. | CS | |
| 16 - O conteúdo dessas videoaulas é relevante para os meus interesses. | COM < 0,5 | |
| 18 - Há explicações ou exemplos de como as pessoas usam o conhecimento dessas videoaulas. | COM < 0,5 | |
| 26 - Estas videoaulas não foram relevantes para as minhas necessidades porque eu já sabia a maior parte delas. | CI | |
| 30 - Eu pude relacionar o conteúdo destas videoaulas com as coisas que tenho visto, feito ou pensado sobre minha própria vida. | COM < 0,5 | |
| 33 - O conteúdo destas videoaulas será útil para mim. | COM < 0,5 | |
| Confiança | 01 - Quando eu assisti estas videoaulas pela primeira vez, tive a impressão de que seria fácil para mim. | CI |
| 19 - Os exercícios dessas videoaulas foram muito difíceis. | CIU | |
| Satisfação | 32 - Foi bom concluir esta atividade com sucesso. | CS |
IMMS: Instructional Materials Motivation Survey traduzido e adaptado transculturalmente para o português brasileiro; COM: comunalidade; CS: cargas semelhantes em vários componentes; CIU: componente com item único; CI: baixa consistência interna no componente.
Consequentemente, o modelo final da ACP foi executado após a retirada desses 11 itens, considerados não adequados. Nesse modelo, a medida de adequação amostral (KMO = 0,947) revela que existe conveniência para uso da ACP. Além disso, observa-se pelo teste de Bartlett que há um conjunto de correlações significativas (p < 0,0001) entre os 25 itens restantes do questionário. Assim, com base nesses pressupostos, a técnica estatística de ACP pôde ser aplicada. Logo, a partir do critério de Kaiser-Guttman (autovalores > 1), foram extraídos quatro componentes, conforme pode ser visto no scree plot ilustrado no Gráfico 1 e nos resultados apresentados na Tabela 4.
Tabela 4 Resultados do modelo final da ACP do IMMS-BRV.
| Itens*/dimensões | Cargas (saturação dos itens nas dimensões) | COM | MSA | Média | |||
|---|---|---|---|---|---|---|---|
| A | B | C | D | ||||
| 3 | 0,753 | 0,678 | 0,894 | 2,8 | |||
| 4 | 0,661 | 0,608 | 0,959 | 3,1 | |||
| 5 | 0,529 | 0,503 | 0,954 | 3,4 | |||
| 7 | 0,717 | 0,645 | 0,871 | 2,6 | |||
| 8 | 0,779 | 0,728 | 0,960 | 3,6 | |||
| 9 | 0,589 | 0,503 | 0,958 | 3,8 | |||
| 11 | 0,663 | 0,625 | 0,939 | 3,7 | |||
| 12 | 0,569 | 0,621 | 0,939 | 2,6 | |||
| 13 | 0,734 | 0,691 | 0,958 | 3,3 | |||
| 14 | 0,625 | 0,614 | 0,955 | 2,9 | |||
| 15 | 0,599 | 0,581 | 0,948 | 2,4 | |||
| 17 | 0,551 | 0,621 | 0,963 | 3,5 | |||
| 20 | 0,586 | 0,704 | 0,958 | 3,4 | |||
| 21 | 0,555 | 0,686 | 0,961 | 3,2 | |||
| 22 | 0,631 | 0,560 | 0,939 | 2,6 | |||
| 23 | 0,671 | 0,630 | 0,973 | 3,5 | |||
| 24 | 0,627 | 0,579 | 0,940 | 3,7 | |||
| 25 | 0,790 | 0,700 | 0,930 | 3,1 | |||
| 27 | 0,556 | 0,510 | 0,965 | 2,8 | |||
| 28 | 0,709 | 0,625 | 0,945 | 3,4 | |||
| 29 | 0,693 | 0,626 | 0,918 | 2,5 | |||
| 31 | 0,776 | 0,661 | 0,910 | 1,9 | |||
| 34 | 0,595 | 0,678 | 0,946 | 2,6 | |||
| 35 | 0,533 | 0,642 | 0,938 | 3,4 | |||
| 36 | 0,622 | 0,764 | 0,950 | 3,2 | |||
| Alfa de Cronbach | 0,93 | 0,87 | 0,76 | 0,78 | MSA global 0,947 | ||
| % variância explicada | 24,299 | 17,416 | 12,149 | 9,256 | |||
| Autovalor | 6,075 | 4,354 | 3,037 | 2,314 | |||
| Variância explicada total | 63,12% | ||||||
* Itens numerados como no IMMS - versão traduzida para o português brasileiro11.
COM = comunalidade; MSA = medida da adequação da amostra (measures of sampling adequacy).
O ajuste do modelo foi verificado por meio do exame das diferenças entre as correlações observadas e as correlações reproduzidas obtida da matriz de correlação reproduzida. Ressalta-se que ocorreram poucos casos (< 10%) com resíduos considerados “grandes”, e, portanto, o modelo obtido foi considerado válido.
Os resultados do modelo final da ACP geraram a versão alternativa modificada do IMMS (IMMS-BRV). Assim, as cargas (saturação dos itens nas dimensões), as comunalidades, as MSA, as variâncias explicadas, os autovalores e os coeficientes alfa de Cronbach do IMMS-BRV estão sumarizados na Tabela 4.
A composição das quatro dimensões latentes geradas pela ACP com rotação Varimax encontra-se demonstrada na Tabela 4. Os coeficientes (saturação das cargas nas dimensões) representam os níveis das correlações entre as dimensões com cada uma das variáveis (itens) que as compõem. Portanto, valores absolutos maiores indicam que as dimensões e suas respectivas variáveis estão estreitamente relacionadas. Além disso, foram examinadas as diferenças entre as correlações observadas (matriz de correlação com todas os itens originais) e as correlações reproduzidas (correlações estimadas pela matriz de dimensões). Essas diferenças, chamadas de resíduos, apresentaram valores muito baixos, confirmando um bom ajuste do modelo gerado.
Portanto, com esses resultados, trabalharemos com as quatro dimensões que englobam blocos de itens capazes de explicar dimensões da motivação ante as videoaulas assíncronas de anatomia humana, segundo a opinião dos estudantes de Medicina, em vez de analisarmos 25 itens individualmente. O escore total gerado pela soma dos valores atribuídos aos 25 itens representa o escore global de motivação.
Neste estudo, foram observadas correlações significativas (p < 0,05) entre todas as dimensões geradas pela ACP. Entretanto, a correlação observada entre as dimensões A (renomeada como interesse) e B (renomeada como confiança) apresentou valor superior a 0,80, o que mostra que elas estão intrinsicamente ligadas. Dessa forma, pode-se inferir que houve a mensuração de conceitos semelhantes da motivação. A Tabela 5 mostra a análise de correlação entre os quatro componentes gerados pela ACP.
Tabela 5 Análise de correlação entre os quatro componentes gerados pela ACP.
| Dimensão/Pearson | Dimensão | ||||
|---|---|---|---|---|---|
| A | B | C | D | ||
| A | r | 1,00 | 0,81 | 0,55 | 0,65 |
| p | < 0,001 | < 0,001 | < 0,001 | < 0,001 | |
| B | r | -------- | 1,00 | 0,50 | 0,64 |
| p | < 0,001 | < 0,001 | < 0,001 | ||
| C | r | -------- | -------- | 1,00 | 0,50 |
| p | < 0,001 | < 0,001 | |||
| D | r | -------- | -------- | -------- | 1,00 |
| p | < 0,001 | ||||
Base de dados: 211 alunos.
A: interesse; B: confiança; C: atenção; D: expectativa; r: coeficiente de correlação de Pearson; p: probabilidade de significância da análise de correlação.
Avaliação da confiabilidade do IMMS-BRV
A Tabela 6 mostra as medidas de confiabilidade da consistência interna do IMMS-BRV.
Tabela 6 Medidas de confiabilidade da consistência interna do IMMS-BRV.
| Dimensões formadas/itens | Alfa de Cronbach se item retirado |
|---|---|
| Interesse (alfa de Cronbach = 0,93) | |
| 8 | 0,92 |
| 9 | 0,93 |
| 11 | 0,93 |
| 14 | 0,92 |
| 15 | 0,93 |
| 17 | 0,92 |
| 20 | 0,92 |
| 23 | 0,92 |
| 24 | 0,93 |
| 27 | 0,93 |
| 28 | 0,92 |
| 36 | 0,92 |
| Confiança (alfa de Cronbach = 0,87) | |
| 4 | 0,86 |
| 5 | 0,86 |
| 13 | 0,84 |
| 21 | 0,85 |
| 25 | 0,85 |
| 35 | 0,85 |
| Atenção (alfa de Cronbach = 0,76) | |
| 7 | 0,75 |
| 22 | 0,71 |
| 29 | 0,67 |
| 31 | 0,68 |
| Expectativa (alfa de Cronbach = 0,78) | |
| 3 | 0,71 |
| 12 | 0,74 |
| 34 | 0,66 |
Base de dados: 211 alunos.
O coeficiente alfa de Cronbach foi utilizado para avaliar a confiabilidade da consistência interna dos itens que compõem cada uma das quatro dimensões geradas pela ACP. Como pode ser visto, todas elas apresentaram medidas de alfa de Cronbach superiores a 0,75, indicando boa consistência interna das dimensões do IMMS-BRV. Além disso, a retirada de itens não eleva o coeficiente alfa de Cronbach.
Versão brasileira alternativa modificada do IMMS (IMMS-BRV)
Quando se comparam a versão original do IMMS e os resultados da ACP realizada neste estudo (IMMS-BRV), observa-se que houve a manutenção de quatro dimensões e a supressão de 11 itens. Os 25 itens mantidos foram redistribuídos em quatro dimensões, em combinação diversa da original. Desse modo, a denominação das dimensões foi revisada de modo a explicar melhor os itens alocados dentro de uma mesma dimensão. Para tanto, em análise de conteúdo, observou-se a semântica dos itens aliada à referência teórica do constructo ARCS e à teoria expectativa-valor3),(5.
Dessa forma, concluído o processo de ACP, foi definida a estrutura final do IMMS-BRV, que passou a ter 25 itens, sem alteração da escala Likert originalmente usada no IMMS. Os itens foram alocados, pela ACP, em quatro dimensões (A, B, C e D), nomeadas da seguinte forma:
Interesse (variância explicada = 24,3%; alfa de Cronbach = 0,93): o conjunto do significado das assertivas alocadas nessa dimensão envolve itens provenientes das seguintes dimensões do IMMS original: atenção (58,3%), satisfação (25,0%) e relevância (16,7%). A análise semântica dos significados desses itens permite sua agregação sob a dimensão interesse, visto que todos estão se referindo de forma clara ao interesse dos respondentes pelo material instrucional avaliado. A própria substituição dos substantivos dos itens pelo substantivo interesse mostra a adequação semântica da denominação dada a essa dimensão. Segundo o Dicionário Oxford18, da Oxford University Press, interesse é: “o que é importante, útil ou vantajoso, moral, social ou materialmente”. Ainda: “estado de espírito que se tem para com aquilo que se acha digno de atenção ”. Por sua vez, no mesmo dicionário, a relevância é definida como “aquilo que se destaca em escala comparativa ou de valores; importância , relevo”. Finalmente, a satisfação é: “prazer advindo da realização do que se espera, do que se deseja”. Em outras palavras: do que se tem interesse.
Confiança (variância explicada = 17,4%; alfa de Cronbach = 0,87): na dimensão confiança, aglutinaram-se quatro (66,6%) itens provenientes da mesma dimensão do IMMS original. Os demais dois itens (33,3%) são provenientes da dimensão original satisfação. Esses dois itens estão intrinsecamente relacionados à satisfação gerada pela confiança no aprendizado, pela expectativa do sucesso. Na própria definição dos marcos teóricos do constructo ARCS, do qual deriva o IMMS, a dimensão satisfação é tida como resultante da interação entre as três demais (atenção, relevância e confiança). Assim, na ACP deste estudo, itens referentes à satisfação se aglutinaram em diferentes dimensões de acordo com sua afinidade semântica com cada conjunto de itens. Logo, pelo predomínio de itens relacionados à dimensão confiança do IMMS original e à intricada correlação confiança/satisfação, manteve-se a designação dessa dimensão como confiança no IMMS-BRV.
Atenção (variância explicada = 12,1%; alfa de Cronbach = 0,76): nessa dimensão, três itens (75%) são derivados da dimensão original atenção do IMMS. Apenas um (25%) item deriva da dimensão original confiança. Apesar de originalmente estar alocado na dimensão confiança, sua análise semântica demonstra tratar-se de afirmativa cuja interpretação se coaduna precisamente com a dimensão atenção. Assim sendo, a denominação foi mantida.
Expectativa (variância explicada = 9,3%; alfa de Cronbach = 0,78): os três itens distribuídos nessa dimensão derivam das dimensões confiança (66,7%) e atenção (33,3%). A análise semântica dos três itens mostra que estão intrinsecamente relacionados à espera (expectativa) da ocorrência ou não do entendimento, logo do aprendizado significativo. Portanto, o conjunto do seu significado permite a agregação da denominação expectativa a essa dimensão.
Por oportuno, ressalta-se que o IMMS-BRV e o IMMS podem ser adaptados para se adequar a situações específicas. Ou seja, a redação “padrão” dos itens contém frases mais genéricas como “este curso”, “esta aula” ou “muitas páginas”. Elas devem ser alteradas para se adequar à situação específica que está sendo avaliada, como “esta palestra”, “esta videoaula” ou “muitos slides”4),(11.
A versão brasileira alternativa modificada do IMMS (IMMS-BRV) está demonstrada no Quadro 1. Apesar de a versão aplicada aos sujeitos desta pequisa ter sido adaptada para o material do estudo (videoaulas), conforme pode ser visto na Tabela 1, o Quadro 1 mostra a redação padrão dos itens, de acordo com o IMMS original, traduzido e adaptado transculturalmente para o português brasileiro11.
Quadro 1 Versão brasileira validada do IMMS (IMMS-BRV).
| Versão brasileira validada do IMMS (IMMS-BRV) | Discordo totalmente | Discordo parcialmente | Não concordo, nem discordo | Concordo parcialmente | Concordo totalmente | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1. Há 25 afirmações neste questionário. Por favor, pense sobre cada sentença em relação a cada material didático que você acabou de estudar e indique o quão verdadeira é a sentença. Dê a resposta que verdadeiramente se aplica a você, e não aquela que você gostaria que fosse verdadeira, ou aquilo que você pensa que outros querem ouvir. | ||||||||||||
| 2. Pense em cada afirmação isoladamente e indique quão verdadeira ela é. Não se deixe influenciar por suas respostas a outras afirmações. | ||||||||||||
| 3. Registre suas respostas na folha fornecida e siga as instruções adicionais que podem ser fornecidas em relação à folha de resposta que está sendo usada nesta pesquisa. Obrigado. | ||||||||||||
| 1. Este material foi mais difícil de entender do que eu gostaria. | ① | ② | ③ | ④ | ⑤ | |||||||
| 2. Depois de ler as informações iniciais, eu me senti confiante de que sabia o que se esperava que deveria ser aprendido com essa atividade. | ① | ② | ③ | ④ | ⑤ | |||||||
| 3. Completar os exercícios dessa atividade me deu um sentimento satisfatório de realização. | ① | ② | ③ | ④ | ⑤ | |||||||
| 4. Muitas das páginas tinham tanta informação que foi difícil escolher e lembrar os pontos importantes. | ① | ② | ③ | ④ | ⑤ | |||||||
| 5. Esses materiais são interessantes. | ① | ② | ③ | ④ | ⑤ | |||||||
| 6. Havia histórias, figuras ou exemplos que me mostraram como esse material poderia ser importante para algumas pessoas. | ① | ② | ③ | ④ | ⑤ | |||||||
| 7. A qualidade da escrita ajudou a manter minha atenção. | ① | ② | ③ | ④ | ⑤ | |||||||
| 8. Essa atividade é tão abstrata que foi difícil manter minha atenção nela. | ① | ② | ③ | ④ | ⑤ | |||||||
| 9. Enquanto eu trabalhava nessa atividade, estava confiante de que poderia aprender o conteúdo. | ① | ② | ③ | ④ | ⑤ | |||||||
| 10. Gostei tanto dessa atividade que gostaria de saber mais sobre este assunto. | ① | ② | ③ | ④ | ⑤ | |||||||
| 11. As páginas desse material parecem pouco interessantes. | ① | ② | ③ | ④ | ⑤ | |||||||
| 12. A forma como a informação está organizada nas páginas ajudou a manter minha atenção. | ① | ② | ③ | ④ | ⑤ | |||||||
| 13. Esta atividade tem elementos que estimularam minha curiosidade. | ① | ② | ③ | ④ | ⑤ | |||||||
| 14. Gostei muito de estudar essa atividade. | ① | ② | ③ | ④ | ⑤ | |||||||
| 15. A quantidade de repetição nesta atividade me fez ficar, eventualmente, entediado. | ① | ② | ③ | ④ | ⑤ | |||||||
| 16. O conteúdo e o estilo de escrita neste material dão a impressão de que vale a pena conhecê-lo. | ① | ② | ③ | ④ | ⑤ | |||||||
| 17. Aprendi algumas coisas que foram surpreendentes ou inesperadas. | ① | ② | ③ | ④ | ⑤ | |||||||
| 18. Depois de trabalhar nessa atividade por algum tempo, eu estava confiante de que seria capaz de passar em um teste sobre ela. | ① | ② | ③ | ④ | ⑤ | |||||||
| 19. A maneira como foi dado o feedback após os exercícios, ou outros comentários na atividade, ajudou-me a sentir recompensado pelo meu esforço. | ① | ② | ③ | ④ | ⑤ | |||||||
| 20. A variedade de trechos de leitura, exercícios, ilustrações etc., ajudou a manter minha atenção na atividade. | ① | ② | ③ | ④ | ⑤ | |||||||
| 21. O estilo de escrever é entediante. | ① | ② | ③ | ④ | ⑤ | |||||||
| 22. Há tantas palavras em cada página que é irritante. | ① | ② | ③ | ④ | ⑤ | |||||||
| 23. Eu realmente não consegui entender muito o material desta atividade. | ① | ② | ③ | ④ | ⑤ | |||||||
| 24. A boa organização do conteúdo me ajudou a ter certeza de que eu aprenderia este material. | ① | ② | ③ | ④ | ⑤ | |||||||
| 25. Foi um prazer trabalhar em uma atividade tão bem planejada. | ① | ② | ③ | ④ | ⑤ | |||||||
| Itens distribuídos por dimensão | ||||||||||||
| Dimensão | Itens | |||||||||||
| Interesse | 5 | 6 | 7 | 10 | 11* | 12 | 13 | 16 | 17 | 19 | 20 | 25 |
| Confiança | 2 | 3 | 9 | 14 | 18 | 24 | ||||||
| Atenção | 4* | 15* | 21* | 22* | ||||||||
| Expectativa | 1* | 8* | 23* | |||||||||
* Itens invertidos: a nota dos itens deverá ser invertida.
DISCUSSÃO
A importância de instrumentos que mensurem a motivação de estudantes nos diversos ambientes de ensino-aprendizagem, com adequada evidência de validade e confiabilidade, motivou, inicialmente, a tradução e adaptação transcultural do IMMS para o português brasileiro11. A tradução e a adaptação transcultural de instrumentos baseados em constructos sólidos, elaborados em outras línguas, poupam tempo e recursos19),(20.
Nesse sentido, o presente estudo buscou evidências de validade de construto, da versão traduzida do IMMS para o português brasileiro, por meio da análise de sua estrutura interna, ante uma estratégia pedagógica que se tornou obrigatória durante o isolamento social da pandemia de Covid-19 e, ao que tudo indica, será cada vez mais utilizada mesmo após superada a necessidade de distanciamento: as videoaulas assíncronas no contexto do ensino remoto ou híbrido21)-(23.
As premissas necessárias para demonstrar a conveniência da ACP foram adequadamente verificadas pela medida de adequação amostral (KMO) e pelo teste de esfericidade de Bartlett, e, após exclusão de 11 itens, o instrumento IMMS-BRV passou a ter 25 itens divididos em quatro dimensões. Esse comportamento também foi encontrado nos demais estudos que avaliaram empiricamente a validade do IMMS, tendo sido reportada a exclusão de 16, 24 e 17 itens nos três estudos publicados12)-(14.
Observa-se, como descrito na seção “Resultados”, que a ACP agrupou os itens no IMMS-BRV em duas dimensões próximas ao IMMS original, mantidas como confiança e atenção. Entretanto, duas novas dimensões (interesse e expectativa) foram elaboradas de acordo com a análise de conteúdo e com as maiores cargas dos itens nelas agrupados. A esse respeito, é oportuno observar-se que o modelo ARCS, do qual deriva o IMMS, é baseado na teoria expectativa-valor, cujo constructo enfoca o interesse e a expectativa pelo aprendizado4),(5.
Outro fato relevante é que o IMMS foi originalmente validado com a participação de estudantes de graduação em que se utilizou um material instrucional autodirigido impresso em papel, aspecto bem diferente do material deste e dos demais estudos que analisaram sua validade15. Além disso, para distribuição dos itens nas quatro dimensões originais, não houve tratamento empírico dos dados, como no presente estudo. É possível que tal procedimento, caso houvesse sido realizado, tivesse gerado diferente agregação dos seus itens em relação às dimensões descritas no IMMS original.
A ACP, conduzida no presente estudo, apresentou cargas significativas (0,529 a 0,790), o que caracterizou a adequada correlação de cada variável (item) com a dimensão correspondente (validade de constructo)17. Em relação à adequação da análise de conteúdo, na redefinição da nomenclatura das dimensões, apesar de haver diferenças do IMMS-BRV em relação ao IMMS, no que tange à distribuição dos itens e à denominação dos componentes (dimensões), a coerência com os constructos que embasam o IMMS original foi mantida3),(24.
Essas dimensões remetem o constructo do IMMS-BRV ao constructo do primeiro modelo de design motivacional proposto por Keller3 e descrito na seção “Introdução”. Nele, as quatro dimensões são: interesse, expectativa, relevância e resultado. Portanto, o IMMS-BRV apresenta duas dimensões do primeiro modelo de design motivacional (interesse e expectativa) e duas dimensões do segundo modelo de design motivacional (atenção e confiança), mostrando como os conceitos subjacentes a ele estão em consonância com a evolução do constructo de design motivacional postulado por Keller3),(4),(15. Diante de tal composição das dimensões, ressalta-se a questão de que, se o pool inicial de itens, do qual derivou o IMMS, tivesse sido submetido a técnicas multivariadas para definição de sua dimensionalidade, o resultado não teria sido mais próximo do encontrado no presente estudo e nos demais que avaliaram a estrutura interna do instrumento original. Dessa forma, os resultados da ACP e da adequação da análise de conteúdo na redefinição das dimensões apontam para evidências iniciais de validade de constructo, e os coeficientes alfa de Cronbach, encontrados para as dimensões, revelam a boa confiabilidade do IMMS-BRV.
Correlacionando com a literatura, os estudos que analisaram as evidências de validade do IMMS também resultaram na redução do número de itens e na modificação de sua distribuição em dimensões, ressaltando, mais uma vez, o caráter situacional do instrumento e enfatizando a necessidade de modificação dele para acomodação ao contexto de sua aplicação12)-(14. Em outras palavras, sugere-se que a situação do instrumento é dinâmica e varia de acordo com fatores correlacionados à sua implementação, que vão desde as características dos estudantes até as características dos programas instrucionais envolvidos.
Nesse sentido, Huang et al.12 avaliaram a validade do IMMS em estudantes do primeiro ano de Engenharia que utilizavam um tutorial baseado em computador como material suplementar para aprendizagem do uso de ferramenta computacional denominada MATLAB. O resultado foi a manutenção de 20 itens distribuídos em quatro dimensões, de maneira diversa do instrumento original, como também ocorreu no presente estudo. Ainda correlacionando com o presente estudo, a atenção foi a dimensão que manteve o maior número de itens em ambos, e, dos 20 itens mantidos no instrumento validado por Huang et al.12, 15 (75%) itens também foram mantidos no IMMS-BRV, representando 62,5 % do IMMS-BRV.
A respeito do estudo de Huang et al.12, Keller4 aduziu que a análise fatorial, ao ser aplicada ao IMMS, pode alterar sua estrutura porque as dimensões podem apresentar intercorrelações muito altas. Ele explica que isso ocorre, em parte, porque o instrumento foi projetado para medir atitudes situação-específicas e não constructos psicológicos. De fato, no presente estudo, a correlação entre a dimensão interesse e a dimensão confiança também mostrou-se elevada (r = 0,81). No constructo ARCS, o interesse do estudante pela atividade instrucional está diretamente relacionado à sua confiança de que será bem-sucedido na tarefa, ou seja, na aprendizagem. Logo, os itens dessas dimensões medem comportamentos que caminham paralelamente, em função de os traços latentes representados serem muito intercorrelacionados. Entretanto, para efeito de diagnóstico e correção ou aprimoramento da atividade instrucional sob avaliação, é importante a manutenção dessas dimensões separadamente.
Por sua vez, no estudo de Loorbach et al.13, realizado em um ambiente de aprendizagem autodirigida, que objetivava o ensino de tarefas relacionadas ao uso de telefones celulares por pessoas idosas, o instrumento foi reduzido para 12 itens que se ajustaram adequadamente nas quatro dimensões originais do IMMS, sendo proposto o instrumento denominado RIMMS. Dos 12 itens presentes no RIMMS, dez (83,3%) também estão alocados no IMMS-BRV.
Recentemente, Hauze et al.14 validaram o IMMS em cenário de treinamento simulado aplicado a estudantes de Enfermagem. Nesse estudo, houve retenção de 19 itens distribuídos em quatro dimensões, conforme o IMMS original.
A partir da análise desses estudos até então publicados, observa-se a falta de homogeneidade em relação aos resultados da validação do IMMS, quando aplicado em diferentes contextos, relativos às características dos estudantes e ao material instrucional avaliado. Assim, no presente estudo, a motivação foi analisada em contexto diverso daqueles já pesquisados em estudos de avaliação da validade do instrumento original. A versão final do IMMS-BRV, reduzida para 25 itens, torna mais conveniente sua aplicação na avaliação de estratégias de ensino remoto, como videoaulas assíncronas, uma vez que pode aferir a motivação com menor tempo para seu preenchimento e, consequentemente, com menor cansaço e menor dispersão da atenção na interpretação dos diversos itens, alinhando-se, portanto, ao princípio da parcimônia dos instrumentos de medida24.
A confiabilidade do IMMS-BRV, medida pelo alfa de Cronbach, variou de 0,76 (atenção) a 0,93 (interesse) em suas dimensões, apresentando, assim, boa consistência interna25. Esses achados, comparados com os demais estudos de validação, mostram que os itens do IMMS-BRV apresentam confiabilidade no mesmo grau ou em melhor grau do que verificado em tais estudos12)-(14. Além disso, o IMMS-BRV manteve 80% dos itens reversos contidos no instrumento original. Achado semelhante foi verificado por Hauze et al.14, demonstrando a resiliência do questionário IMMS para o viés de reposta e para a fadiga dos respondentes.
Este estudo apresenta limitações que devem ser consideradas especialmente em relação à generalização dos resultados. Trata-se de estudo realizado em um único curso de Medicina, em amostragem por conveniência de uma população bastante específica. Além disso, a atividade instrucional avaliada pelo instrumento também foi singular por incluir videoaulas apenas da estratégia anatomia humana. Somam-se a isso o período atípico da pandemia de Covid-19 no qual os dados foram colhidos e a aplicação on-line do instrumento. A forma de análise de dados das variáveis geradas por medidas ordinais convertidas em números, como no caso daquelas utilizadas nas escalas Likert, também suscita debate na literatura, uma vez que as diferenças entre as respostas não são equidistantes26.
Finalmente, deve-se ressaltar que este estudo teve o interesse de avaliar a validade do IMMS no cenário de ensino remoto (videoaulas assíncronas). Seus resultados e os dados disponíveis na literatura enfatizam o caráter situacional e a não universalidade do IMMS, e reforçam que a validade e a confiabilidade do IMMS-BRV, evidenciadas no presente estudo, devem ser consideradas preliminares. Assim, potenciais utilizações em outros contextos devem ser avaliadas, e novos estudos que busquem corroborar a validade do IMMS-BRV, em outros contextos de ensino-aprendizagem, conferindo-lhe validade externa, necessitarão ser realizados para ampliação do seu espectro de aplicação. Logo, a acurácia da generalização de sua utilização para contextos diversos do empregado neste estudo é desconhecida.
CONCLUSÕES
A aplicação do IMMS no cenário de ensino remoto, por meio de videoaulas assíncronas de anatomia humana, resultou em instrumento alternativo (IMMS-BRV), modificado com menor número de itens (mais parcimonioso) e boa consistência interna, demonstrando evidências preliminares de validade e confiabilidade adequadas no contexto empregado.
AGRADECIMENTOS
Os autores agradecem, especialmente, ao Prof. John Keller que autorizou e estimulou a tradução e a validação do IMMS para o português do Brasil.
REFERÊNCIAS
1. Small R, Gluck M. The relationship of motivational conditions to effective instructional attributes: a magnitude scaling approach. Educ Technol. 1994;34:33-40. [ Links ]
2. Gopalan V, Aida J, Bakar A, Nasir A, Alwi A, Mat RC. A review of the motivation theories in learning. In: AIP Conference Proceedings 1891. 2017. p. 1-7. [ Links ]
3. Keller JM. Development and use of the ARCS model of motivational design. J Instr Dev. 1987;10:2-10. [ Links ]
4. Keller JM, editor. Motivational design for learning and performance: the ARCS model aproach. New York: Springer; 2010. [ Links ]
5. Wigfield A. Expectancy-value theory of achievement motivation: a developmental perspective. Educ Psychol Rev. 1994;6:49-78. [ Links ]
6. Wigfield A, Eccles JS. Expectancy-value theory of achievement motivation. Contemp Educ Psychol. 2000;25:68-81. [ Links ]
7. Cook DA, Beckman TJ, Thomas KG, Thompson WG. Measuring motivational characteristics of courses: applying Keller’s instructional materials motivation survey to a web-based course. Acad Med. 2009;84:1505-9. [ Links ]
8. Wan Hamzah WMAF, Haji Ali N, Mohd Saman MY, Yusoff MH, Yacob A. Influence of gamification on students’ motivation in using e-learning applications based on the motivational design model. Int J Emerg Technol Learn. 2015;10:30-4. [ Links ]
9. Huang B, Hew KF. Measuring learners’ motivation level in Massive Open Online Courses. Int J Inf Educ Technol . 2016;6:759-64. [ Links ]
10. Julià C, Antolí JÒ. Impact of implementing a long-term STEM-based active learning course on students’ motivation. Int J Technol Des Educ. 2019;29:303-27. [ Links ]
11. Cardoso-Júnior A, Garcia VCS, Coelho DV, Said CC, Strapasson ACP, Resende IS. Tradução e adaptação transcultural do Instructional Materials Motivation Survey (IMMS) para o português do Brasil. Rev Bras Educ Med. 2020;44(4):e179. [ Links ]
12. Huang W, Huang W, Diefes-Dux H, Imbrie PK. A preliminary validation of attention, relevance, confidence and satisfaction model-based Instructional Material Motivational Survey in a computer-based tutorial setting. Br J Educ Technol . 2006;37:243-59. [ Links ]
13. Loorbach N, Peters O, Karreman J, Steehouder M. Validation of the Instructional Materials Motivation Survey (IMMS) in a self-directed instructional setting aimed at working with technology. Br J Educ Technol . 2015;46:204-19. [ Links ]
14. Hauze SW, Marshall JM. Validation of the Instructional Materials Motivation Survey : measuring student motivation to learn via mixed reality nursing education simulation. International J on E-Learning 2020;19:49-64. [ Links ]
15. Keller JM. Development of two measures of learner motivation. Tallahassee FL: Florida State University; 2006. v. 3, p. 1-9 ENT#091;access in 12 jan 2021ENT#093;. Available from: Available from: http://scholar.google.com/scholar?hl=en&btnG=Search&q=intitle:Development+of+Two+Measures+of+Learner+Motivation#0 . [ Links ]
16. Landis JR, Koch GG. Agreement of categorical data. Biometrics. 1977;33:159-74. [ Links ]
17. Hair Jr. JF, Black WC, Babin BJ, Anderson RE. Multivariate data analysis. 7th ed. Harlow: Pearson; 2014. [ Links ]
18. Dicionário Oxford. 3a ed. Oxford: Oxford University Press; 2018. [ Links ]
19. Toledo Júnior A, Duca JGM, Coury MIF. Tradução e adaptação transcultural da versão brasileira do Schutte Self-Report Emotional Intelligence Test. Rev Bras Educ Med . 2018;42:109-14. [ Links ]
20. Sleumer JP, Campos APF, Machado FAS, Moura EP. Adaptação transcultural e avaliação das propriedades psicométricas do instrumento Nutrition in Patient Care Survey (Nips) no Brasil. Rev Bras Educ Med . 2019;43:26-35. [ Links ]
21. Bernard RM, Abrami PC, Borokhovski E, Wade CA, Tamim RM, Surkes MA, et al. A meta-analysis of three types of interaction treatments in distance education. Rev Educ Res. 2009;79:1243-89. [ Links ]
22. Bozkurt A, Sharma R. Emergency remote teaching in a time of global crisis due to CoronaVirus pandemic. Asian J Distance Educ. 2020;15:1-6. [ Links ]
23. Gelles LA, Lord SM, Hoople GD, Chen DA, Mejia JA. Compassionate flexibility and self-discipline: student adaptation to emergency remote teaching in an integrated engineering energy course during Covid-19. Educ Sci. 2020;10:1-23. [ Links ]
24. Pasquali L. Psicometria: teoria dos testes na psicologia e na educação. 5a ed. Petrópolis: Vozes; 2013. [ Links ]
25. Souza AC, Alexandre NMC, Guirardello EB. Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Epidemiol Serv Saúde. 2017;26:649-59. [ Links ]
26. Sullivan GM, Artino Jr. AR. Analyzing and interpreting data from Likert-Type scales. J Grad Med Educ. 2013;5:541-42. [ Links ]
Recebido: 24 de Fevereiro de 2021; Aceito: 23 de Agosto de 2021
This is an open-access article distributed under the terms of the Creative Commons Attribution License
