1 Introdução

O modelo brasileiro de avaliação do ensino superior denominado Sistema Nacional de Avaliação da Educação Superior (SINAES) vem sendo desenvolvido desde o ano 2004, com a publicação da lei 10.861 que o instituiu. Desde então, os instrumentos de avaliação utilizados para coletar os dados necessários à avaliação vêm passando por constantes modificações. O modelo proposto conta com três formas de avaliação. A avaliação externa realizada por avaliadores denominados pelo poder público, gerando conceitos institucionais e de curso. A avaliação interna feita pela própria instituição de ensino por meio de uma Comissão Própria de Avaliação (CPA), formada por membros internos da Instituição de Ensino Superior (IES), bem como representantes da sociedade civil na qual está inserida a organização. A terceira, a avaliação feita pelo Exame Nacional de Cursos (ENADE), realizada por meio dos resultados de aprendizado, com a aplicação de uma prova respondida pelos alunos concluintes de curso, comparando com as notas alcançadas pelos ingressantes que realizaram o Exame Nacional do Ensino Médio (ENEM), gerando o conceito ENADE. Este último, apesar de não ter como objetivo principal a geração de rankings, é amplamente divulgado neste formato pela mídia assim como pelas instituições de ensino. Cada curso deverá passar pelo processo de avaliação de curso a cada 3 anos e a instituição como um todo a cada 5 anos no máximo, dependendo de seu Índice Geral de Cursos (IGC) esse prazo pode variar.

Ao se analisar o modelo utilizado, pode-se afirmar a carência da existência de formas de avaliar a interação do estudante com a instituição de ensino, uma vez que, conforme mencionado anteriormente, a avaliação ou é realizada analisando-se a IES ou analisando-se o aprendizado do aluno, não há indicadores que permitam medir a interação entre esses dois agentes. Pode-se dizer que não existe nenhuma medida que correlaciona as práticas institucionais com os alunos, nenhum indicador que faça a ligação aluno-instituição de ensino. Em busca na literatura de uma medida que permitisse essa medida encontra-se o engajamento. Portanto, estudar o engajamento sobre esta perspectiva é oportuno, visto que o modelo de avaliação brasileiro se encontra em um processo contínuo de desenvolvimento e aprimoramento, de modo que esteja constantemente buscando por novos olhares e formas que visem garantir a qualidade da educação superior. A literatura internacional sobre o tema indica uma série de medidas que poderiam agregar valor às já existentes no modelo Brasileiro. Porém, uma leitura crítica permite concluir que a maioria dessas medidas apenas somaria as já existentes, sem caracterizar uma nova perspectiva. Já ao revisar os estudos sobre o engajamento do estudante, pode-se afirmar que estes apresentam medidas que caracterizam uma nova dimensão para as já existentes.

^{Kuh (2001}) sugere que o engajamento dos estudantes é uma medida de qualidade institucional. Quanto mais engajados os estudantes estiverem em atividades educacionais, melhor é a instituição. Excelência em educação superior ocorre em universidades que maximizem boas práticas que incentivam engajamento acadêmico e social (^{PASCARELLA, 2001}). Políticas e práticas institucionais influenciam o engajamento do estudante (^{PIKE; KUH, 2005}).

Particularmente, as questões e o interesse sobre a qualidade do ensino a distância persistem e crescem. As especificações que determinam o que é qualidade sob a perspectiva do SINAES, a garantia e a melhoria da qualidade na educação superior é um problema complexo, e os pesquisadores estão continuamente aprimorando e desenvolvendo novas formas de avaliar e medi-la. Apesar do surpreendente crescimento da educação a distância no mundo inteiro, o conhecimento das experiências que efetivamente levam ao aprendizado ainda são limitadas. Uma questão ainda não resolvida em relação à qualidade das experiências de aprendizagem do ensino a distância diz respeito ao nível de engajamento dos estudantes. Para ^{Chen, Gonyea e Kuh (2008}), um tema ainda não estudado diz respeito à qualidade das experiências de aprendizagem em cursos a distância e o nível de envolvimento nas atividades dos cursos.

O engajamento é positivamente relacionado a uma série de resultados, tais como notas, satisfação do estudante e conclusão do curso. Por esta razão, atividades como interação estudante-membros da instituição de ensino, colaboração entre pares e aprendizagem ativa são importantes para qualquer modalidade de ensino (^{CHEN; GONYEA; KUH et al., 2008}) mas, particularmente na EAD essa interação é a essência da modalidade. No entanto, a avaliação da educação a distância deve ir além das medidas tradicionais e considerar a qualidade das experiências vivenciadas ao longo do curso como um todo (^{ROBINSON; HULLINGER, 2008}).

Neste sentido, este artigo tem como objetivo propor um modelo que permita avaliar o nível de engajamento de estudantes de cursos superiores na modalidade a distância.

Este artigo está estruturado em cinco seções. Após esta introdução, são apresentados os conceitos relacionados ao engajamento. Na seção seguinte, é apresentado o método de pesquisa, incluindo os detalhes da coleta de dados. A seguir são apresentados os resultados, com a proposta de modelo seguida de um exemplo de sua aplicação. Por fim, nas considerações finais são traçadas sugestões para a utilização do modelo.

2 O Engajamento do Estudante na Modalidade a Distância

O estudo do engajamento no ensino superior vem se desenvolvendo em vários países do mundo com diferentes enfoques, assumindo uma variedade de significados e aplicações (^{ZEPKE, 2015}). Historicamente, o conceito de engajamento do estudante originou-se nos estudos de ^{Pace (1982}), os quais buscavam medir a qualidade do esforço do estudante, consagrados pela Teoria do Envolvimento formulada por ^{Astin (1985}). Os primeiros estudos desenvolvidos buscavam demonstrar quanto o tempo e a energia dedicados para certas atividades que requerem mais esforço que outras, tais como estudar, interagir com colegas ou com professores discutir temas relevantes, aplicar os conteúdos desenvolvidos em situações concretas e em tarefas de diferentes contextos e assim por diante têm maiores resultados de aprendizagem (^{PACE, 1990}). Com a evolução das pesquisas, observou-se que os estudantes em geral se beneficiam com as práticas de engajamento, apesar dos efeitos serem diversos, significando que alguns estudantes se beneficiam mais do que outros em certas atividades (^{PASCARELLA; TERENZINI, 2005}). Observou-se que o engajamento tem reflexos sobre as notas e persistência do acadêmico principalmente, quando eles são envolvidos desde o primeiro ano de curso (^{KINZIE et al., 2006}; ^{KUH et al., 2008}; PASCARELLA; TERENZINI, 2005). ^{Fredericks, Blumenfeld e Paris (2004}) definem que o engajamento é um meta-contruto que relaciona aspectos sociológicos, organizacionais, psicológicos, culturais, pedagógicos e econômicos.

Estar engajado estimula a aprendizagem continuada após a finalização do curso superior (^{CHEN, GONYEA; KUH et al., 2008}). O engajamento do estudante tem uma correlação fortemente positiva com desempenho acadêmico e na satisfação do estudante, gerando sucesso acadêmico (^{PASCARELLA; TERENZINI, 2005}). Outros estudos apontam que o engajamento do estudante está diretamente relacionado com a persistência e a permanência no ensino superior (PASCARELLA; TERENZINI, 2005). O quê as instituições fazem para engajar seus estudantes, por vezes pode ser denominado de valor agregado (^{ZHAO; KUH, 2004}) e ser pensado como uma forma de medir a qualidade do ensino (^{MCCORMICK; GONYEA; KINZIE, 2013}). Neste sentido, o engajamento do estudante pode ser também utilizado como um indicador de avaliação da qualidade em uma tentativa de responder a seguinte questão: será que as instituições estão aplicando adequadamente seus recursos e considerando as condições prévias do estudante para efetivamente conduzir o mesmo ao aprendizado (^{KUH et al., 2006}) assim gerando empregabilidade do estudante (^{HU; WOLNIAK, 2010})? Ewell e Jones (¹⁹⁹⁶) complementam afirmando a importância de incorporar indicadores de engajamento do estudante em avaliações de qualidade. Para McCormick, Gonyea e Kinzie (2013), o engajamento representa uma forma de avaliar o próprio professor. Engajar o estudante significa colocá-lo no centro do processo de ensino-aprendizagem (^{PARSONS; TAYLOR, 2011}).

Entender o engajamento do estudante é importante visto que ele é positivamente correlacionado com bons resultados de aprendizagem, tais como desenvolvimento de pensamento crítico e notas melhores (^{CARINI; KUH; KLEIN, 2006}; ^{EWELL, 2002}). Apesar de, conforme estudos realizados (EWELL, 2002; ^{KLEIN et al., 2005}; ^{PASCARELLA; TERENZINI, 2005}), os bons resultados de aprendizagem serem consequências de uma variedade de fatores, o engajamento do estudante aparece como um deles. Todavia, o nível de engajamento do estudante continua sendo considerado em estudos internacionais como uma forma de avaliar o desenvolvimento tanto do nível de aprendizagem bem como da perspectiva pessoal do estudante (CARINI, KUH, KLEIN, 2006). Estudantes mais engajados durante seus cursos desenvolvem hábitos que aumentam sua capacidade de permanecer aprendendo e se desenvolvendo continuamente (^{SHULMAN, 2002}). Outros estudos (^{HUGHES; PACE, 2003}) apontam a relação positiva entre engajamento e persistência do aluno em manter-se cursando o seu curso, bem como com os níveis de satisfação dos estudantes (^{ASTIN, 1984}; TERENZINI; PASCARELLA, 1991). Estar engajado em uma variedade de atividades educacionais auxilia na disposição que o estudante precisaria para viver de forma mais produtiva e satisfeita após o término de seu período na Universidade, em outras palavras, estar engajado auxilia na criação de hábitos que facilitariam o processo de aprendizagem contínua (^{KUH, 2003}).

Avaliar as experiências dos estudantes é importante, pois o engajamento do estudante em atividades acadêmicas tem um efeito positivo no sucesso da aprendizagem (^{KUH; PACE; VESPER, 1997}; PACE, 1990; ^{TERENZINI; PASCARELLA, 1991}). Baseado em 20 anos de estudo, Pacarella e Terezinni afirmaram que uma das conclusões seguras que pode ser feita é que o impacto do ensino superior no indivíduo é determinado pela qualidade do esforço e pelo nível de envolvimento de atividades acadêmicas e não acadêmicas do estudante ao longo do período em que ele está cursando o ensino superior.

Mesmo assumindo diferentes resultados, os estudos internacionais sobre engajamento, apontam a existência de correlação positiva com sucesso acadêmico, notas mais altas, conclusão do curso, satisfação, motivação, melhores resultados de aprendizagem e desenvolvimento pessoal do estudante. Outras pesquisas utilizam medidas de engajamento para avaliar a perspectiva da Instituição de Ensino, da disciplina, do docente ou do curso. Portanto, as medidas de engajamento podem representar um importante indicador para a avaliação da qualidade da educação superior no modelo utilizado no Brasil.

3 Método

Primeiramente foi realizada uma revisão de literatura seguida por uma coleta de dados por meio de grupos focados com estudantes de diferentes cursos superiores. Foram realizadas um total de quatro reuniões. Finalizados os grupos foi realizada uma análise de conteúdo que permitiu gerar uma lista contendo mais de 100 fatores relacionados ao engajamento dos estudantes. De posse desses fatores realizaram-se entrevistas com especialistas em ensino a distância que permitiu um melhor agrupamento e redução dos fatores, gerando um total de 60 itens categorizados em 11 dimensões. Na segunda etapa, caracterizada como quantitativa, foi elaborado um questionário, o mesmo foi encaminhado para estudantes da modalidade a distância. O detalhamento do passo a passo para elaboração do modelo segue:

1º passo - Definição da escala

Após a identificação dos fatores foi preciso elaborar uma escala que permitisse a mensuração dos mesmos. A mensuração é parte fundamental para a construção de um instrumento de pesquisa, caso contrário não será possível assegurar com segurança a precisão e a confiabilidade das descobertas (^{HAIR JÚNIOR et al., 2005}). Para tanto, foi utilizada uma escala de 11 pontos variando entre Nenhuma importância (zero), Importância moderada (cinco) e Muitíssima Importância (dez).

2º passo - Aplicação do instrumento

Para aplicar o instrumento o mesmo foi disponibilizado de forma online para os estudantes pelos coordenadores de diferentes cursos, de quatro Instituições de Ensino Superior. As IES foram selecionadas de acordo com o interesse dos coordenadores em aplicar o instrumento. Os questionários foram enviados para 6 diferentes cursos de graduação, sendo dois bacharelados, dois cursos tecnológicos e duas licenciaturas.

Os cursos de Bacharelado pertencem a duas diferentes Universidades particulares. Já os cursos tecnológicos correspondem a uma Faculdade. Por fim, os cursos de Licenciatura correspondem a duas Universidades Federais distintas. Todas as Instituições de Ensino tem sede no Rio Grande do Sul, porém, com polos em diferentes Estados brasileiros. Por solicitação das IES foram omitidos seus nomes.

Após o envio dos questionários foram obtidos 225 questionários respondidos. Foram desconsiderados 40 questionários pertencentes a diferentes cursos dos analisados ou que apresentaram preenchimento incompleto, portanto 185 foram considerados válidos para realizar a análise de resultados.

3º passo - Validação do instrumento

De posse dos resultados foi possível realizar a validação dos fatores. Para tanto, foi realizada uma Análise Fatorial Confirmatória.

5º passo - Elaboração do modelo

A elaboração do modelo levou em consideração as importâncias de cada fator, assim como a importância relativa de cada dimensão. O modelo foi elaborado levando em consideração as dimensões e o número de dimensões em cada etapa.

6º passo - Aplicação do modelo

Por fim, foi feita uma aplicação do modelo em um curso de graduação tendo como objetivo demonstrar um exemplo. Para tanto, foi enviado o instrumento proposto para alunos de uma disciplina de um curso de graduação. Foram obtidas um total de 50 respostas com questionários totalmente respondidos.

4 Proposta de um modelo de avaliação

O modelo de avaliação proposto neste artigo para identificar o nível de engajamento de estudantes curso de graduação a distância subdivide-se em dois blocos principais. As subseções a seguir apresentam a estrutura de cada bloco e suas questões.

5 Considerações finais

O modelo proposto pode ser aplicado em diferentes cursos (bacharelados, licenciaturas ou tecnólogos) assim como em Universidades, Centros Universitários ou Faculdades, independente do número de alunos. As informações geradas pela aplicação do modelo podem ser utilizadas por diferentes públicos interessados na qualidade da oferta do ensino superior na modalidade de curso a distância. Neste sentido, coordenadores, docentes, tutores, estudantes e gestores de instituições de ensino poderão fazer uso dos resultados obtidos. Os coordenadores de curso poderão utilizar os resultados obtidos com o objetivo de melhor planejarem seus cursos buscando a promoção de ações de maior impacto sobre o engajamento do estudante, assim como focando na melhoria das dimensões que tenham obtidos notas menores na avaliação. Tanto os docentes assim com o os tutores poderão utilizar a aplicação do modelo para identificar os fatores priorizados por seus alunos. Por fim, por gestores de instituição, para comparar o engajamento observado nos diversos cursos e planejar ações sistêmicas, que podem envolver projetos específicos, mudanças nos projetos de curso ou mesmo descontinuidade de cursos.

O instrumento pode ser aplicado para os estudantes iniciantes do ensino superior e para os concluintes e comparar se existem diferenças significativas no nível de engajamento ao longo do curso. Sugere-se que seja aplicado online e que o aluno possa visualizar, ao término do seu preenchimento, os resultados de seu curso, comparando-os com os seus resultados pessoais.