Introdução

Alguns estudiosos sugerem que desistir é um processo, não um evento e, como resultado, pode ser causado por uma combinação de fatores (^{Mansfield, O'leary & Webb, 2011}). Nesse sentido, muitos têm sido os estudiosos a debruçarem-se sobre a problemática desse fenômeno, procurando desenvolver instrumentos de diferentes abordagens. Diante desse cenário, fez-se uma análise de conteúdo de estudos específicos de medidas, de modo a estabelecer um alinhamento no desenvolvimento do instrumento de pesquisa, com a estrutura do modelo conceitual desenvolvida com base nos modelos de ^{Bean e Metzner (1985}) e ^{Park (2007)}, além dos trabalhos de ^{Costa e Gouveia (2019}) e ^{Lee e Choi (2011}). Esses últimos permitiram identificar as variáveis preditoras que determinam ou contribuem para o risco da evasão de estudantes na modalidade de educação à distância (EaD).

O instrumento de pesquisa neste estudo foi construído com a finalidade de coletar informações sobre os fatores que afetam a decisão do comportamento de abandonar os estudos de discentes do ensino superior à distância. Nesse sentido, dirigimos o foco para o apoio acadêmico recebido pelos estudantes, as mudanças nas circunstâncias da vida durante o processo de formação universitária, os aspectos motivacionais, experiência de aprendizagem em geral e suas características individuais.

O presente estudo tem como objetivo relatar as etapas de construção do instrumento de pesquisa para prevenção da evasão nas instituições de educação superior (IES), que oferecem programas de graduação na modalidade de ensino à distância. A formulação dos itens foi baseada em artigos nacionais e internacionais, recuperados de bases de dados digitais do Google Scholar e do Education Resources Information Center (ERIC), bem como na experiência dos autores na área da educação. Os 124 itens provenientes de várias fontes autorizadas foram avaliados por seis juízes, que, juntos, somam aproximadamente 90 anos de experiência na área da EaD.

A razão da construção desse instrumento de pesquisa é o fato de integrar um conjunto de dimensões, que são objetos da investigação do trabalho de doutoramento de um dos autores. Os resultados do estudo apontam 83,33% de concordância entre os juízes para os constructos “motivação do fator psicológico”, “apoio tutor do fator acadêmico”, “apoio familiar e apoio financeiro do fator ambientes”. Houve 100% de concordância entre os juízes para os constructos “sexo”, “idade”, “educação anterior” e “situação de trabalho/nº de horas trabalhada do fator caracteristica de fundo”.

Referencial teórico

Estudos nacionais e estrangeiros no campo da educação superior têm direcionado seus esforços na busca de entender os motivos da evasão de estudantes. Alguns desses estudos concentram-se na construção da escala de instrumentos com foco na satisfação (^{Diniz & Almeida, 2005}; ^{Schleich, Polydoro & Santos, 2006}), Escala de Interação com Pares para estudantes do ensino superior (^{Fior, Mercuri & Almeida, 2011}), envolvimento acadêmico (^{Fior, Mercuri & Silva, 2013}) e motivos para evasão do ensino superior (^{Ambiel, 2015}).

Em seus estudos, ^{Diniz e Almeida (2005}) apresentam o processo de construção e de validação da Escala de Integração Social no Ensino Superior (EISES). Para os autores, as preocupações iniciais dos estudantes reportaram-se, principalmente, ao bem-estar pessoal e ao estabelecimento de novas relações, dimensões da satisfação consigo e com os outros (estrutura fatorial bidimensional hierárquica). Essas dimensões e o equilíbrio emocional (estrutura fatorial tridimensional hierárquica) representam as áreas problemáticas da integração social dos discentes.

Alinhados ao foco da satisfação, ^{Schleich, Polydoro e Santos (2006}) analisaram os parâmetros psicométricos da Escala de Satisfação com a Experiência Acadêmica (ESEA). Para os autores, a falta de instrumentos nacionais devidamente validados para a avaliação da satisfação acadêmica justificou o desenvolvimento do estudo. Os autores afirmam, ainda, que conhecer as satisfações ou insatisfações dos estudantes auxilia a elevar o entendimento do impacto do ensino superior no desenvolvimento integral, já que o desencontro entre a diversidade de expectativas dos discentes e o que realmente a instituição oferece pode gerar baixo desempenho, reduzida integração, insucesso e, até mesmo, o abandono do curso.

^{Fior, Mercuri e Almeida (2011}) apresentam, em seus estudos, a construção e as evidências de validade da Escala de Interação com Pares para estudantes do ensino superior. Os autores destacam que as relações que os alunos estabelecem com os pares são importantes para a aprendizagem e o desenvolvimento psicossocial e cognitivo. Também, acrescentam que o estudo psicométrico do instrumento permite afirmar que a Escala de Interação com os Pares apresenta os requisitos que possibilitam considerá-la como um instrumento adequado e fidedigno. Contudo, é pertinente que se realizem outros estudos, principalmente com estudantes de ensino superior que apresentam características distintas das apresentadas pelos participantes do estudo de ^{Fior, Mercuri e Almeida (2011}), a fim de aprimorar os resultados psicométricos da escala.

Em seus estudos sobre evidências de validade da Escala de Envolvimento Acadêmico para universitários, ^{Fior, Mercuri e Silva (2013}) afirmam que envolvimento acadêmico, entendido como a participação dos estudantes nas tarefas educativas, é imprescindível para a aprendizagem, desenvolvimento e permanência no sistema educacional. Eles acrescentam, ainda, que a construção da escala contribui para ampliação do conhecimento sobre a vivência acadêmica e reafirma a diversidade de experiências presentes na formação universitária.

^{Ambiel (2015)} relata, em seu estudo, a construção dos itens e validação da estrutura interna da escala de motivos para evasão do Ensino Superior. O autor observa dois pontos importantes na construção do instrumento. O primeiro destaca que a formulação dos itens se baseou em artigos brasileiros, recuperados de bases de dados digitais, bem como na vivência de estudantes de ensino superior ativos e evadidos. O segundo destaca que a construção da Escala de Motivos para Evasão do Ensino Superior (M-ES) não se baseou em uma teoria específica, mas sim em motivos levantados junto a estudantes do ensino superior, juízes com experiência no assunto e em diversos estudos brasileiros, que, de forma independente, buscaram identificá-los.

Embora haja uma quantidade razoável de pesquisas nacionais e internacionais avaliando fatores e variáveis relacionadas à evasão, não foram encontrados na literatura instrumentos padronizados que afiram, especificamente, os motivos potenciais sobre o que afeta a decisão do comportamento de abandonar o curso de estudantes do ensino superior à distância.

Muitos dos estudos, observados para construção de instrumento para esta pesquisa, concentram sua atenção em somente um aspecto: notadamente, a satisfação tem sido objeto de várias pesquisas. Esses estudos de construção da escala contribuem para ampliação do conhecimento sobre a vivência na graduação e reafirmam a diversidade de experiências presentes durante a formação universitária.

Entende-se que a identificação dos itens potenciais para prever a evasão de estudantes importa para o planejamento de ações institucionais, acompanhamento e monitoramento sistêmico. Nesse sentido, o presente estudo tem como objetivo relatar as etapas de construção do instrumento de pesquisa para prevenção da evasão nas IES, que oferecem programas de graduação na modalidade de ensino à distância.

Metodologia

O estudo adota uma abordagem do tipo quantitativa. Quanto aos fins, esta é uma pesquisa descritiva, pois busca descrever os procedimentos metodológicos da construção de um instrumento de pesquisa para prevenção da evasão de estudantes na educação superior à distância. O detalhamento da construção do instrumento, a seguir, oferece as etapas do processo com seus respectivos fatores, fontes autorizadas, constructos e itens.

Construção do instrumento

Apesar das complexidades inerentes ao fenômeno evasão de estudantes da EaD, o instrumento usado nesta pesquisa foi construído com a finalidade de coletar informações sobre o que afeta a decisão de abandonar o curso de estudantes dessa modalidade de ensino. Nesse sentido, o foco é dirigido para o apoio acadêmico recebido pelos discentes, as mudanças nas circunstâncias da vida durante o processo de formação, os aspectos motivacionais, experiência de aprendizagem em geral e características individuais. Esses representam fatores de naturezas distintas, que influenciam o comportamento que levam a evasão de estudantes no ensino superior à distância. Etapas do processo da construção do instrumento de pesquisa foram adaptadas do estudo de ^{Jun (2005)} e estão detalhadas no Quadro 1.

Clarificação do conceito

Este estudo busca construir um instrumento de coleta de informações sobre o que afeta a decisão de estudantes do ensino superior à distância de abandonar os estudos e, posteriormente, o modelo conceitual com fatores para prever a evasão desses estudantes, com base numa revisão nos conceitos destacados neste artigo. A título de exemplos, tem-se os conceitos de ^{Brown (1996)}, sobre o apoio tutor, ^{OLC (2015}) e ^{Shelton (2011)}, sobre o apoio institucional dos fatores acadêmicos, ^{Bean e Metzner (1985}) e ^{Lee e Choi (2011}), sobre o apoio familiar, ^{Bean e Metzner (1985}) e ^{Parker (1999)}, sobre apoio financeiro e ambiente, ^{Keller (1987}, ²⁰¹⁰) — modelo ARCS — e ^{Balaban-Sali (2008)}, sobre a motivação e ^{Parker (1999)}, sobre o lócus de controle dos fatores psicológicos. Esses conceitos são apresentados a seguir:

Identificação de itens

Nessa etapa, a recuperação da literatura foi realizada através do uso de recursos de biblioteca on-line, para o levantamento de trabalhos de teses, dissertações e artigos científicos na literatura nacional e internacional. As bases de dados pesquisadas incluíram o Google Scholar e o ERIC. Os seguintes termos-chave, que se encaixam nos domínios deste estudo, foram utilizados para definir o fundamento desta revisão de literatura: foram empregadas todas as combinações e permutações de EaD, evasão, preditor, modelo ARCS, abandono, dropout, fatores características de fundo, acadêmicos, ambientes e psicológicos, motivação e lócus de controle. O resultado da revisão identificou 124 itens, provenientes das fontes autorizadas de ^{Holder (2007)} e ^{Jun (2005)}; pesquisas adaptadas de Huang e ^{Hew (2016}), ^{Keller (2010)}, ^{Levy (2007)}, ^{Loorbach et al. (2015)}, ^{Park e Choi (2009}) e^{Su (2016)}.

Tradução e construção

Boa parte dos itens identificados são de autores estrangeiros. Assim, fez-se necessária a tradução de alguns itens, originalmente no idioma inglês, para o português. Fizemos o processo de tradução usando os tradutores do Google, Microsoft e Iris Pen Executive 7, na tradução inicial. Como base, utilizamos ^{Prieto (1992)}, que recomenda algumas diretrizes para os procedimentos de tradução: (1) empregar palavras e frases com frequência semelhante de uso nos dois idiomas; (2) considerar as características únicas do público pretendido; (3) utilizar os serviços de um revisor não familiarizado com o público pretendido, para identificar discrepâncias e fornecer uma verificação da inteligibilidade do texto alvo; (4) conduzir testes piloto da tradução, por meio da administração do instrumento aos membros da audiência pretendida. Após tradução inicial, contou-se com a experiência profissional de dois estudantes de doutorado da Universidade Fernando Pessoa (UFP) para ajudar no procedimento da tradução, identificar discrepâncias e fornecer uma verificação da inteligibilidade do texto alvo. Antes de iniciar o procedimento de tradução, os discentes da UFP receberam informações explícitas sobre o uso e a intenção do instrumento, bem como as diretrizes da tradução citadas anteriormente.

Depois do procedimento da tradução de itens, o instrumento foi encaminhado para o conselho de ética da UFP, para fins de parecer. Após parecer favorável pelo conselho de ética da UFP, iniciou-se o processo de construção do instrumento, através de um convite a 22 juízes especialistas da área da educação por meio do envio de um e-mail. Os seguintes critérios de inclusão e exclusão para participação dos especialistas no estudo foram: possuir titulação de doutor e/ou mestre na área da educação e experiência profissional (ensino ou pesquisa) mínima de cinco anos. O convite aos juízes para participar da construção do instrumento intitulado “apoio para o desenvolvimento do instrumento de pesquisa” contém quatro fatores preditores da evasão de estudantes no ensino à distância, ou seções (características de fundo, acadêmicos, ambientes e psicológicos), treze constructos e 124 itens para serem analisados e classificados pelos juízes, quando da representação e relevância para o objetivo da pesquisa.

O convite, encaminhado aos juízes para apoio ao desenvolvimento do instrumento de pesquisa, levou em consideração dois pontos importantes. O primeiro diz respeito à validade de conteúdo. Para garantir tal preceito, foram utilizadas várias fontes autorizadas para identificar itens de instrumentos de pesquisa (^{Perdue, 1999}). Quatro seções de itens de escala e subescala foram identificados, com base em diversas pesquisas na área de EaD. O segundo item diz respeito à experiência dos juízes no campo da EaD. Dos 22 juízes, seis responderam à solicitação no prazo especificado, sendo um mestre, um doutorando e quatro doutores. Esses juízes, juntos, somam, aproximadamente, 90 anos de experiência na área. Considerando um critério de relevância, ou melhor, de representação dos itens para o constructo, houve, aproximadamente, 83,33% de concordância entre os juízes para motivação subscala-atenção, subscala-relevância, subscala-satisfação e suscala-confiança da seção 3 — psicológicos. O constructor apoio tutor (seção-acadêmico) no criterio de relevância obteve 83,33% de concorãncia entre os juizes. No critério representação, houve 83,33% de concordância entre os juízes para os constructos apoio familiar, apoio da organização e apoio financeiro (seção-ambiente) e 100% de concordância para os constructos sexo, idade, educação anterior e situação de trabalho/nº de horas trabalhada (seção-característica de fundo). Diante das resposta dos juízes, foram excluídos os constructos “apoio da organização” e “lócus de controle”, por não haver concordâncias suficientes, e foram mantidos os demais constructos, inicialmente propostos, em função das concordâncias.

Após análise e identificação dos itens do instrumento da pesquisa pelos juízes, resultou em 22 itens, de um total de 124 indicadores de informações, sobre o que afeta a decisão do estudante abandonar ou permanecer em seus estudos na modalidade de ensino à distância, e 11 constructos. Tais itens identificados deram origem ao questionário/instrumento utilizado nesta pesquisa, os quais foram resumidos, utilizando as fontes autorizadas, e distribuídos numericamente nos quatro constructos deste estudo, conforme Tabela 1.

Após apresentação dos constructos e itens identificados pelos juízes, observa-se que houve uma produção incisiva nos resultados. Os resultados trazem uma abordagem dos constructos, em que as instituições têm ou não controle, mas que podem, potencialmente, afastar o estudante da instituição. Mediante a essa observação, considera-se que as instituições têm controle sobre os constructos acadêmico e psicológico, mas, por outro lado, não têm controle sobre os constructos características de fundo e ambiente. Importa essa observação, pois guia o direcionamento de esforços das instituições, bem como caminhos para o refinamento de itens para o pesquisador.

Refinamento e aperfeiçoamento do conjunto de itens

Antes de iniciar-se o refinamento de itens, destaca-se a experiência dos pesquisadores na área de EaD, especificamente na gestão de polo educacional, bem como suas relações com gestores, coordenadores e consultores de instituições e polos de EaD. O refinamento de itens ocorrerá em três momentos. No primeiro momento do refinamento de itens, verifica-se os 22 potenciais, com o objetivo de revisar cuidadosamente os elementos, para clareza de redação, suprimir duplicações e lógica de classificação. Cada item foi revisado, para facilitar a compreensão, consistência na redação e evitar coloquialismos acadêmicos, utilizando classificação adequada de cada item nas escalas e subescalas a serem usadas. Mantendo-se a linha incisiva dos juízes, ofertam-se as seguintes questões gerais de discussão: “Para quem a pesquisa será aplicada?”, “Em quais cursos superiores EaD a pesquisa será aplicada?”, “Quando a pesquisa será aplicada?” e “Qual é o propósito da escala que será desenvolvida?”. Completada essa tarefa, corrige-se a redação das questões impróprias de itens, em cada constructo, e relaciona-se cada questão com o ambiente da pesquisa.

No segundo momento, altera-se o nome do constructo “apoio tutor” para “apoio acadêmico”, com o objetivo de coletar informações do tutor e da instituição em separados. De acordo com ^{Mill (2012)}, a figura do tutor é tão importante para a relação ensino-aprendizagem, que o aluno reconhece nele (tutor) a própria instituição de ensino — dada a estreita relação entre eles. Em função de ambos terem responsabilidades diferentes no processo acadêmico, é importante que a informação a respeito do tutor e instituição sejam representadas em separado. Além dessa alteração, foi realizada uma nova numeração para a sequência de itens.

No terceiro momento, considerando-se a revisão do primeiro, recria-se as definições do apoio tutor, institucional, familiar, financeiro e dos componentes confiança e satisfação do modelo ARCS, de ^{Keller (1987)}, com o objetivo de melhor operacionalizá-las.

Após o processo de recriação das definições, revisou-se cada um dos itens, bem como sua representatividade e relevância para o constructo. Refinamos, reformulamos e padronizamos os itens. Em seguida, buscou-se selecionar, na literatura, a escala de verificação para mensuração de construtos de múltiplos itens em concordância de estudantes a determinadas afirmações, relacionadas aos seus respectivos construtos.

Tomou-se o conceito de ^{Finkelstein (2003}, ²⁰⁰⁹) e ^{Mari (1996}, ¹⁹⁹⁹), que afirmam que a mensuração (ou medição) é definida como atribuição de símbolos, preferencialmente numéricos, à propriedade dos objetos que se deseja medir. Esses símbolos são direcionados a quantificar ou classificar determinadas características. Sendo assim, a medição é um processo de representação, relacionando algum aspecto do mundo real com sistemas simbólicos. Assim, identificou-se a escala Likert, com cinco pontos no Quadro 2, variando de um (discordo totalmente) a cinco (concordo totalmente), uma ferramenta essencial para capturar e facilitar a manipulação de dados.

Revisão pré-piloto do instrumento de pesquisa

O instrumento de pesquisa foi revisado por dois estatísticos. Os comentários desses profissionais serviram de base para manter a ordem conceitual, correção gramatical e reformulação, itens com palavras claramente favoráveis/desfavoráveis. Considerando-se os comentários dos especialistas estatísticos e o estudo de ^{Lee e Choi (2011}), que tem um vasto conteúdo sobre variáveis preditoras de evasão posteriores a admissão de estudantes na EaD, reavaliou-se o constructo “apoio acadêmico” e “apoio financeiro” e adicionou-se dois itens, um em cada constructo, com o objetivo de coletar mais informações a respeito do apoio da instituição e do apoio da fonte do investimento feito, totalizando, assim, 24 itens ao todo. Apresenta-se, no Quadro 3, os elementos acionados e a nova ordem numérica, consolidando-se, assim, os itens do instrumento de pesquisa.

Considerações finais

Apesar da expansão da modalidade de ensino à distância em termos globais, por meio de recursos tecnológicos, que favorecem o ensino-aprendizagem e a qualificação contínua, a alta taxa de evasão de estudantes tem sido motivo de preocupação dos administradores, gestores e pesquisadores da educação. De maneira geral, a literatura sugere que o comportamento da evasão de estudantes ocorre em função de vários motivos ao longo do seu programa de curso na graduação na modalidade à distância.

O instrumento desenvolvido neste estudo teve como finalidade coletar informações sobre o que afeta a decisão de abandonar o curso de estudantes do ensino superior à distância. Nesse sentido, o foco da pesquisa foi dirigido para o apoio acadêmico recebido pelos estudantes, as mudanças nas circunstâncias da vida durante o processo de formação, aos aspectos motivacionais, experiência de aprendizagem em geral e características individuais. A falta de instrumentos padronizados, que afiram, especificamente, os motivos potenciais sobre o que afeta a decisão de abandonar o curso dos discentes do ensino superior à distância, justificou o desenvolvimento deste estudo. Mesmo com a limitação, no tocante aos números, de juízes especialistas, espera-se que este estudo sirva de base para novas pesquisas e ampliação de conhecimento, para testar motivos potenciais que afetam a decisão de abandonar o EaD de estudantes. Como sugestões para estudos futuros, cita-se uma maior quantidade de juízes especialistas, para identificação, análise e ampliação de relevâncias das solicitações de apoio à construção do instrumento.