SciELO - Scientific Electronic Library Online

 
vol.22 número4LA CONSTRUCCIÓN DE LA NOCIÓN SOCIAL DE LA HUELGA UN ESTUDIO EVOLUTIVO PIAGETIANOENCUENTROS COM-FABULATORIOS: CREACIONES CON IMAGENES EN VIENTOS INDÍGENAS Y AFROBRASILENOS índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Compartir


ETD Educação Temática Digital

versión On-line ISSN 1676-2592

ETD - Educ. Temat. Digit. vol.22 no.4 Campinas oct./dic 2020  Epub 27-Jun-2021

https://doi.org/10.20396/etd.v22i4.8655550 

ARTIGO

ESCALA DE AVALIAÇÃO DA QUALIDADE DE CURSOS DE LICENCIATURA A DISTÂNCIA1

DISTANCE LEARNING TEACHER TRAINING COURSE EVALUATION SCALE

ESCALA DE EVALUACIÓN DE CALIDAD DE CURSOS DE PREGRADO A DISTANCIA

Marta Fernandes Garcia2 

Dirceu da Silva3 

2Doutora em Educação - Universidade Estadual de Campinas (UNICAMP).Campinas, SP - Brasil. Professora - Instituto Federal de São Paulo (IFSP), campus Cubatão. E-mail: martagarcia@ifsp.edu.br

3Doutor em Educação - Universidade de São Paulo.São Paulo, SP - Brasil. Professor - Faculdade de Educação - Universidade Estadual de Campinas (UNICAMP). Campinas. SP - Brasil. E-mail: dirceu@unicamp.br


RESUMO

O artigo tem por objetivo apresentar o processo de construção e validação de uma escala para avaliação da percepção da qualidade de cursos de licenciatura na modalidade a distância. Para tanto, quatro procedimentos foram empregados: (1) revisão da literatura; (2) validação teórica ou de face; (3) validação semântica; e (4) validação estatística, por meio da Modelagem de Equações Estruturais (MEE), com geração de um constructo de segunda ordem (Qualidade), usando-se o software SmartPLS 2.0. A escala do tipo Likert foi estruturada a partir da solicitação de atribuição de uma nota entre zero e dez e disponibilizada em uma plataforma online. A validação da Escala de Avaliação de Cursos de Licenciatura a Distância (EALDIS) contou com uma amostra de 1.060 estudantes de diferentes cursos de licenciatura a distância do Brasil. Os resultados das diversas etapas: validades discriminante e preditiva, confiabilidade composta, alfa e Cronbach, coeficientes de caminho e tamanho do efeito apresentaram indicadores de validação muito adequados. Assim, tem-se como conclusão do trabalho um instrumento de pesquisa validado e confiável, com 83 itens e oito constructos, podendo contribuir para a avaliação de cursos de formação de professores em nível superior na modalidade a distância.

Palavras-chave: Formação de Professores; Qualidade na EaD; Escala de atitude; Avaliação

ABSTRACT

The article presents the process of construction and validation of a scale to evaluate the quality of distance learning teacher training courses. Four procedures were used: (1) review of the literature; (2) theoretical or face validation; (3) semantic validation and (4) statistical validation, by use the Structural Equation Modeling (SEM), with the generation of a second-order construct (Quality) using SmartPLS 2.0 software. The Likert scale was structured based on the request to assign a grade between zero and 10 and made available on an online platform. The validation of the Distance Learning Teacher Training Course Evaluation Scale had a sample of 1,060 students from different undergraduate courses in Brazil. The results of the various steps: discriminant and predictive validity, compound reliability, alpha and Cronbach, path coefficients and effect size presented very adequate validation indicators. Thus, the conclusion of the work is a validated and reliable research instrument, with 83 items and 8 constructs, which can contribute to the evaluation of teacher education courses at a distance level.

Keywords: Teacher Training; Quality in distance education; Scale of attitude; Evaluation

RESUMEN

El artículo tiene como objetivo presentar el proceso de construcción y validación de una escala para evaluar la percepción de calidad de los cursos de pregrado a distancia. Para este fin, se emplearon cuatro procedimientos: (1) revisión de la literatura; (2) validación teórica o con expertos; (3) validación semántica y (4) validación estadística, a través del modelado de ecuaciones estructurales (SEM), con la generación de una construcción de segundo orden (calidad), utilizando el software SmartPLS 2.0. La escala Likert se estructuró en función de la solicitud de una puntuación entre cero y diez y se puso a disposición en una plataforma en línea. La validación de la Escala de Evaluación del Grado de Educación a Distancia (EALDIS) incluyó una muestra de 1,060 estudiantes de diferentes cursos de educación a distancia en Brasil. Los resultados de las distintas etapas: validez discriminante y predictiva, confiabilidad compuesta, alfa y Cronbach, coeficientes de trayectoria y tamaño del efecto presentaron indicadores de validación muy adecuados. Por lo tanto, la conclusión del trabajo es un instrumento de investigación validado y confiable, con 83 ítems y 8 construcciones, que pueden contribuir a la evaluación de los cursos de formación docente a distancia.

Palabras clave: Formación de profesores; Calidad en la educación a distancia; Escala de actitud; Evaluación

***

1 INTRODUÇÃO

Temos presenciado, no Brasil, o crescente investimento em políticas de formação de professores, as quais fazem uso da educação a distância (EaD) via internet para se concretizarem, uma vez que essa modalidade de ensino permite rápida e intensa comunicação entre pessoas de diferentes lugares, de forma síncrona ou assíncrona, por meio de diferentes ambientes virtuais. Já era possível observar o estímulo ao uso da EaD no artigo 80 da Lei de Diretrizes e Bases da Educação Nacional - LDB nº 9.394/96: “O Poder Público incentivará o desenvolvimento e a veiculação de programas de ensino a distância, em todos os níveis e modalidades de ensino, e de educação continuada” (BRASIL, 1996).

O Plano Nacional de Educação 2014 - 2024 (BRASIL, 2014) também se manifesta favorável ao uso da modalidade de educação a distância para alcançar metas de ampliação da oferta de vagas na graduação e em cursos de pós-graduação stricto sensu, especialmente por meio da Universidade Aberta do Brasil para cursos de graduação. A UNESCO (2009), por sua vez, apresenta a educação a distância e as TIC, de maneira geral, como caminho para a expansão do ensino superior, bem como possibilidade de efetivação de uma nova abordagem capaz de contribuir para a qualidade da educação e para a diminuição da carência de formação de professores. Dados do INEP (2014) evidenciam o número ainda significativo de docentes atuando na educação básica brasileira sem a correspondente formação em nível superior: 25, 2% do total de 2.141.676 docentes.

Ainda, o recente decreto 9.057, de maio de 2017, corrobora a tendência da atual política educacional brasileira de tomar a EaD como solução para problemas de acesso à educação, uma vez que torna o processo regulatório mais flexível, sendo possível, dentre outros aspectos, o credenciamento de uma instituição de ensino superior exclusivamente para oferta de cursos de graduação e especialização a distância.

É comum o argumento de que a educação a distância via internet viabiliza, como apontam Prado e Almeida (2009), a solução para problemas relacionados com a democratização da educação. Certamente, em um país com dimensões continentais como o Brasil e onde o número de pessoas que frequentam o ensino superior ainda é baixo, torna-se fundamental expandir o acesso a esse nível de ensino. No entanto, de acordo com Dias Sobrinho (2010), a democratização não se limita à expansão quantitativa, mas se relaciona fundamentalmente com qualidade pública para todos, relevância social, acesso e permanência, currículos e gestão democrática das estruturas institucionais. Dwyer et al. (2007) também alertam que as TIC podem contribuir para uma educação melhor, mas não a garantem, muito menos aos alunos marginalizados. Gatti (2014, p.42), por sua vez, argumenta que “não se faz milagre com a formação humana mesmo com toda a tecnologia disponível”.

Diante de um quadro de crescimento constante da EaD, sobretudo na esfera privada e em cursos de licenciatura (INEP, 2016), da precarização do trabalho docente, da frágil infraestrutura (FREITAS, 2007; DOURADO, 2008; GARCIA, 2009; LAPA; PRETTO, 2010; GATTI; BARRETTO, 2009; GATTI, 2014) e do descuido na formação e contratação de profissionais especializados (GREGORY; MARTINDALE, 2016; GARCIA; SILVA, 2017), é urgente a discussão sobre a qualidade de cursos ofertados a distância. É nesse sentido que o presente artigo busca contribuir para o citado debate, apresentando o processo de construção e validação de uma escala para avaliação da percepção da qualidade de cursos de licenciatura na modalidade a distância, instrumento ainda não existente no país.

2 INSTRUMENTOS E INDICADORES DE QUALIDADE DA EDUCAÇÃO A DISTÂNCIA: BREVE REVISÃO

Observamos, na literatura, que alguns instrumentos de pesquisa foram desenvolvidos com a finalidade de avaliar a qualidade da EaD ou de determinadas dimensões, sobretudo, internacionais. No Brasil, ainda são incipientes investigações com esse propósito, em especial, quando se trata de construção de escala de atitude. Percebemos que as pesquisas possuem uma tendência de avaliação geral da qualidade da EaD ou de algum aspecto específico, como material instrucional, tutoria, tecnologia, dentre outros. Nenhuma delas, contudo, se debruça sobre a dimensão da formação pedagógica do aluno, pois não possui como referencial empírico as licenciaturas, mas sim qualquer curso a distância. Assim, partindo do entendimento da necessidade de um instrumento voltado especificamente para a avaliação da qualidade de cursos de licenciatura a distância, buscaram-se, na literatura, indicadores e instrumentos que pudessem colaborar para a construção de uma escala com essa finalidade.

O trabalho com indicadores na EaD pode ser bastante útil no sentido de ajudar a pensar aspectos relevantes a serem considerados no processo de formação de professores nessa modalidade. Para Gadotti (2013), o uso de indicadores de qualidade colabora para se alcançarem resultados concretos em educação. Morosini et al (2016), por sua vez, apontam que os indicadores podem ajudar a orientar a avaliação da qualidade da educação superior. Dessa forma, elencamos, a seguir, os principais indicadores e instrumentos, internacionais e nacionais, que auxiliaram na construção desse instrumento de pesquisa.

2.1 Indicadores

Phipps e Merisotis (2000) desenvolveram um conjunto de indicadores bastante consultado na literatura da área, sendo base para muitos outros estudos, inclusive brasileiros. Trata-se de um trabalho encomendado pelo Institute for Higher Education Policy (em português, Instituto de Política de Educação Superior), localizado nos Estados Unidos. Os autores desenvolveram 24 indicadores distribuídos em sete categorias, a saber: suporte institucional; desenvolvimento do curso; processo de ensino e aprendizagem; estrutura do curso; suporte ao estudante; suporte aos docentes; e avaliação.

O trabalho de Chaney et al (2009) apresenta 15 indicadores de qualidade da EaD: interação estudante-professor; pronto feedback do instrutor; serviço de suporte aos estudantes; acompanhamento do programa e avaliação; clareza do público; plano tecnológico documentado; suporte e recursos institucionais; orientações sobre a estrutura do curso; técnicas de aprendizagem ativa; respeito aos diversos modos de aprendizagem; serviços de suporte ao corpo docente; relação da educação a distância com a missão da instituição; mídias e ferramentas apropriadas; confiabilidade da tecnologia; implementação de orientações para o desenvolvimento do curso; e revisão de materiais instrucionais.

No Brasil, os referenciais de qualidade para a educação superior a distância, definidos pelo Ministério da Educação - MEC, constituem um documento fundamental para a área de EaD no país. Apesar de não ter força de lei, esse documento constitui-se em um material norteador “para subsidiar atos legais do poder público no que se referem aos processos específicos de regulação, supervisão e avaliação da modalidade citada” (BRASIL, 2007, p. 2). Nasceu a partir da preocupação com a grande e rápida expansão da EaD, na tentativa de evitar não só a precarização da educação superior nessa modalidade, bem como sua oferta indiscriminada.

Os referenciais de qualidade apontam aspectos gerais e relevantes a serem observados por qualquer programa ou curso oferecido a distância. Neles, defende-se que projetos de cursos EaD devem contemplar, fundamentalmente, aspectos pedagógicos, de recursos humanos e de infraestrutura, organizados no documento em oito tópicos: concepção de educação e currículo no processo de ensino e aprendizagem; sistemas de comunicação; material didático; avaliação; equipe multidisciplinar; infraestrutura de apoio; gestão acadêmico-administrativa; e sustentabilidade financeira.

Com a preocupação de aprimorar os processos que envolvem a avaliação da educação superior, o Sistema Nacional de Avaliação da Educação Superior - SINAES introduziu, recentemente, um novo Instrumento de Avaliação de Cursos de Graduação Presencial e a Distância (INEP, 2015), que possui 69 indicadores divididos em três dimensões: organização didático-pedagógica (com 27 indicadores); corpo docente e tutorial (com 20 indicadores); e infraestrutura (com 22 indicadores). Cada indicador é avaliado numa escala de cinco níveis, sendo 1= conceito inexistente; 2= insuficiente; 3= suficiente; 4= muito bom/muito bem; 5=excelente. Incialmente, esse instrumento era voltado apenas para cursos presenciais. A sua análise revela poucos indicadores voltados a EaD, porém, os que existem dizem respeito a aspectos imprescindíveis na formação a distância, como produção e distribuição de material didático, infraestrutura, atividades e formação do corpo de tutores e interação entre alunos, tutores e professores. Trata-se de um passo importante em direção à superação da fragilização da avaliação da educação superior a distância no Brasil, que sofre com a precarização e com a oferta, muitas vezes, desmesurada do número de vagas.

Bertolin e Marchi (2010) apresentam indicadores para a avaliação da qualidade de disciplinas semipresenciais em cursos de graduação presenciais. Para tanto, apoiaram-se em estudos que avaliam a qualidade a partir de elementos de entrada, processo e saída/ resultados. Os autores esclarecem que as atividades realizadas a distância estão fundamentadas em seis princípios: interação e aprendizado colaborativo; autonomia na aprendizagem; flexibilização do tempo e do espaço; potencialização do uso das ferramentas tecnológicas na educação; qualidade dos materiais e da metodologia; e apoio e suporte técnico e pedagógico. Por sua vez, Shelton e Isernhagen (2012) construíram um quadro com 55 indicadores de qualidade distribuídos em nove categorias: suporte institucional; suporte tecnológico; desenvolvimento do curso e design instrucional; estrutura do curso; ensino e aprendizagem; suporte do corpo docente; engajamento estudantil e social; avaliação; e suporte aos estudantes.

Buscando considerar a prática cotidiana da universidade, Morosini et al (2016) criaram um conjunto de indicadores de qualidade pensados nas perspectivas de produtos (qualidade da instituição, do corpo docente e do corpo discente) e processos (qualidade do currículo; práticas pedagógicas; e avaliação). Não se trata de indicadores voltados especificamente para a educação a distância. No entanto, para serem constituídos, passaram pela avaliação de diferentes professores especialistas, inclusive da área de EaD, conforme relatado pelas autoras. Ainda, um olhar atento constatará elementos que também são pertinentes à educação a distância, uma vez que se referem à formação em nível superior de maneira geral.

2.2 Instrumentos

O estudo de Khan (2000) concluiu que o sucesso da aprendizagem a distância é fruto de um processo sistemático que envolve planejamento, design, avaliação e implementação de ambientes de aprendizagem online. Pensando nesses aspectos, o autor propôs uma estrutura avaliativa composta por oito dimensões inter-relacionadas entre si: pedagógica; institucional; tecnológica; design de interface; avaliação; administração; suporte de recursos; e ética. Interessante ressaltar essa última dimensão, pois não é comum encontrarmos, na literatura, a ética como uma dimensão a ser pensada na qualidade da EaD, ao menos, não de forma tão enfática.

Stewart, Hong e Strudler (2004) construíram e validaram um instrumento composto por sete dimensões: aparência das páginas do curso; hiperlinks e navegação; questões técnicas; aplicações online; procedimentos de aula e expectativas; distribuição do conteúdo; e instrução e interação entre pares. O instrumento desses autores enfoca a questão tecnológica.

Richardson (2005) investigou estudantes de cursos a distância da Open University, na Inglaterra, buscando identificar, dentre outras, suas percepções quanto à qualidade de aspectos do ambiente acadêmico. O instrumento continha sete dimensões: carga de trabalho adequada; avaliação adequada; clareza de objetivos e metas a serem atingidas; habilidades genéricas; bons materiais; boa tutoria; e possibilidade de escolhas nos estudos. Ainda, uma das conclusões do autor revela que a satisfação dos alunos com a qualidade acadêmica estava mais ligada ao recebimento de bons materiais e objetivos claros do que aos demais aspectos.

O trabalho de Harroff e Valentine (2006) aponta seis dimensões da qualidade de programas online: qualidade da instrução; qualidade do reconhecimento administrativo e suporte; qualidade do aconselhamento; qualidade do suporte técnico; qualidade da informação dada para estudantes em potencial; e qualidade da avaliação. Esse trabalho aponta aspectos relevantes a serem considerados na formação a distância e, em boa medida, dialoga com os indicadores de Chaney et al. (2009), em especial no tocante à qualidade do material instrucional, do feedback, da avaliação, do suporte técnico e das informações a serem oferecidas aos estudantes antes de e após sua admissão.

Chaney et al (2007) construíram um instrumento de pesquisa com o propósito de avaliar a opinião de estudantes sobre a qualidade de cursos a distância com base em quatro construtos: interação aluno-professor; serviços de suporte ao estudante; assistência técnica ao estudante; e estrutura do curso e avaliação. Nessas dimensões, observamos pouca atenção aos processos de elaboração do material instrucional, que é, a nosso ver, um aspecto importante em um curso a distância.

O instrumento apresentado por Hathaway (2009) possui seis dimensões, sendo quatro relacionadas à interação entre: aluno-instrutor, aluno-aluno, aluno-conteúdo e aluno-interface. As outras duas são: estratégias instrucionais e presença social. Há, como se pode observar, grande preocupação com a efetiva participação dos envolvidos no processo de ensino e aprendizagem e com a interação, pois ela é entendida como fundamental para se construírem aprendizagens significativas.

O instrumento de avaliação da qualidade da EaD, de Rodrigues e Faller (2011), contempla as seguintes dimensões: pessoas (professores, tutores e coordenadores); estrutura (quantidade e qualidade dos recursos, condições dos laboratórios, disponibilidade de livros e periódicos); TIC (opinião dos alunos sobre a qualidade da plataforma, dos materiais didáticos e das ferramentas e sua utilização); práticas pedagógicas (abordagem e clareza dos materiais educacionais, tipo de avaliação, ênfase do curso, qualidade do guia geral e de conteúdos curriculares, metodologias e integração entre os conteúdos). Nesse instrumento, constatamos preocupação com a questão pedagógica.

Ozcan e Genc (2016) investigaram estudantes de cursos de formação pedagógica e propuseram duas escalas do tipo Likert (escala de eficácia de desenvolvimento curricular e escala de atitude profissional docente) e uma entrevista relacionada à questão da formação pedagógica recebida no curso a distância, conduzida a partir de três questões: (1) Qual sua opinião sobre a formação pedagógica que você recebeu via educação a distância? (2) Que tipo de mudanças aconteceu a respeito de seus pontos de vista e atitudes em relação à profissão docente antes e após essa forma de educação? (3) Quais são suas opiniões sobre as contribuições do desenvolvimento curricular do curso para a profissão?

Ainda que o objetivo dos instrumentos brevemente apresentados não tenha sido especificamente avaliar o processo de formação de professores, mas sim a qualidade de cursos na EaD de maneira geral, boa parte dos constructos e elementos apontados é relevante para qualquer área de formação e, certamente, contribuiu para pensar a qualidade de cursos de licenciatura a distância.

3 PROCEDIMENTOS METODOLÓGICOS

As etapas de construção e validação da escala seguiram as recomendações propostas por DeVellis (2003), Pasquali (2004) e Hair et al (2009): (1) desenvolvimento dos constructos e de suas mensurações (revisão da literatura apresentada); (2) validação teórica ou de face; (3) validação semântica; e (4) validação estatística.

Concluída a revisão da literatura, que além de instrumentos e indicadores também contemplou o aprofundamento sobre a dimensão da formação pedagógica, sobretudo com base em estudos de Formosinho (2009), Martins e Romanowski (2010), Pimenta e Anastasiou (2010), Libâneo (2015), D´Ávila e Leal (2015) e Gatti (2014), foi iniciada efetivamente a construção do instrumento de pesquisa, com a criação de um conjunto de itens (variáveis observáveis - VO) e constructos (variáveis latentes - VL), a partir do referencial teórico selecionado.

Com a pré-escala construída, a segunda etapa foi consultar seis professores (PASQUALI, 2003) doutores especialistas na área de formação de professores a distância e avaliação, para se proceder ao processo de validação teórica ou de face da escala. Os professores consultados ofereceram grande contribuição: validação do conteúdo pela leitura e análise semântica dos itens e constructos, sugestão de inclusões, alterações e validação do modelo estrutural utilizado na validação estatística.

A avaliação semântica (terceira etapa) buscou verificar se os itens são compreensíveis para possíveis respondentes, sujeitos da própria população a que se deseja aplicar o instrumento (SILVA; SIMON, 2005). O objetivo era perceber as dificuldades que esses sujeitos apresentavam na compreensão de cada item e, assim, realizar as modificações necessárias. Pasquali (2003) recomenda que essa etapa seja realizada com um número pequeno de sujeitos, ao menos três ou quatro. Participaram da validação semântica cinco estudantes de cursos de licenciatura a distância (dois de Pedagogia, um de Letras, um de Geografia e um de Filosofia). Destes, três apresentaram considerações que contribuíram para o refinamento dos itens.

Concluídas todas as etapas indicadas, a escala do tipo Likert foi disponibilizada na internet através da plataforma SurveyMonkey e foi respondida por estudantes de diferentes cursos de licenciatura a distância do Brasil, provenientes de instituições públicas e privadas, que haviam concluído, ao menos, metade do curso. Foram consideradas válidas 1.060 respostas.

Para a validação estatística, o método empregado para o tratamento dos dados foi o de Modelagem de Equações Estruturais - MEE (SEM - Structural Equation Modelling) baseada em variância (VB-SEM). Mais especificamente, foi usada a técnica de Análise Fatorial Confirmatória (AFC) com variável latente de segunda ordem (WILSON, 2010), com o objetivo de confirmar o modelo fatorial criado a partir da literatura e, assim, obter a validação estatística da escala (BROWN, 2006).

4 RESULTADOS E DISCUSSÃO

A escolha pela análise fatorial confirmatória (AFC) deu-se por se tratar de um modelo complexo, com muitas variáveis observáveis e constructos, além de se possuírem dados não aderentes à distribuição normal multivariada. Foi desenvolvido um modelo com variável latente de segunda ordem denominada “Qualidade - QUALI”, seguindo os passos de ajuste do modelo sistematizados por Ringle, Silva e Bido (2014), e foram calculadas as correlações entre os construtos e suas variáveis e, em seguida, realizadas regressões lineares entre os construtos. O software estatístico utilizado foi o Smart PLS 2.0.

, a escala tinha 93 itens. Após calculadas as cargas fatoriais, dez itens foram excluídos por apresentarem baixa carga fatorial (valores inferiores a 0,5), o que significa dizer baixa correlação entre a variável e seu constructo. Foram eles: (1) Escolhi o curso na modalidade EaD pela dificuldade de locomoção da minha casa ou trabalho para uma faculdade; (2) Escolhi o curso na modalidade EaD porque as mensalidades são mais baratas que os cursos ofertados na modalidade presencial; (3) Meu polo presencial possui brinquedoteca com excelente estrutura (somente para cursos de Pedagogia. Os demais escolham a opção não se aplica); (4) As instalações disponibilizadas para as aulas/encontros presenciais são excelentes e adequadas para as necessidades do curso; (5) Sou convidado pela instituição a avaliar periodicamente o curso; (6) Há um grande número de alunos por tutor (acima de 30), o que dificulta o acompanhamento do processo de aprendizagem dos estudantes; (7) O curso exige de mim organização e dedicação frequente aos estudos; (8) Há um número excessivo de tarefas a serem realizadas nas disciplinas; (9) Há um número muito pequeno de tarefas a serem realizadas nas disciplinas; e (10) As atividades propostas promovem interação e colaboração entre os alunos. Os demais itens possuíam, em sua grande maioria, cargas fatoriais superiores a 0,7, atendendo ao valor de referência apontado pela literatura.

A Tabela 1 apresenta os valores referentes à validade convergente e confiabilidade do modelo. Os indicadores Alfa de Cronbach e Confiabilidade Composta apresentam valores superiores aos de referência, indicando confiabilidade e consistência interna. Já os valores da Variância Média Extraída (AVE - Average Variance Extracted) de todos os constructos são superiores a 0,50 (valor de referência), indicando resultado satisfatório. O Coeficiente de Determinação de Pearson (R2), por sua vez, também apresenta valores muito adequados, tendo a maioria dos constructos valores considerados substanciais (superiores a 0,75) e moderados (0,50), o que indica efeito grande entre as variáveis do modelo, ou seja, as variáveis dependentes (constructos ou VL) explicam boa parte da variável independente (constructo de segunda ordem “Quali”).

Tabela 1 Valores da qualidade de ajuste do modelo 

  AVE Composite Reliability R Square Cronbachs Alpha
Corpo Docente (COR_DOC) 0,589818 0,948876 0,814597 0,941099
Estudantes (EST) 0,515677 0,881369 0,515777 0,844392
Formação Pedagógica (FORM_PED) 0,625261 0,976303 0,920081 0,974227
Material Didático (MAT_DID) 0,634269 0,945365 0,831084 0,935625
Processo de ensino e aprendizagem (PEA) 0,535714 0,889205 0,846158 0,85429
Satisfação com a EaD (SAT) 0,539848 0,852433 0,420199 0,794088
Suporte Institucional (SUP_INST) 0,50326 0,917553 0,749349 0,901366
Tecnologia e Suporte tecnológico (TEC_SUP) 0,593945 0,87964 0,736044 0,829357

Fonte: SmartPLS 2.0 (2017)

A validade discriminante do modelo foi calculada pelo Critério de Chin (1998), que postula que cargas de variáveis observáveis, quando colocadas em outros constructos, devem ser menores que nos seus constructos originais. O critério utilizado foi satisfatório, e todos os 83 itens apresentaram carga fatorial superior em seu constructo de origem, demonstrando a existência de validade discriminante4.

Na sequência, foram calculados os valores da Validade Preditiva (Q2) ou indicador de Stone-Geisser e do Tamanho do Efeito (f2) ou Indicador de Cohen. Esses testes avaliam, respectivamente, a acurácia dos construtos no modelo e a importância de cada um deles no modelo ajustado. A Tabela 2 mostra que todos os construtos têm validade preditiva e que todos são importantes para o ajuste geral do modelo, uma vez que Q2 é superior a zero e o tamanho do efeito em sete constructos é considerado grande (> 0,35) e em um constructo é considerado médio (SAT = 0,328).

Tabela 2 A avaliação da validade preditiva (Q2) e do tamanho do efeito (f2

VL CV RED (Q2) CV COM (f2)
COR_DOC 0,476 0,522
EST 0,253 0,352
FORM_PED 0,570 0,588
MAT_DID 0,523 0,552
PEA 0,450 0,382
SAT 0,214 0,328
SUP_INST 0,370 0,389
TEC_SUP 0,432 0,388

Fonte: SmartPLS 2.0

Por último, a partir da constatação de que o modelo apresenta ajuste de boa qualidade, realizou-se a interpretação dos coeficientes de caminho (Tabela 3).

Tabela 3 Indicador de Coeficientes de Caminho ( ) 

Caminhos Coeficientes de Caminho
QUALI -->COR_DOC 0,903
QUALI -->EST 0,718
QUALI -->FORM_PED 0,959
QUALI -->MAT_DID 0,912
QUALI -->PEA 0,920
QUALI -->SAT 0,648
QUALI -->SUP_INST 0,866
QUALI -->TEC_SUP 0,858

Fonte: SmartPLS 2.0

Os dados da Tabela 3 revelam que o indicador de Coeficientes de Caminho apresenta valores elevados (acima de 0,60). Portanto, podem ser considerados muito adequados. Inclusive, quatro construtos apresentam forte relação (valores acima de 0,90), o que confirma a validade do modelo ajustado e a sua robustez.

Por fim, a Figura 1 a apresenta o modelo validado da escala retirado do software SmartPLS 2.0. Nele, é possível observar que as cargas fatoriais são, em sua grande maioria, superiores a 0,7, atendendo ao valor de referência apontado pela literatura, que é de 0,5.

Fonte: SmartPLS 2.0

Figura 1 Modelo Final da Escala 

A tabela 4 apresenta a estrutura final da escala composta por oito constructos e 83 itens, todos atendendo muito satisfatoriamente aos critérios de validade estatística.

Tabela 4 Escala de Avaliação de Cursos de Licenciatura a Distância - EALDIS 

Itens da escala por dimensão
Formação Pedagógica (FP)
1. Sinto-me preparado (a) para realizar atividades docentes (ex.: planejamento, regência, avaliação, uso de diferentes metodologias, etc.).
2. O curso me prepara para os desafios da realidade escolar.
3. Estou plenamente satisfeito com o curso em termos de conhecimentos e habilidades desenvolvidas.
4. Considero a matriz curricular do meu curso excelente para a formação de professor
5. Minha instituição promove eventos (congressos, seminários, palestras etc.) virtuais ou presenciais na minha área de conhecimento.
6. O curso prepara para o trabalho com as temáticas de gênero, relações étnico-raciais e diferentes formas de preconceito.
7. O curso contribui largamente para desenvolver minha capacidade de pensar soluções para problemas educacionais.
8. O curso contribui com conhecimentos sobre a organização da educação básica.
9. Recebi orientação adequada para a realização do estágio.
10. O curso desenvolve minha capacidade crítico-reflexiva.
11. As atividades desenvolvidas são coerentes com a proposta pedagógica do curso.
12. O estágio docente me permite práticas e intervenções efetivas na escola.
13. O curso favorece fortemente o desenvolvimento de consciência ética para o exercício profissional.
14. O curso é fundamental para o desenvolvimento da minha capacidade de expressão (leitura, escrita, fala etc.).
15. O curso possibilita profundo conhecimento sobre o processo de aprendizagem do aluno.
16. O curso proporciona conhecimentos sobre educação inclusiva.
17. O curso colabora fortemente para desenvolver minha capacidade de análise crítica de questões educacionais.
18. Meu curso oferece oportunidades de vivenciar atividades práticas no contexto escolar (ex.: levantamento sobre suas realidades, pesquisas, regências de aula, desenvolvimento de projetos etc.).
19. O curso me possibilita o desenvolvimento de habilidades pedagógicas.
20. O curso contribui efetivamente para o domínio dos conteúdos da minha área de conhecimento.
21. O curso me prepara sobre o como ensinar, isto é, como trabalhar didaticamente os conteúdos.
22. Meu curso estimula a iniciação científica.
23. O curso favorece aprendizagens sobre o uso crítico de tecnologias na prática docente.
24. Meu curso tem uma forte relação entre teoria e prática docente.
25. O curso me ajuda a desenvolver capacidade de aprender permanentemente.

Corpo Docente (COR_DOC)
26. Os tutores (as) demonstram pleno domínio dos conteúdos abordados nas disciplinas.
27. Os tutores (as) participam ativamente das discussões nos fóruns, realizando intervenções, contribuições e orientações.
28. Os tutores (as) escrevem de forma muito clara as suas mensagens.
29. Os tutores (as) estimulam as relações humanas, favorecendo um clima agradável para aprender.
30. Os tutores (as) utilizam diferentes estratégias para conseguir se fazer entender pelos diferentes alunos.
31. Os feedbacks dos tutores são sempre significativos e ajudam a superar minhas dúvidas.
32. Meus tutores (as) estão sempre disponíveis para dúvidas que surgem na utilização do ambiente virtual.
33. Os tutores (as) incentivam constantemente os alunos a participarem efetivamente das tarefas e discussões durante o curso.
34. Sempre recebo rápido feedback dos tutores (até 24h).
35. Os tutores (as) propõem atividades adicionais para complementar a formação dos alunos.
36. Tenho acesso aos professores autores que elaboraram os materiais, podendo tirar dúvidas ou aprofundar algum assunto do meu interesse.
37. No início das disciplinas, o processo avaliativo é bem esclarecido.
38. Sempre tenho oportunidades de discutir com os tutores/professores sobre as situações do estágio.
Estudantes (EST)
39. Sempre leio as referências complementares indicadas pelo material instrucional e/ou tutor.
40. Sempre converso com tutores para esclarecer dúvidas.
41. Estudo diariamente (conteúdos trabalhados nas disciplinas; tarefas; leituras etc.).
42. Sempre realizo as tarefas solicitadas com empenho e comprometimento.
43. Contribuo ativamente nas atividades em grupo.
44. Minhas tarefas estão sempre em dia.
45. Sou assíduo e pontual nos encontros/atividades presenciais.
Suporte Institucional (SUP_INST)
46. Os resultados da avaliação são discutidos com os alunos.
47. Minha instituição estimula a utilização de redes sociais para os alunos discutirem conteúdos do curso.
48. A estrutura de funcionamento da biblioteca atende às minhas necessidades de formação.
49. A secretaria online é muito eficiente no atendimento às minhas solicitações.
50. No início do curso, fui devidamente informado sobre os conhecimentos, habilidades tecnológicas e comprometimento necessários para o sucesso da aprendizagem a distância.
51. No início do curso, recebi informações sobre os objetivos, organização, material instrucional, processo de avaliação, utilização do ambiente virtual etc.
52. Minha instituição sempre estimula os estudantes a atuarem como representantes em órgãos colegiados.
53. A coordenação do curso disponibiliza momentos de atendimento online adequados às necessidades dos alunos.
54. Meu polo presencial possui biblioteca com acervo atualizado e adequado ao meu curso.
55. Meu polo presencial possui laboratórios didáticos de ensino que atendem plenamente às necessidades do curso.
56. Meu polo presencial possui laboratórios de informática adequados à quantidade de alunos e necessidades do curso.
Tecnologia e Suporte Tecnológico (TEC_SUP)
57. Sempre recebo rápido feedback para problemas de ordem técnica (até 24h).
58. As ferramentas do ambiente virtual são de fácil utilização.
59. Os feedbacks para problemas de ordem técnica de fato atendem ao que foi solicitado.
60. O ambiente virtual do meu curso possui um layout simples e objetivo, o que facilita a localização de conteúdos, atividades e a navegação pelos hiperlinks.
61. As tecnologias utilizadas no curso são eficientes e atendem plenamente às necessidades das disciplinas.
Material Didático (MAT_DID)
62. O material didático apresenta indicações de leituras complementares.
63. As atividades propostas nas disciplinas sempre favorecem a ação prática como professor.
64. O material didático de cada disciplina apresenta claramente os objetivos de aprendizagem.
65. A apresentação gráfica do material didático é atraente.
66. As tarefas propostas no material são desafiadoras e adequadas aos conteúdos.
67. O material didático do curso proporciona acesso a conhecimentos atualizados e relevantes para a minha área de formação.
68. Os vídeos sempre colaboram para o entendimento dos conteúdos trabalhados.
69. Os vídeos são bem elaborados, de fácil compreensão.
70. O material didático do curso possui linguagem clara, facilitando a compreensão dos conteúdos.
71. As tarefas/atividades propostas no material didático contribuem significativamente para a minha aprendizagem dos conteúdos.
Processo de ensino e aprendizagem (PEA)
72. Nas diferentes disciplinas, sempre há oportunidades para os estudantes superarem dificuldades de aprendizagem.
73. Recebo orientação adequada para o desenvolvimento do trabalho de conclusão de curso (TCC).
74. O curso sempre oferece atividades diversificadas (individual, em grupo, seminários, debates, etc.).
75. Há sempre oportunidades de utilização de ferramentas síncronas (salas de bate-papo, videoconferência) para interação com tutor.
76. Os prazos para a realização das tarefas são adequados.
77. O processo de avaliação é coerente com os objetivos e conteúdos trabalhados.
78. Percebo articulação entre as disciplinas do curso.
Satisfação com a EaD (SAT)
79. Acredito que o profissional formado pela educação a distância é tão competente quanto aquele formado pela educação presencial.
80. Escolhi o curso na modalidade EaD porque a flexibilidade de tempo e espaço me permite maior convívio familiar/social.
81. Escolhi o curso na modalidade EaD porque posso ter horários flexíveis para estudar.
82. Acredito na EaD para uma formação de professores com qualidade.
83. Escolhi o curso na modalidade a distância porque consigo conciliar estudo e compromissos do trabalho mais facilmente do que num curso presencial.

Fonte: elaborado pelos autores.

5. CONSIDERAÇÕES FINAIS

Esta pesquisa criou e validou uma escala do tipo Likert para avaliação da qualidade de cursos de licenciatura a distância na percepção de estudantes. Como resultado, obtiveram-se oito constructos ajustados ao modelo de qualidade percebida. O instrumento, validado teórica, semântica e estatisticamente, poderá contribuir para outras investigações e para geração de conhecimentos sobre distintas realidades na área de formação de professores na modalidade a distância.

Ainda, ressaltamos que a qualidade é um conceito dinâmico, sempre produto de uma cultura e, portanto, relacionado ao contexto histórico. O modo como a definimos no momento atual e percebemos suas dimensões poderá ser diferente no futuro, devido às novas urgências que surgirão. Assim, outros aspectos poderão ser abarcados na discussão sobre qualidade na EaD. Portanto, o conjunto de constructos e variáveis apresentado neste trabalho e que ora consideramos fundamental para a qualidade de cursos de licenciatura a distância muito provavelmente sofrerá alterações daqui a algum tempo, em virtude de o conhecimento científico não ser definitivo nem final. Como afirma Novak (2002), os indicadores desenvolvidos para hoje serão constantemente revisados para se adequarem às novas necessidades. E assim o desejamos, para que seja possível a contínua melhoria na formação de professores a distância e a adequação às demandas de seu tempo histórico. Da mesma forma, também consideramos que algumas categorias, dimensões ou aspectos na área da formação de professores sempre serão atuais, ainda que modificações ocorram na sua abordagem e entendimento.

REFERÊNCIAS

BERTOLIN, Júlio; DE MARCHI, Ana Carolina Bertoletti. Instrumentos para avaliar disciplinas da modalidade semipresencial: uma proposta baseada em sistemas de indicadores. Avaliação, Campinas; Sorocaba, SP, v.15, n. 3, 2010. Disponível em: http://www.scielo.br/pdf/aval/v15n3/07.pdf. Acesso em: 4 dez. 2018. [ Links ]

BRASIL. Ministério da Educação. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da República Federativa do Brasil, Brasília, 23 dez. 1996. Disponível em: http://portal.mec.gov.br/setec/arquivos/pdf/LF9394_96.pdf Acesso em: 19 jul. 2014. [ Links ]

BRASIL. Ministério da Educação. Referenciais de qualidade para educação superior a distância, 2007. [ Links ]

BRASIL. Lei nº 13.005, de 25 de junho de 2014. Aprova o Plano Nacional de Educação - PNE e dá outras providências. Disponível em: http://www.planalto.gov.br/ccivil_03 /_ato 2011-2014/2014/lei/l13005.htm. Acesso em: 12. set. 2015. [ Links ]

BROWN, Timothy. Confirmatory factor analysis for applied research. New York: The Guilford Press, 2006. [ Links ]

CHANEY, Beth Hensleigh et al. Development of an instrument to assess student opinions of the quality of distance education courses. The American Journal of Distance Education, v.21, n.3, 2007. [ Links ]

CHANEY, Beth Hensleigh et al. A primer on quality indicators of distance education. Society for Public Health Education, v.10, n.2, 2009. [ Links ]

CHIN, Wynne. The partial least squares approach for structural equation modeling. In: MARCOULIDES, G. A. (Ed.). Modern methods for business research. London: Lawrence Erlbaum Associates, 1998, p. 295-236. [ Links ]

D´ÁVILA, Cristina Maria; LEAL, Luiz Batista. Docência universitária e formação de professores - saberes pedagógicos e constituição da profissionalidade docente. Linhas Críticas, Brasília, DF, v.21, n.45, 2015. [ Links ]

DEVELLIS, Robert. Scale development: theory and applications. 2nd Edition. Thousand Oaks, California: Sage Publications, 2003. [ Links ]

DIAS SOBRINHO, José. Democratização, qualidade e crise da educação Superior: faces da exclusão e limites da inclusão Educação e Sociedade. Campinas, v.31, n.113, 2010. [ Links ]

DOURADO, Luiz Fernando. Políticas e gestão da educação superior a distância: novos marcos regulatórios. Educação e Sociedade. Campinas, v.29, n.104 - Especial, 2008. [ Links ]

DWYER, Tom et al. Desvendando mitos: os computadores e o desempenho no sistema escolar. Educação & Sociedade, v.28, n.101, 2007. [ Links ]

FORMOSINHO, João. A formação prática dos professores. Da prática docente na instituição de formação à prática pedagógica nas escolas. In: FORMOSINHO, J. (Org.). Formação de professores: aprendizagem profissional e ação docente. Porto: Portugal, 2009. [ Links ]

FREITAS, Helena Cost. Lopes. A (nova) política de formação de professores: a prioridade postergada. Educação e Sociedade. Campinas, v.28, n.100 - Especial, 2007. Disponível em: http://www.cedes.unicamp.br Acesso em: 2 fev. 2018. [ Links ]

GADOTTI, Moacir. Qualidade na educação: uma nova abordagem. In: CONGRESSO DE EDUCAÇÃO BÁSICA: QUALIDADE NA APRENDIZAGEM, 2013. Anais...Florianópolis, 2013. [ Links ]

GARCIA, Dirce Maria Falcone. Educação a distância, competências, tecnologias e o trabalho docente. In: GARCIA, D. M. F.; CECÍLIO, S. (Org.). Formação e profissão docente em tempos digitais. Campinas: Alínea, 2009. p. 217-235. [ Links ]

GARCIA, Marta Fernandes; SILVA, Dirceu. Professor tutor: papéis, funções e desafios. Linhas Críticas, Brasília, DF, v.23, n.50, 2017. [ Links ]

GATTI, Bernadete. A formação inicial de professores para a educação básica: as licenciaturas. Revista USP, São Paulo, n.100, 2014. Disponível em: http://www.revistas.usp.br/revusp/article/view/76164/79909. Acesso em: 22 ago. 2015. [ Links ]

GATTI; Bernadete; BARRETTO, Elba Siqueira de Sá. Professores do Brasil: impasses e desafios. Brasília: UNESCO, 2009. [ Links ]

GREGORY, Rhonda; MARTINDALE, Trey. Faculty development for online instruction in higher education. In: PROCEEDINGS of Selected Research and Development Papers of the Annual Convention of the Association of Educational Communications and Technology, 2016. Disponível em: https://members.aect.org/pdf/Proceedings/proceedings16/2016i/16_08.pdfLinks ]

HAIR, Joseph et al. Análise multivariada de dados. 6.ed. Porto Alegre: Bookman, 2009. [ Links ]

HARROFF, Pamela; VALENTINE, Thomas. Dimensions of Program Quality in Web-Based Adult Education. American Journal of Distance Education, v.20. n.1, 2006. [ Links ]

HATHAWAY, Dawn. Assessing quality dimensions and elements of online learning enacted in a higher education setting, 2009. Tese (Doutorado em Educação) - George Mason University, 2009. [ Links ]

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA - INEP. Censo da Educação Superior de 2014: resumo técnico. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2015. [ Links ]

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA - INEP. Sinopse Estatística da Educação Superior 2015. Brasília: Inep, 2016. [ Links ]

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). Censo da Educação Superior 2013: Resumo Técnico. Brasília: Inep, 2014. [ Links ]

KHAN, Badrul. The global e-learning framework. In: KHAN, B (Org.). A framework for web-based learning. Englewood Cliffs, NJ: Educational Technology, 2001. [ Links ]

LAPA, Andrea; PRETTO, Nelson de Luca. Educação a distância e precarização do trabalho docente. Em Aberto, Brasília, v.23, 2010. [ Links ]

LIBÂNEO, José Carlos. Antinomias na formação de professores e a busca de integração entre o conhecimento pedagógico-didático e o conhecimento disciplinar. In: MARIN, A. J.; PIMENTA, S. G. (Org.). Didática: teoria e pesquisa. Araraquara: Junqueira & Marin, 2015, p. 39-65. [ Links ]

MARTINS, Pura Lúcia Oliver; ROMANOWSKI, Joana Paulin. A didática na formação pedagógica de professores. Educação, Porto Alegre, v.33, n.3, 2010. [ Links ]

MOROSINI, Marília Costa et al. A qualidade da educação superior e o complexo exercício de propor indicadores. Revista Brasileira de Educação, v.21, n.64, 2016. [ Links ]

NOVAK, Richard. Benchmarking distance education. New Directions for Higher Education, n.118, 2002. [ Links ]

OZCAN, Deniz; GENC, Zeynep. Pedagogical Formation Education via Distance Education. Eurasia Journal of Mathematics, Science & Technology Education, v.12, n.2, 2016. [ Links ]

PASQUALI, Luiz. Psicometria: teoria dos testes na psicologia e na educação. Petrópolis: Vozes, 2003. [ Links ]

PHIPPS, Ronald; MERISOTIS, Jamie. Quality on the line: benchmarks for success in Internet-based distance education. Washington, DC: The Institute for Higher Education Policy, 2000. [ Links ]

PIMENTA, Selma Garrido; ANASTASIOU, Léa das Graças Camargos. Docência no ensino superior. São Paulo: Cortez, 2010. [ Links ]

PRADO, Maria Elisabette Brisola Brito; ALMEIDA, Maria Elizabeth Bianconcini. Formação de educadores: fundamentos reflexivos para o contexto da educação a distância. In: VALENTE, J. A.; BUSTAMANTE, S. B. V. (Org.). Educação a distância: prática e formação do profissional reflexivo. São Paulo: Avercamp, 2009. [ Links ]

RICHARDSON, John. Students’ perceptions of academic quality and approaches to studying in distance education. British Educational Research Journal, v.31, n.1, 2005. [ Links ]

RINGLE, Cristhian; SILVA, Dirceu; BIDO, Diogenes. Structural Equation Modeling with the SmartPLS. Brazilian Journal of Marketing - BJM Revista Brasileira de Marketing - ReMark Edição Especial. v.13, n.2, 2014. [ Links ]

RODRIGUES, Cláudia Cruz; FALLER, Lisiane Pellini. Qualidade em educação a distância. In: FRANCO, M. E. D. P.; MOROSINI, M. C. Qualidade da educação superior: dimensões e indicadores, 2011, p. 578- 593. [ Links ]

SHELTON, Kaye; ISERNHAGEN, Jody. Examining elements of quality within Online Education Programs in higher education. Connexions, p. 1-12, 2012. [ Links ]

SILVA, Dirceu; SIMON, Fernanda. Abordagem quantitativa de análise de dados de pesquisa: construção e validação de escala de atitude. Cadernos Ceru, v.17, n.1, 2005. [ Links ]

STEWART, Ingrid; HONG, Eunsook; STRUDLER, Neal. Development and Validation of an Instrument for Student Evaluation of the Quality of Web-Based Instruction. American Journal of Distance Education, v.18, n.3, 2004. [ Links ]

UNESCO. World Conference on Higher Education: The New Dynamics of Higher Education and Research for Societal Change and Development. 2009. [ Links ]

WILSON, Bradley. Using PLS to Investigate Interaction Effects Between Higher Order Branding Constructs. In: VINZI, V.E. (et al.) (Ed.). Handbook of Partial Least Squares: Concepts, Methods and Applicatios. 2.ed. Berlim: Springer-Verlag, 2010. p.621-654. [ Links ]

1Este estudo é fruto de tese de doutorado e contou com financiamento do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), processo nº 142082/2014-7.

4A tabela sobre a avaliação da validade discriminante é demasiada longa para ser apresentada neste artigo. Contudo, é possível observá-la na tese disponível em: http://repositorio.unicamp.br/bitstream/REPOSIP/ 333361/1/Garcia_MartaFernandes_D.pdf

Recebido: 30 de Maio de 2019; Aceito: 18 de Outubro de 2019

Revisão gramatical do texto realizada por:

Katya Laís Ferreira Patella Couto. E-mail: katya@ifsp.edu.br

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons