SciELO - Scientific Electronic Library Online

 
vol.29 número112Uma base comum na escola: análise do projeto educativo da Base Nacional Comum CurricularAvaliação do processo de formação do caráter em crianças na Educação Infantil índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Ensaio: Avaliação e Políticas Públicas em Educação

versão impressa ISSN 0104-4036versão On-line ISSN 1809-4465

Ensaio: aval. pol. públ. educ. vol.29 no.112 Rio de Janeiro jul./set 2021  Epub 29-Jun-2021

https://doi.org/10.1590/s0104-403620210002902107 

Artigos

Modelagem de Equações Estruturais e os testes de seleção – Caso do vestibular da Universidade Estadual do Ceará

Structural Equation Modeling and selection tests - Case of the selection process of the State University of Ceará

Modelado de Ecuaciones Estructurales y pruebas de selección – Caso del examen de ingreso de la Universidad Estadual de Ceará

José Leudo Maiaa 
http://orcid.org/0000-0003-2552-2908

Marcos Antonio Martins Limab 
http://orcid.org/0000-0001-5541-6220

a Universidade Estadual do Ceará (UECE). Fortaleza, CE, Brasil.

b Universidade Federal do Ceará (UFC). Fortaleza, CE, Brasil.


Resumo

Este estudo teve como objetivo fazer uso da Modelagem de Equações Estruturais – MEE, para avaliar a qualidade do modelo empregado pela Universidade Estadual do Ceará (UECE), no processo de seleção de seus vestibulandos, o qual é baseado na Teoria Clássica dos Testes (TCT), assim como propor ajuste a esse modelo pelo uso da Análise Fatorial de Segunda Ordem e da Análise de Regressão, via MEE. Utilizou-se um banco de dados composto dos resultados das provas de 11.060 candidatos ao vestibular de 2018.1, cujo tratamento se deu por meio do software IBM SPSS Amos (2013, v.22), obtendo-se os seguintes indicadores de qualidade: CFI ( Comparative Fit Index ) = 0,925; GFI ( Goodness-of-fit Index ) = 0,965; TLI ( Tucker Lewis Index ) = 0,922, e RMSEA ( Root Mean Square Error of Aproximation ) = 0,019. Juntos, esses indicadores demonstraram que o modelo é robusto e bastante consistente, apresentando um R 2 (Coeficiente de Correlação de Pearson ) = 0,965, indicando que a proporção das covariâncias observadas entre as variáveis manifestas e explicada pelo modelo ajustado é bastante significativa. Todas as variáveis do modelo ajustado apresentaram elevados coeficientes de regressão com valores entre 0,87 e 0,99, permitindo uma boa discriminação entre as notas dos vestibulandos, principalmente aqueles com o mesmo número de questões respondidas corretamente.

Palavras-Chave: Avaliação Educacional; Modelagem de Equações Estruturais (MEE; Análise Fatorial de Segunda Ordem; Vestibular

Abstract

The objective of this study is to make use of Structural Equation Modeling (SEM) in evaluating the model employed by the State University of Ceará (Uece) in the selection process of prospective students, which is based on the Classical Test Theory (CCT), as well as to propose adjustments to this model through the use of Second Order Factor Analysis and Regression Analysis, via MME. The data set used is comprised of results of 11,060 admission exams from the year 2018.1. AMOS/SPSS-v.22 software was used to process the data, obtaining the following quality indicators: CFI (Comparative Fit Index) = 0.925; GFI (Goodness-of-fit Index) = 0.965; TLI (Tucker Lewis Index) = 0.922, and RMSEA (Root Mean Square Error of Approximation) = 0.019. Together, these indicators demonstrate that the model is robust and highly consistent, presenting a R2 (Pearson Correlation Coefficient) = 0.965, indicating that the proportion of covariates, observed among the manifest variables and explained by the adjusted model, is very significant. All the variables of the adjusted model present elevated regression coefficients with values between 0.874 e 0.996, allowing for good discrimination between applicant scores, especially for those with the same number of correct question responses.

Key words: Educational Evaluation; Structural Equation Modeling (SEM; Confirmatory factor analysis (CFA; University admission examination

Resumen

Este estudio tuvo como objetivo hacer uso del Modelo de Ecuación Estructural - MEE, para evaluar la calidad del modelo utilizado por la Universidad Estatal de Ceará (Uece), en el proceso de selección de sus exámenes de ingreso, el cual se basa en la Teoría Clásica de Pruebas (TCT), además de proponer el ajuste a este modelo mediante el uso de Análisis Factorial de Segundo Orden y Análisis de Regresión, vía MEE. Se utilizó una base de datos compuesta por los resultados de las pruebas de 11.060 candidatos a la prueba de ingreso 2018, la cual fue procesada utilizando el software AMOS/SPSS-v.22, obteniendo los siguientes indicadores de calidad: CFI (Comparative Fit Index) = 0,925; GFI (Goodness-of-fit Index) = 0,965; TLI (Tucker Lewis Index) = 0,922 y RMSEA (Root Mean Square Error of Aproximation) = 0,019. Juntos, estos indicadores demostraron que el modelo es robusto y bastante consistente, presentando un R2 (Coeficiente de Correlación de Pearson) = 0.965 indicando que la proporción de covarianza observada entre las variables manifestadas y explicada por el modelo ajustado es bastante significativa. Todas las variables del modelo ajustado mostraron altos coeficientes de regresión con valores entre 0,87 y 0,99, lo que permitió una buena discriminación entre las calificaciones de los estudiantes, especialmente aquellos con el mismo número de preguntas respondidas correctamente.

Palabras-clave: Evaluación Educativa; Modelo de Ecuación Estructural – MEE; Análisis Factorial de Segundo Orden; Análisis de Regresión; Examen de Ingreso a la Universidad

1 Introdução

O sistema educacional brasileiro tem lançado mão, ao longo do tempo, da criação de exames de passagem de um ciclo de estudo para outro, com a finalidade de enfrentar a demanda que cresce em proporção muito maior que a oferta de vagas, principalmente na rede pública, como evidencia Silva e Padoin (2008) em seu trabalho sobre “relação entre o desempenho no vestibular e o desempenho no curso de graduação”.

Oficialmente, como informa Barros (2014) , o primeiro instrumento de seleção ao Ensino Superior foi promulgado pelo Decreto nº 8.659, de 5 de outubro de 1911, no entanto, o termo “vestibular”, como se conhece hoje, só foi instituído em 1915, com a Reforma Carlos Maximiliano.

A existência de um processo de seleção à Universidade, como é o caso dos atuais vestibulares, é necessário e se dá, basicamente, por dois fatores: limitação de vagas e sensível aumento do número de candidatos, notadamente, a partir da década de 1960, como salienta Guimarães:

A partir de 1964, com a intensificação de uma política econômica que favorecia a concentração de capital e renda, escassearam gradativamente os meios de ascensão social e econômicas das camadas média da população brasileira. A ascensão, através de uma maior escolarização, era um dos poucos recursos disponíveis. Assim, no período de 1964-68, cresceu em 120% o número de inscritos nos exames vestibulares, taxa muito superior ao aumento do número de vagas oferecidas nesse mesmo período, que foi de 56% (1984, p. 13).

Atualmente, o exame vestibular é o instrumento empregado pela maioria das Universidades na tentativa de selecionar, dentre os candidatos, aqueles que ingressarão nos estudos de formação formal em nível superior. Esse mecanismo de seleção, desde sua criação em 1911, tem passado por profundas mudanças, evoluindo de um processo “sem qualquer forma de apuração objetiva de sua justeza” conforme Lesser (1964 apudVIANNA, 1989 , p. 113), para um sistema cujas indagações psicométricas exigem o emprego de procedimentos estatísticos cada vez mais elaborados para seu constante aprimoramento, principalmente em virtude da evolução da microinformática, possibilitando o processamento de um volume de dados cada vez maior e de softwares cada vez mais sofisticados.

Como afirmam Arias, Lloreda e Lloreda (2006), muitos modelos estatísticos têm sido elaborados, ao longo da história, determinados à pontuação dos testes, sendo classificados em um dos seguintes grupos: (i) Teoria Clássica dos Testes (TCT) e suas extensões, como a Teoria da Generalização (TG), também conhecidos como Modelos Débeis da pontuação verdadeira, baseados no modelo linear geral e nas pontuações totais dos testes; (ii) Teoria da Resposta ao Item (TRI) que modeliza as probabilidades da resposta a um item para diferentes níveis do traço latente mediante um modelo não-linear, como instrumento avaliativo e de seleção do Exame Nacional de Ensino Médio (Enem), do Brasil.

No Brasil, conforme o Censo de 2018 da Educação Superior (Inep), existem 2.537 Instituições de Ensino Superior (IES), sendo 299 (11,79%) públicas e 2.238 (88,21) privadas, como apresenta a Tabela 1 , e que seguem esses modelos de seleção.

Tabela 1 Número de Instituições de Ensino Superior no Brasil, por Categoria – 2018 

Categoria Universidade Centro Universitário Faculdade IF e CEFET Total (%)
Qde (%) Qde (%) Qde (%) Qde (%)
Pública 107 (35,79) 13 (4,35) 139 (46,48) 40 (13,38) 299 (100)
Privada 92 (4,11) 217 (9,70) 1.929 (86,19) n.a.(*) 2.238 (100)
Total 199 (7,84) 230 (9,06) 2.068 (81,52) 40 (1,58) 2.537 (100)

Fonte: INEP, 2019

(*) não se aplica

Das 299 IES públicas, a maior quantidade é de Faculdades, com 46,48% (139) delas, seguido de 35,79% (107) de Universidades. A menor quantidade é de Centros Universitários, com 4,35% (13), enquanto 13,38% (40) são compostos de Institutos Federais (IF) e Centros Federais de Educação Tecnológica (Cefet).

Quanto às 2.238 IES privadas, a ordem de grandeza é semelhante às das públicas, onde as Faculdades representam a maior quantidade, com 86,19% (1.929) do total. 9,70% (217) são de Centros Universitários e, em menor quantidade, as Universidades, com 4,11% (92).

Atualmente, o processo de seleção ao Ensino Superior no Brasil se dá mediante o uso da TCT, com a aplicação de vestibulares próprios, ou por meio do Enem, pela aplicação da TRI, a depender se a instituição é de natureza pública ou privada.

Quando a IES utiliza os dois modelos teóricos (TCT e TRI), diz-se que o processo de seleção é misto. Quando não, utiliza vestibulares próprios, pelo uso da TCT ou, no caso das Universidades, pelas notas do Enem (TRI), como apresentado na Tabela 2 .

Tabela 2 Número de Instituições do Ensino Superior, pública ou privada, participantes do Enem (TRI) ou de vestibular próprio (TCT) em seus sistemas de seleção – 2018 

Categoria TRI (%) TRI + TCT (%) TCT (%) Total (%)
Pública 89 (29,77) 40 (13,38) 170 (56,85) 299 (100)
Privada - 1.692 (75,60) 546 (24,40) 2.238 (100)
Total 89 (3,51) 1.732 (68,27) 716 (28,22) 2.537 (100)

Fonte: INEP, 2019

O sistema misto de seleção é predominante, com 68,27% (1.732) de participação das IES. Adotando o sistema único de seleção, 28,22% (716) utilizam a TCT, enquanto 3,51% (89) se utilizam das notas do Enem (TRI), como forma de seleção de seus candidatos. É conclusivo que, de forma mista ou única, quase a totalidade das IES (96,49% [2.448]) utilizam-se da forma de vestibulares próprios, cujas provas são elaboradas conforme a TCT, em seus processos de seleção.

Diante desse fato, surge a necessidade de se desenvolver estudos que possam aperfeiçoar, cada vez mais, os modelos de seleção baseados na TCT, pela sua importância em “testes de seleção”, como os adotados pela maioria das IES, com seus vestibulares, a exemplo da Universidade Estadual do Ceará (Uece).

Considerando, portanto, como objeto desse trabalho, o vestibular da Uece, cuja elaboração de suas provas se fundamentam na TCT, é que se intenta avaliar a qualidade do modelo teórico adotado por esta IES e propor uma nova estrutura de cálculo das notas dos vestibulandos, à luz da Modelagem de Equações Estruturais (MEE), tida, por Marôco (2014 , p. 3-4), como “uma extensão dos modelos lineares generalizados que considera, de forma explícita, os erros de medida associados às variáveis sob estudo”, combinando as técnicas de Análise Fatorial, “que define um modelo de medida que operacionaliza variáveis latentes ou construtos”; e de Regressão Linear, “que estabelece, no modelo estrutural, a relação entre as diferentes variáveis sob estudo”.

A seguir, serão expostos os fundamentos da MEE e sua aplicação na validação do modelo teórico utilizado pela Uece, apresentando-se, por fim, uma nova concepção desse modelo, à base da MEE.

2 Características da MEE

A MEE ( Structural Equation Modeling ) é uma técnica estatística que apresenta duas características únicas que a diferencia do restante das outras técnicas de análise multivariada de dados, que são, conforme Hair Junior (2005) e Marôco (2014) : (i) os erros de medida associados às variáveis sob estudo serem considerados de forma explicita no modelo; (ii) a capacidade de acomodar múltiplas relações de dependência inter-relacionadas das variáveis em um só modelo.

Essas características podem ser observadas no seguinte modelo hipotético de equações:

y1=b1X1+b2X2+ε1 [1]
y2=b3X3+b4y1+ε2 [2]
y3=b5y1+b6y2+ε3 [3]

Nesse sistema de equações, as variáveis y 1, y 2 e y 3 são consideradas dependentes das variáveis X 1, X 2 e X 3, enquanto estas são ditas independentes. No entanto, observa-se que em [2] a variável y 1, considerada dependente em [1], torna-se independente nesta equação, o mesmo ocorrendo em [3], com as variáveis y 1 e y 2. Os valores de ε 1, ε 2, e ε 3 representam os erros de estimativa e os erros aleatórios de mensuração, presentes em todo modelo teórico inferencial.

Conforme Pasquali (2003 , p. 26), “toda e qualquer medida vem, tipicamente, acompanhada de erros”, sejam eles devidos ao instrumental de observação; das características individuais do observador; ou de erros aleatórios, sem causas identificáveis, principalmente na área das ciências humanas, quando se utilizam os testes de seleção tais como os concursos vestibulares.

Conforme Marôco (2014) , os primeiros estudos sobre MEE tiveram início na primeira metade do século XX, a partir dos trabalhos de Spearman (1904) sobre Análise Fatorial, e de Wright (1921;1934) sobre Path Analysis (representação gráfica das trajetórias ou caminhos das relações entre as variáveis de um modelo teórico); e, posteriormente, com os trabalhos de Jöreskog (1970), Keeling (1972) e Wiley (1973) “relativos ao desenvolvimento de métodos de estimação para estruturas de covariância dos modelos estruturais (BOLLEN, 1989, p. 4-9)”.

Foi também, a partir da primeira década de 1970 que a MEE começou a ser mais conhecida e aplicada, principalmente com o desenvolvimento do primeiro software , LISREL ( Linear Structural Relations ), escrito pelo prof. Jöreskog da Universidade de Uppsala, Suécia ( MARÔCO, 2014 ). A partir de então, outros softwares têm sido desenvolvidos, tais como o EQS ( Structural Equations System ); o Lavaan ( Latent Variable Analysis ); e o Amos ( Analysis of Moments Structures ), o qual é de fácil acesso e utilização, estando disponível como módulo adicional do software SPSS ( Statistical Package for the Social Science ), produzido pela IBM ( International Business Machines ) ( MALHOTRA, 2012 ).

Facilitados por esses softwares , muitos artigos têm sido produzidos, a exemplo do trabalho de Silva e Andriola (2012) versando sobre o “uso de equações estruturais para validar um modelo explicativo da relação entre domínio tecnológico, interação e aprendizagem colaborativa na Educação à Distância (EaD)”; o trabalho de Braga et al. (2018) trata dos fatores que influenciam na retenção escolar com o estudo de caso dos alunos de graduação em Ciências Contábeis em uma Instituição Privada do Ensino Superior do Estado de São Paulo; assim como a pesquisa de Gobbi et al . (2020) que busca responder a seguinte questão: “Uma boa gestão melhora o desempenho da escola, mas o que sabemos acerca de efeito da complexidade da gestão nessa relação?”, só para citar alguns.

Muitos outros trabalhos têm sido elaborados com a temática das Equações Estruturais e publicados em diversas revistas e jornais, a exemplo do portal de periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) que, de 2000 a junho de 2020 chegou a 554 trabalhos publicados e distribuídos como se vê no Gráfico 1 .

Fonte: BRASIL, 2020

Gráfico 1 Evolução do número de artigos, publicados de 2000 a 06/2020, que recorrem à Modelagem de Equações Estruturais no Portal de Periódicos da Capes – 2020 

Mais da metade dessas publicações ocorreram entre 2014 e 2018 [59,2% (328)], sendo 2015 o ano com o maior número de publicações [13,5% (75)]. É bom chamar atenção para o ano de 2020, cujas publicações se referem, especificamente, aos primeiros seis meses desse ano, correspondendo a 7,8% (43) do total e já se equiparando ao total produzido em 2019.

De maneira geral, 35,93% (199) dos artigos publicados se referem à área de gestão e administração, seguido de 26,35% (146) de tratativas de negócios e economia. A área de Educação participa com 19,31% (107), enquanto 7,58% (42) se refere ao social. A saúde se ocupa com 7,04% (39), e o tema setor público com 3,79% (21). Dentre estes, não foi encontrado nenhuma publicação envolvendo “testes de seleção”, tais como os “concursos vestibulares”, tornando esse trabalho, no mínimo, interessante sob o ponto de vista da investigação e da exploração de novas perspectivas teóricas.

2.1 Etapas da MEE

Diferentemente do que ocorre na Estatística Clássica em que, a partir de um conjunto de dados, busca-se encontrar, numa perspectiva exploratória, um modelo que descreva apropriadamente o comportamento da(s) variáveis em estudo, a MEE analisa, numa perspectiva confirmatória, se um modelo proposto, a priori , consegue explicar, adequadamente, o comportamento desse conjunto de dados. Ou seja, em MEE, o pesquisador, a partir do conhecimento que possui sobre o tema em estudo, elabora de que melhor forma as variáveis envolvidas no processo devam se relacionar para melhor explicar o comportamento do fenômeno em estudo.

Conforme Hair Junior (2005) e Malhotra (2012) , as etapas em MEE são semelhantes, a exemplo do que propõe Marôco (2014) , representado na Figura 1 .

Fonte: Adaptado de Marôco (2014 , p. 27)

Figura 1 Etapas da Análise de Equações Estruturais, desde a idealização do modelo teórico, inicial, à obtenção do modelo final – 2018 

O processo se inicia com a elaboração do modelo teórico, por meio das relações estabelecidas pelo pesquisador. Nessa etapa, é preciso cuidar para que não seja desconsiderada nenhuma variável relevante à explicação do fenômeno em estudo, ou que se incluam variáveis irrelevantes que possam, a princípio, desqualificar o modelo proposto.

Após a especificação e a identificação do modelo, a etapa seguinte trata da coleta e da organização dos dados, os quais serão utilizados para a estimação dos parâmetros do modelo. Logo em seguida, será testada a qualidade desses parâmetros para a validação ou não do modelo. Caso o modelo apresente algum problema de especificação, será revisto e reavaliado, terminando por sua aceitação ou rejeição.

Segundo Marôco (2014 , p. 28) “é a teoria que permite ao investigador fazer a elaboração do modelo teórico que hipotetiza as relações entre as variáveis, que os dados irão, ou não, confirmar”, como disposto na Figura 2 .

Fonte: Adaptado de Marôco (2014 , p. 27)

Figura 2 * - Modelo teorizado para a determinação da Aptidão de Acesso à Universidade, dependente das áreas de conhecimento C1 e C2, e das variáveis independentes X e Y – 2018 

* Representação gráfica de um modelo de Equações Estruturais com duas variáveis latentes exógenas (C1 e C2) operacionalizadas por 5 variáveis manifestas independentes, Xi, (i = 1, 2, 3, 4, 5), no caso de C1, e 2 variáveis manifestas independentes Yj, (j = 1, 2), no caso de C2, além de uma variável latente endógena (Aptidão), dependente de C1 e C2. As variáveis ei (i = 1, 2, 3, 4, 5, 6, 7) representam as fontes de variabilidade, desconhecidas, ou os erros de medida associados às variáveis independentes Xi e Yj

Com base na expertise do pesquisador e no estado da arte, o modelo teórico é elaborado e, costumeiramente, expresso por meio de um diagrama, chamado, diagrama de caminhos ( Path Analysis ), que é, conforme Hair Junior (2005 , p. 467), a “representação gráfica do conjunto completo das relações entre os construtos do modelo”, subdividido em modelo de medida, composto pelas variáveis de medida ou questões de uma prova, e modelo estrutural, composto pelas diversas áreas de avaliação de um teste (Português, Matemática etc.).

No âmbito da MEE, Marôco (2014) explica que é comum classificar as variáveis em dois tipos: manifestas e latentes. As variáveis manifestas são as observadas, medidas, tais como: peso; altura; salário; idade; etc. Já as variáveis latentes, também denominadas de fatores ou construtos, não são diretamente observáveis, tais como estado depressivo, autoestima, autoconceito, aptidão ou nota de prova. Sua existência é percebida por meio das variáveis manifestas. Estas são estimadas por meio de escalas psicométricas de mensuração “construídas por um conjunto de itens ou indicadores, que, supostamente, captam o efeito das variáveis latentes”. Relativamente à sua função no modelo, esse autor afirma que as variáveis, quer manifestas ou latentes, podem ser classificadas em independentes ou exógenas, quando as causas de sua variação são externas ao modelo, ou em dependentes ou endógenas, quando essas causas são internas ao modelo.

Diferentemente de qualquer outro modelo multivariado de dados, “as Covariâncias (ou Correlações) entre as variáveis manifestas são os dados que permitem avaliar a plausibilidade de um Modelo de Equações Estruturais” ( MARÔCO, 2014 , p. 14). Dessa forma, ao invés de se trabalhar com as observações dos sujeitos em cada variável manifesta, trabalha-se com o padrão das relações dos respondentes, por meio das matrizes de correlação ou de variância-covariância1 de todos os indicadores usados no modelo estrutural, como exige a MEE, de conformidade com Corrêa, Turrioni e Mello (2017); Malhotra (2012) ; Marôco (2014) ; Hair Junior (2005) , dentre outros.

A covariância (variância comum) representa, por si só, a dispersão conjunta entre duas variáveis, cuja medida é determinada pela esperança matemática ou média aritmética do produto dos desvios de cada variável em ralação à sua média aritmética. Sua magnitude é determinada pela magnitude das variáveis.

2.2 Indicadores de qualidade de ajuste do modelo

Dentre as etapas de análise de Equações Estruturais, ilustradas na Figura 1 , a de avaliação da qualidade de ajustamento do modelo é operacional e realizada por meio de uma série de indicadores que, conforme Jackson (2009, apudMARÔCO, 2014 , p. 75), de 194 artigos analisados sobre “práticas de relatório do ajustamento de modelos fatoriais confirmatórios”, a estatística 2 ( qui -quadrado) com os respectivos graus de liberdade, e os índices CFI e Rmsea foram reportados em mais de 65% destes, com alguma incidência, também, de TLI e GFI. Estes, portanto, serão os indicadores ou índices da qualidade de ajustamento do modelo a serem considerados neste artigo e apresentados no Quadro 1 .

Quadro 1 Estatísticas e índices de qualidade de ajustamento, com respectivos valores de referência e macros correspondentes do software Amos, utilizados com maior frequência em aplicações de MEE – 2018 

Estatística Valores de Referência Macro do AMOS
2 e p-value Quanto menor, melhor; p >0,05 \cmin; \p
2gl ( gl – grau de liberdade)
  • < 5 – Ajustamento mau

  • ]2; 5] – Ajustamento sofrível

  • ]1; 2] – Ajustamento bom

  • 1 – Ajustamento muito bom

\cmindf
  • CFI

  • GFI

  • TLI

  • < 0,8 – Ajustamento mau

  • [0,8; 0,9[- Ajustamento sofrível

  • [0,9; 0,95[- Ajustamento bom

  • ≥ 0,95 – Ajustamento muito bom

  • \cfi

  • \gfi

  • \tli

  • RMSEA ( I.C. 90% )

  • e

  • p-value ( H 0 :rmsea ≤ 0,05)

  • 0,10 – Ajustamento inaceitável

  • ]0,05;0,10] – Ajustamento aceitável

  • ≤ 0,05 – Ajustamento muito bom

  • p-value ≥ 0,05

  • \rmsea

  • \rmseaLO

  • \rmseaHI

  • \pclose

Fonte: Adaptado de Marôco (2014, p , p. 55)

O primeiro deles, o teste do 2 ( qui -quadrado), considerado como integrante da categoria dos absolutos, testa o comportamento da hipótese inicial H 0: ∑ = ∑( θ̂ ), que verifica se a matriz de variância e covariância populacional (Σ) não difere significativamente da matriz de variância e covariância estimada pelo modelo (∑( θ̂ )), em contrapartida à hipótese alternativa H 1: ∑ ≠ ∑( θ̂ ), onde θ̂ é um vetor formado pelas variâncias dos erros envolvidos nas variáveis manifestas Xi (i=1, 2,..., n) e Yj (j=1, 2, ..., n), e das variâncias dos pesos fatoriais que envolve as variáveis latentes estimadas. Sendo H 0 verdadeiro, o ajuste será tanto melhor quanto à relação 2gl se aproximar de 1, onde gl são os graus de liberdade dessa estatística ( 2).

Nessa mesma categoria dos testes absolutos, o Goodness of Fit Index – GFI (índice de qualidade do ajuste) “explica a proporção das covariâncias, observadas entre as variáveis manifestas, explicada pelo modelo ajustado” que é um “conceito semelhante ao R 2 da regressão linear”, conforme Marôco (2014 , p. 48).

Considerados como índices relativos, o Comparative Fit Index – CFI (índice de ajuste comparativo) mostra o quanto o modelo proposto se ajusta melhor aos dados que o modelo base gerado pelo Amos, assim como o Tucker-Lewis Index – TLI (índice de ajuste normalizado), que, por expressões diferentes, determinam um valor de medida dada pela razão do qui -quadrado do modelo proposto pelo qui -quadrado do modelo base.

Considerado como índice de discrepância populacional, o Root Mean Square Error of Approximation – RMSEA (Erro quadrático médio de aproximação), mostra a qualidade do ajuste pela “proximidade do modelo conceitual com o modelo estrutural”, quanto mais próximo de 0 (zero) for o valor de RMSEA, melhor o ajustamento (CORRÊA; TURRIONI; MELLO, 2017).

2.3 Pressupostos básicos da MEE

Conforme Corrêa, Turrioni e Mello (2017), Hair Junior (2005) , Malhotra (2012) e Marôco (2014) , deve-se atentar para os seguintes pressupostos em MEE, a fim de que as estimativas dos parâmetros do modelo ajustado sejam de boa qualidade.

  1. O pressuposto da independência entre as observações se constitui como básico em MEE. A violação dessa condição implica na ocorrência do erro estatístico tipo II, que é concluir pela não significância de um parâmetro quando, na realidade, ele é significativo, conforme Agresti e Finlay (2012) ;

  2. A questão da normalidade multivariada das variáveis manifestas, é de fundamental importância! Segundo Arbuckle (2009 apudMARÔCO 2014 , p. 62), a verificação da normalidade dessas variáveis pode ser realizada observando-se o comportamento da assimetria univariada ( s k ), do achatamento ou curtose ( k u ), e da curtose multivariada ( ku M ), calculadas a partir da média ( ), do desvio padrão ( s ) das variáveis, e da dimensão da amostra ( n ). O valor dos coeficientes sk , k u e ku M determinam o grau de assimetria e de curtose das variáveis. Quando a distribuição dessas variáveis é normal, os valores desses coeficientes são iguais a zero. Para valores de coeficientes sk , k u e ku M diferentes de zero (0), a normalidade das variáveis manifestas ainda pode ser considerada plausível se | sk | < 3; e k u e ku M forem inferiores a 10 (KLINE, 2005, p. 50, apudMARÔCO, 2014, p , p. 65).

No caso do concurso vestibular da UECE/2018.1, em estudo, não foi verificada nenhuma violação severa de normalidade, dado que nenhum valor de assimetria ou de curtose transgrediu o disposto na regra. Os valores de assimetria ficaram contidos entre -2,659 < s k < 1,462, assim como os de curtose: -2 < k u < 5,072 e ku M = 8,055, conforme relatório de saída do AMOS ( output /Amos – Assessment of normality ).

  1. A existência de outliers multivariados (valores discrepantes) é outro fator importante a se considerar. Conforme Manly (2008, p. 75-76 apudMARÔCO, 2014 ), Arbuckle, (2009, apudMARÔCO, 2014 , p. 69-70), essa investigação pode ser feita por meio da “Distância de Mahalanobis (Di)”, dada por Di=xix¯S1xix¯ , que mede a distância entre cada observação ( x i) e a média ( ) de todas as observações, chamada centroide da amostra, onde S 1, é a matriz inversa da covariância entre as observações. O teste elaborado, conforme esses autores, fundamenta-se na seguinte distribuição normal padronizada (Z), baseada nos valores de D i , dada por:

Z=1ni=1nDi4p(p+2)(n1)n+18p(p+2)/nN(0,1)

Onde n seria o tamanho da amostra em estudo e p , o número de variáveis manifestas no modelo.

A estatística Z, sob o pressuposto de normalidade multivariada e ou em amostras grandes, pode ser utilizada para diagnosticar outliers multivariados. Para tal, calcula-se a probabilidade de uma observação xi ter um valor D 2 i superior a d 2 i calculada para essa observação ( p 1), bem como a probabilidade de a maior distância de Mahalanobis ser superior à d 2 i calculada ( p 2). Assim, para a maioria das observações é de se esperar que os valores de p 1 sejam pequenos e os valores de p 2 sejam elevados. Por oposição, uma observação x i com p 1 e p 2 reduzidos (inferior, por exemplo, a 0,05) pode classificar-se como um outlier multivariado (ARBUCKLE, 2009, apudMARÔCO, 2014 , p. 70).

No caso desse estudo, observou-se que todos os valores de p 1 são pequenos e os de p 2 são grandes, indicando a inexistência de valores discrepantes, ou seja, as variáveis consideradas não apresentam outliers multivariados. Para os valores de p 1, os resultados estão dispostos no intervalo 0,020 ≤ p 1 ≤ 0,035, enquanto os valores de p 2 foram todos iguais a 1,00, conforme relatório de saída do Amos [ output /AMOS – Observations farthest from the centroid (Mahalanobis distance )].

3 Características da pesquisa

O estudo considerou como universo de pesquisa o total de 16.383 candidatos (dos 27.126 inscritos) que compareceram ao Concurso Vestibular da Uece em janeiro de 2018. Deste total, 5.323 foram desclassificados devido a várias razões, em conformidade com os critérios adotados pela Comissão Executiva do Vestibular – CEV/Uece. Assim, foram considerados como válidos neste estudo, o total de 11.060 candidatos para uma oferta de 1.252 vagas, implicando numa concorrência de 8,8 candidatos por vaga.

Os dados primários considerados foram os resultados das provas da primeira fase desse vestibular de 2018.1, cedidos pela CEV/Uece, composto das áreas do conhecimento em Língua Portuguesa, Língua Estrangeira (inglês, francês ou espanhol), Geografia, História, Matemática, Física, Química e Biologia, num total de 70 questões. Esses dados foram organizados em planilha Excel.xlsx e transposto para o SPSS.sav, a ser executado pelo software Amos/SPSS.

O modelo teórico proposto considera que a “Aptidão de Acesso à Universidade” ou “nota da prova” de cada concorrente é resultado de seus desempenhos nas provas aplicadas, determinados pelos acertos das questões das provas, tendo a seguinte composição – Diagrama de Caminhos – ilustrado na Figura 3 , numa estrutura de Análise Fatorial Confirmatória de 2ª Ordem, à luz da MEE.

Fonte: Elaborada pelo autor, por meio do software IBM SPSS AMOS (2018, v.22)

Figura 3 Diagrama de Caminhos do Modelo Teórico utilizado pela Universidade Estadual do Ceará – Uece, em seus concursos vestibulares, destinado à classificação de seus candidatos, à luz da Modelagem de Equações Estruturais – MEE – 2018 

A forma desse diagrama mostra as áreas do conhecimento que compõem as provas do vestibular da Uece. É uma estrutura semelhante à da TCT, com o diferencial de que, aos moldes da MEE, são considerados, também, os erros de medidas associados às variáveis preditivas, ou seja, às questões das provas, e que irão mais bem determinar as notas dos candidatos ao acesso à Universidade.

3.1 Análise dos dados

Idealizado o modelo de medida, na forma do configurado pela Uece ( Figura 3 ), a próxima etapa foi averiguar a qualidade do ajuste desse modelo na predição dos resultados das notas dos 11.060 vestibulandos dessa IES/2018.1, cujos indicadores, já descritos no Quadro 1 , estão dispostos na Tabela 3 .

Tabela 3 Indicadores da qualidade de ajustamento do modelo teórico avaliado para o vestibular da UECE/2018.1, conforme MEE, e respectivos valores de referência – 2018 

Estatística (Indicador) Valor estimado Valor de referência
CFI 0,925 [0,9; 0,95[ – bom ajustamento
GFI 0,965 ≥ 0,95 – muito bom ajustamento
TLI 0,922 [0,9; 0,95[ – bom ajustamento
RMSEA 0,019 ≤ 0,05 – muito bom ajustamento

Fonte: Estatísticas geradas pelo Software IBM SPSS (2013, v.22)

Conforme os valores estimados e os valores de referências dos indicadores expressos na Tabela 4 , pode-se concluir que os resultados das provas desse vestibular ajustam-se muito bem ao modelo da Uece, onde, tanto o CFI como o TLI sugerem um “bom ajustamento”, enquanto o GFI e o RMSEA classificam o ajustamento como “muito bom”. Dando sequência à análise dos dados, a etapa seguinte é a do aprimoramento do modelo vigente, empregado pela Uece, no cálculo das notas dos vestibulandos de 2018.1. Esse modelo foi construído a partir dos resultados das provas dos 11.060 respondentes, cujos pesos fatoriais de segunda ordem, denominados de coeficientes de regressão, foram determinados utilizando-se o método de máxima verossimilhança e implementados pelo software Amos/SPSS.v-22 ( IBM CORP, 2013 )., como se pode ver na Figura 4 .

Tabela 4 Primeiras 10 maiores notas dos 11.060 respondentes às 70 questões do vestibular da Uece/2018.1, e suas respectivas medidas geradas pela MEE – 2018 

Nº Insc. 5.747 10.564 8.371 8.298 8.044 7.558 7.444 6.348 10.778 7.825
NOTA UECE 62 61 61 61 61 61 61 61 60 60
MEE* 57,916 56,933 56,980 56,923 57,056 56,889 56,920 56,975 56,055 55,981

Fonte: Dados de pesquisa junto à Comissão Executiva do Vestibular da UECE – CEV/UECE/2018.1

(*) – Medida de Aptidão (Nota) gerada pelo modelo ajustado conforme MEE (2018)

Fonte: Estatísticas geradas pelo software IBM SPSS AMOS (2018, v.22)

Figura 4 Modelo fatorial de 2ª ordem ajustado aos resultados das provas dos 11.060 respondentes ao vestibular de 2018.1, da Universidade Estadual do Ceará – Uece, à luz da Modelagem de Equações Estruturais – MEE – 2018 

A medida da aptidão ou das notas dos respondentes do vestibular de 2018.1, da UECE, pode, então, ser calculada como:

Aptidão de Acesso à Universidade=0,92(Português)+0,92(Matemática)++0,94(História)+0,91(Geografia)+0,94(Física)+0,99(Química)++0,99(Biologia)+0,87(Letras)

Conforme o sistema em vigor da Uece, a nota final para cada respondente, no vestibular, decorre da soma das questões respondidas corretamente por ele, no entanto, pela MEE, essa nota final é ponderada pelos valores dos coeficientes de regressão do modelo estimado.

Uma grande vantagem da MEE sobre os modelos que adotam unicamente a contagem dos acertos das questões na determinação dos pontos, por exemplo, em testes de seleção, como os concursos vestibulares, é o poder de discriminar concorrentes com o mesmo número de acertos nas provas, como se pode observar na Tabela 5 , para as 10 primeiras maiores notas geradas pelo critério atual da Uece e suas respectivas medidas através do modelo ajustado, conforme a MEE.

Tabela 5 Distribuição do número de acertos para os 11.060 respondentes às 70 questões do Vestibular da Universidade Estadual do Ceará – Uece/2018.1 – 2018 

Quantidade de
Acertos Resp. Acertos Resp. Acertos Resp. Acertos Resp. Acertos Resp.
9 1 20 411 31 317 42 219 53 142
10 2 21 441 32 319 43 214 54 109
11 21 22 438 33 262 44 227 55 86
12 22 23 415 34 264 45 211 56 80
13 60 24 354 35 262 46 186 57 63
14 99 25 413 36 235 47 197 58 42
15 131 26 379 37 232 48 193 59 25
16 198 27 354 38 238 49 182 60 11
17 239 28 337 39 223 50 181 61 7
18 288 29 310 40 224 51 178 62 1
19 323 30 318 41 226 52 150 - -

Fonte: Dados de pesquisa junto à Comissão Executiva do Vestibular da UECE – CEV/UECE/2019.

Como se observa na Tabela 4 , das 10 primeiras maiores notas geradas pelo critério da Uece, 7 são iguais a 61, e 2, a 60, não sendo possível a discriminação entre esses respondentes de notas iguais, o que não acontece com o modelo ajustado pela MEE, dado que todos os seus valores são diferentes, possibilitando a discriminação. Extrapolando esses dados em ordem crescente do número de acertos para todos os 11.060 respondentes, percebe-se, na Tabela 5 , como se dá a distribuição do número de respondentes em função do número de acertos iguais.

Como mostra a Tabela 5 , a menor nota obtida nesse vestibular foi igual a 9 e a maior foi igual a 62 com, respectivamente, um respondente cada. Para todas as outras notas, ocorreu empate no número de acertos para, pelo menos, um respondente. O número máximo de respondentes empatados foi igual a 441, com 21 acertos cada. O Gráfico 2 dá uma ideia mais imediata do comportamento desses dados.

Fonte: Dados de pesquisa junto à Comissão Executiva do Vestibular da UECE – CEV/UECE/2019.

Gráfico 2 Distribuição do número de acertos dos 11.060 respondentes às 70 questões do vestibular da Universidade Estadual do Ceará – Uece/2018.1 – 2018 

O comportamento assimétrico positivo do Gráfico 2 , onde o número de respondentes vai diminuindo à medida que aumenta o número de acertos das questões, demonstra bem que a prova desse vestibular é, tipicamente, de um teste de seleção. O ponto modal desse gráfico é de 21 acertos, correspondendo a 441 respondentes empatados. A nota mediana é igual a 30, referente a 318 respondentes com o mesmo número de acertos.

Considerando que serão classificados apenas 1.252 candidatos, dado ser este o número de vagas destinadas pela Uece ao vestibular de 2018.1, o problema agora, considerando apenas a pontuação obtida pelos respondentes, é o da discriminação, dado o elevado número de candidatos com o mesmo número de acertos, como apresentado na Tabela 5 .

Esta é uma situação que a MEE consegue resolver quando utiliza o modelo ajustado onde, para cada candidato, o número de acertos em cada uma das oito provas (Português, Matemática, História, Física, Química, Biologia, Geografia e Letras) que compõe o vestibular da Uece é ponderado pelo seu respectivo coeficiente de regressão, gerando valores diferentes para cada candidato, permitindo uma perfeita discriminação entre eles.

De forma semelhante à do Gráfico 2 , a distribuição das aptidões geradas pelo modelo ajustado, via MEE, e representadas no Gráfico 3 , também apresenta o comportamento assimétrico positivo da prova. Essa similaridade de comportamento dos gráficos é reforçada pelo Coeficiente de Correlação de Pearson igual a 0,999903, quando se compara o conjunto das notas geradas pelo atual critério da Uece e o das Aptidões, pela MEE.

Fonte: Dados de Pesquisa (2018)

Gráfico 3 Distribuição das Aptidões dos Vestibulandos da Uece/2018.1, estimadas por Modelagem de Equações Estruturais – MEE, com uso do Software IBM SPSS ( IBM CORP, 2013

Considerando que existem 1.252 vagas para 11.060 candidatos, a proporção dos selecionados seria de 11,32%. Dessa forma, o percentil 88 [100,00 – 11,32 = 88,68] indicaria que a aptidão mínima para aprovação nesse concurso vestibular seria de 44,83. Esse valor de aptidão, considerado como ponto de corte, indicaria, a partir dele, quais candidatos seriam selecionados a uma vaga nos cursos de Graduação da Uece, no vestibular de 2018.1.

4 Considerações complementares

Pode-se concluir que as avaliações são sempre relativas, ou seja, são fundamentadas em algum ou alguns parâmetros de referência. Daí a adoção do metro, do quilograma, do litro, do quilômetro, enfim, das unidades adotadas como referência para a tomada de decisões.

Os parâmetros sempre estarão presentes, independente do que se pretenda avaliar. Alguns parâmetros mais difíceis de serem estimados que outros, como é o caso das medidas educacionais. Com base nos resultados de um teste, pretende-se tomar decisões acerca do nível de aprendizagem ou do conhecimento de um sujeito, o que, efetivamente, é uma tarefa complexa.

Quando esse processo de tomada de decisão repercute no direcionamento da vida das pessoas, como é o caso dos processos seletivos de maneira geral ou, mais particularmente, no acesso ao Ensino Superior, por intermédio dos concursos vestibulares, torna-se, ainda, um empreendimento ainda mais dotado de desafios e complexidade.

É nesse sentido que se buscou demonstrar a grande relevância dessa pesquisa, quando, assentado nos fundamentos teóricos psicométricos da MEE, procura avaliar, o quanto de informação pode-se lograr sobre o traço latente (Aptidão) dos candidatos, a ponto de se poder realizar uma seleção dos mais aptos ao ingresso de uma Universidade.

Os resultados das notas geradas pelo atual método aplicado na Uece, baseado somente no número de acerto das questões, permite que uma grande quantidade de respondentes tenha o mesmo número de acertos nas provas, implicado na impossibilidade, só por esse critério, de algum desempate, como apresentado na Tabela 5 . Mesmo que a Uece adote outros critérios para o desempate, como, por exemplo, a idade dos concorrentes, ainda assim não é a melhor forma, a nosso ver.

A adoção da MEE, reformulando os atuais modelos da TCT, ponderando o número de acertos das provas pelo uso dos coeficientes de regressão dos modelos estimados, à luz da MEE, transforma a nota gerada pela Uece em medidas de Aptidões, permitindo uma boa discriminação entre os candidatos, selecionando, dentre os bons, os melhores, possibilitando menor retenção e reprovação nos cursos dessa IES. Dessa forma, é razoável supor que o propósito desta pesquisa foi atingido quando, pelos resultados alcançados, justifica-se a aplicação da MEE na melhoria dos modelos clássicos, baseados na TCC.

Considerando-se que, em ciência, nada existe de acabado, e estando ainda o conhecimento em constante ebulição e desenvolvimento, não é intenção aqui a produção de um trabalho acabado. Porém, mostrar que a MEE pode ser uma alternativa na determinação das aptidões de candidatos, em testes de seleção, tais como os vestibulares da Uece, a exemplo do que faz hoje a TCT nos exames atuais dessa IES e a TRI nos Enem. Certamente, com o passar do tempo, outras teorias surgirão, complementando as existentes, trazendo maior qualidade e justiça ao processo avaliativo.

Referências

AGRESTI, A.; FINLAY, B. Métodos estatísticos para as ciências sociais . 4. ed. Porto Alegre: Penso, 2012. [ Links ]

BRAGA, L. F. H. V. et al. Fatores de influência na retenção discente: um estudo com alunos de graduação em Ciência Contábeis. REPeC – Revista de Educação e Pesquisa em Contabilidade (REPeC) , Brasília, DF, v.1 2, n. 3, p. 303-322, jul./set. 2018. https://doi.org/10.17524/repec.v12i3.1778Links ]

ARIAS, M. R. M.; LLOREDA, M. J. H.; LLOREDA, M. V. H. Psicometría . Madrid: Alianza Editorial, 2006. [ Links ]

BARROS, A. S. X. Vestibular e ENEM: um debate contemporâneo. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 22. n. 85, p. 1057-1090, out./dez. 2014. https://doi.org/10.1590/S0104-40362014000400009Links ]

BRASIL. Ministério da Educação. Portal de periódicos CAPES/MEC. Brasília,DF, 2020. Disponível em: https://www.periodicos.capes.gov.br/?option=com_pmetabusca&mn=88&smn=88&type=m&metalib=aHR0cHM6Ly9ybnAtcHJpbW8uaG9zdGVkLmV4bGlicmlzZ3JvdXAuY29tL3ByaW1vX2xpYnJhcnkvbGlid2ViL2FjdGlvbi9zZWFyY2guZG8%2FZHNjbnQ9MCZwY0F2YWlsYWJpbHR5TW9kZT1mYWxzZSZmcmJnPSZzY3Auc2Nwcz1wcmltb19jZW50cmFsX211bHRpcGxlX2ZlJnRhYj1kZWZhdWx0X3RhYiZjdD1zZWFyY2gmbW9kZT1CYXNpYyZkdW09dHJ1ZSZpbmR4PTEmZm49c2VhcmNoJnZpZD1DQVBFU19WMQ%3D%3D&buscaRapidaTermo=Modelagem+de+Equa%C3%A7%C3%B5es+Estruturais. Acesso em: 6 ago. 2020. [ Links ]

CORRÊA, J. É.; TURRIONI, J. B.; MELLO, C. H. P. Roadmaping para modelagem de equações estruturais: structural equation modeling. Itajubá: Novas Edições Acadêmicas, 2017. [ Links ]

GOBBI, B. C. et al. Uma boa gestão melhora o desempenho da escola, mas o que sabemos acerca do efeito da complexidade da gestão nessa relação? Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 28. n. 106, p. 198-220, jan./mar. 2020. https://doi.org/10.1590/s0104-40362019002701786Links ]

GUIMARÂES, S. Como se faz a indústria do vestibular . Rio de Janeiro: Vozes: IBASE, 1984. [ Links ]

HAIR JUNIOR, J. F. et al. Análise multivariada de dados . 5. ed. Porto Alegre: Bookman, 2005. [ Links ]

IBM CORP. IBM SPSS Statistics for Windows, Version 22.0 . Armonk, 2013. [ Links ]

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Censo da Educação Superior 2018: notas estatísticas. Brasília, DF, 2019. [ Links ]

MALHOTRA, N. K. Pesquisa de marketing: uma orientação aplicada. 6. ed. Porto Alegre: Bookman, 2012. [ Links ]

MARÔCO, J. Análise de equações estruturais: fundamentos teóricos, software & aplicações. 2. ed. Pêro Pinheiro: Soluções Gráficas, 2014. [ Links ]

PASQUALI, L. Psicometria: teoria dos testes na Psicologia e na Educação. Petrópolis: Vozes, 2003. [ Links ]

SILVA, A. S. R.; ANDRIOLA, W. B. Uso de equações estruturais para validar um modelo explicativo da relação entre domínio tecnológico, interação e aprendizagem colaborativa na Educação a Distância (EaD). Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 20, n. 75, p. 373-396, jun. 2012. https://doi.org/10.1590/S0104-40362012000200008Links ]

SILVA, M.; PADOIN, M. J. Relação entre o desempenho no vestibular e o desempenho durante o curso de graduação. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 16. n. 58, p. 77-94, jan./mar. 2008. https://doi.org/10.1590/S0104-40362008000100006Links ]

VIANNA, H. M. Introdução à avaliação educacional . São Paulo: Ibrasa, 1989. [ Links ]

1A matriz de Covariância é uma matriz que, na diagonal principal, apresenta as variâncias das variáveis e, fora da diagonal principal, apresenta as covariâncias entre as variáveis. A matriz de correlações obtém-se estandardizando a matriz de covariâncias. Nessa matriz, a diagonal principal é preenchida por 1’s (variância de uma variável estandardizada) e, fora da diagonal principal, estão os coeficientes de correlação entre variáveis. O número de elementos não redundantes desta matriz é p ( p +1) / 2 onde p é o número de variáveis da matriz ( MARÔCO, 2014 ).

Recebido: 27 de Dezembro de 2018; Aceito: 22 de Janeiro de 2021

Informações sobre os autores

José Leudo Maia: Doutor em Educação Brasileira pela Universidade Federal do Ceará. Pós-Doutorado em Avaliação Educacional pela mesma universidade. Professor Associado da Universidade Estadual do Ceará. Contato: leudo.maia@uece.br ; leudomaia@yahoo.com.br

Marcos Antonio Martins Lima: Doutor em Educação Brasileira pela Universidade Federal do Ceará. Pós-Doutorado em Gestão pela Universidade Federal do Rio Grande do Norte. Professor Associado na Universidade Federal do Ceará. Contato: marcoslima@ufc.br

Creative Commons License  This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License, which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.