QUANTIS, REGRESSÃO QUANTÍLICA E ESTRUTURA HIERÁRQUICA

A metodologia tradicional para análise de fatores associados ao desempenho escolar envolve a análise de regressão, que tem como foco identificar a influência de cada fator na média da distribuição do desempenho. Usualmente os parâmetros da equação de regressão são obtidos por mínimos quadrados ordinários (MQO).¹

Muitas vezes existe interesse em verificar se determinado fator afeta mais fortemente os estudantes de baixo ou de alto desempenho. Uma forma de fazer a análise, nesse caso, é por meio da chamada regressão quantílica (^{KOENKER, 2005}). Por esse procedimento, a análise pode ser em termos de quantis (ou percentis) predefinidos, como a mediana, primeiro quartil e terceiro quartil da distribuição de desempenho dos estudantes. Se houver apenas uma variável independente, a regressão quantílica, basicamente, estima várias retas para diferentes quantis de desempenho desejados.

O quantil mais conhecido e a mediana, q(50%), que separa os 50% menores valores dos 50% maiores valores. Numa distribuição de proficiências de avaliados, o k-esimo quantil, aqui denominado de q(k), pode ser entendido como o valor que delimita os k% menores valores dos (100 - k)% maiores valores. A Figura 1 ilustra a posição do quantil 25%, denotado por q(25%), que corresponde ao valor na escala que separa 25% dos estudantes com menor proficiência, numa distribuição hipotética. O quantil q(25%) também e conhecido como primeiro quartil ou quartil inferior.

Uma vantagem de usar a regressão quantílica para a mediana, em vez da regressão de mínimos quadrados ordinários para a media, e que o seu resultado será mais robusto, em resposta aos outliers.^{Chen et al. (2014}) apontam que a regressão quantílica e mais útil do que a regressão da media quando o termo aleatório não tem distribuição normal. Esse tipo de regressão pode ser visto como uma analogia natural a pratica de usar diferentes medidas de tendência central, dispersão e assimetria para obter uma análise mais abrangente e mais robusta (^{KOENKER, 2005}). Cabe ainda ressaltar que na regressão quantílica qualquer quantil pode ser analisado.

A Figura 2 ilustra vários quantis da distribuição de proficiência de estudantes na comparação de dois grupos, definidos em termos de professores assíduos e professores que faltam muito, conforme respostas do questionário aplicado aos alunos. Nessa figura, os quantis são apresentados por diagramas em caixas - o que constitui uma representação usual de medianas, quartis e extremos - e por regressões quantilicas com a variável independente indicadora do atributo em questão (0 = professores assíduos; 1 = professores que faltam muito).

Com regressões quantílicas, como ilustrado na Figura 2, além de se avaliarem possíveis diferenças na posição central da distribuição, é possível também avaliar se o efeito do fator de interesse é maior nos estudantes de baixo desempenho ou naqueles de alto desempenho. No exemplo em questão, percebe-se que o desempenho (mediano) esperado de estudantes cujo professor costuma faltar é inferior ao daqueles cujo professor não costuma faltar. No entanto, parece que o efeito do professor faltar é aproximadamente igual nos quantis analisados (retas aproximadamente paralelas). Situações em que as retas nos quantis inferiores são mais inclinadas (tem coeficientes angulares com magnitudes maiores) do que em quantis superiores indicam que o fator e mais influente nos estudantes de baixo desempenho. ^{Martins e Pereira (2004}), ^{Davino e Vistocco (2008}), ^{Rangvid (2008}) e ^{Almeida (2014}) apresentam aplicações de regressão quantílica na área da educação.

Outra característica, bastante presente na analise de dados educacionais, e a estrutura hierárquica dos mesmos, ou seja, os estudantes são subunidades de escolas, que podem ser subunidades de diretorias, regionais ou outros agrupamentos. Com isso temos agrupamentos de estudantes dentro de escolas, gerando possivelmente medidas correlacionadas dentro de cada grupo. Temos assim uma fonte de variação interna as escolas e outra que representa a variação entre as escolas. A analise pode ser afetada pelas correlações intergrupos, de tal forma que os modelos hierárquicos retratam bem essa estrutura de dados.

Enfim, com o objetivo de verificar se um fator afeta mais os estudantes com desempenho escolar alto ou aqueles com desempenho escolar baixo, este trabalho foca nos quantis da distribuição de proficiência, considerando a estrutura hierárquica dos dados. As regressões múltiplas com modelagem hierárquica permitem isolar o efeito de cada fator e separar a variação entre escolas e a variação entre estudantes de uma mesma escola.

Nos modelos tradicionais, os efeitos dos fatores são avaliados em termos de diferenças nos valores esperados. O presente trabalho inova no sentido de estudar as diferenças de efeitos em termos de quantis, permitindo avaliar os efeitos em diferentes níveis do desempenho acadêmico.

METODOLOGIA

Em termos teóricos, o k-esimo quantil, q(k), e dado pela solução da equação P{Y ≤ q(k)} = k, sendo Y uma variável aleatória continua. ^{Koenker (2005}) e Koenker e Bassett (1978) apresentam uma maneira de se obter a mediana, q(50%), pela técnica dos mínimos quadrados. Com base em um conjunto de valores

(y₁, y₂, ..., y_n), obtém-se o valor de θ que minimiza a soma:

Para os demais quantis, q(k), estende-se a relação considerando pesos diferentes para os resíduos positivos e negativos:

O quantil q(k) é o valor de θ que minimiza a relação (2). Esse método de mínimos erros absolutos é equivalente ao de máxima verossimilhança quando se supõe que os erros têm distribuição de Laplace, conforme descrito em ^{Geraci e Bottai (2014}). Segundo ^{Yu e Zhang (2006}), a distribuição de Laplace é definida por três parâmetros: um de locação, um de dispersão e um de assimetria, o que permite realizar a análise para situações em que a distribuição da variável em estudo é simétrica ou assimétrica.

Com base em ^{Geraci e Bottai (2014}), descreve-se o modelo de regressão quantílica hierárquica, conforme será usado neste trabalho:

Com

sendo:

Y _ij a variável dependente (proficiência) do estudante i da escola j;

β _oj ^(k) k-ésimo quantil da escola j, condicionado às demais variáveis do modelo iguais a zero;

β _I ^(k) o efeito da l-ésima variável de estudante no k-ésimo quantil (l = 1, 2, ..., L);

γ ₀ ^(k) ok-ésimo quantil médio das escolas, condicionado às demais variáveis do modelo iguais a zero;

y _m ^(k) efeito da m-esima variável de escola no k-esimo quantil (m = 1, 2, ..., M);

e _ij ^(k) o erro aleatório associado ao i-esimo estudante da escola j, supostamente com distribuição de Laplace com parâmetro de locação igual a zero, de dispersão igual a σ e de assimetria igual a k;

u _j ^(k) o termo aleatório associado a escola j, supostamente com distribuição normal de media zero e variancia σ _u ²

Neste trabalho esta se controlando a heterogeneidade das escolas pelo efeito aleatório em β _oj ^(k), ou seja, cada escola pode ter o k-esimo quantil diferente. Num contexto geral, poderia haver efeito aleatório em alguns dos efeitos das variáveis de estudantes, ou seja, nos β _l ^(k) (l = 1, 2, ..., L). Por exemplo, poder-se-ia supor que o efeito da reprovação seja diferente, dependendo da escola, já que algumas escolas podem ter tratamentos diferentes para os estudantes que não lograram aprovação.

Os parâmetros do modelo podem ser estimados pelo método da máxima verossimilhança. Para isso será usado o pacote lqmm (GERACI, 2016) do software livre R (^{R FOUNDATION FOR STATISTICAL COMPUTING, 2017}).²

A literatura sobre o assunto não e muito extensa, mas ha outras propostas para introduzir estrutura hierárquica na regressão quantílica, como em ^{Chen et al. (2014}) e ^{Hassan (2014}). Vale destaque a abordagem de ^{Galarza, Lachos e Bandyopadhyay (2017}), que propõem melhorias no algoritmo para obtenção das estimativas por máxima verossimilhança em regressão quantílica hierárquica, oferecendo novo pacote no R, qrLMM, em estudo pelos autores do presente trabalho.

DADOS E VARIÁVEIS DO ESTUDO

A metodologia proposta é aplicada no sistema de avaliação em larga escala do estado do Pará (SisPAE), iniciado em 2013, que avalia os estudantes nas áreas de Língua Portuguesa e Matemática. Na edição 2016 foram avaliados alunos do 4º e 8º anos do ensino fundamental, bem como as 3as séries do ensino médio. A avaliação envolveu a participação de alunos, professores e diretores de 3.534 escolas, distribuídas nos 144 municípios paraenses. São 814 escolas estaduais, 2.714 municipais e seis casas familiares rurais. Da previsão inicial de 563.413 alunos matriculados, participaram efetivamente da avaliação 376.830 em Língua Portuguesa e 376.684 em Matemática.

A edição 2016 do SisPAE incluiu coleta de informações sobre as características dos alunos de todos os anos/series avaliados, bem como dos professores, orientadores pedagógicos, especialistas em educação, diretores e escolas, com o objetivo de traçar o perfil dos respondentes e coletar dados para uma análise mais detalhada dos fatores associados ao desempenho escolar. Para tanto, foram aplicados questionários nos seguintes quantitativos: 270.424 alunos; 15.250 professores; 3.094 orientadores pedagógicos; 19.769 especialistas em educação; 3.509 diretores; e 3.509 escolas.

No estudo de fatores associados do SisPAE (PARA, 2017), são descritas várias medidas e indicadores construídos com base nos questionários contextuais, especialmente naqueles respondidos pelos estudantes. A escolha das medidas e indicadores baseou-se na literatura de fatores associados ao desempenho escolar, como em ^{Alves e Soares (2008}, 2013) e ^{Laros, Marciano e Andrade (2010}), bem como em relatórios técnicos de avaliações de larga escala efetuadas em outras unidades da federação. No presente artigo, foram selecionados os indicadores que apresentaram significância estatística, aqueles mais fortemente associados com a proficiência, conforme a análise de SisPAE (^{PARA, 2017}). Como o objetivo central deste trabalho e mostrar uma nova abordagem de análise, optou-se por não usar número excessivo de fatores.

Em SisPAE 2016 (^{PARA, 2017}) foram construídas várias medidas pela Teoria da Resposta ao Item (TRI) com modelo de escala gradual (^{ANDRADE; TAVARES; VALLE, 2000}; ^{AYALA, 2009}), das quais três foram usadas neste artigo:

As medidas também foram agregadas, em termos de medias, para a(s) turma(s) do ano escolar do estudante, em sua escola. Neste artigo, tais medidas foram padronizadas com media zero e desvio-padrão um, relativo ao grupo de estudantes em estudo. No caso da medida agregada, a padronização foi em relação ao grupo de escolas pesquisadas.

Também foram consideradas variáveis indicadoras da presença de fatores associados ao desempenho escolar: sexo do estudante; indicador de reprovação; indicador de realização de dever de casa; dentre outros. A lista completa dos fatores aqui analisados encontra-se na primeira coluna da Tabela 1.

RESULTADOS E DISCUSSÃO

Nesta seção são apresentados e discutidos os resultados de regressões quantílicas hierárquicas aplicadas nas provas de Língua Portuguesa e Matemática do 8o ano do ensino fundamental do estado do Para, em 2016.

A obtenção das estimativas teve por base um conjunto de 1.808 escolas e mais de 66.000 estudantes, que correspondem as unidades observacionais com respostas nas variáveis em estudo.

Para melhor ilustrar as informações que podem ser extraídas com a abordagem proposta, será apresentada, inicialmente, uma análise pela regressão hierárquica usual, baseada no valor médio da proficiência. A Tabela 1 traz a estimativa do efeito esperado por cada fator incluído na análise. O método de estimação foi o de máxima verossimilhança restrita, usando o pacote lme4 (^{BATES et al., 2015}).

Todas as estimativas apresentadas na Tabela 1 são significantes estatisticamente (p < 0,05).³ Analisando as estimativas dos efeitos, chega-se a conclusão de que, na população estudada, os níveis de clima e de relacionamento escolar (NCE e NRE, respectivamente) tem efeitos positivos no desempenho escolar. Em números, a cada desvio-padrão a mais em que os estudantes percebem clima escolar da escola, a proficiência media em Língua Portuguesa tende a ser duas unidades superior.

Em geral, as meninas foram melhores em Língua Portuguesa e os meninos em Matemática: estimativa do efeito nas medias de meninas em relação aos meninos e de 10,6 em Língua Portuguesa e -5,0 em Matemática. O grupo de estudantes que tiveram reprovação obteve proficiência media bem inferior aos outros: estimativas de -12,8 para Língua Portuguesa e -10,5 para Matemática, ou seja, a retenção do estudante devido ao seu mal desempenho (ou outros motivos) não tende a fazer com que este chegue ao nível dos demais estudantes nos anos seguintes.

Os resultados citados no parágrafo anterior são compatíveis com outros estudos de fatores associados, como em ^{Laros, Marciano e Andrade (2010}) e ^{Alves e Soares (2008}). O que se coloca e que esses efeitos são observados no nível médio de proficiência, deixando de responder questões tais como: será que o clima escolar pode influenciar mais os estudantes de baixa proficiência? Será que a diferença entre o sexo feminino e o masculino acontece com maior ênfase em estudantes de baixa ou de alta proficiência? E o efeito do professor se preocupar com os deveres de casa dos estudantes e maior entre aqueles de baixo ou de alto desempenho escolar? De modo geral, o que se tenta responder neste artigo e se determinado efeito e maior em estudantes de alto desempenho ou de baixo desempenho. Para tanto, a análise que segue baseia-se nos quantias da distribuição das proficiências.

A Tabela 2 apresenta vários quantis dos resultados das provas do SisPAE 2016, na escala Saeb. Considerando a prova de Lingua Portuguesa, ao analisar o quantil 10%, igual a 147,4, diz-se que 10% dos estudantes tem proficiência em Língua Portuguesa igual ou inferior a 147,4 pontos. Em termos do quantil 90%, pode-se afirmar que 90% dos estudantes tem proficiência em Língua Portuguesa igual ou inferior a 256,1 pontos, ou, equivalentemente, 10% dos estudantes tem proficiência superior a 256,1 pontos. Ou seja, enquanto q(10%) separa os 10% de menor proficiência, q(90%) separa os 10% de maior proficiência.

A discussão nesta seção envolve o quanto diferenças de valores nas variáveis explicativas - ou da presença de fatores que costumam afetar o desempenho - alteram os valores dos quantis e, mais ainda, se o efeito é maior (ou menor) nos quantis que separam os estudantes de desempenho mais baixo ou nos quantis que separam aqueles de desempenho mais alto.

A Tabela 3 traz as estimativas dos efeitos dos fatores em análise sobre alguns quantis da distribuição de proficiência em Língua Portuguesa. No geral, serão apresentadas apenas as estimativas de máxima verossimilhança que registraram significância estatística ao nível de 0,05. Tabelas com erros- -padrão e testes de significância desses quantis encontram-se no Apêndice (tabelas A1 a A5).

As tabelas A1 a A5 apresentam os valores estimados dos coeficientes das regressões hierárquicas quantificas, acompanhados dos respectivos erros-padrão e os valores-p do teste estatístico associado a hipótese nula de o coeficiente ser nulo, ou seja, não haver efeito significante da referida variável ou do fator em análise.

Cabe observar que alguns coeficientes que não apresentaram significância estatística (valor-p maior que 0,05) não foram explicitados nas tabelas 3 e 4 do corpo do trabalho, porem nas tabelas A1 a A5 estão relacionados todos os resultados obtidos no ajuste dos modelos.

O efeito do nível socioeconômico familiar (NSE) no desempenho escolar é deveras conhecido. Pela Tabela 3, verifica- se que o aumento de um desvio-padrão do NSE da família do estudante leva a um aumento de 3,7 pontos na proficiência mediana, estimativa parecida com o que foi obtido com o modelo para a média (Tabela 1), o que é razoável, já que ambas as medidas são de tendência central da distribuição de proficiência. Porém, com as regressões quantílicas, observa- se que o efeito do NSE é mais forte em estudantes com proficiências mais altas: enquanto no quantil 10% (ponto que separa 10% dos estudantes com menor proficiência) o efeito estimado de um desvio-padrão no NSE foi de 2,5 pontos a mais na prova; no quantil 90%, que separa 10% dos estudantes com maior proficiência, o efeito estimado foi de 4,6 pontos. Analisando os valores do NSE ano/escola, verifica-se que a relação é similar ao que ocorre com o NSE da família do estudante. A Tabela 4 mostra os quantis da distribuição das proficiências de Matemática. As relações são bastante parecidas com Língua Portuguesa para a maioria das variáveis/fatores analisados.

As figuras 3 a 7 reproduzem as estimativas dos efeitos em cada quantil para os fatores em que foram observadas diferenças importantes, Língua Portuguesa e Matemática, incluindo intervalos de 95% de confiança.

A Figura 3 mostra os efeitos do nível socioeconômico familiar. Observa-se que, em ambas as áreas, os intervalos nos quantis 10% e 90% são disjuntos, indicando diferença significante; o mesmo ocorre entre os quartis inferior, q(25%), e superior, q(75%). Ou seja, o efeito do NSE é significativamente mais forte em estudantes com proficiências mais altas.

Um fator bastante estudado nas avaliações de larga escala é o da reprovação. Em ambas as provas se verifica efeito negativo do estudante que já teve reprovação, com redução de mais de 10 pontos na mediana, quando comparado ao grupo que não teve reprovação. Percebe-se, ainda, que esse efeito é mais forte dentre os estudantes com maior desempenho. No quantil 90%, que separa 10% dos estudantes com maior desempenho, a diferença entre os dois grupos foi de 15,1 pontos em Língua Portuguesa e 14,3 pontos em Matemática (Figura 4). Cabe ressaltar que há bem menos casos de estudantes de alto desempenho com reprovação, mas se deve considerar, também, a influência de algum outro fator não controlado, tal como doença do estudante ou em sua família em anos anteriores, levando à retenção.

São identificados efeitos negativos associados ao “professor que costuma faltar” e ao “professor que dá mais atenção aos estudantes bons” (tabelas 3 e 4), na percepção do estudante respondente. Não há uma tendência clara de a magnitude do efeito aumentar ou diminuir à medida que se caminha para quantis maiores, ou seja, os efeitos desses indicadores são igualmente ruins entre os estudantes de melhor e de pior desempenho.

O efeito positivo do “professor que se preocupa com o dever de casa” é ligeiramente maior nos estudantes com melhor proficiência. Isso sugere que os estudantes de melhor desempenho aproveitam melhor os deveres de casa e as correções feitas pelo professor (Figura 5).

Um aspecto interessante é o forte efeito negativo dos “estudantes que consideram que o aprendizado depende mais do professor do que do estudante”. Com as regressões quantílicas pode-se perceber que esse efeito é mais forte dentre os estudantes de desempenho maior. Em Língua Portuguesa, para estudantes que estão no quantil 90%, a diferença é em torno de 12 pontos. Já para aqueles que estão no quantil 10%, o efeito negativo é em torno de 6 pontos. Talvez esse comportamento seja característico de alunos de menor desempenho, cuja homogeneidade dos grupos (concordantes e discordantes da pergunta) leve a uma menor diferença de desempenho, ocorrendo o oposto para os estudantes de maior desempenho (Figura 6).

Um aspecto interessante, verificado em vários estudos de avaliação de larga escala, é que em Matemática os meninos têm desempenho melhor, enquanto em Língua Portuguesa são as meninas que mostram maior desempenho. A Figura 7 apresenta os efeitos do fator sexo em diferentes quantis, tanto em Língua Portuguesa quanto em Matemática.

A novidade observada neste trabalho e que em Matemática a diferença entre os sexos e maior entre os estudantes de mais alto desempenho, com os meninos tendo desempenho bem superior ao das meninas (quase 10 pontos no quantil 90%). Por outro lado, em Língua Portuguesa, em que as meninas sobressaem, a diferença e maior entre os estudantes de baixo desempenho (mais de 10 pontos nos quantis inferiores). Pensando conjuntamente em Língua Portuguesa e Matemática, a análise sugere que os meninos estão em posição mais extrema do que as meninas, já que em Língua Portuguesa, disciplina em que eles usualmente tem desempenho pior, a diferença e maior dentre aqueles de pior desempenho; em Matemática, em que eles normalmente tem desempenho superior, a diferença acentua entre os de maior desempenho.

CONCLUSÃO

Ha poucos trabalhos sobre estudos de fatores associados ao desempenho escolar usando regressão quantílica, e em especial regressão quantílica hierárquica. De certa forma isso e justificável, porque regressão quantílica hierárquica ainda não e um método suficientemente conhecido e consagrado. Outro fator que justifica os poucos trabalhos com esse método e que ele não está implementado nos principais softwares comerciais da área de estatística. Contudo, as análises aqui realizadas mostraram boas evidencias de fatores que exercem influência mais expressiva na comparação de estudantes de alto e baixo desempenhos, resultando num importante subsidio para a gestão escolar.

Neste trabalho foi mostrado, por exemplo, que o nível socioeconômico em que o estudante está inserido provoca maiores diferenças em estudantes de alto desempenho, o que também ocorre com o efeito positivo de o professor se preocupar com os deveres de casa. Estudantes com desempenho baixo parecem mais dependentes do professor, pois a concordância de que o aprendizado depende mais do professor do que do aluno tem alto efeito negativo nos vários quantis da distribuição. Com a abordagem da regressão quantílica, verificou-se que esse efeito negativo e mais forte nos grupos de desempenho mais alto, ou seja, estudantes com bom desempenho que concordam com essa afirmação tendem a ficar bem abaixo daqueles com bom desempenho que discordam.

Os resultados devem encorajar novos estudos em outras populações que possam corroborar várias relações discutidas neste trabalho. Mais ainda, há políticas públicas realizadas com o objetivo de atenuar as diferenças de desempenho entre os estudantes, tentando melhorar o desempenho especialmente daqueles com maior dificuldade de aprendizado. A regressão quantílica hierárquica torna-se um bom instrumento para avaliar de forma objetiva o efeito dessas políticas, porque mede o efeito dos fatores de interesse em diferentes níveis do desempenho educacional, não só em seu valor esperado.