Introdução

Na avaliação educacional, o desempenho do aluno é considerado a variável indicadora da eficácia deste sistema e é coletado juntamente com informações acerca do contexto escolar e social do indivíduo, as quais tem sido vistas como características de interesse de diversos estudos, tais como ^{Alves e Soares (2008)}, ^{Ferrão et al. (2001)}, ^{Laros e Marciano (2008)}, entre outros. Ao longo da última década, estudos têm revelado evidências empíricas de que o desempenho escolar dos alunos depende não só das habilidades próprias, mas também de fatores que envolvem características sociais, econômicas, culturais e familiares, como aponta o estudo de ^{Soares (2003)}. Segundo ^{Jesus e Laros (2004)} e ^{Laros, Marciano e Andrade (2010)}, questões desta natureza devem ser consideradas nas avaliações educacionais, uma vez que as desigualdades sociais têm implicações diretas sobre a educação, sugerindo que o desempenho do aluno deve ser contextualizado.

A avaliação educacional tem a finalidade de fornecer elementos para diagnosticar a situação do sistema educacional de determinado local e, concomitantemente, subsidiar políticas e diretrizes municipal, estadual e nacional, visando a contínua melhoria na qualidade da educação. Nos últimos anos, é perceptível o avanço obtido na área educacional considerando os recursos metodológicos disponíveis e os atuais critérios de avaliação, tais como o Sistema Nacional de Avaliação da Educação Básica (SAEB), o Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (SARESP) e o Exame Nacional do Ensino Médio (ENEM).

Os sistemas de avaliação citados têm revelado um quadro crítico para a educação formal em relação ao desempenho e rendimento escolar do indivíduo. Para obter melhorias na qualidade do ensino e alcançar um sistema educacional eficaz, no qual o aluno aprenda, seja aprovado e conclua a Educação Básica dotado de competências para que seja capaz de armazenar, transformar e aplicar o conhecimento, é necessário que os responsáveis envolvidos nos processos de avaliação educacional entendam, decodifiquem e interpretem, à luz da realidade, os resultados dessas avaliações. Neste sentido, pesquisadores de diversas áreas do conhecimento tem destinado considerável atenção à educação nos últimos anos não somente ao rendimento acadêmico dos alunos, mas também a aspectos humanos, sociais, culturais, éticos e metodológicos.

Atualmente, o principal interesse está voltado à identificação de fatores, sejam de natureza humana, social, cultural ou ética, que podem atuar sobre o desempenho escolar, ampliando a realização de estudos com investigações acerca da avaliação do impacto de programas educacionais e análises de determinantes do desempenho escolar, tornando-os cada vez mais frequentes na literatura (^{ANDRADE; LAROS, 2007}; ^{FERRÃO et al.; 2001}; ^{SOARES, 2003}; ^{SOARES; ALVES, 2003}). O número crescente de pesquisadores interessados nesta área tem proporcionado um avanço na construção de bancos de dados com informações sobre professores, escolas, alunos e desempenho. Concomitantemente, novas ferramentas estatísticas advindas de avanços teóricos e metodológicos têm tornado os trabalhos mais sofisticados. Merece destaque a difusão da estrutura hierárquica para análise de dados educacionais (^{GELMAN; HILL, 2006}; ^{GOLDSTEIN, 1995}; ^{RAUDENBUSH; BRYK, 2002}).

Buscando contribuir com a literatura no que se refere à investigação de fatores que impactam o desempenho escolar do indivíduo, o presente estudo consiste na utilização de modelos hierárquicos, com dados do SARESP, e apresenta-se estruturado em seções, incluindo esta introdução. A seção dois contém uma breve revisão de literatura com estudos que utilizaram a modelagem hierárquica para identificar fatores atuantes sobre o desempenho educacional. Na seção três, descreve-se o SARESP, incluindo os níveis de proficiência em matemática considerados, e apresenta-se a distribuição dos alunos da rede pública de ensino nas regiões do estado de São Paulo. Os dados considerados neste estudo e os modelos hierárquicos propostos são apresentados na seção quatro. A seção cinco contém os resultados da análise empírica realizada, os quais são também interpretados. Na seção seis, faz-se uma conclusão do presente estudo.

Utilização de modelos hierárquicos na avaliação do desempenho educacional

Para identificar as variáveis relacionadas ao desempenho escolar, deve-se considerar as estruturas educacionais nas quais os indivíduos estão inseridos, dentre os quais se destacam aqueles relacionados ao ambiente familiar e à disponibilidade e qualidade da infraestrutura e qualidade da escola e seus professores. Neste contexto, como apontam ^{Barbosa e Fernandes (2001)} e ^{Goldstein (2001)}, o desempenho escolar é influenciado por aquilo que o aluno traz consigo, bem como por aquilo que a escola oferece no que se refere ao ensino, infraestrutura e corpo docente. Na mesma direção, ^{Soares e Alves (2003)} afirmam que os fatores que impactam o desempenho cognitivo dos alunos podem ser categorizados em projetos pedagógicos, na estrutura escolar, na família e nas características do próprio aluno. Uma vez que a avaliação educacional proporciona informações que permitem aos educadores identificar práticas que promovem resultados adequados, a mesma é considerada ferramenta útil na melhoria do sistema educacional. Assim, torna-se relevante investigar os fatores que influenciam o desempenho dos alunos com o objetivo de esclarecer o processo de produção das desigualdades educacionais observadas nos resultados das avaliações de larga escala. A identificação destes fatores é de suma importância para a elaboração de políticas públicas que possam melhorar a qualidade da educação brasileira (^{LAROS; MARCIANO; ANDRADE, 2010}).

Uma metodologia estatística que pode ser utilizada é a análise de regressão multinível, na qual a estrutura dos dados populacionais é hierárquica e são vistos em multi-estágios desta população. Indivíduos tendem a viver dentro de estruturas organizacionais (família, escolas, igrejas, cidades, estados, países) e, de acordo com ^{Goldstein (2001)}, a existência de dados hierarquicamente estruturados não é acidental e nem pode ser ignorada. Modelos que incorporam a estrutura de agrupamento dos dados apresentam vantagens, tais como a obtenção de melhores estimativas para os parâmetros relativos às unidades específicas, pois comportam uma equação para cada nível, fazendo, assim, uso de toda a informação presente na amostra de forma eficiente; permitem o uso de variáveis explicativas mensuradas em cada nível da hierarquia, possibilitando a exploração detalhada por meio da formulação e teste de hipóteses relativas a efeitos entre níveis, do impacto e contribuição de cada nível para a variabilidade da variável resposta; consideram uma partição da variância em componentes, ou seja, decompõem a variância total em proporções associadas a cada nível do modelo (^{RAUDENBUSH; BRYK, 2002}).

Também conhecidos como modelos de regressão multinível, modelos lineares de coeficientes aleatórios ou randômicos, e modelos lineares mistos, a técnica de modelos hierárquicos tem sido utilizada no Brasil, desde o final dos anos 90, para interpretar e analisar os dados das avaliações educacionais em larga escala, como mostram os estudos de ^{Ferrão et al., (2001)}, ^{Laros e Marciano (2008)}, ^{Soares e Alves (2003)}, entre outros. Nos estudos de ^{Brooke et al. (2014)}, ^{Riani e Rios-Neto (2008)}, ^{Soares (2003)}, ^{Soares e Alves (2003)} e de ^{Soares e Mendonça (2003)}, os resultados indicaram que os alunos masculinos e negros têm desempenho inferior aos demais. ^{Barbosa e Fernandes (2001)} constataram que, enquanto a escolaridade do pai impacta positivamente a proficiência do aluno, o efeito da variável defasagem escolar é negativo. ^{Ferrão et al. (2001)} realizaram uma pesquisa utilizando modelos hierárquicos de dois níveis – aluno e escola – aplicados aos dados de proficiência em Matemática, Português, Ciências, Geografia e História, de alunos da 4ª série do Ensino Fundamental obtidas no SAEB de 1999. Os modelos propostos foram ajustados para as cinco regiões geográficas brasileiras. Resultados evidenciaram que a condição socioeconômica do aluno é um fator que influencia fortemente o seu desempenho nas disciplinas citadas, assim como é perceptível que os alunos com atraso escolar têm resultados escolares reduzidos quando comparados àqueles que estão na idade adequada para a série. Alunos negros apresentaram desempenho inferior aos demais em todas as regiões geográficas. Os autores verificaram também que as escolas com melhor infraestrutura, segurança e limpeza têm impacto positivo no desempenho dos estudantes e que alunos em turno integral não tem vantagem quando comparados com aqueles de turno parcial.

A partir de dados obtidos por meio do Sistema Mineiro de Avaliação da Educação Pública (SIMAVE), ^{Soares (2003)}, ^{Soares e Andrade (2006)}, e ^{Soares e Mendonça (2003)} utilizaram a modelagem multinível para investigar os fatores associados ao desempenho escolar dos alunos. Um resultado comum nestes estudos refere-se ao efeito positivo da condição socioeconômica sobre a proficiência do aluno. ^{Soares e Mendonça (2003)} evidenciaram impacto positivo da escolaridade da mãe sobre o desempenho da turma. ^{Soares (2003)} mostrou que cada ano de defasagem escolar produz uma queda de seis pontos na proficiência, e que o fato de o aluno ser do sexo masculino e ser da raça negra produz quedas de nove e 10 pontos, respectivamente, na proficiência. Enquanto a frequência de faltas do professor e a falta de motivação dos alunos produzem queda na proficiência, professores mais dedicados e com mais disponibilidade refletem melhores desempenhos do alunos. Nas turmas em que os alunos fazem o dever de casa, os rendimentos também são mais altos. As estimações realizadas por ^{Brooke et al. (2014)} corroboram as conclusões de ^{Ferrão et al. (2001)} e ^{Soares (2003)} ao afirmar que a proficiência prévia e o nível socioeconômico proporcionam melhores desempenhos em matemática e língua portuguesa, alunos do gênero masculino estão em desvantagem sobre o gênero feminino, no que se refere ao aprendizado em leitura, e que alunos negros e alunos com defasagem escolar têm proficiência inferior em ambas as disciplinas.

Preocupados com as desigualdades raciais no sistema brasileiro de Educação Básica, ^{Soares e Alves (2003)} utilizaram a abordagem multinível em dois níveis – alunos e escolas – para investigar as diferenças nos desempenhos de alunos discriminados por raça. Analisando dados do SAEB de 2001, os autores observaram que a diferença entre brancos e negros cresce com o aumento, tanto no nível socioeconômico do aluno como no da escola, e é maior na rede privada. A comparação do aluno com os colegas, os recursos culturais que dispõe, o fato de gostar de estudar a disciplina e fazer o dever de casa, são variáveis com impacto positivo sobre o desempenho escolar. Por outro lado, o atraso escolar foi identificado como a variável que mais afetou negativamente o desempenho do aluno, resultado semelhante ao de ^{Barbosa e Fernandes (2001)}, ^{Soares (2003)} e ^{Soares e Mendonça (2003)}.

Assim como feito no estudo de ^{Jesus e Laros (2004)}, ^{Soares e Mendonça (2003)} verificaram que o nível socioeconômico, a escolaridade do pai e fazer o dever de casa atuam positivamente sobre o desempenho do aluno em Língua Portuguesa. Por outro lado, o atraso escolar e o fato de o aluno trabalhar tem impacto negativo sobre o resultado alcançado pelo aluno. Similarmente, além da escolaridade da mãe, fazer o dever de casa foi uma variável significativa para explicar o desempenho no estudo de ^{Riani e Rios-Neto (2008)}. A identificação dos fatores que afetam o desempenho dos estudantes foi objeto de estudo também de ^{Laros, Marciano e Marciano (2010)}, os quais propuseram um modelo multinível com dados do SAEB de 2001 e consideraram o modelo empírico, apresentado por ^{Jesus e Laros (2004)}, com dois níveis, isto é, aluno e escola. De acordo com resultados, a variável que mais afetou o desempenho escolar dos alunos foi o atraso escolar, seguida do gosto por estudar matemática. A quantidade de faltas e o índice de repetência afetaram negativamente o desempenho educacional.

Considerando a intensa discussão sobre o atual cenário da Educação Básica no Brasil, este trabalho busca trazer contribuição para a discussão por meio da implementação de uma abordagem ainda não utilizada, isto é, analisando os resultados do Saresp, conforme as regiões do estado de São Paulo.

Níveis regionais de proficiência em matemática no Saresp de 2013

É pauta frequente nas escolas a realização de avaliações externas do desempenho educacional dos alunos. O estado de São Paulo, além de participar das avaliações nacionais, promove o Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo – SARESP, proposta pela Secretaria da Educação, o qual assegura a identidade de um processo avaliativo orientado por uma matriz de referência estabelecida de acordo com o Currículo de São Paulo. Os resultados desta avaliação, alcançados ao longo das contínuas edições, têm fornecido informações sobre o aprendizado dos alunos do Ensino Fundamental e do Ensino Médio, da rede pública e privada de ensino, proporcionando um acompanhamento da evolução do desempenho e dos fatores que influenciam a qualidade do ensino (^{SÃO PAULO, 2013}).

Com a finalidade de fornecer informações consistentes sobre a situação da escolaridade na rede pública de ensino do estado de São Paulo, capazes de orientar os gestores no monitoramento das políticas voltadas à melhoria da qualidade do ensino, o SARESP passou a vigorar em 1996 e, atualmente, envolve todos os alunos do 3º, 5º, 7º e 9º anos do Ensino Fundamental e da 3ª série do Ensino Médio, contemplando as áreas de Língua Portuguesa, com prova de Leitura e de Redação, Matemática, Ciências e Ciências da Natureza, caracterizadas por Biologia, Física e Química. Participam desta avaliação escolas estaduais e municipais, particulares e também as Escolas Técnicas Estaduais (ETE), administradas pelo Centro Educacional Tecnológico Paula Souza e vinculadas à Secretaria Estadual de Desenvolvimento do estado de São Paulo. A avaliação do desempenho dos alunos está apoiada no Currículo de São Paulo, o qual faz referência aos Parâmetros Curriculares Nacionais (PCNs) e também aos pressupostos teóricos que estão na base da criação do Exame Nacional do Ensino Médio (ENEM), na Matriz de Referência para Avaliação e em Metodologias estatísticas para planejamento, coleta e análise dos resultados.

Para a disciplina de Matemática, as competências estão definidas na Matriz de Referência para Avaliação (^{SÃO PAULO, 2011}). A partir das expectativas de aprendizagem quanto ao conteúdo, competências e habilidades, estabelecidas para cada ano/série da disciplina no Currículo de São Paulo, os pontos da escala do SARESP são agrupados em níveis de proficiência. No nível Abaixo do Básico, cuja pontuação é menor que 275, encontram-se alunos que demonstram domínio insuficiente dos conteúdos, competências e habilidades desejáveis para o ano/série em que se encontram. Ao nível Básico está associada uma pontuação igual ou acima de 275 e abaixo de 350 pontos e compreende os alunos que demonstram domínio mínimo dos conteúdos, competências e habilidades, mas possuem estruturas necessárias para interagir com a proposta curricular no ano/série subsequente. No nível Adequado, no qual estão os alunos com domínio pleno do conteúdo, competências e habilidades desejáveis para a série em que se encontram, a pontuação correspondente é igual ou acima de 350 e abaixo de 400 pontos. No nível Avançado estão os alunos que alcançaram pontuação igual ou superior a 400 pontos e que demonstram conhecimentos e domínio dos conteúdos, competências e habilidades acima do requerido na série em que se encontram. Combinados com seus intervalos de pontuação, os níveis de proficiência são classificados em um de três grupos, a saber: Insuficiente, Suficiente e Avançado. Os níveis Básico e Adequado são classificados como Suficientes. De acordo com a pontuação obtida na prova de Matemática, o aluno é classificado em um dos níveis de proficiência, ressaltando que o padrão de desempenho esperado pelo SARESP é o Adequado.

A realização do SARESP envolve alunos, pais de alunos, escolas, diretores, coordenadores, professores de disciplinas diversas, aplicadores e fiscais, e utiliza-se de dois instrumentos de avaliação, sendo o primeiro caracterizado pela aplicação de provas em dois dias, e o segundo correspondendo à a aplicação de questionários direcionados a pais e alunos, diretores, professores coordenadores e professores dos anos iniciais do Ensino Fundamental, de Língua Portuguesa, Matemática, Ciências e Ciências da Natureza (^{SÃO PAULO, 2013}). É importante considerar fatores individuais e familiares dos alunos, uma vez que os mesmos interferem no seu aprendizado, e também fatores associados à gestão escolar, os quais atuam significativamente sobre o desempenho escolar do aluno, como mostram ^{Barbosa e Fernandes (2001)} e ^{Laros, Marciano e Andrade (2010)}.

Para identificar os fatores internos e externos à escola, atuantes na escolarização do indivíduo, foram considerados dados coletados pelo SARESP, na edição de 2013, referentes à nota em Matemática dos alunos da 3ª série do Ensino Médio, matriculados na rede pública estadual de ensino, e também às respostas dos pais dos alunos, dos coordenadores e diretores das escolas participantes da avaliação. Alunos cujos pais e/ou escolas (coordenadores e diretores) não responderam o questionário, foram excluídos da amostra de dados. A classificação da escolas em regiões deu-se conforme a Diretoria de Ensino a qual pertencem, apresentadas no quadro 1.

Na edição do SARESP de 2013 foram inscritos 253.845 alunos distribuídos nas escolas estaduais de São Paulo. Após eliminar as respostas vazias e os alunos cujos pais, coordenadores e diretores das escolas, não responderam às questões de interesse para a presente pesquisa, restaram 106.120 alunos. Deste total, 43.564 são da Capital, 18.062 do Centro, 3.542 do Litoral, 6.959 da região NE, 7.026 do NO, 9.095 do N, 8.754 do SE e 9.118 da região SO.

Depois de agrupar as observações nas regiões do Estado, foram calculados os percentuais de alunos classificados em cada um dos níveis de proficiência em matemática, conforme resultado obtido na avaliação em 2013, os quais são mostrados na tabela 1.

É possível observar que os maiores percentuais de alunos classificados no pior nível de proficiência, isto é, no Abaixo do Básico, foram registrados nas regiões Capital, Litoral e Sudoeste, de tal forma que, nas duas primeiras, os percentuais foram superiores a 55,5% dos alunos e na terceira foi próxima de 47,5%. Estes alunos alcançaram médias abaixo de 275 pontos, conforme critério estabelecido por este sistema de avaliação, e mostraram domínio insuficiente dos conteúdos, competências e habilidades desejáveis para a série em que se encontram, isto é, são incapazes de lidar com atividades como interpretação, construção de tabelas e gráficos, a partir de dados obtidos em pesquisas por amostras estatísticas.

Nas demais regiões, a maioria dos alunos classificou-se no nível Básico de proficiência em matemática, com percentuais entre 47,4 (na região Sudeste) e 49,3 (nas regiões Centro e Noroeste), os quais demonstram domínio mínimo dos conteúdos, competências e habilidades, mas que possuem estruturas necessárias para interagir com a proposta curricular no ano/série subsequente. A região Noroeste (NO) abarcou o maior percentual de alunos com notas correspondentes ao intervalo de pontuação do nível Adequado, com quase 9%, seguido pela região Norte, com 7,4%. Os menores valores neste nível de proficiência em matemática foram alcançados pelos alunos matriculados nas escolas públicas pertencentes às regiões Litoral e Capital, cujos percentuais foram, respectivamente, iguais a 3 e 3,8. A tabela 1 mostra ainda que a região Noroeste também registrou o maior percentual de alunos no nível Avançado de proficiência, com um valor próximo de 1%, contemplando, portanto, a maioria dos alunos capazes de identificar, calcular e resolver problemas relacionados com áreas, funções, equações, logaritmos, sistemas lineares, proporcionalidade, referencial cartesiano, contagem, progressões e trigonometria. Nas demais regiões, o percentual de alunos neste nível variou entre 0,2 (Capital, Litoral e Nordeste (NE)) e 0,4 (Norte).

Os percentuais de alunos mostrados na tabela 1, explicitam um quadro crítico da Educação Básica ofertada no estado de São Paulo, uma vez que, em nenhuma das regiões se pôde observar a maior parte dos alunos no nível Adequado de proficiência, o qual é o desejado pela avaliação.

Dados e modelos hierárquicos

Os dados utilizados no presente estudo correspondem às notas da prova de matemática obtidas pelos alunos da 3ª série do Ensino Médio da rede pública estadual de ensino e as respostas dadas nos questionários aplicados aos pais dos alunos e às escolas participantes do SARESP de 2013. Tais informações foram disponibilizadas pela Coordenadoria de Informação, Monitoramento e Avaliação Educacional (CIMA) da Secretaria Estadual de Educação de São Paulo (SEE/SP). Devido à quantidade de questões dispostas nos questionários do SARESP – 31 de alunos, 31 de pais dos alunos, 108 para coordenadores e 105 para diretores – inicialmente, fez-se uma seleção destacando aquelas consideradas relevantes para a pesquisa em questão, pautandose na literatura sobre a modelagem multinível, identificando as variáveis comumente utilizadas especificamente nos estudos descritos previamente.

A partir dos estudos citados na seção dois, as questões apresentadas no quadro 2 foram selecionadas para a elaboração dos modelos hierárquicos de dois níveis, contendo variáveis associadas aos alunos – nível 1, e às escolas – nível 2. Tais questões são todas qualitativas e, portanto, fez-se necessário categorizá-las para a realização da modelagem. A categorização utilizada e a codificação (nomenclatura atribuída nos modelos propostos) de cada variável selecionada é mostrada no mesmo quadro.

Após a categorização das variáveis selecionadas e, ainda, para medir a significância das mesmas sobre o desempenho em matemática, regressões lineares múltiplas foram consideradas para cada uma das regiões. Concomitantemente, utilizou-se o método Step wise como critério de seleção do modelo que mais adequadamente explica os dados analisados.

Seguindo os passos de modelagem multinível propostos por ^{Hox (2002)}, inicialmente, foi estimado o modelo nulo, o qual exerce papel fundamental no estudo da distribuição da variância total da variável resposta pelos níveis da hierarquia. É por meio do modelo nulo que o efeito da escola sobre a proficiência do aluno é estimado.

Supondo que o subscrito i corresponda ao aluno e o subscrito j represente a escola e, considerando a existência de J escolas, j = 1,..., J, cada uma delas com n_j alunos, i = 1, ..., n_j , tem-se que o modelo nulo pode ser especificado como na expressão (1).

em que y_ij é a variável resposta (proficiência em matemática) do i-ésimo aluno na j-ésima escola. Assume-se que e_ij ~ N(0,σ²) e u_0j ~ N(0,τ₀₀), e independência entre o efeito fixo e os efeitos aleatórios, bem como entre os efeitos aleatórios. De acordo com o modelo nulo, a proficiência do aluno i que estuda na escola j é definida pelo intercepto β_0j e pelo termo do erro, e_ij. O intercepto β_0j, que representa um efeito específico da escola j sobre a proficiência em matemática do aluno, é dado pela soma de y₀₀ e u_0j, os quais indicam, respectivamente, a média global da proficiência em matemática dos alunos da 3ª série do Ensino Médio - portanto, um efeito fixo - e o afastamento da proficiência média em matemática da escola j à média global, y₀₀. Ainda no modelo nulo dado na expressão (1), a primeira linha caracteriza o nível 1, a qual tem associado um termo aleatório representado por e_ij, cuja variância indica a variabilidade dentro das escolas; a segunda linha é o nível 2, para a qual u_0j representa o efeito aleatório, do qual a variância indica a variabilidade entre as escolas. Então, a variância da proficiência em matemática está decomposta na variância entre as escolas (τ₀₀) e dentro (ou intra) escolas (σ²) e, por isso, o modelo com apenas o intercepto aleatório é chamado modelo de componentes da variância. Com as estimações das variâncias dentro das escolas e entre as escolas, pode-se calcular o coeficiente de correlação intra-escolar (ICC), o qual mede a proporção da variância entre as escolas face à variância total da variável resposta, possibilitando medir a magnitude do efeitoescola, isto é, a heterogeneidade dos resultados escolares entre as escolas. O ICC varia de zero a um e é calculado por meio da razão (2) (^{GOLDSTEIN, 1995}; ^{RAUDENBUSH; BRYK, 2002}).

A tabela 2 mostra os valores da correlação intra-classe em cada uma das regiões do Estado, a qual sugere que o maior percentual da variabilidade da proficiência em matemática dos alunos que estão associados à variabilidade das escolas é observado na região NO, onde o ICC foi de quase 9%.

Na região Sudeste (SE), foi observado o menor percentual, igual a 6,6%. Os valores mostrados na tabela 2 são baixos comparados àqueles obtidos nos estudos de ^{Barbosa e Fernandes (2001)}, ^{Laros e Marciano (2008)} e ^{Laros, Marciano e Andrade (2010)}, respectivamente, iguais a 37%, 26%, 43% e 33%. Embora ^{Lee (2001)} afirme que uma correlação intra-classe abaixo de 10% indique que a suposição de independência é válida e, portanto, a análise multinível seria desnecessária, ^{Woltman et al., (2012)} argumenta que, mesmo não existindo um ponto de corte acerca do valor da correlação intra-classe, é válido testar a significância da variabilidade entre as escolas, ou então para valores muito baixos do ICC, a análise multinível pode produzir resultados não muito diferentes daqueles que seriam obtidos se uma análise de regressão fosse utilizada.

Baixos valores para o ICC tornam conveniente testar a significância da variabilidade entre as escolas, conforme proposto por ^{Bliese (2016)}. O autor argumenta que, além de calcular o ICC, é importante determinar a significância da variância τ₀₀ e, para isso, sugere comparar o resultado da Deviance, calculada por –2logverossimilhança, para dois modelos, um contendo o intercepto e o outro sem o intercepto. Uma diferença significativa nos valores da Deviance sugere a existência de variação relevante no intercepto em termos de proficiência em matemática entre as escolas e, portanto, há evidência para considerar o modelo que contém o intercepto. Tal critério sugere como mais adequado o modelo com a menor Deviance (^{BLIESE, 2016}). ^{Laros e Marciano (2008)}, ^{Laros, Marciano e Andrade (2010)} e ^{Woltman et al. (2012)} utilizaram teste semelhante para investigar a existência de variação significativa no intercepto do modelo.

Com o intuito de verificar qual dos modelos está mais adequado aos dados utilizados, ou seja, quais variáveis explicam a maior variabilidade contida na proficiência em matemática dos alunos avaliados, uma seleção de modelos foi realizada considerando o Critério de Informação de Akaike (AIC). O passo seguinte é considerar as variáveis significativas associadas à escola (nível 2). Novamente, faz-se uma seleção de modelos utilizando o critério AIC para obter o modelo hierárquico final. Considerando os modelos selecionados em cada região, estimativas foram obtidas via software RStudio, e são apresentadas e interpretadas na seção seguinte.

Resultados

As estimativas para os parâmetros dos modelos citados na seção anterior são apresentadas na tabela 3, a qual indica também o nível de significância de cada valor obtido. O intercepto indica a média em matemática dos alunos, no SARESP de 2013, quando todas as variáveis forem iguais a zero, evidenciando que na região Litoral foi registrada a média mais alta e na região Sudeste (SE), a mais baixa. De acordo com os níveis de proficiência estabelecidos pelo SARESP, ambas as regiões se classificaram no nível Abaixo do Básico (AB), embora a região Litoral tenha ficado próxima de classificarse no nível Básico (BA), cuja pontuação mínima é 275 pontos. Em todas as regiões, as variáveis associadas à etnia do pai e da mãe desempenharam papel significativo sobre o desempenho em matemática do filho, alcançado na edição de 2013 do SARESP. Os valores mostrados indicam que a cor do pai influenciou o desempenho escolar do filho em todos os anos, no sentido de que, filhos de pais que se declararam brancos, alcançaram notas maiores. Pais e mães que se declararam negros ou de outras etnias (pardos/mulatos, amarelos/orientais ou indígenas) tiveram efeitos negativos sobre a média do filho, uma vez que todas as estimativas obtidas para as variáveis corp0, corp2, corm0 e corm2 foram negativas. Maiores perdas são observadas nas regiões SE e Sudoeste (SO), nas quais os alunos filhos de mães negras tiveram reduções, respectivamente, de 11 e 10,5 pontos na média, comparados aos demais alunos.

Uma justificativa para o desempenho mais baixo dos alunos filhos de pais e mães que se declararam negros é pautada, segundo o ^{INEP (2003)}, na entrada mais tardia dos negros na economia, devido aos pais com menores níveis de escolaridade.

Outra explicação para a diferença no desempenho ao comparar alunos brancos e negros, pardos ou outras etnias, de acordo com o ^{INEP (2003)}, está associada ao racismo, o qual se faz ainda presente na sociedade brasileira. Atitudes e comportamentos racistas afetam a auto-estima dos alunos e causa prejuízos no desempenho educacional, o que traz, como consequência, um aumento da desigualdade no sistema de ensino.

Na Capital, devido ao caráter aleatório da variável que indica a etnia do pai, pode-se afirmar que, sobre a média das escolas, espera-se uma redução de sete pontos na nota do aluno se o pai for negro, e de três pontos se o pai for de outra etnia. Mães que não trabalham influenciaram positivamente o desempenho do aluno nas regiões Capital, Centro e Norte. O mesmo foi observado em relação aos pais apenas na região SE. As estimativas apresentadas na tabela 3 mostram que a escolaridade do pai e da mãe atuou de maneira significativa sobre o desempenho do filho em todas as regiões do estado de São Paulo, evidenciando que mais anos de estudo do pai e da mãe proporcionaram ao aluno melhores resultados no SARESP de 2013. Neste sentido, destacam-se os acréscimos nas médias dos alunos matriculados nas escolas pertencentes à região Nordeste, cujas mães têm nível de instrução correspondente ao Ensino Médio e Ensino Superior, ambos completos ou incompletos, os quais foram próximos de 21 pontos, comparados aos alunos filhos de mães que estudaram até o Ensino Fundamental.

Fazer a lição de casa também auxilia o aluno a alcançar notas mais altas em matemática. A tabela 3 mostra ainda variâncias significativas associadas às variáveis lic_casa, rendaf1 e escm, nas regiões NE, SE e SO, respectivamente, indicando que o fato de fazer o dever de casa, ter renda familiar acima de R$ 2.126 e mães com mais anos de estudo impactaram de maneiras distintas o desempenho em matemática dos alunos matriculados em diferentes escolas. A variância significativa associada à variável lic_casa1, na região NE, indica que o fato de o aluno fazer o dever de casa impactou, de maneiras distintas, o desempenho em matemática no SARESP de 2013, dos alunos pertencentes a esta região em diferentes escolas.

Associadas ao nível 2 (escola), as variáveis significativas para o desempenho do aluno foram aquelas que indicaram se o coordenador exerceu outra atividade remunerada, se a escola possui algum projeto voltado à redução das taxas de abandono e reprovação, se faltaram professores para alguma disciplina, o tipo da principal atividade do diretor, assim como o tempo que atua no cargo. Nas escolas situadas na Capital do Estado, em que o coordenador não tem outras atividades remuneradas e, cujo diretor atua no cargo há mais de 10 anos, contribuíram positivamente para o desempenho do aluno. Por outro lado, escolas com projetos voltados à redução das taxas de abandono e reprovação tiveram impacto negativo sobre as médias em matemática obtidas pelos alunos da 3ª série do Ensino Médio no SARESP de 2013.

Conclusão

Embora esteja em vias de desenvolvimento no Brasil, a avaliação educacional em larga escala tem se mostrado importante nas últimas décadas, constituindo-se como ferramenta para auxiliar a identificação de fatores atuantes sobre o desempenho escolar do aluno. Nos últimos 20 anos, aproximadamente, os sistemas de avaliação tiveram, como objetivo prioritário, encontrar mecanismos que oferecessem melhorias, de maneira eficaz e eficiente, na qualidade do ensino ofertado na sociedade. Por sua vez, a avaliação educacional tem a finalidade de fornecer elementos que permitam diagnosticar a situação do sistema de ensino de determinado local e, concomitantemente, subsidiar políticas e diretrizes adequadas no contexto municipal, estadual e nacional, visando a contínua melhoria na qualidade da educação. Como apontam ^{Alves e Soares (2008)}, os estudos que consideram modelos hierárquicos para dados educacionais, realizados no Brasil, mostraram que existe uma significativa variação entre as escolas, mas que a variabilidade observada entre os alunos é sempre maior. Comparado a países industrializados, a variabilidade existente entre as escolas brasileiras costuma ser maior devido à segmentação no sistema educacional.

Considerando as observações agrupadas por regiões do Estado, definidas a partir da Diretoria de Ensino a qual pertence a escola, estimativas foram obtidas por região, utilizando o software RStudio. Para a região denominada Capital, pôdese observar que a etnia, a escolaridade do pai e da mãe e a renda familiar foram significativas para explicar o desempenho do aluno na edição do SARESP de 2013, sugerindo que alunos filhos de pai e mãe brancos, com mais anos de estudo e com renda familiar acima de R$ 2.126 alcançaram médias em matemática superiores aos demais alunos. O efeito de mães que não trabalham (aposentada, desempregada ou em outra situação) sobre o desempenho do filho foi positivo.

Associadas às escola, aquelas que possuem projetos voltados à redução da taxa de abandono, tiveram impacto negativo sobre o desempenho do aluno e, aquelas nas quais o diretor atua no cargo há mais de 10 anos, contribuíram positivamente para o resultado do aluno pertencente às escolas da região Capital. Comportamento similar foi observado quando os resultados dos alunos matriculados nas escolas da região Centro do Estado foram analisados. Na região Litoral, a escolaridade da mãe foi a que mais impactou o resultado do aluno no SARESP de 2013. Em relação às variáveis da escola, pouca significância foi observada para explicar o desempenho do aluno. Destacaram-se como relevantes e com impacto positivo sobre o desempenho dos alunos pertencentes à região Nordeste do Estado, a etnia da mãe e a escolaridade do pai e da mãe, evidenciando que filhos de mães declaradas brancas e com pai e mãe com níveis mais altos de instrução tiveram desempenho melhor, quando comparados aos demais alunos. Nesta região, na maior parte do período analisado, as escolas em que ocorre o problema associado à falta de professor para alguma disciplina tiveram impacto negativo sobre o desempenho do aluno e aquelas em que o diretor atua no cargo há mais de 10 anos atuou positivamente. Tiveram efeito positivo também sobre o desempenho em matemática o fato de o aluno não ter defasagem escolar, fazer o dever de casa e não ter trabalhado no Ensino Médio. A variável que indica o tempo que o diretor atua no cargo também foi importante para explicar o desempenho do aluno da região Norte. As estimativas obtidas sugeriram que diretores com mais de 10 anos no cargo contribuíram positivamente para um melhor resultado no SARESP. As variáveis significativas para explicar o desempenho dos alunos das escolas situadas nas regiões Sudeste e Sudoeste do Estado foram similares àquelas identificadas na Capital.

Os resultados obtidos nesta pesquisa corroboraram as conclusões de estudos realizados na literatura, obtidas a partir de outras amostras. Andrade e ^{Laros (2008)}. ^{Laros, Marciano e Andrade (2010)}, ^{Palermo, Silva e Novellino (2014)}, e ^{Soares e Mendonça (2003)} encontraram que as variáveis associadas à defasagem e ao abandono escolar apresentaram efeito negativo sobre a proficiência em matemática do aluno enquanto a escolaridade da mãe e a condição socioeconômica contribuíram positivamente para um resultado melhor. Andrade e ^{Laros (2008)} mostraram que a variável que mais afetou negativamente o desempenho escolar dos alunos foi atraso escolar. Os resultados evidenciaram que, a cada aumento de uma unidade na escala de escore padrão de atraso escolar, o desempenho médio dos alunos diminuiu em 10,67 pontos. O fato de o aluno trabalhar também prejudicou seu desempenho. Por outro lado, fazer o dever de casa favorece o aluno a ter um melhor desempenho. ^{Laros, Marciano e Andrade (2010)} verificaram que, a cada aumento de uma unidade na escala de escore padrão de atraso escolar, o desempenho médio dos alunos diminuiu em 10,10 pontos. ^{Palermo, Silva e Novellino (2014)} confirmaram que a defasagem escolar diminui o desempenho, de tal forma que os alunos atrasados possuem piores resultados. A defasagem escolar também teve efeito negativo sobre o desempenho do aluno no estudo realizado por ^{Jesus e Laros (2004)}. Em relação à etnia, os resultados do estudo de ^{Riani e Rios-Neto (2008)} e de ^{Brooke et al. (2014)} também mostraram que alunos negros e pardos têm desvantagem educacional em relação aos brancos. Assim como encontrado por ^{Soares e Alves (2003)}, na presente pesquisa pôde-se observar que as menores diferenças observadas entre as médias em matemática dos alunos brancos e aqueles declarados pardos/mulatos, amarelos/orientais ou indígenas é menor quando comparada com a diferença entre as médias dos alunos brancos e negros.

Estudos como este buscam obter conhecimento para subsidiar soluções para problemas que são constantes preocupações de todos aqueles que estão envolvidos com o sistema educacional brasileiro. Como apontam ^{Soares e Alves (2003)}, a desigualdade observada, no contexto escolar, entre brancos e negros, pardos ou alunos de outras etnias, somente se reduzirá com a implementação de políticas públicas educacionais que busquem, concomitantemente, um equilíbrio entre a eficácia e a equidade na educação e a redução do impacto das questões socioeconômicas do aluno sobre o seu desempenho escolar.

Assim, a partir dos resultados alcançados, espera-se ter contribuído com a literatura que aborda a identificação de fatores que impactam o desempenho educacional do aluno e ressaltar a importância de formulação e implementação de políticas públicas voltadas à educação que visem, simultaneamente, melhorar a qualidade do ensino ofertado à sociedade e diminuir o impacto das características socioeconômicas sobre o desempenho do aluno.