Introdução

Pela pesquisa realizada teve-se como objetivo identificar qual a correlação entre o desempenho médio dos alunos por escola na Prova Brasil e os resultados do Sistema Estadual de Avaliação Participativa - Seap - no Rio Grande do Sul. Nesse sentido, nosso problema de pesquisa foi questionar qual a correlação entre o desempenho dos estudantes em avaliações de larga escala e a auto avaliação. A intenção foi verificar em que medida escolas mais bem avaliadas no Seap reflete em melhores aproveitamentos de seus estudantes, assim como o contrário, se aquelas escolas com menor nota na auto avaliação institucional são as que os estudantes obtiveram pior desempenho na Prova Brasil.

O Seap, uma autoavaliação em larga escala de instituições estaduais do Estado do Rio Grande do Sul de ensino básico implantada no ano de 2012, apresentava 50 indicadores, divididos em seis dimensões: gestão institucional, espaço físico da instituição, organização e ambiente de trabalho, condições de acesso, permanência e sucesso na escolas, formação dos profissionais da educação, práticas pedagógicas e de avaliação. Cada um desses indicadores demandava uma pontuação de 1 - situação crítica - a 5 - situação ideal¹.

Especificamente, o presente estudo avaliou a correlação entre o desempenho dos estudantes na Prova Brasil e quatro dessas dimensões as quais a comunidade escolar se auto avaliou: gestão institucional, espaço físico da escola, organização e ambiente de trabalho e práticas pedagógicas e de avaliação. O desempenho escolar foi mensurado pela expressão da nota média dos estudantes por escola na Prova Brasil, em 2013, nos testes de proficiência para português e matemática para o 5º ano e 9º ano das escolas da rede pública estadual do Rio Grande do Sul. Para as dimensões analisadas, elaborou-se uma escala agregando as respostas de indicadores correspondentes a cada dimensão, que, seguindo a gradação proposta, variaram de situação crítica à ideal.

O Seap e o Saeb: duas avaliações complementares

O Sistema de Avaliação do Ensino Básico - Saeb -, criado em 1990, foi a primeira iniciativa brasileira, em escala nacional, com o intuito de expressar um diagnóstico amplificado e permanente da educação brasileira. A partir de 1993, o MEC, em articulação com as secretarias de educação, propôs o Saeb, a fim de avaliar a educação básica. Para tanto, realizaram a seleção de uma amostra nacional de alunos, abrangendo ensino fundamental e médio. Assim, diante de tais informações, teriam elementos para tomadas de decisão quanto a diversos aspectos das políticas educacionais, a partir do desempenho dos alunos e os fatores a eles associados. Os instrumentos eram, além das provas e questionários aos estudantes, questionários voltados aos docentes e diretores sobre as condições das escolas.

Ainda que considere como centrais o aproveitamento na Prova Brasil e a taxa de aprovação, que perfazem o Índice de Desenvolvimento da Educação Básica - Ideb -, dentre os objetivos do Saeb está contemplar duas espécies de medidas: uma referente à proficiência dos alunos em provas e outra sobre o contexto social dos estudantes. A proficiência é medida por uma prova de conhecimentos, sendo a outra definida por um questionário contextual, referente ao diferentes aspectos como: background social e aspectos familiares, capital cultural do aluno, uso do tempo no dia a dia, envolvimento dos pais com a vida escolar, relação pessoal entre pais e filhos, trajetória escolar, gostar da disciplina, lição de casa, clima dentro da sala de aula, e, por fim, relação do aluno com o professor.

Com relação às avaliações do ambiente escolar, a fim de implantar uma autoavaliação que entendesse a participação coletiva como elemento fundante, a Secretaria de Educação do Estado do Rio Grande do Sul - Seduc/RS formulou, em 2011, o Sistema Estadual de Avaliação Participativa - Seap. Para o Seap, a administração organizou três questionários que serviriam de suporte para a autoavaliação institucional - um para a Seduc/RS, um para as Coordenadorias Regionais de Educação - CRE - e outro para as escolas. Cada um deles continha cinquenta indicadores, com perguntas diferentes para cada unidade, relativos a seis dimensões: gestão institucional, espaço físico, organização e ambiente de trabalho, condições de acesso, permanência e sucesso na escola, formação dos profissionais de educação, práticas pedagógicas e de avaliação). As dimensões, por sua vez, tinham um número variado de indicadores - de 3 até 17 - e a cada um desses indicadores são atribuídas notas de 1 a 5 - da situação crítica (1) à situação excelente (5), correspondentes a diferentes aspectos da situação institucional. Ressalta-se também que a implementação do Seap contou com o financiamento do Programa Proredes-Bird (2011-2019).

O efeito escola

Se a escola não faz a diferença, o que faz a diferença? Os estudos, a partir da segunda geração de pesquisas sobre o efeito-escola, incorporaram a ideia da eficácia como um atributo da escola e não de um conjunto ou de um sistema (Brooke, Soares, 2008). Assim sendo, o nível de eficiência pode variar de uma escola para outra em função de processos internos - as escolas com mesmos recursos poderiam produzir resultados diferentes. Rutter et. al (1979) descobriram a importância do sistema de premiações - elogios e punições; da criação de posições de responsabilidade; da ênfase no trabalho acadêmico - deveres de casa e objetivos acadêmicos claros; da liderança; dos bons modelos de comportamento estabelecidos pelos professores e o envolvimento dos professores nas decisões da escola. A soma desses fatores é mais impactante do que isolados.

No apanhado bibliográfico realizado por Daniel ^{Matos e Érica Rodrigues (2016}) considerando a pontuação no Ideb, é possível observar que a pesquisa brasileira tem se aprofundado na análise entre os condicionantes para uma boa avaliação de aprendizagem. Estudos nacionais acumularam evidências da relação positiva entre o nível socioeconômico das famílias, infraestrutura e o desempenho acadêmico; e negativa quando considerada a complexidade da escola, médias de alunos por turma e o percentual de docentes da escola com curso superior.

Quando se trata especificamente do desempenho em Português, ^{Laros e Marciano (2008}), alegam que 74,6% da variância do desempenho médio no teste de Língua Portuguesa se deve a diferenças na composição socioeconômica de seus alunos e apenas 11% da variância pode ser atribuído às escolas. Segundo o estudo, que considerou os dados do Saeb de 2001, de 33.962 alunos da 3ª série de 1.661 escolas de ensino médio, por meio de uma análise multinível, a variável do nível micro que mais afetou o desempenho escolar dos alunos foram os recursos culturais na família do aluno seguida de atraso escolar. Considerando outros elementos, Travitzki, Ferrão e Couto (2016), ao realizarem uma abordagem multinível em quatro unidades federativas, evidenciam também que o progresso educacional continua a não ser imune a fatores de diferenciação de desempenho de natureza socioespacial e racial.

Ainda que as escolas não garantam uma equalização que supere as condições socioeconômicas e culturais, estudos apontam como elementos intraescolares importantes para bom resultado na avaliação de desempenho a liderança e o ensino eficazes, a cultura escolar positiva, a alta expectativa sobre todos, a ênfase nas responsabilidades, a supervisão do progresso e desenvolvimento profissional dos profissionais da educação e o envolvimento das famílias (Sammons, 2011). Em revisão bibliográfica que tratou da literatura latino-americana, ^{Murillo e Garrido (2016}) também agregaram aos condicionantes a qualidade do currículo e do clima escolar.

Colaborando com a concepção de que a escola sozinha não supera a desigualdade, mas cumpre o seu papel, ^{Alves e Soares (2008}), em estudo que se baseou em dados longitudinais, apontaram ao impacto inicial positivo e significativo do nível socioeconômico para o desempenho nas duas disciplinas Todavia, ao analisarem o processo, ressaltam que apenas em Matemática o impacto foi igualmente significativo ao longo do processo. Ou seja, se em Matemática, os alunos com NSE mais alto, crescem, em média, mais que os alunos com NSE mais baixo, em Português isso não ocorre. Destacam ainda que, embora as diferenças persistam, os resultados mostraram que os alunos com nível inicial mais baixo progrediram mais que os alunos com nível inicial mais alto.

Metodologia

O presente estudo avaliou o comportamento de quatro dimensões da pesquisa autoavaliativa institucional do Seap na rede pública estadual do Rio Grande do Sul sobre o desempenho escolar da Prova Brasil, expresso pelos testes de proficiência em Língua Portuguesa e Matemática, para o 5º ano e para o 9º ano do ensino fundamental.

As dimensões pesquisadas do Seap foram: 1) gestão institucional; 2) espaço físico da escola; 3) organização e ambiente de trabalho; 4) práticas pedagógicas e de avaliação.

As bases de dados utilizadas no estudo foram a do Seap e do Saeb/Prova Brasil do ano de 2013². Destaca-se também, que a unidade de análise é a escola. A variável dependente do modelo é o desempenho médio das escolas da rede pública estadual do Rio Grande do Sul nos testes de proficiência da Prova Brasil de 2013 para o 5º ano e 9º ano, enquanto que as variáveis explicativas foram às escalas de pontuação da escola nas dimensões do Seap.

Amostra

A organização do banco de dados aconteceu por meio da junção das informações das escolas que compõe o Seap 2013 e das escolas da Prova Brasil/Saeb 2013³. A amostra é formada a partir da identificação e correspondência das escolas da rede pública estadual do Rio Grande do Sul que realizaram a pesquisa do Seap em 2013 e das escolas que realizaram a Prova Brasil no ano de 2013, por meio do código Inep das escolas.

Segundo o censo escolar de 2013, havia cerca 2.608 escolas da rede pública estadual no Rio Grande do Sul. Deste total, 2.532 escolas preencheram a pesquisa do Seap em 2013. No mesmo ano, 1.242 escolas da rede estadual gaúcha fizeram a prova Brasil no 5º ano e 1.271 escolas no 9º ano. Como a combinação de bases do Seap e Saeb/Prova Brasil 2013 variou conforme a existência das séries - 5º ou 9º anos - e de informações da Prova Brasil para a escola, a amostra é diferente para cada dimensão do Seap e para cada série analisada da Prova Brasil. A seguir a consolidação da amostra e a amostra final são apresentadas.

Bancos de dados e variáveis

Em relação ao Seap, para as quatro dimensões há um conjunto de 32 indicadores pesquisados. Destaca-se que para cada um dos indicadores, os descritores são apresentados conforme uma gradação de 1 a 5, indicando vários cenários: da situação crítica (1), a situação precária (2), a situação boa (3), situação muito boa (4) até a situação ideal (5).⁴

A seguir as dimensões e seus respectivos indicadores da pesquisa são detalhados.

Para a elaboração da variável independente, somou-se a pontuação das escolas nos indicadores de cada dimensão. Assim para a dimensão 1, Gestão institucional, que possui seis indicadores, a soma da pontuação variou de 1 a 30. Após o somatório dos seis indicadores correspondente a respostas por escola, este valor foi dividido por seis. Como o valor é contínuo e, portanto, não é inteiro, realizou-se uma transformação dos valores.

Nesse sentido, os valores no intervalo de 1 até 1,99 foram classificados com o valor 1 (situação crítica), os valores de 2 a 2,99 foram classificados como valor 2 (situação precária), os valores de 3 a 3,99 foram classificados como valor 3 (situação boa), os valores 4 a 4,99 foram classificados como valores 4 (situação muito boa), e valores igual a 5 foram classificados como valor 5 (situação ideal).

Ressalta-se que originalmente a pesquisa possuía seis dimensões. Contudo, duas dimensões - Condições de acesso, permanência e sucesso na escola -, que continha 4 indicadores, e Formação dos profissionais da educação, que possuía 3 indicadores, não foram utilizadas no estudo. Isso porque ao realizar o teste de fidedignidade das escalas, as duas escalas possuíam um valor do Alpha de Cronbach inferior a 0,60.

Já a variável dependente diz respeito ao desempenho médio das escolas nos testes de proficiência da Prova Brasil/Saeb de 2013. As medidas do desempenho dos estudantes no Saeb são demonstradas por uma escala para cada componente curricular. Quanto mais alto se colocar o aluno nos pontos da escala, maior será a representação do seu rendimento nos testes. As escalas de desempenho do Saeb vão de 0 a 500. A seguir, é explicada a técnica estatística da Anova e bem como os resultados das análises feitas nesta pesquisa.

Análise de variância

Esta técnica é utilizada para comparar médias entre três ou mais grupos. A lógica é realizar uma inferência sobre as diferenças de médias dos grupos por meio de uma comparação das diferentes estimativas de variância que estão associadas a estas observações. A técnica costuma ser bastante utilizada quando os pesquisadores têm interesse em determinar se a variável dependente quantitativa - no caso desempenho escolar - apresenta alguma relação de associação com um fator específico - variável categórica, no nosso caso as dimensões do Seap.

Pela técnica Anova, testou-se a associação dos fatores - 5 categorias de situação - sobre a variável dependente, que é composta pelas notas médias das escolas em Português e Matemática para o 5º ano e para o 9º ano para os diferentes grupos de escolas da rede pública estadual do Rio Grande do Sul no que diz respeito a sua autoavaliação sobre quatro grandes temas gestão institucional, espaço físico da escola, organização e ambiente de trabalho e práticas pedagógicas e de avaliação. Havendo diferença de médias, podemos inferir que há correlação do desempenho dos alunos com a percepção dos gestores das escolas quanto às dimensões relacionadas às suas instituições.

O Teste de Tukey também foi realizado para a comparação múltipla de médias entre as categorias, ou seja, identificou-se entre quais categorias, comparadas uma a uma, que existe diferença estatisticamente significativa.

Resultados

A dimensão Gestão institucional corresponde a aspectos da gestão escolar, como existência de planejamento e monitoramento de ações na gestão, socialização de informações para a comunidade escolar, atuação efetiva do conselho escolar, cooperação e atuação de rede de apoio e procedimentos para mediação de conflitos no ambiente escolar, conforme o quadro 2. A tabela abaixo mostra os resultados da proficiência em Português e Matemática em cada situação da referida dimensão.

A partir da tabela acima, pode-se constatar que para o 5º e 9 anos, a medida que a situação de satisfação com a Gestão institucional das escolas aumenta, a proficiência média das escolas também aumenta para Português e Matemática. A exceção está em Língua Portuguesa para o 5 e 9º anos, na situação ideal, item 5, em que os alunos apresentam um desempenho médio inferior em comparação a situação das escolas muito boas (item 4), mas esta diferença não é estatisticamente significativa.

Quanto a diferenças de médias, para os fatores ou grupos - autoavaliação da situação das escolas na dimensão de gestão escolar -, constata-se que há diferenças estatisticamente significativas - nível de significância de 3% e 1% - na Gestão institucional para os 5º anos nas notas médias das escolas em Português e Matemática. Já para os 9º anos, a diferença não se mostrou significativa.

Ao se realizar o teste de Tukey⁵ para a 5º ano para a proficiência em Língua Portuguesa, percebe-se que a diferença das médias de proficiência é estatisticamente significativa do nível 2 (situação precária) para o nível 4 (situação muito boa). Em outros termos, a média da proficiência em Português é 8,45 pontos superior no nível 4 em comparação ao nível 2. O mesmo acontece para matemática no 5º ano. Há uma diferença estatisticamente significativa para os dois grupos. Esta diferença é 9,89 pontos superior na proficiência média de matemática para o grupo das escolas no nível 4 (situação muito boa) em comparação as escolas do nível 2 (situação precária) no 5º ano.

Assim, com base nestes resultados, pode-se inferir que apenas para a escolas com a situação muito boa na sua gestão institucional, item 4, e no 5º ano, o desempenho dos alunos condiz com autoavaliação feita pelas escolas, isto é, os melhores desempenhos estão nas escolas melhores avaliadas.