Introdução
Pela pesquisa realizada teve-se como objetivo identificar qual a correlação entre o desempenho médio dos alunos por escola na Prova Brasil e os resultados do Sistema Estadual de Avaliação Participativa - Seap - no Rio Grande do Sul. Nesse sentido, nosso problema de pesquisa foi questionar qual a correlação entre o desempenho dos estudantes em avaliações de larga escala e a auto avaliação. A intenção foi verificar em que medida escolas mais bem avaliadas no Seap reflete em melhores aproveitamentos de seus estudantes, assim como o contrário, se aquelas escolas com menor nota na auto avaliação institucional são as que os estudantes obtiveram pior desempenho na Prova Brasil.
O Seap, uma autoavaliação em larga escala de instituições estaduais do Estado do Rio Grande do Sul de ensino básico implantada no ano de 2012, apresentava 50 indicadores, divididos em seis dimensões: gestão institucional, espaço físico da instituição, organização e ambiente de trabalho, condições de acesso, permanência e sucesso na escolas, formação dos profissionais da educação, práticas pedagógicas e de avaliação. Cada um desses indicadores demandava uma pontuação de 1 - situação crítica - a 5 - situação ideal1.
Especificamente, o presente estudo avaliou a correlação entre o desempenho dos estudantes na Prova Brasil e quatro dessas dimensões as quais a comunidade escolar se auto avaliou: gestão institucional, espaço físico da escola, organização e ambiente de trabalho e práticas pedagógicas e de avaliação. O desempenho escolar foi mensurado pela expressão da nota média dos estudantes por escola na Prova Brasil, em 2013, nos testes de proficiência para português e matemática para o 5º ano e 9º ano das escolas da rede pública estadual do Rio Grande do Sul. Para as dimensões analisadas, elaborou-se uma escala agregando as respostas de indicadores correspondentes a cada dimensão, que, seguindo a gradação proposta, variaram de situação crítica à ideal.
O Seap e o Saeb: duas avaliações complementares
O Sistema de Avaliação do Ensino Básico - Saeb -, criado em 1990, foi a primeira iniciativa brasileira, em escala nacional, com o intuito de expressar um diagnóstico amplificado e permanente da educação brasileira. A partir de 1993, o MEC, em articulação com as secretarias de educação, propôs o Saeb, a fim de avaliar a educação básica. Para tanto, realizaram a seleção de uma amostra nacional de alunos, abrangendo ensino fundamental e médio. Assim, diante de tais informações, teriam elementos para tomadas de decisão quanto a diversos aspectos das políticas educacionais, a partir do desempenho dos alunos e os fatores a eles associados. Os instrumentos eram, além das provas e questionários aos estudantes, questionários voltados aos docentes e diretores sobre as condições das escolas.
Ainda que considere como centrais o aproveitamento na Prova Brasil e a taxa de aprovação, que perfazem o Índice de Desenvolvimento da Educação Básica - Ideb -, dentre os objetivos do Saeb está contemplar duas espécies de medidas: uma referente à proficiência dos alunos em provas e outra sobre o contexto social dos estudantes. A proficiência é medida por uma prova de conhecimentos, sendo a outra definida por um questionário contextual, referente ao diferentes aspectos como: background social e aspectos familiares, capital cultural do aluno, uso do tempo no dia a dia, envolvimento dos pais com a vida escolar, relação pessoal entre pais e filhos, trajetória escolar, gostar da disciplina, lição de casa, clima dentro da sala de aula, e, por fim, relação do aluno com o professor.
Com relação às avaliações do ambiente escolar, a fim de implantar uma autoavaliação que entendesse a participação coletiva como elemento fundante, a Secretaria de Educação do Estado do Rio Grande do Sul - Seduc/RS formulou, em 2011, o Sistema Estadual de Avaliação Participativa - Seap. Para o Seap, a administração organizou três questionários que serviriam de suporte para a autoavaliação institucional - um para a Seduc/RS, um para as Coordenadorias Regionais de Educação - CRE - e outro para as escolas. Cada um deles continha cinquenta indicadores, com perguntas diferentes para cada unidade, relativos a seis dimensões: gestão institucional, espaço físico, organização e ambiente de trabalho, condições de acesso, permanência e sucesso na escola, formação dos profissionais de educação, práticas pedagógicas e de avaliação). As dimensões, por sua vez, tinham um número variado de indicadores - de 3 até 17 - e a cada um desses indicadores são atribuídas notas de 1 a 5 - da situação crítica (1) à situação excelente (5), correspondentes a diferentes aspectos da situação institucional. Ressalta-se também que a implementação do Seap contou com o financiamento do Programa Proredes-Bird (2011-2019).
O efeito escola
Se a escola não faz a diferença, o que faz a diferença? Os estudos, a partir da segunda geração de pesquisas sobre o efeito-escola, incorporaram a ideia da eficácia como um atributo da escola e não de um conjunto ou de um sistema (Brooke, Soares, 2008). Assim sendo, o nível de eficiência pode variar de uma escola para outra em função de processos internos - as escolas com mesmos recursos poderiam produzir resultados diferentes. Rutter et. al (1979) descobriram a importância do sistema de premiações - elogios e punições; da criação de posições de responsabilidade; da ênfase no trabalho acadêmico - deveres de casa e objetivos acadêmicos claros; da liderança; dos bons modelos de comportamento estabelecidos pelos professores e o envolvimento dos professores nas decisões da escola. A soma desses fatores é mais impactante do que isolados.
No apanhado bibliográfico realizado por Daniel Matos e Érica Rodrigues (2016) considerando a pontuação no Ideb, é possível observar que a pesquisa brasileira tem se aprofundado na análise entre os condicionantes para uma boa avaliação de aprendizagem. Estudos nacionais acumularam evidências da relação positiva entre o nível socioeconômico das famílias, infraestrutura e o desempenho acadêmico; e negativa quando considerada a complexidade da escola, médias de alunos por turma e o percentual de docentes da escola com curso superior.
Quando se trata especificamente do desempenho em Português, Laros e Marciano (2008), alegam que 74,6% da variância do desempenho médio no teste de Língua Portuguesa se deve a diferenças na composição socioeconômica de seus alunos e apenas 11% da variância pode ser atribuído às escolas. Segundo o estudo, que considerou os dados do Saeb de 2001, de 33.962 alunos da 3ª série de 1.661 escolas de ensino médio, por meio de uma análise multinível, a variável do nível micro que mais afetou o desempenho escolar dos alunos foram os recursos culturais na família do aluno seguida de atraso escolar. Considerando outros elementos, Travitzki, Ferrão e Couto (2016), ao realizarem uma abordagem multinível em quatro unidades federativas, evidenciam também que o progresso educacional continua a não ser imune a fatores de diferenciação de desempenho de natureza socioespacial e racial.
Ainda que as escolas não garantam uma equalização que supere as condições socioeconômicas e culturais, estudos apontam como elementos intraescolares importantes para bom resultado na avaliação de desempenho a liderança e o ensino eficazes, a cultura escolar positiva, a alta expectativa sobre todos, a ênfase nas responsabilidades, a supervisão do progresso e desenvolvimento profissional dos profissionais da educação e o envolvimento das famílias (Sammons, 2011). Em revisão bibliográfica que tratou da literatura latino-americana, Murillo e Garrido (2016) também agregaram aos condicionantes a qualidade do currículo e do clima escolar.
Colaborando com a concepção de que a escola sozinha não supera a desigualdade, mas cumpre o seu papel, Alves e Soares (2008), em estudo que se baseou em dados longitudinais, apontaram ao impacto inicial positivo e significativo do nível socioeconômico para o desempenho nas duas disciplinas Todavia, ao analisarem o processo, ressaltam que apenas em Matemática o impacto foi igualmente significativo ao longo do processo. Ou seja, se em Matemática, os alunos com NSE mais alto, crescem, em média, mais que os alunos com NSE mais baixo, em Português isso não ocorre. Destacam ainda que, embora as diferenças persistam, os resultados mostraram que os alunos com nível inicial mais baixo progrediram mais que os alunos com nível inicial mais alto.
Metodologia
O presente estudo avaliou o comportamento de quatro dimensões da pesquisa autoavaliativa institucional do Seap na rede pública estadual do Rio Grande do Sul sobre o desempenho escolar da Prova Brasil, expresso pelos testes de proficiência em Língua Portuguesa e Matemática, para o 5º ano e para o 9º ano do ensino fundamental.
As dimensões pesquisadas do Seap foram: 1) gestão institucional; 2) espaço físico da escola; 3) organização e ambiente de trabalho; 4) práticas pedagógicas e de avaliação.
As bases de dados utilizadas no estudo foram a do Seap e do Saeb/Prova Brasil do ano de 20132. Destaca-se também, que a unidade de análise é a escola. A variável dependente do modelo é o desempenho médio das escolas da rede pública estadual do Rio Grande do Sul nos testes de proficiência da Prova Brasil de 2013 para o 5º ano e 9º ano, enquanto que as variáveis explicativas foram às escalas de pontuação da escola nas dimensões do Seap.
Amostra
A organização do banco de dados aconteceu por meio da junção das informações das escolas que compõe o Seap 2013 e das escolas da Prova Brasil/Saeb 20133. A amostra é formada a partir da identificação e correspondência das escolas da rede pública estadual do Rio Grande do Sul que realizaram a pesquisa do Seap em 2013 e das escolas que realizaram a Prova Brasil no ano de 2013, por meio do código Inep das escolas.
Segundo o censo escolar de 2013, havia cerca 2.608 escolas da rede pública estadual no Rio Grande do Sul. Deste total, 2.532 escolas preencheram a pesquisa do Seap em 2013. No mesmo ano, 1.242 escolas da rede estadual gaúcha fizeram a prova Brasil no 5º ano e 1.271 escolas no 9º ano. Como a combinação de bases do Seap e Saeb/Prova Brasil 2013 variou conforme a existência das séries - 5º ou 9º anos - e de informações da Prova Brasil para a escola, a amostra é diferente para cada dimensão do Seap e para cada série analisada da Prova Brasil. A seguir a consolidação da amostra e a amostra final são apresentadas.
Bases de dados das escolas da rede pública estadual do Rio Grande do Sul. | ||
Censo escolar 2013 (escolas ativas) | 2.608 escolas | |
Prova Brasil 2013 - 5º ano, Língua Portuguesa e Matemática | 1.242 escolas | |
Prova Brasil 2013 - 9º ano, Língua Portuguesa e Matemática | 1.271 escolas | |
Seap 2013 (escolas que preencheram a avaliação) | 2.532 escolas | |
Amostra final - 5º ano, Língua Portuguesa e Matemática | ||
Dimensão - Gestão institucional | 1.154 escolas | |
Dimensão - Espaço físico da instituição | 979 escolas | |
Dimensão - Organização e ambiente de trabalho | 1.071 escolas | |
Dimensão - Práticas pedagógicas e de avaliação | 1.113 escolas | |
Amostra final - 9º ano, Língua Portuguesa e Matemática | ||
Dimensão - Gestão institucional | 1.176 escolas | |
Dimensão - Espaço físico da instituição | 1.005 escolas | |
Dimensão - Organização e ambiente de trabalho | 1.097 escolas | |
Dimensão - Práticas pedagógicas e de avaliação | 1.169 escolas |
Fonte: autores.
Bancos de dados e variáveis
Em relação ao Seap, para as quatro dimensões há um conjunto de 32 indicadores pesquisados. Destaca-se que para cada um dos indicadores, os descritores são apresentados conforme uma gradação de 1 a 5, indicando vários cenários: da situação crítica (1), a situação precária (2), a situação boa (3), situação muito boa (4) até a situação ideal (5).4
A seguir as dimensões e seus respectivos indicadores da pesquisa são detalhados.
Dimensão gestão institucional |
Indicador 1: Existência de planejamento e monitoramento de metas/ações de gestão democrática; |
Indicador 2: Existência de socialização das informações para todos os segmentos do Conselho Escolar; |
Indicador 3: Existência de atuação efetiva do Conselho Escolar nas questões administrativas, financeiras e pedagógicas, conforme determina a lei n. 10.76/1995, alterada pelas Leis n. 11.695/2001 e n. 13.990/2012; |
Indicador 4: Existência de cooperação local: associação de moradores, clubes desportivos, fóruns, dentre outros, com vistas à qualificação da gestão; |
Indicador 5: Existência de busca e de participação nas redes de serviços de apoio, municipal e/ou estadual, com vistas a garantir a aprendizagem (saúde e assistência do escolar); |
Indicador 6: Existência de procedimentos institucionais específicos para mediação de conflitos que ocorrem no cotidiano da Escola. |
Dimensão espaço físico da instituição |
Indicador 1: Existência de condições adequadas nas instalações gerais (salas de aula, salas dos setores, espaço cultural, sanitários, quadra de esportes, biblioteca, laboratórios, cozinha, refeitório, dentre outros) com espaço físico que atenda às necessidades de acesso; |
Indicador 2: Existência de manutenção predial (pintura, reposição de vidros, telhado, pisos, dentre outros) e de projetos complementares (elétrico, hidráulico, plano de prevenção contra incêndio - PPCI, dentre outros); |
Indicador 3: Existência de condições adequadas no pátio escolar, com área coberta e área verde constituindo-se em espaços de convivência aos alunos da Escola; |
Indicador 4: Existência de condições adequadas nas salas de aula e salas dos setores: tamanho, aeração, iluminação, higiene, acústica e mobiliário, conforme normas existentes; |
Indicador 5: Existência de condições adequadas nos sanitários: local (com aeração, iluminação, higiene e acesso), capacidade de atendimento, aparelhos e instalações hidrossanitárias completas (azulejos, vasos, pia, descarga, dentre outras), conforme normas existentes; |
Indicador 6: Existência de condições adequadas na biblioteca: sala própria com espaço para leitura e consulta (com aeração, iluminação natural, higiene, acústica e acesso); |
Indicador 7: Existência de condições adequadas na cozinha e despensa: local (com aeração, iluminação e higiene), equipamentos (fogão, geladeira, freezer, batedeira e liquidificador), utensílios (panelas, pratos, talheres e copos) e limpeza da caixa d’água de acordo com as normas da Anvisa; |
Indicador 8: Existência de condições adequadas no refeitório: local (com aeração, iluminação, higiene, acústica e acesso) e mobiliário; |
Indicador 9: Existência de condições adequadas no laboratório de informática: local (com aeração, iluminação, higiene, acústica e acesso), tamanho, mobiliário, equipamentos e acesso à Internet; |
Indicador 10: Existência de condições adequadas no laboratório de ciências: local (com aeração, iluminação, higiene, acústica e acesso), tamanho e equipamentos; |
Indicador 11: Existência de condições adequadas no laboratório de aprendizagem: local (com aeração, iluminação, higiene, acústica e acesso), tamanho, materiais pedagógicos e equipamentos; |
Indicador 12: Existência de condições no espaço escolar para prática de esportes e lazer; |
Indicador 13:Existência de acessibilidade plena: rampa, corrimão, sanitário adaptado, piso podotátil, sinalização visual, alargamento de portas, acesso às dependências da escola, dentre outras - lei federal n. 10.098/2000. |
Dimensão organização e ambiente de trabalho |
Indicador 1: Suficiência e assiduidade dos professores; |
Indicador 2: Suficiência e assiduidade dos funcionários de escola; |
Indicador 3: Existência de estabilidade dos professores; |
Indicador 4: Existência de estabilidade dos funcionários de escola; |
Indicador 5: Utilização das tecnologias da informação e comunicação; |
Indicador 6: Existência de clima favorável de trabalho: boas relações interpessoais, práticas solidárias, participação e pertencimento no coletivo de trabalho; |
Indicador 7: Existência de práticas de separação de lixo na escola e em sala de aula. |
Dimensão práticas pedagógicas e de avaliação |
Indicador 1: Existência de projeto político-pedagógico elaborado e conhecido por toda a comunidade escolar; |
Indicador 2: Existência de plano de trabalho e de aula articulados ao plano de estudos e ao projeto político -pedagógico; |
Indicador 3: Existência de clima favorável à aprendizagem em sala de aula/turmas: boas relações interpessoais, práticas solidárias, pertencimento ao coletivo, diálogo permanente entre professor/aluno e entre aluno/aluno; |
Indicador 4: Existência e suficiência de material didático-pedagógico para todas as áreas do conhecimento e/ou componentes curriculares; |
Indicador 5: Existência de plano de apoio aos alunos com defasagem de aprendizagem e proposta de correção de fluxo; |
Indicador 6: Existência de práticas pedagógicas interdisciplinares; |
Indicador 7: Existência de práticas voltadas à inclusão das diversidades: social, cultural, ideológica, étnica, de gênero, de orientação sexual, religiosa, pessoas com deficiências; |
Indicador 8: Existência de projetos de estímulo à leitura e à escrita dirigidos a professores e alunos; |
Indicador 9: Existência de atividades culturais e desportivas articuladas ao projeto político -pedagógico da escola; |
Indicador 10: Existência de estimulo à participação dos alunos nas instituições e fóruns da escola (conselho escolar, grêmio estudantil, assembleias) e fóruns externos (movimentos sociais, entre outros); |
Indicador 11: Existência de plano de trabalho específico e estratégias diferenciadas para estudos de recuperação; |
Indicador 12: Existência de práticas de ensino inovadoras e criativas voltadas à investigação e à pesquisa; |
Indicador 13: Existência de socialização do projeto político-pedagógico da escola e dos resultados das avaliações com os pais de alunos; |
Indicador 14: Existência de estimulo à prática da autoavaliação; |
Indicador 15: Existência de participação dos alunos na avaliação da aprendizagem: pré-conselhos, conselhos de classe participativos, assembleias; |
Indicador 16: Prevalência dos aspectos qualitativos sobre os quantitativos na avaliação da aprendizagem dos alunos; |
Indicador 17: Existência de práticas de interpretação e de uso dos indicadores oficiais de avaliação - Saeb e Ideb - e dos resultados específicos da escola para estimular ou superar os resultados. |
Fonte: Rio Grande do Sul (2014).
Para a elaboração da variável independente, somou-se a pontuação das escolas nos indicadores de cada dimensão. Assim para a dimensão 1, Gestão institucional, que possui seis indicadores, a soma da pontuação variou de 1 a 30. Após o somatório dos seis indicadores correspondente a respostas por escola, este valor foi dividido por seis. Como o valor é contínuo e, portanto, não é inteiro, realizou-se uma transformação dos valores.
Nesse sentido, os valores no intervalo de 1 até 1,99 foram classificados com o valor 1 (situação crítica), os valores de 2 a 2,99 foram classificados como valor 2 (situação precária), os valores de 3 a 3,99 foram classificados como valor 3 (situação boa), os valores 4 a 4,99 foram classificados como valores 4 (situação muito boa), e valores igual a 5 foram classificados como valor 5 (situação ideal).
Variáveis | Número de indicadores | Valores mínimos e máximos | Valor final |
Gestão institucional | 6 | 1 a 30 | 1 a 5 |
Espaço físico da instituição | 13 | 1 a 65 | 1 a 5 |
Organização e ambiente de trabalho | 7 | 1 a 35 | 1 a 5 |
Práticas pedagógicas e de avaliação | 17 | 1 a 85 | 1 a 5 |
Fonte: autores.
Ressalta-se que originalmente a pesquisa possuía seis dimensões. Contudo, duas dimensões - Condições de acesso, permanência e sucesso na escola -, que continha 4 indicadores, e Formação dos profissionais da educação, que possuía 3 indicadores, não foram utilizadas no estudo. Isso porque ao realizar o teste de fidedignidade das escalas, as duas escalas possuíam um valor do Alpha de Cronbach inferior a 0,60.
Já a variável dependente diz respeito ao desempenho médio das escolas nos testes de proficiência da Prova Brasil/Saeb de 2013. As medidas do desempenho dos estudantes no Saeb são demonstradas por uma escala para cada componente curricular. Quanto mais alto se colocar o aluno nos pontos da escala, maior será a representação do seu rendimento nos testes. As escalas de desempenho do Saeb vão de 0 a 500. A seguir, é explicada a técnica estatística da Anova e bem como os resultados das análises feitas nesta pesquisa.
Análise de variância
Esta técnica é utilizada para comparar médias entre três ou mais grupos. A lógica é realizar uma inferência sobre as diferenças de médias dos grupos por meio de uma comparação das diferentes estimativas de variância que estão associadas a estas observações. A técnica costuma ser bastante utilizada quando os pesquisadores têm interesse em determinar se a variável dependente quantitativa - no caso desempenho escolar - apresenta alguma relação de associação com um fator específico - variável categórica, no nosso caso as dimensões do Seap.
Pela técnica Anova, testou-se a associação dos fatores - 5 categorias de situação - sobre a variável dependente, que é composta pelas notas médias das escolas em Português e Matemática para o 5º ano e para o 9º ano para os diferentes grupos de escolas da rede pública estadual do Rio Grande do Sul no que diz respeito a sua autoavaliação sobre quatro grandes temas gestão institucional, espaço físico da escola, organização e ambiente de trabalho e práticas pedagógicas e de avaliação. Havendo diferença de médias, podemos inferir que há correlação do desempenho dos alunos com a percepção dos gestores das escolas quanto às dimensões relacionadas às suas instituições.
O Teste de Tukey também foi realizado para a comparação múltipla de médias entre as categorias, ou seja, identificou-se entre quais categorias, comparadas uma a uma, que existe diferença estatisticamente significativa.
Resultados
A dimensão Gestão institucional corresponde a aspectos da gestão escolar, como existência de planejamento e monitoramento de ações na gestão, socialização de informações para a comunidade escolar, atuação efetiva do conselho escolar, cooperação e atuação de rede de apoio e procedimentos para mediação de conflitos no ambiente escolar, conforme o quadro 2. A tabela abaixo mostra os resultados da proficiência em Português e Matemática em cada situação da referida dimensão.
Dimensão/Nota | Dimensão - Gestão Institucional | |||||||
Port. 5 º ano | Port. 9 º ano | Mat. 5 º ano | Mat. 9 º ano | |||||
Critérios do Seap | N | Média | N | Média | N | Média | N | Média |
1 = situação crítica | 2 | 195,86 | 1 | 232,06 | 2 | 208,5 | 1 | 246,27 |
2 = situação precária | 68 | 199,3434 | 66 | 247,3041 | 68 | 214,47 | 66 | 250,4864 |
3 = situação boa | 479 | 205,0482 | 476 | 248,7866 | 479 | 221,26 | 476 | 254,1063 |
4 = situação muito boa | 564 | 207,7946 | 584 | 250,3365 | 564 | 224,36 | 584 | 256,478 |
5 = situação ideal | 41 | 207,0398 | 49 | 251,8251 | 41 | 224,15 | 49 | 257,2222 |
Total | 1154 | 206,1092 | 1176 | 249,5855 | 1154 | 222,45 | 1176 | 255,2041 |
Significância estatística | 0,03 (**) | 0,344 | 0,000 (***) | 0,075 |
Fonte: elaboração própria. *** 1% de significância ** 5% de significância
A partir da tabela acima, pode-se constatar que para o 5º e 9 anos, a medida que a situação de satisfação com a Gestão institucional das escolas aumenta, a proficiência média das escolas também aumenta para Português e Matemática. A exceção está em Língua Portuguesa para o 5 e 9º anos, na situação ideal, item 5, em que os alunos apresentam um desempenho médio inferior em comparação a situação das escolas muito boas (item 4), mas esta diferença não é estatisticamente significativa.
Quanto a diferenças de médias, para os fatores ou grupos - autoavaliação da situação das escolas na dimensão de gestão escolar -, constata-se que há diferenças estatisticamente significativas - nível de significância de 3% e 1% - na Gestão institucional para os 5º anos nas notas médias das escolas em Português e Matemática. Já para os 9º anos, a diferença não se mostrou significativa.
Ao se realizar o teste de Tukey5 para a 5º ano para a proficiência em Língua Portuguesa, percebe-se que a diferença das médias de proficiência é estatisticamente significativa do nível 2 (situação precária) para o nível 4 (situação muito boa). Em outros termos, a média da proficiência em Português é 8,45 pontos superior no nível 4 em comparação ao nível 2. O mesmo acontece para matemática no 5º ano. Há uma diferença estatisticamente significativa para os dois grupos. Esta diferença é 9,89 pontos superior na proficiência média de matemática para o grupo das escolas no nível 4 (situação muito boa) em comparação as escolas do nível 2 (situação precária) no 5º ano.
Assim, com base nestes resultados, pode-se inferir que apenas para a escolas com a situação muito boa na sua gestão institucional, item 4, e no 5º ano, o desempenho dos alunos condiz com autoavaliação feita pelas escolas, isto é, os melhores desempenhos estão nas escolas melhores avaliadas.
Espaço físico da instituição
A tabela a seguir mostra os resultados por critério do Seap e série - 5º e 9º anos - e proficiência em português e matemática a partir a dimensão do espaço físico.
Dimensão / Nota | Dimensão - Espaço Físico da Instituição | |||||||
Port. 5 º ano | Port. 9 º ano | Mat. 5 º ano | Mat. 9 º ano | |||||
Critérios do Seap | N | Média | N | Média | N | Média | N | Média |
1 = situação crítica | 39 | 201,6205 | 41 | 247,5034 | 39 | 220,00 | 41 | 252,2802 |
2 = situação precária | 528 | 205,9154 | 536 | 249,4411 | 528 | 221,900 | 536 | 255,1080 |
3 = situação boa | 371 | 208,5528 | 388 | 250,2568 | 371 | 225,230 | 388 | 256,4934 |
4 = situação muito boa | 41 | 202,2701 | 40 | 249,7828 | 41 | 221,340 | 40 | 253,4780 |
5 = situação ideal | - | - | - | - | - | - | - | - |
Total | 979 | 206,5911 | 1005 | 249,6906 | 979 | 223,06 | 1005 | 255,4626 |
Significância estatística | 0,023 (**) | 0,797 | 0,053 | 0,451 |
Fonte: elaboração própria. *** 1% de significância ** 5% de significância
A tabela acima mostra que a situação de satisfação com a infraestrutura escolar aumenta juntamente com a proficiência média das escolas. A exceção está na situação muito boa (item 4), em que as notas médias dos alunos das escolas apresentam um desempenho médio inferior em comparação a situação das escolas boas (item 3), em todos os anos e disciplinas pesquisadas. Segundo o critério adotado para classificação das escolas na dimensão, não foram encontradas escolas na dimensão de infraestrutura no nível ideal (item 5).
Em relação a diferenças de médias, para as diferentes situações na dimensão de espaço físico das escolas, constata-se que há diferenças estatisticamente significativas -nível de significância de 5% - na dimensão somente para o 5º ano nas notas médias das escolas em Português.
Organização e ambiente do trabalho
A tabela abaixo apresenta os resultados por critério do Seap e série - 5º e 9º anos - e proficiência em Português e Matemática a partir da dimensão de Organização e ambiente de trabalho.
Dimensão / Nota | Dimensão - Organização e ambiente de trabalho | |||||||
Port. 5 º ano | Port. 9 º ano | Mat. 5 º ano | Mat. 9 º ano | |||||
Critérios do Seap | N | Média | N | Média | N | Média | N | Média |
1 = situação crítica | 6 | 195,4817 | 5 | 237,008 | 6 | 208,5 | 5 | 240,608 |
2 = situação precária | 299 | 205,0105 | 315 | 248,2556 | 299 | 220,21 | 315 | 252,8251 |
3 = situação boa | 662 | 206,6086 | 669 | 249,4367 | 662 | 222,95 | 669 | 255,5912 |
4 = situação muito boa | 104 | 209,4354 | 108 | 254,2821 | 104 | 228,59 | 108 | 261,0636 |
5 = situação ideal | - | - | - | - | - | - | - | - |
Total | 1071 | 206,3746 | 1097 | 249,5179 | 1071 | 222,65 | 1097 | 255,2674 |
Significância estatística | 0,089 | 0,012 (**) | 0,000 (***) | 0,001 (***) |
Fonte: elaboração própria. *** 1% de significância ** 5% de significância
Verifica-se que a medida que a situação de satisfação com a organização e ambiente do trabalho aumenta, a proficiência média das escolas também aumenta para Português e Matemática e em todas as séries - 5º e 9º anos. Não foram encontradas escolas com uma situação ideal para esta dimensão. As diferenças de médias por fatores se mostram estatisticamente significativas para o 9º ano em Português e Matemática e para o 5ª ano em Matemática.
Ao se realizar o teste de Tukey para a 9º ano para a proficiência em Língua Portuguesa, percebe-se que a diferença das médias de proficiência é estatisticamente significativa do nível 2 (situação precária) para o nível 4 (situação muito boa).
Constata-se, também, que o mesmo fenômeno acontece para Matemática no 5º ano e no 9° ano. Há uma diferença estatisticamente significativa para os dois grupos. Adicionalmente, há diferença estatisticamente significativa do nível 4 (situação muito boa) em comparação ao nível 3 (situação boa). Para o 5º ano, as notas médias em Matemáticas são diferentes do nível 4 (situação muito boa) em comparação ao nível 3 (situação boa) e nível 2 (situação precária). Quanto ao 5º ano, nas provas de Matemática, este padrão também se repete. Para o 5º ano, as notas médias em Matemática são diferentes no nível 4 e superiores em comparação ao nível 3 (5,47 pontos) e nível 2 (8,24 pontos).
Práticas pedagógicas e de avaliação
A tabela a seguir relaciona desempenho escolar e a dimensão das Práticas pedagógicas e de avaliação.
Dimensão / Nota | Dimensão -Práticas pedagógicas e de avaliação | |||||||
Port. 5 º ano | Port. 9 º ano | Mat. 5 º ano | Mat. 9 º ano | |||||
Critérios do Seap | N | Média | N | Média | N | Média | N | Média |
1 = situação crítica | 7 | 199,5057 | 8 | 237,1988 | 7 | 213,86 | 8 | 240,9213 |
2 = situação precária | 177 | 202,7962 | 165 | 248,1686 | 177 | 218,15 | 165 | 254,0112 |
3 = situação boa | 618 | 205,8906 | 674 | 248,5902 | 618 | 222,15 | 674 | 254,4514 |
4 = situação muito boa | 309 | 208,6917 | 321 | 252,6207 | 309 | 226,11 | 321 | 258,0726 |
5 = situação ideal | 2 | 193,535 | 1 | 246,81 | 2 | 208 | 1 | 255,69 |
Total | 1113 | 206,1138 | 1169 | 249,558 | 1113 | 222,54 | 1169 | 255,2921 |
Significância estatística | 0,01 (**) | 0,005 (***) | 0,000 (***) | 0,015 (**) |
Fonte: elaboração própria. *** 1% de significância ** 5% de significância
A partir de da tabela acima, pode-se constatar que a medida que a situação de satisfação com as práticas pedagógicas e de avaliação aumenta, a proficiência média das escolas também aumenta para português e para matemática e para todas as séries. A exceção está no nível 5 (situação ideal), em que a nota média é inferior as escolas que estão no nível 4 (situação muito boa).
Quanto a diferenças de médias, para os fatores ou grupos - autoavaliação da situação das escolas na dimensão de práticas pedagógicas e avaliação -, constata-se que há diferenças estatisticamente significativas - nível de significância de 1% e de 5%, dependendo o caso - para todos os anos pesquisados e para a duas disciplinas, Português e Matemática.
Ao se realizar o teste de Tukey para a 5º ano para a proficiência em Língua Portuguesa, percebe-se que a diferença das médias de proficiência é estatisticamente significativa do nível 2 (situação precária) para o nível 4 (situação muito boa). Em outros termos, a média da proficiência em Português é 5,90 pontos superior no nível 4 em comparação ao nível 2. O mesmo acontece Para Matemática no 5º ano. Há uma diferença estatisticamente significativa para os dois grupos. Esta diferença é de 7,96 pontos superior na proficiência média de matemática para o grupo das escolas no nível 4 (situação muito boa) em comparação as escolas do nível 2 (situação precária) no 5º ano. E adicionalmente, há diferença estatisticamente significativa do nível 4 (situação muito boa) em comparação ao nível 3 (situação boa). Esta diferença é de 3,60 pontos a mais para o nível 4 comparativamente.
No 9º ano, o teste Tukey também apresentou diferenças significativas entre os grupos. Para Português a diferença das médias de proficiência é estatisticamente significativa do nível 3 (situação boa) para o nível 4 (situação muito boa). Em outros termos, a média da proficiência em português é 4,03 pontos superior no nível 4 em comparação ao nível 3. O mesmo ocorre para Matemática.
De acordo com os resultados, contata-se que para a dimensão Práticas pedagógicas e de avaliação há diferenças estatisticamente significativas no desempenho médio das escolas conforme as diferentes situações de autoavaliação para todos os anos pesquisados e disciplinas. Estes resultados parecem indicar a necessidade de se profundar no entendimento da relação entre desempenho escolar e práticas pedagógicas utilizadas no ambiente escolar, uma vez que quanto maior o grau de satisfação em relação a estes instrumentos e ações por parte das instituições escolares, melhor também é a proficiência média dos alunos.
Discussão dos resultados e considerações finais
Foi possível evidenciar que as notas dos alunos coincidem com as percepções dos sujeitos da escola, isto é, as comunidades escolares percebem o bom desempenho de seus alunos associado a dimensões presentes na autoavaliação, o que nos leva a inferir uma correspondência entre os aspectos objetivos relacionados com a instituição escola e o desempenho dos alunos. Contudo, essa correspondência nem sempre se manifestou em cada uma das quatro dimensões do Seap analisadas nos dois tipos de disciplinas analisadas por nós - Português e Matemática - e nem para as duas séries analisadas, 5º e 9º ano.
Especificamente, ao retomarmos os resultados, observamos que todas as dimensões refletem desempenhos na mesma direção, ainda que apenas para alguns anos ou disciplinas. No caso a primeira dimensão analisada, a gestão institucional, essa tem um reflexo nas notas dos alunos em ambas as disciplinas, mas apenas para o 5º ano. Já no caso da segunda dimensão, referente a autoavaliação do espaço físico, só apresentou relação com o desempenho em Português e no quinto ano apenas. Uma hipótese é a expectativa das comunidades escolares que, ao se autoavaliarem de forma ruim, poderiam solicitar melhorias na sua infraestrutura, uma vez que especificamente a esta dimensão contou-se com recursos do Banco Mundial para o seu financiamento de 2012 a 2019. Além disso, há um indicador de resultado específico a esta dimensão de espaço físico que o governo mensurou para o acompanhamento contratual do financiamento do Banco Mundial ao Governo do Estado do Rio Grande do Sul.6
A terceira dimensão, denominada Organização e ambiente de trabalho, apresentou relação oposta em comparação com a segunda dimensão. As notas em Português no quinto ano não encontram associação estatisticamente significativa, ao contrário de todas as demais. Ou seja, a organização da escola é um fator que se apresentou mais relevante para as notas, em comparação com o espaço físico. Muitas vezes observamos espaços escolares modernizados, mas sem a organização devida com relação ao manejo de equipamentos e áreas externas.
Finalmente, observamos que a dimensão pedagógica tem reflexo estatisticamente significativo para o desempenho dos estudantes em todas as séries e disciplinas pesquisadas. Este último aspecto nos faz pensar sobre a importância de boas práticas pedagógicas e de avaliação na capacidade dos estudantes responderem questões específicas nas provas de larga escala como a Prova Brasil. Lembrando que estas práticas, no Seap, envolvem um conjunto de 17 indicadores e referem-se a existência do projeto político-pedagógico, ao plano de trabalho articulado com PPP, ao clima favorável à aprendizagem em sala de aula/turma, à suficiência de material didático-pedagógico, ao plano de apoio aos alunos com defasagem de aprendizagem, à práticas pedagógicas interdisciplinares e às atividades culturais e desportivas articuladas com o PPP.
Cabe salientar que ainda que provas, como a Prova Brasil, sejam criticáveis, a tomamos como um indicativo relevante do despenho para conclusões generalizáveis em termos estatísticos. Sendo assim, todas as críticas feitas a provas de larga escala como a Prova Brasil (Almeida et. al, 2013, Sampaio, Oliveira, 2015), podem ser consideradas como uma limitação de nosso estudo, mas como dissemos anteriormente, é um dos raros instrumentos que podemos usar que utiliza uma amostra altamente representativa, o que faz com que nosso estudo tenha grande validade externa - capacidade de generalização.
Uma outra limitação de nosso estudo é que ele se caracteriza como um estudo estatístico correlacional, isto é, ele não permite que falemos em causalidade, por se utilizar de uma técnica estatística bivariada - cruzamento entre duas variáveis. Ou seja, o estudo se caracterizou como uma análise exploratória inicial. Assim sendo todas as constatações e conclusões dizem respeito as associações estatísticas entre o desempenho dos estudantes na Prova Brasil de 2013 dentro de cada uma das categorias de avaliação das quatro dimensões do Saep 2013.
Além disso, não podemos ignorar que boa parte do desempenho dos alunos é associado, conforme a literatura, ao backgound familiar e aos fatores culturais, ou seja, pode existir escolas excelentes nos seus fatores internos, que apresentam alunos com um desempenho médio razoável na Prova Brasil, em função dos aspectos socioeconômicos. Daí a dificuldade de associar a qualidade da escola a preocupação com a aprendizagem.
Um aspecto relevante do estudo é que foi possível relacionar a autoavaliação da escola - fatores intraescolares - com o desempenho escolar, em uma perspectiva para além dos questionários individuais contextuais da Prova Brasil. Isto é, ao invés de correlacionar com as perguntas individuais referentes aos questionários da Prova Brasil que ignoram os aspectos coletivos das comunidades escolares, o Seap apresenta uma nova perspectiva sobre a atuação da escola, referente a percepção mais ampla da comunidade escolar sobre as diferentes práticas de gestão institucional, de gestão da infraestrutura, de organização do ambiente de trabalho e da dimensão pedagógica.
Acreditamos que nossas conclusões, ainda que correlacionais, permitam apontar caminhos para a formulação ou mesmo reformulação de políticas públicas na área educacional. Nesse sentido, será possível avançar nos aspectos de causalidade e da inclusão de outras variáveis dos diversos instrumentos de avaliação da educação - desagregação de indicadores específicos do Seap, os questionários contextuais da rede pública estadual e do Inep e os questionários do Censo Escolar -, para mensurar os efeitos de cada um dos aspectos abordados têm sobre a aprendizagem dos alunos.