SciELO - Scientific Electronic Library Online

 
vol.17 número54Algumas considerações sobre formação de professores e o habitus docenteA formação docente e o ensino de História e Geografia no contexto dos anos iniciais do ensino fundamental índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Revista Diálogo Educacional

versão impressa ISSN 1518-3483versão On-line ISSN 1981-416X

Rev. Diálogo Educ. vol.17 no.54 Curitiba jul./set 2017  Epub 26-Fev-2020

https://doi.org/10.7213/1981-416x.17.054.ao04 

Artigos

Avaliação externa e qualidade da educação: formação docente em questão

External evaluation and quality education: training of teachers in question

Evaluación externa y la calidad de la educación: formación docente en cuestión

Ocimar Munhoz Alavarse[a] 

Cristiane Machado[b] 

Paulo Henrique Arcas[c]  *

[a]Universidade de São Paulo (USP), São Paulo, SP, Brasil

[b]Universidade Estadual de Campinas (Unicamp), Campinas, SP, Brasil

[c]Instituto Internacional de Planeamiento de la Educación - IIPE UNESCO - Oficina Regional para América Latina, Buenos Aires, Argentina


Resumo

A constatação dos novos contornos que o debate sobre a formação docente adquiriu a partir da ampliação de políticas de avaliações externas e o consequente desvelamento das dificuldades do oferecimento de um ensino de qualidade para todos ensejou este artigo. Objetiva-se problematizar: quais conhecimentos são necessários para que os professores explorem o potencial dos resultados das avaliações externas na perspectiva de ampliação da qualidade do ensino-aprendizagem nas escolas? Este estudo apresenta resultados de investigação com o objetivo de cotejar os resultados da avaliação externa Prova São Paulo com os resultados das avaliações internas feitas pelos professores. O campo de desenvolvimento da pesquisa foi a Rede Municipal de Ensino de São Paulo e a metodologia adotada foi a pesquisa-ação. Conclui-se que é premente a apropriação aprofundada, pelos professores, dos fundamentos, objetivos e resultados das avaliações externas, para que elas possam ser utilizadas como um complemento ao desenvolvimento do seu trabalho, servindo como mais um mecanismo para avançar na qualidade da educação pública oferecida. Há que se envidar esforços para que os professores sejam dotados de conhecimento sobre o contexto, os pressupostos, e o papel das avaliações externas, bem como o seu potencial de uso dos resultados no cotidiano da sala de aula. Por fim, ressalta-se que entender os resultados das avaliações externas é compreendê-los não como um fim em si mesmo, mas sim como possibilidade de associá-los às mudanças essenciais da escola pública.

Palavras-chave: Avaliação educacional; Avaliação externa; Formação docente; Qualidade da educação

Abstract

The observation of the new framework that the debate about the teacher training acquired due to the extension of external evaluation policies and the consequent unveiling of the difficulties entailed by the offer of a quality teaching for all gave rise to this article. The purpose is to question on: what should teachers know to explore the potential of the external evaluations results in order to increase the quality of learning-education at schools? This study presents preliminary results of a broader research with the purpose of comparing the results of the external evaluation (São Paulo Tests) with the results of the internal evaluations made by the teachers. The research was conducted in the municipal network of São Paulo and the methodology adopted is that of research- action. It concludes that there is an urgent need for teachers to delve into the grounds, objectives and results of external evaluations, so that they can be used as a complement to develop their work, serving as another mechanism to progress on the quality of the public education offered. Efforts must be made to ensure that teachers are endowed with knowledge about the context, grounds, and role of external evaluations, as well as their potential to use the results in the everyday classroom work. Finally, it is emphasized that to understand the results of external evaluations is to understand them not as an end, but as an opportunity to associate them to the essential changes of the public school.

Keywords: Educational assessment; External evaluation; Teacher training; Education quality

Resumen

La constatación de los nuevos marcos que el debate sobre la formación docente ha adquirido a partir de la ampliación de políticas de evaluaciones externas y la consecuente identificación de las dificultades que implica la oferta de una educación de calidad para todos ha motivado este artículo. Se pretende problematizar: ¿qué conocimientos son necesarios para que los profesores exploren el potencial de los resultados de las evaluaciones externas en la perspectiva de ampliación de la calidad de la enseñanza-aprendizaje en las escuelas? Este estudio presenta resultados preliminares de investigación más amplia con el objeto de comparar los resultados de la evaluación externa Prueba São Paulo con los resultados de las evaluaciones internas realizadas por los docentes. La investigación se desarrolló en escuelas de la red municipal de São Paulo y la metodología adoptada es la de investigación-acción. Concluye que es urgente que los profesores profundicen la apropiación de los fundamentos, objetivos y resultados de las evaluaciones externas, para que estas puedan ser utilizadas como un complemento al desarrollo de su trabajo, sirviendo como un mecanismo más en el avance de la calidad de la educación pública brindada. Es necesario realizar esfuerzos para que los profesores conozcan el contexto, los fundamentos, y el papel de las evaluaciones externas, así como su potencial de uso de los resultados en la cotidianidad del aula. Por último, se resalta que entender los resultados de las evaluaciones externas es comprenderlos no como un fin en sí mismo, sino como posibilidad de asociarlos a los cambios esenciales de la escuela pública.

Palabras clave: Evaluación educativa; Evaluación externa; La formación docente; La calidad de la educación

Introdução

A avaliação, principalmente aquela com foco na aprendizagem dos alunos realizada no interior das escolas, sempre teve seu lugar de destaque nas pesquisas e debates educacionais. Recentemente, temos assistido o deslocamento desse foco para outro tipo de avaliação, a avaliação externa, que contrasta com a outra forma pelo fato de seu sujeito localizar-se fora do espaço escolar, notadamente, em secretarias ou no ministério da educação, mesmo que mantendo como objeto a aprendizagem dos alunos em algum aspecto do currículo escolar, tal como, classicamente, definiu Madaus (1988). A constatação da profusão de iniciativas de avaliações externas revela que esta tendência tem sido uma tônica nas políticas educacionais contemporâneas.

O cenário de ampliação e fortalecimento de implementação de políticas de avaliação externa, nos moldes das que presenciamos atualmente, possui suas origens em um movimento mais amplo de reformas educativas, que tem seu marco na década de 1990, quando os governos começaram a produzir novas políticas governamentais de maior controle dos investimentos nas políticas sociais, principalmente na educação, evidenciando assim, um incremento em ações de redução nos gastos e aumento da preocupação com medidas de accountability e com a qualidade do ensino (OLIVEIRA, 2000; COELHO, 2008).

A difusão de iniciativas de políticas avaliativas em todos os âmbitos dos governos federal, estaduais e municipais tem sido marca forte desse período e são apresentadas com o objetivo de coletar, produzir e difundir dados e informações que possibilitem uma análise mais acurada da realidade educacional e das dificuldades existentes. Também, as que subsidiem a elaboração de políticas e ações educacionais pelos vários níveis da gestão da educação, desde o mais macro, como o governo federal, até o mais micro, como a gestão das escolas. Tais avaliações são, via de regra, nucleadas pela aferição do desempenho dos alunos do ensino fundamental e médio em provas padronizadas de língua portuguesa, com ênfase em leitura, e de matemática, com ênfase na resolução de problemas.

Ao avaliar a aprendizagem dos alunos, também avaliadas nas salas de aula pelos docentes, nas agora denominadas de avaliações internas, as avaliações externas produzem e disponibilizam dados que, com algumas diferenças entre elas, podem ser acessados e utilizados pelos professores. A aprendizagem dos alunos, que continua sendo avaliada nas salas de aula pelos professores nas agora denominadas avaliações internas, passou também a ser avaliada pelas avaliações externas que produzem e disponibilizam dados que, com algumas diferenças entre elas, podem ser acessados e utilizados pelos professores. Assim, é possível afirmar que estes profissionais devem ser os principais usuários dos resultados das avaliações externas no sentido de articulá-los com o desenvolvimento do seu trabalho pedagógico nas escolas.

Para que essa possibilidade se efetive é primordial que os professores compreendam os meandros das avaliações externas e, principalmente, as alternativas de seus usos como recurso pedagógico na sala de aula. Neste sentido, cabe problematizar quais seriam os conhecimentos necessários sobre avaliação educacional, especialmente sobre avaliações externas, para que os professores possam se apropriar de seus resultados, principalmente tendo em vista a sua utilização como promoção de melhorias na qualidade do ensino? Este artigo, que tem como base alguns resultados de pesquisa-ação desenvolvida em escolas da Rede Municipal de Ensino de São Paulo (RME-SP), objetiva explorar elementos para indicar possíveis caminhos diante dessas questões.

A investigação transcorreu de 2010 a 2013 e seus resultados têm permitido um conjunto de estudos ulteriores, particularmente para explorar tensões e conhecimentos que permeiam as relações entre avaliações internas e externas no âmbito do Grupo de Estudos e Pesquisas em Avaliação Educacional (Gepave) da Faculdade de Educação da Universidade de São Paulo, do qual os pesquisadores fazem parte.

Esse texto está organizado em três partes. Inicialmente contextualiza a ampliação e fortalecimento das avaliações externas, conceitua qualidade na educação destacando a relação que tem emergido entre ambas nas políticas educacionais; em seguida, apresenta alguns resultados da pesquisa na RME-SP; e, por último, problematiza quais seriam os conhecimentos necessários para a apropriação e uso dos resultados das avaliações externas pelos professores.

Avaliação externa e qualidade da educação

As avaliações externas têm como um de seus principais componentes a aferição do desempenho dos alunos em provas padronizadas e contempla um amplo contingente de participantes, por isso, também, denominada na literatura como avaliação em larga escala, fornecendo um conjunto de informações que pode orientar ações das mais variadas ordens nas políticas educacionais, ressaltando-se que, rigorosamente, algumas avaliações externas não passam de processos de medição das proficiências nos conteúdos dessas provas. De todo modo constata-se a presença marcante dessas avaliações nas políticas educacionais brasileiras, especialmente nos últimos 20 anos, chegando a ser utilizada como referência de várias metas do atual Plano Nacional de Educação (BRASIL, 2014).

Barreto et al. (2001, p. 65), no estudo que analisou o estado da arte em avaliação em alguns periódicos nos anos 90, destacaram que “esse tipo de avaliação ganhou relevo no país nos anos 90, tendo predominado nesse grupo de artigos o discurso que se preocupa com o esclarecimento das características e finalidades dos sistemas de avaliação e busca as justificativas para adotá-los”. Freitas (2007, p. 51) detalha que a origem das iniciativas do Estado brasileiro, em planejamento educacional na década de 1930, teriam culminado na implementação dessas avaliações, salientando que

[...] foram necessárias mais ou menos cinco décadas para que a avaliação (externa, em larga escala, centralizada e com foco no rendimento do aluno e no desempenho dos sistemas de ensino) viesse a ser introduzida como prática sistemática no governo da educação básica brasileira.

Nesse percurso histórico, o final dos anos de 1980 representou um marco significativo na implementação de um sistema nacional de avaliação da educação básica pelo Ministério da Educação (MEC) por meio da organização, elaboração e execução pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), com a criação efetiva do Sistema de Avaliação do Ensino Público de 1° Grau (Saep), em 1987, que teve o objetivo de avaliar o Programa de Educação Básica para o Nordeste Brasileiro, conhecido como Edurural, conforme Bonamino (2002), para quem o Saep foi ponto de partida para a construção do atual Sistema de Avaliação da Educação Básica (Saeb).

O Saeb teve sua primeira edição em 1990 e Pilati (1994, p. 15), com base nas informações oficiais do MEC, assinala que seus objetivos eram, dentre outros: regionalizar a operacionalização do processo avaliativo para possibilitar a gestão direta pelas instâncias locais; conhecer e construir parâmetros do rendimento dos alunos em relação às propostas curriculares e disseminar na sociedade ideias em relação à qualidade desejada e a obtida.

Cinco anos após sua implantação, em 1995, o Saeb passou por uma reformulação com duas grandes alterações, mantidas as aplicações bienais. A primeira, em relação aos seus objetivos, pela inclusão de estudos e análises dos alunos do ensino médio e da rede particular, que visava incorporar levantamentos de dados sobre as características socioeconômicas, culturais e sobre os hábitos de estudo dos alunos, definindo as 4ª e 8ª séries do ensino fundamental e 3ª série do ensino médio como população de referência (COELHO, 2008). A segunda alteração, em relação à metodologia das provas, deu-se com a introdução da metodologia da Teoria de Resposta ao Item (TRI) para medir o desempenho dos alunos para garantir a comparabilidade de resultados ao longo do tempo, tanto entre as séries quanto cada série em sua trajetória histórica nas aferições dos resultados, o que possibilitou, como destacam Sousa e Arcas (2010, p. 182), “comparações entre as diversas aplicações, criando-se, assim, uma série histórica, permitindo a elaboração de políticas públicas a longo prazo”. Nessa nova fase, a avaliação externa foi apresentada com o objetivo de produzir informações do desempenho dos alunos que possibilitassem o desenvolvimento de políticas educacionais com acompanhamento dos resultados e da verificação de avanços na aprendizagem dos alunos.

Em 2005 houve outra importante reformulação no Saeb, que passou a ser composto por duas avaliações. Uma delas, a Avaliação Nacional da Educação Básica (Aneb), manteve a aplicação amostral de provas e questionários para o ensino médio e para escolas privadas de ensino fundamental. A outra, a Avaliação Nacional do Rendimento Escolar (Anresc), conhecida com o nome de Prova Brasil, foi criada com a principal característica de ser uma avaliação censitária para escolas públicas de ensino fundamental. Nas duas avaliações, aplicadas a cada dois anos, os alunos fazem provas que avaliam as habilidades em Língua Portuguesa (foco em leitura) e Matemática (foco na resolução de problemas), continuaram a ser envolvidos alunos dos 5° e 9° anos no ensino fundamental de escolas urbanas e do 3° ano do ensino médio, que neste caso, incluía na amostragem as escolas rurais.

Assim, o caráter censitário da Prova Brasil para as escolas públicas de ensino fundamental, além de expô-las com a divulgação dos resultados de seus alunos, fez com que a possibilidade de não reconhecimento ou não identificação nos resultados do Saeb, praticamente, deixasse de existir, uma vez que seus alunos de ensino fundamental obrigatoriamente fazem parte do público avaliado. Nesse sentido, Sousa e Lopes (2010, p. 55) ponderam que uma justificativa para esse caráter censitário foi a premência de fazer da “avaliação um instrumento de gestão para/das unidades escolares” com base na aferição e divulgação dos resultados para as redes e para cada escola.

Dois anos após a criação da Prova Brasil, em 2007, o governo federal criou o Índice de Desenvolvimento da Educação Básica (Ideb), calculado numa escala de 0 a 10, por meio do Decreto nº 6.074, de 24 de abril (BRASIL, 2007), sob responsabilidade do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), com metas projetadas para cada escola e rede de ensino considerando as proficiências obtidas na Prova Brasil e as taxas de aprovação apuradas com o Censo Escolar em 2005. Reynaldo Fernandes (2007, p. 6), presidente do Inep à época da criação do Ideb, explicitou que esse índice estava sendo criado para ser um “um indicador de qualidade educacional” e também para possibilitar um “monitoramento permanente e medição do progresso dos programas em relação às metas e resultados fixados” na educação brasileira.

A divulgação dos resultados da Prova Brasil e do Ideb tem ensejado, ainda que não oficialmente, a elaboração de um ranking das melhores (e consequentemente das piores) escolas e redes do país, algo que, desconectado de outras análises, pode ser considerado um equívoco, pois impele escolas e redes à competição desprovida de um estudo minucioso da realidade educacional e suas dificuldades, sem a contextualização desses resultados. Diante desse risco, não desprezando a importância do Ideb e considerando que seu resultado é uma forma de avaliação do trabalho escolar, ponderamos que a avaliação deve ser utilizada com outro referencial, como explicita Vianna (2005, p. 16) ao apontar que “a avaliação não é um valor em si e não deve ficar restrita a um simples rito da burocracia educacional; necessita integrar-se ao processo de transformação do ensino/aprendizagem e contribuir, desse modo, ativamente, para o processo de transformação dos educandos”.

O Ideb, como indicador, ao combinar os resultados de desempenho nas provas do Saeb com taxas de aprovação de cada uma das unidades - escolas e redes - para as quais é calculado supondo que essas dimensões da educação escolar expressariam “a” qualidade da escola ou da rede à qual se referem estabelece uma das questões controversas que residem na concepção de qualidade deste indicador. Textualmente, encontra-se no Decreto nº 6.094 de 2007, uma formulação do Ideb que apresenta uma visão extremamente objetivista sobre o seu potencial para indicar a qualidade da escola:

Art. 3 - A qualidade da educação básica será aferida, objetivamente, com base no IDEB, calculado e divulgado periodicamente pelo Inep, a partir dos dados sobre rendimento escolar, combinados com o desempenho dos alunos, constantes do censo escolar e do Sistema de Avaliação da Educação Básica - SAEB, composto pela Avaliação Nacional da Educação Básica - ANEB e a Avaliação Nacional do Rendimento Escolar (Prova Brasil).

Se essa formulação é limitada, o que seria então qualidade da escola? Conceituar qualidade na educação não parece tarefa fácil, pois vários pesquisadores que se debruçaram sobre o tema o caracterizaram, entre outros atributos, como ambíguo (RISOPATRON, 1991, p. 15), polissêmico (DOURADO, 2007, p. 7), repleto de historicidade (SILVA, 1996) e Sousa (1997a, p. 267) demarca que o conceito de qualidade não é “algo dado”, não existindo “em si”, demandando uma interpretação. O debate sobre o conceito nos remete, ainda, à questão axiológica, ou seja, à dimensão dos valores de quem fala e produz a análise de qualidade. Para Azevedo (1994, p. 456) “qualidade não é um atributo neutro, nem é desprovida das significações que lhe reservam os agentes que dela estão tratando, de acordo com seus interesses e valores específicos”, em outras palavras, falar de qualidade é sempre atribuir um determinado significado e valor a ela, que pode mudar de acordo com o interlocutor que a pronuncia.

Analisando historicamente a temática, Enguita (1994, p. 95) concluiu que o conceito de qualidade teria se transformado em “meta compartilhada”, em “palavra de ordem mobilizadora, em um grito de guerra em torno do qual se devem juntar todos os esforços”. Para Gentili (1994, p. 155) este reconhecimento da importância do tema, principalmente como meta nas políticas sociais e educacionais, tem suas raízes no movimento que se desenvolveu na América Latina, no final da década de 1980, de contraposição ao discurso da democratização, quando os governos iniciaram medidas para reformar o papel do Estado. Neste sentido, Casassus (2007, p. 41) sustenta que “a qualidade da educação, como objetivo, tornou-se um conceito estratégico nas formulações de política educacional na grande maioria dos países”.

Estudo de Gusmão (2013, p. 123), sobre as ideias de qualidade que povoam o campo educacional baseado em entrevistas com diversos atores sociais, apontou que os discursos convergiam, apesar das diferenças de interesses políticos constatadas entre esses agentes, em duas dimensões: “1) a elevação do desempenho dos estudantes nas provas de larga escala; e 2) a garantia de condições variadas de ensino que conduzam a uma formação ampla dos estudantes, abrangendo não só os conteúdos curriculares, como também a cidadania e capacidades éticas”.

Portanto, qualidade da educação não seria um conceito simples e muito menos neutro e/ou imparcial, pois, como destacou Dourado (2007, p. 09), trata-se de “um fenômeno complexo, abrangente e que envolve múltiplas dimensões”. Soares (2012, p. 83), buscando uma saída, nesse quadro e não isento de críticas, mais focada na escola, indica que

[…] a escola de qualidade é aquela quem tem como valor fundamental a garantia dos direitos de aprendizagem de seus alunos, dispõe de infraestrutura necessária, ensina o que é relevante e pertinente através de processos eficazes e utiliza os recursos disponíveis, sem desperdícios. Seus professores e funcionários e os pais dos alunos estão satisfeitos e os alunos mostram, através de formas objetivas que aprenderam o que deles se esperava.

Assim, pode-se sustentar que se os conteúdos usuais das avaliações externas - desempenho em leitura e resolução de problemas - não resumem “a” qualidade da escola, esses objetos de avaliação não são alheios ao processo escolar que se pretenda de qualidade. Sem superar toda a ambiguidade e as polêmicas que envolvem a conceituação de qualidade da educação escolar, é possível reconhecer nas políticas educacionais e na literatura importantes inflexões que procuram associar indícios de qualidade aos resultados das avaliações externas, sem estabelecer uma espécie de sinonímia entre eles.

Não obstante, se a conceituação do que seria a qualidade da escola não obteve ainda um consenso, as avaliações externas passaram a vincular os resultados em provas padronizadas à qualidade, destacadamente no plano federal, com repercussões nas políticas educacionais de estados e municípios. Fernandes e Gremaud (2009, p. 213) reiteram que essa vinculação se acentuou com a edição do Ideb, avançando para ações de accountability - expressão inglesa traduzida mais comumente como responsabilização - que incidiriam nas escolas.

Embora se possa considerar que a concepção de qualidade associada ao Ideb seja um tanto reducionista, por não contemplar aspectos relevantes do processo pedagógico, é possível identificar algumas potencialidades no Ideb por conta de duas características: por facilitar uma apreensão, mesmo que parcial, da realidade educacional brasileira, aí destacadas suas escolas, e, sobretudo, por articular dois elementos que há muito tempo parecem ser antagônicos: o aumento da aprovação e o aumento do desempenho como expressão da aprendizagem dos alunos, admitindo-se que esses tópicos não são, de forma alguma, estranhos ao processo escolar que se pretenda como de qualidade. Franco, Alves e Bonamino (2007, p. 991), a esse respeito, destacam que haveria um princípio no Ideb, o “de que qualidade da educação pressupõe que o aluno aprenda e passe de ano”.

De todo modo, a conceituação e o dimensionamento da qualidade da educação escolar se constituem num complexo problema político e pedagógico, pois concentram leituras da sociedade, da escola e das relações que entre elas se estabelecem. Oliveira e Araújo (2005) demarcam o debate apontando a necessidade de que os resultados de avaliações externas sejam incorporados sem que, contudo, se estabeleça determinismo nas relações entre eles e o trabalho dos professores, como se estes fossem os únicos responsáveis pelos resultados escolares. Outra posição, representativa de várias iniciativas no Brasil no sentido de responsabilização, quase que exclusiva, dos professores pelos resultados, é a defendida por Castro (2007, p. 61), para quem a qualidade da educação se expressa nos resultados de provas padronizadas e que, mesmo reconhecendo as precariedades na atividade docente, incluindo a sua remuneração, sustenta que a melhoria dos salários dos professores se daria pela “implantação de salários diferenciados mediante desempenho. Para isto, o ideal seria estabelecer sistemas de avaliação dos professores vinculados aos resultados das escolas”. Em tal perspectiva, as avaliações externas, além da associação mecânica entre desempenho em provas e trabalho docente desprezando frequentemente as condições das quais emergem esses resultados, confundem-se com um modelo de gerenciamento de recursos humanos, retirando-lhes todo o potencial pedagógico.

Oliveira (2011, p. 137), apoiando-se em Nevo (1998), destaca que as avaliações externas parecem ter sido desenhadas muito mais para produzir informações para os gestores de redes educacionais “do que para ajudar os professores a analisarem os resultados buscando rever seus métodos de ensino e práticas de avaliação”, e que “as comunicações de resultados das avaliações com foco na escola devem promover uma articulação com o trabalho pedagógico escolar de maneira a aprimorá-lo”. Gimeno Sacristán (1998, p. 320) alerta para a possibilidade de as avaliações externas comprometerem, pela ênfase na crença de seus resultados como portadoras da “última palavra”, os necessários debates críticos sobre a situação educacional e seus procedimentos, além de submeterem os professores a uma pressão externa, “subtraindo-lhes a autonomia profissional” e impedindo-os, contraditoriamente, de desenvolver trabalho mais profícuo com seus alunos.

Também contribuindo com as problematizações em face do desenfreado processo de incorporação das avaliações externas às políticas educacionais, é relevante o conjunto de ponderações efetuadas por Stobart (2010), que ressalva efeitos perversos e indesejáveis dessa modalidade de avaliação por se afastar das pretensões de uma avaliação para a aprendizagem, ou seja, que se constituiria num ponto para a inclusão com sucesso de todos os alunos concernidos à escolarização obrigatória.

Frente a isso, coloca-se como imperativo a busca de um processo mais amplo de avaliação de escolas e redes que, para além da utilização de provas padronizadas, tenha presente o caráter político da educação escolar. Reconhecer este caráter implica reconhecer profissionais e usuários das escolas como sujeitos que precisam ser considerados como tais nos processos avaliativos, pois, sem omitir-lhes as responsabilidades, são eles que, nos ambientes escolares, materializam a tarefa educativa.

Considerando-se, então, o potencial que as avaliações externas têm para as políticas educacionais, com suas reverberações no trabalho dos professores, desenvolveu-se uma pesquisa em quatro escolas da RME-SP com o objetivo de cotejar os resultados das avaliações externas com os das avaliações internas, com destaque para as semelhanças e diferenças entre as proficiências dos alunos, estimadas pela avaliação externa, e os conceitos emitidos pelos professores para esses mesmos alunos.

Resultados da pesquisa na Rede Municipal de Ensino de São Paulo

Neste artigo são apresentados alguns resultados dessa investigação que, entre outros objetivos, procurou cotejar os resultados das avaliações internas com aqueles de uma avaliação externa, a Prova São Paulo, avaliação externa da RME-SP existente entre 2007 e 2012, que utilizava a mesma escala de proficiência do Saeb para leitura e resolução de problemas, embora mais ampla em sua cobertura, pois participavam alunos da 2ª à 8ª séries, atuais 3º e 9º anos e com a divulgação, exclusivamente para as escolas, dos resultados de cada um de seus alunos. O estudo envolveu quatro Escolas Municipais de Ensino Fundamental (Emef), uma em cada região dessa rede, como aproximadamente 3.000 alunos. Coerente com visão dos pesquisadores, de que não se trata de substituir a avaliação conduzida pelos professores em favor de qualquer avaliação externa e de que, principalmente, em pesquisa “não se trabalha sobre os outros, mas sempre com os outros” (BARBIER, 2002, p. 14), desde o início da investigação procurou-se envolver os professores dessas Emef e para tanto recorreu-se à metodologia de pesquisa-ação, metodologia na qual (Op. cit., p. 54),

[...] o problema nasce, num contexto preciso, de um grupo em crise. O pesquisador não o provoca, mas constata-o, e seu papel consiste em ajudar a coletividade a determinar todos os detalhes mais cruciais ligados ao problema, por uma tomada de consciência dos atores do problema numa ação coletiva.

Com efeito, a pesquisa iniciada no ano de 2010 deu-se em escolas cujo ponto de partida era uma inquietação com as avaliações externas, com pressões que exerceriam sobre as equipes escolares, com falta de conhecimento sobre a dimensão técnica dessas avaliações, com a dificuldade de entendimento dos resultados, entre outros aspectos. Foram selecionadas escolas das quatro grandes regiões da cidade que, sem a natureza de representação estatísticas da RME-SP, trouxessem elementos mais amplos dessa rede para o debate e, consequentemente, para apontar alguns caminhos para entendermos e melhorarmos a relação dos professores com as avaliações externas e suas próprias avaliações, na perspectiva do diálogo entre elas tal como aportou Nevo (1998).

Para fins do exposto neste artigo, a pesquisa teve como referência o trabalho de reflexão-ação-reflexão, ou seja, a partir do cotejamento dos resultados das avaliações externas e internas foi feita uma análise reflexiva com a equipe escolar, diretor, coordenadores e professores, na tentativa de encontrar hipóteses e explicações para as incongruências entre os resultados de mesmos alunos nas duas avaliações, considerando que, sem uma simetria absoluta e sem as mesmas consequências políticas, essas avaliações de algum modo expressariam a qualidade do trabalho escolar. Assim, este estudo apresenta reflexões sobre os resultados dos alunos na Prova São Paulo dos quais, para ilustração da pesquisa, destacamos as análises das turmas das 2as e 4as séries relativas ao ano de 2009. Com base nestes dados, pretende-se refletir sobre os conhecimentos necessários sobre avaliação educacional para que os professores possam se apropriar de seus resultados e utilizá-los como instrumento de promoção de melhorias na qualidade do ensino.

A Prova São Paulo avaliava os alunos a partir da proficiência atingida em suas provas padronizadas, em quatro níveis: Abaixo do Básico, Básico, Adequado e Avançado. Nas avaliações internas, os professores atribuíram conceitos, ao final do ano, que podiam ser: NS (não suficiente), S (suficiente) e P (plenamente suficiente).

O cotejamento dos resultados das avaliações apontou, em alguns casos, incongruência entre eles. Em uma classe de 2ª série, por exemplo, com, aproximadamente, 40 alunos, em Língua Portuguesa, encontramos alunos que obtiveram conceito NS nas avaliações internas, mas ficaram nos níveis Adequado e Avançado na Prova São Paulo. Por outro lado, encontramos alunos que embora tenham ficado com conceito S na avaliação dos professores não conseguiram ultrapassar o nível Básico na Prova São Paulo.

Nessa mesma turma, em Matemática, a incongruência permanece. Alguns alunos foram considerados NS pelos professores, embora tenham ficado entre os níveis Adequado e Avançado na Prova São Paulo. Outros alunos obtiveram conceito S dos professores, ao mesmo tempo que figuraram entre aqueles com resultado Abaixo do Básico na Prova São Paulo.

Em outras análises, consideramos os resultados de aprovação e reprovação das turmas de 4ª série - série na qual existia a possibilidade de reprovação por desempenho - e percebemos que a incongruência se repetia. Em Língua Portuguesa, alunos que foram reprovados ficaram no nível Adequado na avaliação externa e vários alunos que foram aprovados, com conceito S e P, não passaram do nível Abaixo do Básico na Prova São Paulo. Em matemática a situação persiste, pois, enquanto alguns alunos obtiveram S ou P na avaliação dos professores não conseguiram superar o nível Abaixo do Básico na avaliação externa. Ou seja, se fossem avaliados somente pela Prova São Paulo alguns alunos seriam aprovados e, por outro lado, alguns alunos aprovados nas avaliações internas não teriam atingido patamares adequados de conhecimentos. Importante sublinhar dois elementos. O primeiro é que é pouco provável que um aluno consiga resultados elevados numa prova padronizada acertando ao acaso - “chutando”. O segundo é que uma prova padronizada é aplicada em uma única oportunidade no ano e seus resultados estão sujeitos à eventual baixa adesão dos respondentes. Disso decorre que alunos com baixas proficiências podem não ter se engajado na resolução das provas; o contrário não procede e por isso privilegiou-se alunos com alta proficiência e conceitos NS.

Diante desse quadro, na investigação buscou-se discutir com os professores, em reuniões, além de elementos mais gerais de avaliação educacional, tanto seus instrumentos de avaliação e os critérios utilizados para a atribuição de conceitos, quanto a fundamentação das provas padronizadas, o que significou discutir as matrizes de avaliação de leitura e resolução de problemas, a estrutura dos itens de múltipla escolha, a TRI, a interpretação pedagógica dos resultados e os critérios para avaliar os resultados, mediante os níveis de desempenho empregados na Prova São Paulo.

Um dos achados mais proeminentes, sem consistir na defesa da adoção das avaliações externas como expediente avaliativo que substitua os professores como avaliadores, é que os professores, sobretudo no caso desses alunos para os quais se constatou discrepâncias, lançavam de critérios, rigorosamente alheios àquilo que se estaria avaliando, como, por exemplo, disciplina, participação e realização de tarefas. Sem desconsiderar a influência na aprendizagem dos alunos e dos colegas com os quais compõem as suas turmas, esses aspectos não são os objetos de avaliação que os professores oficial e pedagogicamente devem avaliar, para fins dos processos de aprendizagem e do próprio fluxo escolar. Situação que diferia da organização das provas padronizadas, nas quais há uma preocupação em garantir sua validade, isto é, que seus objetos declarados estejam, efetivamente, no conteúdo de cada item, coerentes com a respectiva matriz de avaliação, para que se avalie aquilo que se declara estar avaliando.

Pode-se então ponderar que os casos relatados evidenciam a premência de uma apropriação aprofundada, pelos professores, dos fundamentos, objetivos e resultados das avaliações externas, para que elas possam ser utilizadas como um complemento ao desenvolvimento do seu trabalho, servindo como mais um mecanismo para avançar na qualidade da educação pública oferecida. O que valeria dizer que os professores necessitam, na verdade, de aprofundamento no conhecimento em avaliação educacional, pois que a esse campo pertencem qualquer avaliação e que qualquer avaliação deve atender a alguns requisitos para que a utilização de seus resultados possa ser coerente com o processo pedagógico mais amplo, certamente, ao qual se integra.

Considerações finais

Diante do exposto e do objetivo desse trabalho de evidenciar e problematizar quais seriam os conhecimentos necessários para que os professores explorem o potencial dos resultados das avaliações externas, ressaltamos e façam deles um ponto de apoio para suas próprias avaliações, a seguir, apontamentos que podem fornecer pistas para o alcance de tal finalidade.

Cabe retomar o que já foi indicado no tópico anterior, é premente a apropriação aprofundada, pelos professores, dos fundamentos, objetivos e resultados das avaliações externas, para que elas possam ser utilizadas como um complemento ao desenvolvimento do seu trabalho, servindo como mais um mecanismo para avançar na qualidade da educação pública oferecida. Assim, os professores precisam se apropriar de conhecimento sobre o contexto, os pressupostos, e o papel das avaliações externas, bem como o seu potencial de uso dos resultados no cotidiano da sala de aula.

As provas externas são organizadas com itens elaborados a partir de uma matriz que expressam os objetos de avaliação. Conhecer, estudar e esmiuçar essas matrizes que fundamentam os temas e assuntos das provas padronizadas é importante para que o professor possa cotejar com o currículo adotado pela escola e utilizado por ele na sala de aula, como realça Morais (2012, p. 569), ao comentar a necessidade do debate em torno da matriz da Provinha Brasil, que consiste numa prova padronizada elaborada pelo Inep para avaliação da alfabetização inicial.

Dada a natureza cumulativa das proficiências, os resultados das avaliações externas refletem o trabalho que foi desenvolvido há algum tempo e não no período imediatamente anterior à aplicação das provas, podendo refletir o que foi feito em sala de aula nos últimos anos. Por essa razão, o conhecimento sobre o planejamento é peça chave para o professor conseguir compreender o que seus alunos sabem e o que eles não sabem e, o que é mais importante, o que foi feito para que eles soubessem ou não determinado tema ou assunto. Assim, dominar a técnica sobre como planejar e utilizar o planejamento como ferramenta diária e constante do desenvolvimento do trabalho é fundamental para o professor explicar a produção dos seus alunos.

As avaliações externas fornecem dados que, se apropriados de forma consistente, podem revigorar os contornos da escola pública que realiza a sua função social na sociedade democrática de garantir o ensino-aprendizagem para todos os seus alunos. Trata-se, também, do desafio de organizar a escola para que ela possa criar as condições para minimizar as diferenças e desigualdades das origens dos alunos que, em geral, resultam em desigualdades de resultados escolares, visando garantir que todos os alunos aprendam, o que é considerado relevante em cada nível de ensino, como enfatizou Crahay (2002 e 2009).

Os trabalhos de Allal (2002 e 2013), ao enfocarem o processo de avaliação no interior das salas de aula e sua articulação com aspectos externos a esse espaço, particularmente os indicadores provenientes de avaliações externas, permitem-nos considerar que conhecer e utilizar os resultados das avaliações externas nas salas de aula e cotejá-los com as avaliações internas significa compreendê-los não como um fim em si mesmo, mas sim como possibilidade de associá-los aos esforços de desencadear transformações necessárias, no sentido de fortalecer a qualidade da escola pública democrática, que é aquela que deve se organizar para garantir a aprendizagem de seus alunos, condição incontornável para atingirmos a democratização da escola, mas desafio que não se obtém sem a efetiva participação dos professores, o que, certamente, requer, ainda que não exclusivamente, profissionais melhor capacitados na condução da avaliação.

Referências

ALLAL, L. The assessment of learning dispositions in the classroom. Assessment in Education: Principles, Policy & Practice, v. 9, n. 1, p. 55-58, 2002. [ Links ]

ALLAL, L. Teachers’ professional judgement in assessment: a cognitive act and a socially situated practice. Assessment in Education: Principles, Policy & Practice, v. 20, n. 1, p. 20-34, Mar 2013. [ Links ]

AZEVEDO, J. A temática da qualidade e a política educacional no Brasil. Educação & Sociedade, Campinas, n. 49, especial, p. 449-467, dez. 1994. [ Links ]

BARBIER, R. A pesquisa-ação. Brasília: Plano Editora, 2002. [ Links ]

BARRETTO, E. S. de S. et al. Avaliação na educação básica nos anos 90 segundo os periódicos acadêmicos. Cadernos de Pesquisa, São Paulo, n. 114, p. 49-88, nov. 2001. [ Links ]

BONAMINO, A. C. Tempos de avaliação educacional: o SAEB, seus agentes, referências e tendências. Rio de Janeiro: Quartet, 2002. [ Links ]

BRASIL. Presidência da República. Casa Civil. Subchefia para Assuntos Jurídicos. Decreto Nº 6.094, de 24 de abril de 2007: dispõe sobre a implementação do Plano de Metas Compromisso Todos pela Educação, pela União Federal, em regime de colaboração com Municípios, Distrito Federal e Estados, e a participação das famílias e da comunidade, mediante programas e ações de assistência técnica e financeira, visando à mobilização social pela melhoria da qualidade da educação básica. [ Links ]

BRASIL. Presidência da República. Casa Civil. Subchefia para Assuntos Jurídicos. Lei Nº 13.005, de 25 de junho de 2014: aprova o Plano Nacional de Educação - PNE e dá outras providências. Diário Oficial da União, Brasília, Seção 1 - Edição Extra, p. 1, 26 jun. 2014. [ Links ]

CASASSUS, J. A escola e a desigualdade. Brasília: Líber Livro Editora, 2007. [ Links ]

CASTRO, M. H. G. O desafio da qualidade. In: ITUASSU, A.; ALMEIDA, R. de (Org.). O Brasil tem jeito?: educação, saúde, justiça e segurança. v. 2. Rio de Janeiro: Jorge Zahar, 2007. p. 35-72. [ Links ]

COELHO, M. I. M. Vinte anos de avaliação da educação básica no Brasil: aprendizagens e desafios. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 16, n. 59, p. 229-258, abr./jun. 2008. [ Links ]

CRAHAY, M. Poderá a escola ser justa e eficaz?: da igualdade das oportunidades à igualdade dos conhecimentos. Trad. Vasco Farinha. Lisboa: Instituto Piaget, 2002. (Horizontes Pedagógicos, 92). [ Links ]

CRAHAY, M. Articuler l’évaluation en classe et le pilotage des systèmes, est-ce possible? In: MOTTIER LOPEZ, L.; CRAHAY, M. (Dir.). Évaluations en tension: entre la régulation des apprentissages et le pilotage des systèmes. Bruxelles: De Boeck, 2009. p. 233-251. (Pédagogies en Développement). [ Links ]

DOURADO, L. F. (Coord.). A qualidade da educação: conceitos e definições. Brasília: MEC/Inep, 2007. [ Links ]

ENGUITA, M. F. O discurso da qualidade e qualidade do discurso. In: GENTILI, P.; SILVA, T. T. (Org.). Neoliberalismo, qualidade total e educação: visões críticas. Petrópolis, RJ: Vozes, 1994. p. 93-110. [ Links ]

FERNANDES, R. Índice de Desenvolvimento da Educação Básica (Ideb). Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 26 p. (Série Documental. Textos para Discussão, 26). 2007. [ Links ]

FERNANDES, R.; GREMAUD, A. P. Qualidade da educação: avaliação, indicadores e metas. In: VELOSO, F. et al. (Org.). Educação básica no Brasil: construindo o país do futuro. Rio de Janeiro: Elsevier, 2009. p. 213-238. [ Links ]

FRANCO, C.; ALVES, F.; BONAMINO, A. Qualidade do ensino fundamental: políticas, suas possibilidades, seus limites. Educação & Sociedade, Campinas, v. 28, n. 100, especial, p. 989-1014, out. 2007. [ Links ]

FREITAS, D. N. T. A avaliação da educação básica no Brasil. Campinas, SP: Autores Associados, 2007. [ Links ]

GENTILI, P. O discurso da “qualidade” como retórica conservadora no campo educacional. In: GENTILI, P.; SILVA, T. T. (Org.). Neoliberalismo, qualidade total e educação: visões críticas. Petrópolis, RJ: Vozes, 1994. p. 111-177. [ Links ]

GIMENO SACRISTÁN, J. A avaliação no ensino. In: GIMENO SACRISTÁN, J.; PÉREZ GÓMEZ, A. Compreender e transformar o ensino. 4. ed. Tradução de Ernani F. da Fonseca Rosa. Porto Alegre: Artmed, 1998. p. 295-351. [ Links ]

GUSMÃO, J. B. Significados da noção de qualidade da educação na arena educacional brasileira. Revista Brasileira de Estudos Pedagógicos, Brasília, v. 94, n. 236, p. 100-124, jan./abr. 2013. [ Links ]

MADAUS, G. F. The influence of testing on the curriculum. In: TANNER, L. N. (Ed.). Critical issues in curriculum: Eighty-Seventh Yearbook of the National Society for the Study of Education. Part I. Chicago, IL: University of Chicago Press, 1988. p. 83-121. [ Links ]

MORAIS, A. G. Políticas de avaliação da alfabetização: discutindo a Provinha Brasil. Revista Brasileira de Educação, v. 17, n. 51, p. 551-742, set./dez. 2012. [ Links ]

NEVO, D. Evaluación basada en el centro: un diálogo para la mejora educativa. Traducción de María Serrano Bericat. Bilbao: Mensajero. 1997. [ Links ]

NEVO, D. Avaliação por diálogos: uma contribuição possível para o aprimoramento escolar. In: TIANA, A. (Coord.). Anais do Seminário Internacional de Avaliação Educacional, 1 a 3 de dezembro de 1997. Trad. John Stephen Morris. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais, 1998. p. 89-97. [ Links ]

OLIVEIRA, A. P. de M. A Prova Brasil como política de regulação da rede pública do Distrito Federal. 276 f. Dissertação (Mestrado em Educação) - Programa de Pós-Graduação em Educação, Universidade de Brasília. Brasília, 2011. [ Links ]

OLIVEIRA, R. P. Reformas educativas no Brasil na década de 90. In: OLIVEIRA, R. P.; CATANI, A. M. (Org.). Reformas educacionais em Portugal e no Brasil. Belo Horizonte: Autêntica, 2000. p. 77-94. [ Links ]

OLIVEIRA, R. P.; ARAUJO, G. C. Qualidade do ensino: uma nova dimensão da luta pelo direito à educação. Revista Brasileira de Educação, São Paulo, n. 28, p. 5-23, jan./abr. 2005. [ Links ]

PILATI, O. Sistema Nacional de Avaliação da Educação Básica - SAEB. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 2, n. 1, p. 11-30, 1994. [ Links ]

RISOPATRON, V. E. El concepto de calidad de la educación. Chile: Unesco/Orealc, 1991. [ Links ]

SILVA, T. T. O projeto educacional da nova direita e a retórica da qualidade total. In: SILVA, T. T.; GENTILI, P. Escola S. A.: quem ganha e quem perde no mercado educacional do neoliberalismo. Brasília: CNTE, 1996. [ Links ]

SOARES, J. F. Qualidade da educação: qualidade de escolas. In: OLIVEIRA, M. A. T. de; et al. (Org.). A qualidade da escola pública no Brasil. Belo Horizonte: Mazza, 2012. p. 75-96. [ Links ]

SOUSA, S. M. Z. Avaliação do rendimento escolar como instrumento de gestão educacional. In: OLIVEIRA, D. Gestão democrática da educação: desafios contemporâneos. Petrópolis, RJ: Vozes, 1997. p. 264-283. [ Links ]

SOUSA, S. M. Z.; ARCAS, P. H. Implicações da avaliação em larga escala no currículo: revelações de escolas estaduais de São Paulo. Educação: Teoria e Prática, Rio Claro, v. 20, n. 35, p. 181-199, jul./dez. 2010. [ Links ]

SOUSA, S. M. Z.; LOPES, V. V. Avaliação nas políticas educacionais atuais reitera desigualdades. Revista Adusp, São Paulo, p. 53-59, 2010. [ Links ]

STOBART, G. Tiempos de pruebas: los usos y abusos de la evaluación. Trad. Pablo Manzano Bernández. Madrid: Morata: Ministerio de Educación, 2010. [ Links ]

VIANNA, H. M. Fundamentos de um programa de avaliação educacional. Brasília: Líber Livro, 2005. [ Links ]

Recebido: 05 de Outubro de 2016; Aceito: 11 de Maio de 2017

*

OMA: Doutor em Educação, e-mail: ocimar@usp.br CM: Doutora em Educação, e-mail: crimacha@unicamp.br PHA: Doutor em Educação: e-mail: arcasmg@uol.com.br

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons