SciELO - Scientific Electronic Library Online

 
vol.13Educational data use incentive policies: experiences from internacional and brazilian contextEvaluation of the effectiveness of a public policy: affirmative action for family agriculture in Campus Concordia/IFC author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Share


Jornal de Políticas Educacionais

On-line version ISSN 1981-1969

J. Pol. Educ-s vol.13  Curitiba  2019  Epub July 18, 2022

https://doi.org/10.5380/jpe.v13i0.65594 

Artigos

Políticas de avaliação externa e suas interfaces com as ações municipais: o caso de cinco municípios cearenses

External evaluation policies and their interfaces with municipal actions: the case of five cities of Ceará

Políticas de evaluación externa y sus interfaces con las acciones municipales: el caso de cinco municipios cearenses

Anderson Gonçalves COSTA1 
http://orcid.org/0000-0001-8897-3816

Eloisa Maia VIDAL2 
http://orcid.org/0000-0003-0535-7394

Ana Lídia Lopes do Carmo MONTE3 
http://orcid.org/0000-0002-6752-5763

Sofia Lerche VIEIRA4 
http://orcid.org/0000-0002-0271-6876

1Mestrando em Educação pelo Programa de Pós-Graduação em Educação da Universidade Estadual do Ceará (PPGE-UECE). Integra o Grupo de Pesquisa Política Educacional, Gestão e Aprendizagem (GPPEGA). Bolsista CAPES

2Doutora em Educação (UFC). Professora Associada da Universidade Estadual do Ceará (UECE). Vice-líder do Grupo de Pesquisa Política Educacional, Gestão e Aprendizagem (GPPEGA). Coordenadora Adjunta da Universidade Aberta do Brasil na UECE

3Mestranda em Educação pelo Programa de Pós-Graduação em Educação da Universidade Estadual do Ceará (PPGE-UECE). Professora da Rede Municipal de Maracanaú - CE. Integra o Grupo de Pesquisa Política Educacional, Gestão e Aprendizagem (GPPEGA)

4Doutora em Filosofia e História da Educação (PUC-SP), com Pós-Doutorado pela Universidad Nacional de Educaciona a Distancia. Professora Titular da Universidade Estadual do Ceará (UECE). Líder do Grupo de Pesquisa Política Educacional, Gestão e Aprendizagem (GPPEGA). Bolsista de Produtividade em Pesquisa do CNPq


Resumo:

O artigo investiga o tema avaliação educacional em cinco municípios do Estado do Ceará, detendo-se sobre as iniciativas da gestão municipal na condução dessa política e/ou construção de iniciativas próprias. De natureza quanti-qualitativa, caracteriza-se como uma pesquisa exploratória, utilizando como procedimento o estudo de caso, bases de dados do Instituto de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) e entrevistas semiestruturadas junto a secretário(as) municipais de educação. Buscando entender as interfaces da avaliação municipal com as políticas estaduais e federais, detectou-se a institucionalização de uma cultura de avaliação que contribui para a mudança local. Foi possível confirmar o alinhamento dos municípios às políticas de avaliação externa conduzidas por outros entes da Federação. A análise dos dados não permitiu associar os resultados de evolução do Ideb à existência de sistemas municipais de avaliação, considerando, inclusive, sua criação e trajetória diversificada ao longo do tempo, bem como maturidade e condições estruturais distintas. O estudo revelou graus diferenciados de internalização das políticas de avaliação de larga escala, sendo estes mais robustos nos municípios que possuem sistemas próprios. Dentre as implicações da pesquisa, é oportuno registrar o entrelaçamento das políticas de avaliação externa nos diferentes municípios, muito embora, fatores próprios de cada contexto devam ser considerados. Note-se, ainda, a relevância de estudos de tal natureza para a compreensão da complexidade da questão federativa no país, de modo particular, no campo educacional.

Palavras-chave: avaliação educacional; sistemas de avaliação; políticas municipais; Ceará.

Abstract

This paper investigates educational evaluation in five municipalities of Ceará, focusing on municipal management initiatives in the conduct of this policy and/or construction of initiatives for its implementation. The quantitative-qualitative nature is characterized as an exploratory research using the case study as a procedure, the database of Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), and semi-structured interviews with the secretary of education of the municipalities. Seeking to understand the interfaces of the municipal evaluation with the state and federal policies, it was possible to confirm that the municipalities are aligned to the external evaluation policies that are conducted by other entities of the federation. Data analysis did not allow the association of the results of Ideb evolution to the existence of municipal systems, considering its creation and diverse paths through the time, as well as different maturity and structural conditions. The study showed different levels of large scale evaluation policies internalization, since they are more robust in the municipalities that have their own systems. Among the implications of this research, it is important to enroll the interlacement of external evaluation policies in different municipalities, although particular factors of each context must be considered. It must be noticed, still, the relevance of this type of studies to comprehend the complexity of federative issue in the country, specially in what concerns to education.

Keywords: educational evaluation; evaluation systems; municipal policies; Ceará.

Reseumen:

El artículo investiga el tema evaluación educativa en cinco municipios del Estado de Ceará, deteniéndose sobre las iniciativas de la gestión municipal en la conducción de esa política y/o construcción de iniciativas propias. De naturaleza cuantitativa, se caracteriza como una investigación exploratoria utilizando como procedimiento el estudio de caso, bases de datos del Instituto de Estudios e Investigaciones Educativas Anísio Teixeira (Inep) y entrevistas semiestructuradas junto a secretarios municipales de educación. Buscando entender las interfaces de la evaluación municipal con las políticas estatales y federales, se ha detectado la institucionalización de una cultura de evaluación que contribuye al cambio local. Fue posible confirmar la alineación de los municipios a las políticas de evaluación externa conducidas por otros entes de la federación. El análisis de los datos no permitió asociar los resultados de evolución del Ideb a la existencia de sistemas municipales de evaluación, considerando, incluso, su creación y sua trayectoria diversificada a lo largo del tiempo, así como la madurez y la condiciones estructurales distintas. El estudio reveló grados diferenciados de internalización de las políticas de evaluación a gran escala, siendo estos más robustos en los municipios que poseen sistemas propios. Entre las implicaciones de la investigación es oportuno registrar el entrelazamiento de las políticas de evaluación externa en los diferentes municipios, aunque los factores propios de cada contexto deban ser considerados. Se observa, además, la relevancia de estudios de tal naturaleza para la comprensión de la complejidad de la cuestión federativa en el país, de modo particular, en el campo educativo.

Palabras clave evaluación educativa; sistemas de evaluación; políticas municipales; Ceará.

Introdução

Nas últimas décadas, as iniciativas de avaliação externa têm se revelado centrais à compreensão da formulação e implementação de políticas educacionais no Brasil. Instituídas em nível nacional e estadual em distintos períodos, sua configuração multifacetada representa um campo fértil de análise. No âmbito federal, as primeiras iniciativas remontam ao final dos anos 1980, mas se firmam de modo explícito a partir da década de 1990, com a criação do Sistema de Avaliação da Educação Básica (Saeb). Sua reformulação, em 2005, permite a instituição do Índice de Desenvolvimento da Educação Básica (Ideb), em 2007. Passam, a partir de então, a se constituir como eixo central das políticas de governo em nível nacional.

O Ceará, tendo sido um dos primeiros estados brasileiros a criar um sistema próprio de avaliação (o Sistema Permanente de Avaliação da Educação Básica - Spaece), em 1992, tem se destacado como um caso peculiar de evolução positiva de resultados na última década. Iniciativas diversas, por sua vez, têm fomentado o pacto federativo nesta unidade, permitindo que municípios e escolas se sobressaiam em nível nacional, onde o caso de Sobral tem despertado especial atenção.

Buscando compreender a lógica de políticas de tal natureza em nível local, este artigo apresenta resultados de uma investigação sobre avaliação educacional em cinco municípios do estado do Ceará5 - Canindé, Fortaleza, Limoeiro do Norte, Maracanaú e Sobral - detendo-se sobre as iniciativas da gestão municipal na condução das políticas de avaliação e/ou construção de iniciativas para sua implantação.

A escolha dos municípios investigados ocorreu de forma aleatória, mas resguardando as características apontadas por Merrian (1988, apudANDRÉ, 2008, p. 17) para o estudo de caso enquanto procedimento técnico: particularidade, descrição, heurística e indução. A abordagem metodológica adota o que tem sido denominado na literatura como modelo misto de pesquisa (mixed model research), ao procurar integrar procedimentos quantitativos e qualitativos (JOHNSON; CHRISTENSEN, 2003). Conforme Santos Filho e Gamboa (2000), “a evidência quantitativa, mesmo nas ciências naturais, não pode ser interpretada independentemente das considerações qualitativas extra observação e extra teoria” (p. 51). Os dados quantitativos são provenientes do Censo Escolar 2018 e do Ideb 2017, ambos produzidos pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) e foram analisados com uso de estatística descritiva; e os qualitativos, provenientes de pesquisa de campo.

A coleta de dados da investigação se deu por meio de entrevista semiestruturada por considerar-se, conforme Triviños (1987, p. 152), que este tipo de entrevista “[...] favorece não só a descrição dos fenômenos sociais, mas também sua explicação e a compreensão de sua totalidade”. O instrumental foi aplicado junto a cinco gestores das secretarias municipais de educação6, por serem principais executores das políticas educacionais, em particular das trajetórias das iniciativas de avaliação em cada um dos municípios focalizados pelo estudo. As indagações versavam sobre a articulação dos municípios às políticas estaduais e nacionais de avaliação; o currículo adotado pelas redes; e as iniciativas municipais em termos de organização da máquina pública para atender as avaliações externas.

O tema da avaliação de desempenho em redes municipais não é novidade, tendo sido objeto de reflexão de inúmeros trabalhos (ALAVARSE; MACHADO; BRAVO, 2013; CARVALHO; OLIVEIRA; LIMA, 2014; FREITAS; REAL, 2011; VIDAL; VIEIRA, 2011; 2014). Os diferentes autores citados focalizam distintos aspectos do tema da avaliação. Embora se registre avanços nos indicadores vinculados às avaliações de larga escala, ainda é grande a iniquidade entre os resultados das redes de ensino no país, aprofundadas pela própria estrutura federativa, a heterogeneidade burocrática e institucional e as condições socioeconômicas de estados e municípios. Esses fatores, por si, trazem relevância e importância à temática, pela possibilidade de novas evidências empíricas que justifiquem os resultados de redes escolares, em contextos tão diversos, e por aquilatar a influência de fatores técnicos e políticos no âmbito da gestão municipal.

Além desta introdução, o artigo divide-se em quatro seções. A primeira apresenta uma discussão sobre as avaliações externas e as redes municipais de ensino; a segunda traz uma breve configuração dessas redes; a terceira é dedicada ao estudo do Índice de Desenvolvimento da Educação Básica (Ideb) no período 2005-2017; e a quarta seção trata das políticas de avaliação e as interfaces com as ações municipais, discutindo as contribuições da pesquisa de campo. As considerações finais procuram articular as discussões tecidas ao longo das seções.

Avaliações externas e redes municipais de ensino

As políticas de avaliação de larga escala têm sido um tema constante nas agendas internacional e nacional, tornando-se, nos últimos anos, epicentro das políticas educacionais. Nesse cenário, com o fortalecimento dos mecanismos avaliativos, impulsionados pela criação do Ideb, estados e municípios passaram a fazer uso dos resultados dessas avaliações de forma mais direta. Em muitos casos, criaram estratégias para a institucionalização de uma cultura avaliativa nas suas redes escolares, que inclui a criação de setores específicos no organograma institucional das secretarias municipais de educação, para análise e tratamento de indicadores; sistemas próprios de avaliação e mecanismos de bonificação para escolas e profissionais da educação. Entretanto, além de não terem se alastrado de forma universal, quando encontrados, os modelos revelam heterogeneidade das estratégias no desenvolvimento das políticas de avaliação.

Em pesquisa realizada com 4.309 municípios, Bauer et al. (2015) buscaram identificar o lugar que a avaliação externa ocupa na gestão da educação municipal e as implicações destas nas ações desenvolvidas. Constataram que 1.573 (38,9%) dos municípios respondentes possuíam sistemas próprios de avaliação, no ano de 2014, e 908 (21,1%) manifestaram interesse em construir seus sistemas. Os resultados da pesquisa também apontaram que a realização de avaliações próprias nos municípios brasileiros antecede à sua formalização legal, ou seja, em muitos casos não se identificou a regulamentação das avaliações, verificado em apenas 249 municípios (16%) do total que possui avaliação própria. Os dados mostram, por um lado, que, ainda que os municípios realizem suas próprias avaliações, são poucos os casos em que elas tenham sido objeto de institucionalização, possibilitando a descontinuidade das ações, à despeito do próprio jogo político - e a política é um dos lados da avaliação; de outro, a incipiência de experiências locais com sistemas próprios de avaliação denota a baixa capacidade das equipes técnicas em planejar a avaliação no âmbito municipal.

Esse tema foi objeto de análise de Freitas e Ovando (2015) em estudo realizado em 10 redes escolares municipais sul-mato-grossenses com uso do Ideb. As autoras identificaram que as avaliações municipais eram construídas de forma incipiente, buscando atender às especificidades locais e preservar a autonomia do município. Essa realidade tomava duas formas: “[...] incorporação seletiva de itens da avaliação nacional segundo critério de utilidade” ou “[...] tentativas de construção de iniciativas próprias de avaliação que, com exceção de uma rede, se mostraram improvisadas, ensaísticas, exploratórias, episódicas” (p. 979).

Em estudos nos quais abordaram as políticas educacionais que estariam associadas à melhoria da qualidade escolar em municípios paulistas, Alavarse, Machado e Bravo (2013) e Alavarse, Bravo e Machado (2013) destacam o uso do Ideb como parâmetro para mapear as deficiências da rede e direcionar ações no campo educacional, confirmando a valorização da avaliação externa junto a iniciativas das equipes municipais, das quais podemos destacar: o compromisso das instituições, a formação continuada de professores, a supervisão escolar e as iniciativas municipais de avaliação. Essas ações seriam parte de um “movimento que articula a avaliação externa com iniciativas para repensar e planejar as ações pedagógicas” (ALAVARSE; BRAVO; MACHADO, 2013, p. 25).

Em pesquisa realizada em dez municípios cearenses, Vidal e Vieira (2011) destacam aspectos das políticas locais que poderiam estar associados aos resultados alcançados. Além de apontarem o Ideb como elemento norteador, à época, constatou-se a baixa qualificação das equipes municipais, a dependência do município em relação às políticas do estado e da União, e a relação da melhoria dos indicadores com a continuidades das políticas.

Alguns dos fatores apontados pelos autores são também identificados por Freitas et al. (2011, p. 48) no assessoramento a redes municipais paulistas para criação de sistemas locais de avaliação. Eles destacam que os problemas se revelam tanto na dimensão técnica quanto na política. O primeiro conjunto de problemas é caracterizado pela falta de tecnologias no interior das redes de ensino, pela descontinuidade das ações e falta de pessoal qualificado para exercer cargos estratégicos. O segundo, tributário da “ação predatória” de grupos políticos resistentes às mudanças, que impedem a construção local de políticas de avaliação.

Os debates acerca da avaliação em larga escala e sua utilidade na gestão educacional têm alertado, também, para as diferentes finalidades que subjazem o uso desses instrumentos ao assumir um caráter exclusivamente competitivo, próprios da imposição dos mecanismos de mercado no interior do serviço público. Em síntese, os críticos a esse modelo reconhecem que a avaliação em larga escala desconsidera a complexidade do processo educativo, reduzindo-o a indicadores mensuráveis.

A esse grupo, também é caro a ideia de se adotar uma cultura de avaliação e de auditoria no interior das redes de ensino, por significar a inflexão da política educacional aos modelos neoliberais de educação. Para Freitas (2011, p. 284), esse cenário contribui para que a escola e seus profissionais passem por incompetentes, já que “os problemas da educação são reduzidos à figura do professor”, desresponsabilizando o Estado, de modo que a cultura de auditoria redirecionaria o uso das avaliações para a responsabilização e a regulação daqueles que se encontram na “ponta do sistema”.

A regulação, conceitua Maroy (2011), pode ser considerada como mecanismo de orientação, coordenação e controle sobre a dinâmica dos sujeitos e das instituições no seio dos sistemas educativos. As avaliações serviriam, então, como um desses mecanismos, promovendo novos arranjos de responsabilização sobre os profissionais da educação. Assim, tanto a gestão educacional como a performatividade (que mensura as atividades das instituições e dos sujeitos), seriam fatores chaves na instalação de uma nova cultura de gestão, como trata Ball (2002), pois se utilizariam diretamente das avaliações.

Sobre esses discursos, Brooke (2013) acentua que muitas críticas doutrinárias atribuem premissas negativas que, a priori, desqualificam o debate e impossibilitam pesquisas mais pormenorizadas sobre o tema. É também esse o posicionamento de Cerdeira, Almeida e Costa (2014) quando julgam haver algum exagero na interpretação do alcance dos sistemas de avaliação.

A discussão em torno das características já presentes nas redes municipais de ensino, junto aos debates contrários à adesão desses instrumentos, reafirma questões técnicas e políticas relacionadas à avaliação de redes. No entanto, não se pode negar que, entre a incipiência de boas práticas gerenciais e a fragilidade na condução das políticas, podem ser encontradas outras intenções que se materializam na gestão educacional, mas que não são capturadas tão facilmente. Aqui, cabe esclarecer, a gestão educacional é concebida como “um amplo espectro de iniciativas desenvolvidas pelas diferentes instâncias de governo, seja em termos de responsabilidade compartilhadas [...] ou de outras ações que desenvolvem em sua área de atuação” (VIEIRA, 2008, p. 26).

Configurações das redes municipais pesquisadas

Por ser uma atividade complexa, a aplicação de avaliação de larga escala precisa levar em consideração o tamanho da rede escolar em termos de matrículas e quantidade de escolas, como fator que impacta os resultados de rendimento e desempenho, como é o caso do Ideb (ALVES; SOARES, 2013).

Dados sobre as cinco redes públicas municipais analisadas, apresentados na Tabela 1, permitem que se esboce algumas características sobre elas.

Tabela 1 Número de matrículas do ensino fundamental, 2018 

Municípios Total Anos Iniciais Anos Finais
Total Federal Estadual Municipal Privada Total Federal Estadual Municipal Privada
Canindé 11.040 6.320 - 90 5.235 995 4.720 - 59 4.040 621
Fortaleza 300.444 168.018 - 1.026 87.573 79.419 132.426 411 15.093 66.758 50.164
Limoeiro do Norte 7.307 4.062 - - 3.001 1.061 3.245 - - 2.365 880
Maracanaú 36.935 19.994 - 111 14.534 5.349 16.941 - 67 14.059 2.815
Sobral 26.982 14.543 - - 11.569 2.974 12.439 - - 9.839 2.600

Fonte: INEP - Censo Escolar da Educação Básica 2018

Prevalece as matrículas públicas no ensino fundamental, sendo as redes municipais as maiores responsáveis pelo total de vagas. O tamanho das cinco redes é muito variável: a de Limoeiro do Norte é 28,8 vezes menor que a de Fortaleza; as redes de Maracanaú e Sobral possuem entre 20 e 30 mil matrículas e a rede de Canindé totaliza 9.275 alunos. As matrículas dos anos iniciais em todos os municípios são maiores que as dos anos finais, apontando para problemas no fluxo escolar, o que, de fato, é comprovado pela distorção idade-série (INEP, 2018).

A configuração da rede escolar conta com um conjunto de unidades escolares como mostra a Tabela 2.

Tabela 2 Número de estabelecimentos de ensino fundamental por dependência administrativa, 2018 

Município Total Anos Iniciais Anos Finais
Total Federal Estadual Municipal Privada Total Federal Estadual Municipal Privada
Canindé 73 67 - 1 56 10 49 - 1 39 9
Fortaleza 1.021 870 - 5 226 639 553 1 70 135 347
Limoeiro do Norte 25 24 - - 19 5 16 - - 12 4
Maracanaú 113 103 - 1 68 34 65 - 1 45 19
Sobral 66 56 - - 34 22 42 - - 30 12

Fonte: INEP - Censo Escolar da Educação Básica 2018

As redes públicas municipais possuem número de escolas muito distintos, caso de Fortaleza, que tem cerca de 12 vezes mais escolas que Limoeiro do Norte; a rede de Maracanaú possui o dobro de escolas de Sobral, embora sua matrícula só seja 25% maior; e a rede escolar de Canindé é próxima, em tamanho, a de Maracanaú, embora o número de alunos matriculados seja três vezes menor.

Essas informações conduzem à discussão sobre o efeito da geografia física na forma como se organiza a rede escolar, especialmente nos municípios que possuem zonas rurais extensas que demandam escolas em localidades com poucos alunos. Os dados também mostram que o número de escolas que ofertam anos iniciais, em todos os municípios, é superior ao de escolas que ofertam os anos finais, apontando para o fato de que, à medida em que a oferta educacional alcança níveis mais altos, ocorre um distanciamento das comunidades, geralmente, as mais vulneráveis.

Outro aspecto a ser observado na configuração das redes diz respeito à quantidade de docentes atuando nos anos iniciais e finais do ensino fundamental, como mostra a Tabela 3.

Tabela 3 Número de docentes do ensino fundamental regular, por dependência administrativa e município, 2018 

Anos Iniciais Anos Finais
Total Federal Estadual Municipal Privada Total Federal Estadual Municipal Privada
Canindé 259 - 7 193 60 266 - 7 206 59
Fortaleza 7.787 - 72 3.719 4.062 6.657 49 1.194 2.685 3.066
Limoeiro do Norte 185 - - 129 56 138 - - 82 59
Maracanaú 838 - 9 600 229 595 - 10 432 153
Sobral 518 - - 357 169 553 - - 418 148

Fonte: INEP - Censo Escolar da Educação Básica 2018

Os dados mostram que, das cinco redes escolares, duas delas - Canindé (48,4%) e Sobral (46,1%) - possuem menos de 50% dos docentes atuando nos anos iniciais do ensino fundamental. Esse dado chama a atenção quando confrontado com as matrículas nos anos iniciais e finais do ensino fundamental, considerando que Canindé e Sobral possuem respectivamente 56,4% e 54% dos alunos cursando os anos iniciais. A lotação de docentes tem relação com o número de escolas e turmas, mas também com organização pedagógica, como a existência de um professor de apoio na fase inicial de alfabetização das crianças.

O que se percebe são significativas disparidades entre a força de trabalho docente atuando nos anos iniciais e finais; com destaque para o município de Sobral, que apresenta o menor percentual de lotação de professores nos anos iniciais e a maior nos anos finais, e Maracanaú, que apresenta o maior percentual de matrículas nos anos finais e o terceiro maior percentual de docentes lotados nos anos iniciais do ensino fundamental. O aprofundamento sobre o entendimento acerca dos processos de lotação demanda investigação mais acurada sobre a organização pedagógica dos municípios no que tange aos dois segmentos do ensino fundamental.

Os dados de matrículas, escolas e docentes das cinco redes municipais apresentam especificidades que impedem comparações mais aprofundadas. Se, por um lado, Maracanaú e Sobral, Limoeiro do Norte e Canindé situam-se em faixas de matrículas próximas (28.593 e 21.408; 5.366 e 9.275), quando se observa o número de escolas e docentes, os valores apontam para contextos diversos. Para atender 25% a mais de alunos do que Sobral, Maracanaú mobiliza o dobro de escolas e de docentes para a oferta dos anos iniciais; os anos finais são ofertados em 50% a mais de escolas, com número equivalente de docentes de Sobral. Tais dados têm relação com as características de cada rede escolar, considerando forma de organização territorial, organização pedagógica do ensino e adensamento populacional, e pode vir a ter influência sobre os resultados de avaliação de larga escala, como veremos nos próximos tópicos.

Ideb 2005-2017 no ensino fundamental das redes municipais

Criado em 2005, o Ideb vem se destacando na política de avaliação, primeiro, por ser um indicador nacional e que tem ampla repercussão quando de sua divulgação; segundo, porque passou a compor o conjunto de critérios que orientam o apoio e a criação de alguns programas e projeto federais. A metodologia adotada para a construção do Ideb permite observar o comportamento da série histórica desde sua criação até a última edição do exame, em 2017.

Os dados do Gráfico 1 mostram a evolução do Ideb nos anos iniciais das redes municipais no período 2005-2017.

Fonte: Elaborado pelos autores a partir de dados do Ideb, INEP, 2018

Gráfico 1 Ideb das redes municipais, anos iniciais, 2005-2017 

Observa-se que, em 2005, a rede municipal com menor Ideb era Canindé (3,1) e a com maior, Sobral (4,0), com uma diferença de 22,5%. Em 2017, essa colocação se repete, sendo que Canindé obteve 5,2 e Sobral 9,1 - aumentando a diferença para 42,9%. Considerando os cinco municípios, a evolução de Sobral se destaca em relação aos demais desde a segunda edição do exame. Esse fato chama a atenção para o desenvolvimento de iniciativas de políticas públicas municipais que produziram forte impacto no desempenho escolar dos alunos, como veremos no tópico 4.

A análise dos dados mostra que, entre os anos 2005-2009, Sobral apresenta um crescimento do Ideb anos iniciais de 57,2% - muito superior aos demais municípios - e continua sua escalada de crescimento, em valores menores, mas de forma contínua. Observando o período 2005-2017, Maracanaú é o município que apresenta menor crescimento (48,7%), e Sobral, o maior (127,5%).

Os dados do Gráfico 2 permitem observar a evolução do Ideb nos anos finais das redes municipais no período 2005-2017.

Fonte: Elaborado pelos autores a partir de dados do Ideb, INEP, 2018

Gráfico 2 Ideb das redes municipais, anos finais, 2005-2017 

Realizando a mesma comparação nos anos finais, constata-se que, em 2005, a rede municipal com menor Ideb foi Fortaleza (2,5), e de maior, Limoeiro do Norte (3,1); em 2017, o menor resultado é de Canindé (4,7), e o maior, Sobral (7,2). Importante destacar que o município de Sobral só começa a ter Ideb nos anos finais, na edição de 2013, fato que é explicado pela inexistência de oferta dos anos finais do ensino fundamental por parte da rede municipal.

Nos anos finais há municípios cujas variações oscilam de um exame para outro como Limoeiro do Norte, entre 2005 e 2009, e Canindé, entre 2007 e 2011. Observando o período completo, Fortaleza é o município que mais cresceu (96%), ficando Canindé, Limoeiro do Norte e Maracanaú na faixa de 60% de crescimento. A situação de Sobral, por não ter participado das quatro primeiras edições do exame, não permite maiores análises.

Políticas de avaliação de desempenho e interfaces com as ações municipais

Buscando apreender ações da gestão municipal em relação às políticas de avaliação, foi realizada uma pesquisa de campo junto aos gestores municipais da educação dos cinco municípios, visando captar informações sobre aspectos relacionados às avaliações de larga escala.

As questões relativas à avaliação abordavam três aspectos: como se dava a articulação dos municípios com as políticas estaduais e nacionais de avaliação; a relação entre as matrizes das avaliações e o currículo adotado pelas redes; e a organização da máquina pública para atender às demandas das avaliações externas. Considerando a diversidade de contextos dos municípios pesquisados, espera-se, com essas questões, apreender as ações da gestão educacional.

Articulação das secretarias municipais com as políticas de avaliação

Ao tratar do tema das avaliações externas em cenários municipais, procurou-se investigar como o planejamento e a ação dos municípios se articulam às políticas estaduais e nacionais de avaliação. O propósito era observar em que medida a gestão municipal tem atuado na condução de políticas próprias ou apenas executado as do estado e da União. Foi verificado que alguns dos municípios pesquisados - Sobral, Fortaleza e Maracanaú - possuem sistema próprio de avaliação municipal e buscam dar configuração local às políticas de avaliação de larga escala que chegam ao município. Já Limoeiro do Norte e Canindé não possuem sistema próprio e encontram dificuldades em articular a dimensão local às demandas externas, colocando-se de forma passiva na implementação das políticas provenientes dos outros entes federados.

Sobral tem obtido os melhores resultados nacionais do Ideb nos anos iniciais, e adota uma postura de diluir, em sua proposta educacional, as políticas de avaliação provenientes do governo federal e estadual. O empoderamento do município das iniciativas de avaliação que chegam à sua rede é responsável por uma ‘adequação’ ao cenário local, como bem mostra o depoimento, ao afirmar

Tudo isso [resultados] é lançado num sistema de acompanhamento e monitoramento e Sobral compõe um resultado individual por aluno. Esse é um ponto que eu diria que tem uma relevância, importância muito grande a esse modelo de qualidade da educação. Isso tudo integrado aos indicadores, a mesma matriz do [Sistema Permanente de Avaliação da Educação Básica do Ceará] Spaece, a mesma matriz da Prova Brasil (Sec. Educação, Sobral).

Ainda que a dinâmica na condução de seu sistema possa ser apontada como preparação para os testes, é fato que ela é responsável por mudanças significativas, por se tratar de “uma construção local apoiada e não uma transferência desde um órgão central para a ‘ponta’ do sistema” (FREITAS et al., 2011, p. 39, grifos dos autores).

Sobre o papel da gestão municipal na condução de políticas de avaliação, Sousa (2013, p. 79), referindo-se à pesquisa realizada em municípios do estado de São Paulo diz que, “[...] os resultados das avaliações realizadas sob a coordenação dos municípios parecem ter maior potencial de mobilizar os diversos segmentos das redes de ensino para a garantia de desenvolvimento dos alunos”. Duas das redes pesquisadas - Canindé e Fortaleza - relataram a resistência de professores e gestores às avaliações em larga escala, como o Spaece e o Saeb.

A ideia de que a mudança é construída localmente, independentemente das medidas tomadas em outras instâncias, chama atenção, pois em Fortaleza a resistência dos professores tem diminuído a partir das iniciativas da secretaria. Segundo depoimento do secretário adjunto “não é que o professor não quisesse, ele não se sentia parte. Não havia um trabalho de rede para que todo mundo vestisse a camisa, hoje há. Então assim, as professoras do 2° ano, as professoras do 5° ano [...] já têm hoje uma outra visão, um outro sentimento” (Sec. Ad. Educação, Fortaleza).

Em Canindé essa aceitação ainda é problemática e a equipe municipal busca ‘desarmar’ os profissionais, e incluí-los na cultura avaliativa. A secretária de Canindé afirma que, apesar de demandar esforços com o acompanhamento pedagógico das escolas a partir dos resultados da avaliação, ainda encontra dificuldades de aceitação ao processo

Não há uma compreensão das escolas em relação à avaliação externa, criou-se, assim, digamos, uma distância muito grande. Então, nós estamos tentando, eu não diria reeducar, mas estamos tentando fazer com que as pessoas se desarmem, para essa ação, porque ainda se existe nas escolas uma… uma ideia de que avaliar é punir, de que avaliar é mostrar defeitos (Sec. Educação, Canindé).

O que se percebe é que a resistência às avaliações externas é reflexo do medo à auditoria. Freitas (2013) aponta que no Brasil tem ocorrido um aprisionamento da cultura de avaliação pela cultura de auditoria, utilizada como suporte a medidas de responsabilização dos atores escolares. Sobre o medo da auditoria e as implicações na profissão docente, Ball (2002, p. 10) retrata que “não é tanto, ou não só, uma estrutura da vigilância, mas um fluxo de performatividades tanto contínuas como acidentais” que cria incertezas e instabilidade do profissional diante de julgamentos diferentes vindo de agências e agentes diversos.

Adaptar-se a uma cultura de avaliação é um dos imperativos de várias iniciativas em nível nacional, como o Ideb, e no próprio estado do Ceará, com o Spaece. E o papel do gestor na adoção de uma cultura avaliativa, que busca reeducar os profissionais, “[...] envolve o instilar da atitude e da cultura segundo a qual o trabalhador se sente, ele próprio, responsável e ao mesmo tempo comprometido ou pessoalmente empenhado na organização” (BALL, 2002, p. 8).

Constata-se que a dimensão técnica não basta para que os municípios consigam inserir-se na lógica de monitoramento e acompanhamento das avaliações, pois há o fator de aceitação profissional de ser avaliado e reconhecer-se nos resultados, um lado político da avaliação. A esse respeito, Freitas et al. (2011, p. 32) defende que,

[...] um pacto de qualidade requer a adesão e o compromisso de todos os atores envolvidos com a produção da qualidade nas escolas, eles devem exercer seu direito/dever de participar e refletir sobre os destinos da educação. Isso nos leva à questão do papel do coletivo escolar [...].

A secretaria de educação de Maracanaú busca atender às políticas de avaliação a partir de iniciativas próprias, entre elas o monitoramento da rede. O secretário adjunto de educação diz que a secretaria tem o papel de “conceber políticas para articular as políticas estadual e nacional, no que diz respeito à avaliação da aprendizagem e também avaliação em larga escala”. E continua,

Desde 2007, a Secretaria começou a implementação do que a gente chama de avaliação de monitoramento e aí já tem políticas próprias como a avaliação do primeiro ano, a avaliação das escolas de educação integral, a avaliação diagnóstica de outras séries (Sec. Educação, Maracanaú).

A secretária de Limoeiro do Norte informa que a relação com as políticas de avaliação acontece pelo regime de colaboração com o governo do estado, tanto na formação dos professores como no monitoramento da aprendizagem.

O alinhamento do currículo das redes municipais com as matrizes das avaliações externas foi comentado por todos os gestores entrevistados, evidenciando a tendência das gestões municipais em organizarem seus sistemas de ensino visando atender ao que preconiza as avalições dos governos estadual e federal.

Com exceção de Sobral, que parece diluir as políticas estaduais e nacionais em suas próprias ações, quatro dos municípios pesquisados apontaram a colaboração com o governo estadual na articulação com a política de avaliação, em referência ao Spaece e ao Programa Alfabetização na Idade Certa (PAIC). Esse aspecto observado revela que, se por um lado, a realidade cearense contorna um cenário de anos atrás onde as políticas federais obscureciam o espaço do governo estadual na relação com o poder local - municípios e escolas (VIEIRA, 2011) -, por outro, inaugura outro nível de produção da regulação tanto no “alto” como no “baixo” do sistema (MAROY, 2011, p. 20).

Iniciativas próprias de avaliação e monitoramento da rede

A exemplo dos achados de Bauer et al. (2015) e Freitas e Ovando (2015), a criação de sistemas municipais de avaliação demanda esforços, sobretudo em relação à competência na condução de modelos próprios. Foram identificadas iniciativas de avaliação de alunos em três dos municípios pesquisados: Fortaleza, Maracanaú e Sobral. Elas são encaradas como formas de articulação com as políticas de avaliação externa, pois, a partir do monitoramento local, é possível corrigir algumas ações desenvolvidas. Entretanto, o desenho, a continuidade e a consistência desses sistemas não são homogêneas. Da mesma maneira, a ausência de iniciativas próprias em dois dos municípios - Canindé e Limoeiro do Norte - revela uma outra realidade. Nas duas situações, a capacidade técnica e as questões políticas não lhes são alheias.

A rede municipal de Fortaleza desenvolve, desde o ano de 2013, o Sistema de Avaliação do Ensino Fundamental (Saef), com o objetivo de monitorar as habilidades dos estudantes com base nos descritores estabelecidos para cada ano escolar. O Saef é um sistema online em que as escolas cadastram as avaliações realizadas internamente, gerando relatórios de desempenho de escolas e alunos. Lopes, Vieira e Ramos (2017, s/p) consideram “um sistema de monitoramento de avaliação eficaz, cujos dados, quando inseridos em sua fidelidade, presumem um resultado muito próximo do esperado nas avaliações externas, em especial o Spaece-Alfa”. Esse alinhamento entre os resultados é possível pela adoção da mesma matriz de referência do PAIC.

Em Sobral, a avaliação ocorre semestralmente, envolvendo os alunos do Infantil V até o 9º ano. A aplicação e divulgação dos resultados é feita pela Casa da Avaliação, uma gerência da secretaria municipal de educação. O secretário de educação focaliza o sistema de avaliação do município, priorizando-o enquanto sinal da qualidade da educação que é, depois, confirmada pelas avaliações de desempenho do governo estadual e federal, destacando o currículo do município que “acaba norteando os conteúdos que são trabalhados em sala de aula e consequentemente os conteúdos que são alvo do acompanhamento e monitoramento voltado para as avaliações” (Sec. Educação, Sobral).

No município de Maracanaú também foi verificado iniciativas de avaliação da rede com foco na aprendizagem dos alunos. A secretaria de educação aplica bimestralmente testes diagnósticos nos 1º, 2º e 3º ano do ensino fundamental e anualmente uma avaliação no 1º ano para fins de bonificação das escolas e professores. Há também avaliação das escolas de tempo integral, que atinge os alunos do 1º ao 9º ano.

Os três municípios com sistemas de avaliação possuem políticas de bonificação associadas aos resultados. O que se percebe é que os municípios com maior articulação aos sistemas estaduais e nacionais buscam implantar iniciativas que contribuam com seus resultados, em outras palavras, quanto maior a cultura de avaliação maior as medidas que consideram o desempenho como fator de qualidade.

Lançando mão das contribuições de Freitas e Ovando (2015) para pensar a realidade dos três municípios, percebe-se que, ao tempo em que se incorporam itens, matrizes e descritores, baseados no Spaece e na Prova Brasil, também são construídas ferramentas de ação próprias à realidade de cada rede de ensino. As três redes que apresentam sistemas próprios de avaliação demonstram o alinhamento às políticas federais e estaduais. Aprender a conviver com as avaliações externas é condição indispensável para saber conduzir processos locais, inclusive como garantia à autonomia municipal.

Institucionalização de células e diretorias de avaliação

Constatou-se que uma cultura de avaliação se traduz também pela institucionalização de órgãos no âmbito da gestão municipal. Fortaleza, Maracanaú e Sobral possuem no organograma estruturas que desenham, implementam ou executam as políticas de avaliação e se encarregam de monitorar e analisar os resultados e alinhar as matrizes curriculares.

A condução das políticas de avaliação no município de Maracanaú é feita pela Diretoria de Avaliação. Cabe a ela o monitoramento das avaliações externas, bem como a condução das iniciativas do município. Segundo o secretário adjunto, ela é “vigilante de forma proativa” ao conjunto de indicadores e na preparação dos instrumentais próprios, e cuida do retorno dos resultados aos gestores escolares, “recomendando as medidas necessárias para os avanços”. Em Fortaleza, esse papel cabe à Célula de Avaliação, que atua na leitura dos indicadores das avaliações e nas intervenções possíveis, a partir dos resultados encontrados, e conduz avaliações próprias.

No município de Sobral duas instâncias são responsáveis pela avaliação de desempenho: a Casa da Avaliação e a Superintendência Administrativa-Pedagógica. A primeira é uma gerência da secretaria de educação que agrega profissionais de língua portuguesa, matemática e pedagogia responsáveis pela construção de itens para uso na avaliação municipal. A segunda é uma célula da Coordenadoria de Desenvolvimento da Aprendizagem e da Gestão Pedagógica, a quem cabe a discussão dos indicadores educacionais produzidos pelas avaliações aplicadas.

Nos municípios de Canindé e Limoeiro do Norte, não existe estrutura no organograma da secretaria municipal com a finalidade única de tratar das avaliações externas. Em Canindé, a análise dos dados fica restrita a reuniões com os gestores escolares. Em Limoeiro do Norte, não existe setor específico, cabendo à equipe pedagógica da secretaria o trabalho com os indicadores e devolutivas às escolas.

Considerações Finais

As evidências obtidas neste estudo permitem apontar algumas relações entre as políticas de avaliação e as ações municipais. Como visto, a dimensão técnica junto com a política são importantes fatores na condução das ações municipais. Isso é percebido quando da institucionalização da avaliação municipal e articulação com as políticas federais e estaduais, revelando a existência de uma cultura de avaliação naqueles municípios que conduzem e assumem a avaliação externa como estratégia de mudança.

Os municípios que não têm ações próprias parecem depender mais das iniciativas de outros entes federados, distanciando-se de uma cultura de avaliação mais efetiva, embora ela esteja presente. Essas realidades diversas, como visto, afirmam as identidades locais, mas também revelam aspectos relacionados ao reconhecimento do valor das avaliações de larga escala para a gestão municipal.

Foi possível identificar algumas características dominantes nos municípios, porém, desenvolvidas em configurações socioeconômicas, institucionais e educacionais diferentes. Também, verificou-se medidas incipientes e outras já consolidadas, todas elas tributárias dos projetos políticos assumidos em cada um dos municípios, revelando igual importância para as dimensões técnicas e políticas, como já alertado pela literatura.

Não foi possível associar os resultados de evolução do Ideb à existência ou não de sistemas municipais de avaliação, pois cada um apresentava idade, condições estruturais e maturidade muito distintas. Nos três municípios com sistema próprio de avaliação, se faz presente mecanismos de accountability, com premiação e bônus para escolas e educadores. As informações coletadas junto a esses municípios mostram que o protagonismo da política de avaliação assume relevância distinta em função de configurações locais, que dependem em parte de capacidade técnica das equipes, mas que têm forte influência da política local.

5Os autores agradecem aos pesquisadores envolvidos na coleta de dados nos munícipios: Erineuda Amaral e Paulo Alexandre Queiroz (Canindé); Lindolfo Júnior, Ranulfo Freitas e Thales Mesquita (Limoeiro do Norte); Carlos Henrique Viana, Esmeraldina Januário, Hedilton Araújo e Iasmin Marinho (Fortaleza); Ana Lídia Lopes, Hanuzia Ferreira e Ridson Araújo (Maracanaú); Anderson Costa, Claudia Mendes e Liduina Gomes (Sobral).

6As entrevistas foram gravadas e transcritas e os participantes informados sobre as finalidades, bem como sobre o uso na divulgação dos resultados, por meio do Termo de Consentimento Livre e Esclarecido (TCLE).

Referências

ALAVARSE, O.; MACHADO, C.; BRAVO, M. H. Políticas educacionais, avaliação de sistema e melhoria da qualidade na educação básica: experiências de dois municípios paulistas. EccoS Revista Científica, n. 31, 2013. [ Links ]

ALAVARSE, O.; BRAVO, M. H.; MACHADO, C. Avaliações externas e qualidade na educação básica: articulações e tendências. EAE, v. 24, p. 13-31, 2013. [ Links ]

ALVES, M. T. G.; SOARES, J. F. Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa, v. 39, n. 1, p. 177-194, 2013. [ Links ]

ANDRÉ, M. E. D. A. Estudo de caso em pesquisa e avaliação educacional. Brasília: Liber Livro, 2008. [ Links ]

BALL, S. J. Reformar escolas/reformar professores e os terrores da performatividade. Revista Portuguesa de educação, v. 15, n. 2, 2002. [ Links ]

BAUER, A. et al. Avaliação em larga escala em municípios brasileiros: o que dizem os números? Estudos em Avaliação Educacional, v. 26, n. 62, p. 326-352, 2015. [ Links ]

BROOKE, N. Sobre a equidade e outros impactos dos incentivos monetários para professores. Estudos em Avalição Educacional, v. 24, n. 55, p. 34-62, abr./ago. 2013. [ Links ]

CARVALHO, C. P.; OLIVEIRA, A. C. P; LIMA, M. F. M. Avaliações externas: tensões e desafios para a gestão escolar. EAE, São Paulo, v. 25, n. 59, p. 50-76, 2014. [ Links ]

CERDEIRA, D. G.; ALMEIDA, A. B.; COSTA, M. Indicadores e avaliação educacional: percepções e reações a políticas de responsabilização. Estudos em Avaliação Educacional, v. 25, n. 57, p. 198-255, 2014. [ Links ]

FREITAS, D. T. F; REAL, G. C. M. (Org.). Políticas e monitoramento da qualidade do ensino fundamental: cenários municipais. 1ed.Dourados: Ed. UFGD, 2011. [ Links ]

FREITAS, D. T. F.; OVANDO, N. G. A avaliação educacional em contextos municipais, Edu. & Soc., Campinas, v. 36, nº. 133, p. 963-984, out-dez, 2015. [ Links ]

FREITAS, L. C. et al. Avaliação educacional: caminhando pela contramão. Editora Vozes, 2011. [ Links ]

GERHARDT, T. E.; SILVEIRA, D. T. (Org). Métodos de Pesquisa. 1ª Ed. Porto Alegre: Editora da UFRGS, 2009. [ Links ]

JOHNSON, B.; CHRISTENSEN, L. B. Educational research: quantitative, qualitative, and mixed approaches. 2 ed. Boston: Allyn & Bacon, 2003. [ Links ]

LOPES, A. F. N; VIEIRA, L. M. N; RAMOS, J. F. P. O SAEF como instrumento de avaliação educacional. Revista Brasileira de Educação Básica, v. 01, p. 01-15, 2017. [ Links ]

MAROY, C. Em direção a uma regulação pós-burocrática dos sistemas de ensino na Europa? In. OLIVEIRA, D. A. & DUARTE, A. (org). Políticas públicas e educação: regulação e conhecimento. Belo Horizonte: Fino Traço, 2011, p. 19-46. [ Links ]

SANTOS FILHO, J. C.; GAMBOA, S. S. (Org). Pesquisa educacional: quantidade-qualidade. São Paulo: Cortez, 2000. [ Links ]

SOUSA, S. Z. Avaliação externa e em larga escala no âmbito do Estado Brasileiro: interfaces de experiências estaduais e municipais de avaliação da educação básica com iniciativas do governo federal. In: BAUER, A.; GATTI, B. A.; TAVARES, M. R. Vinte e cinco anos de avaliação de sistemas educacionais no Brasil: origem e pressupostos. v. 2. Florianópolis: Insular, 2013. [ Links ]

TRIVIÑOS, A. S. Introdução à pesquisa em Ciências Sociais: a pesquisa qualitativa em educação. São Paulo: Atlas, 1987. [ Links ]

VIDAL, E. M.; VIEIRA, S. L. (Orgs.). Educação e Território: contribuição para o debate na região do Maciço de Baturité, Ceará. Fortaleza: Liber Livro, 2014. [ Links ]

VIDAL, E. M.; VIEIRA, S. L. Gestão educacional e resultados no Ideb: um estudo de caso em dez municípios cearenses. Estudos em Avaliação Educacional, v. 22, n. 50, p. 419-434, 2011. [ Links ]

VIEIRA, S. L. Educação básica: política e gestão da escola. Fortaleza: Liber Livro, 2008. [ Links ]

VIEIRA, S. L. Poder local e educação no Brasil: dimensões e tensões. RBPAE, v.27, n.1, p. 123-133, jan./abr. 2011. [ Links ]

Recebido: Março de 2019; Aceito: Maio de 2019; Publicado: Julho de 2019

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution NonCommercial No Derivative, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que sem fins comerciais, sem alterações e que o trabalho original seja corretamente citado.