Introdução

Este texto apresenta os resultados de um estudo que teve o propósito de investigar as concepções de um grupo de gestores escolares da Rede Pública Estadual de Ensino, na cidade São Paulo, acerca dos efeitos e usos dos resultados da avaliação em larga escala obtidos por meio do Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (Saresp).

O Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp) se caracteriza como uma avaliação de sistema que viabiliza o diagnóstico da qualidade nos componentes curriculares de Língua Portuguesa e Matemática, assim como o controle da eficiência e da eficácia do ensino, que são marcadas, sobretudo, por seu objeto avaliado, ou seja, os sistemas educacionais.

As avaliações em larga escala, especialmente as vinculadas à educação básica, têm se constituído numa temática que fomenta inúmeros debates no mundo acadêmico e político, bem como gerado pressão sobre os professores e as escolas, afunilamento do currículo, entre outros (^{MELLO E SILVA; TORRES, 2016}). Contudo, por mais paradoxal que possa ser, trata-se de assunto ainda pouco compreendido por gestores e professores das escolas de educação básica, ainda que eles sejam protagonistas no processo de implementação e usos desse modelo de avaliação (^{PIMENTA, 2012}) que, diante das demandas sobre a qualidade do ensino, ganhou relevância no cenário nacional e internacional nos últimos anos.

Entende-se que essa “falta de compreensão” por parte de gestores e professores, com destaque para os primeiros, deve-se ao fato de que

[...] a avaliação foi transformada num instrumento de governação [sic] política e numa técnica de gestão ‘quando importou’ da economia e da gestão, novas teorias e metodologias avaliativas, com destaque para a gestão da qualidade total e para os processos de garantia da qualidade. (^{LIMA, 2015}, p. 1.342).

Assim, por meio do “[...] debate político e teórico, verificou-se o crescente interesse pelo significado dessa prática, pelo seu papel no âmbito da política e administração educacional, pelos seus usos e reflexos” (^{FREITAS, 2007}, p. 1) que recaem de modo mais efetivo na escola, cabendo aos gestores a responsabilidade de se apropriarem dos resultados dessas avaliações e estabelecerem planos de ação para que professores e demais educadores façam uso deles em benefício da melhoria da qualidade do ensino.

A partir de 1990, com exceção da educação infantil, esse modelo de avaliação começou a firmar-se como instrumento de monitoramento da educação básica e superior, propondo-se não apenas a aferição da qualidade dos resultados desses dois níveis de ensino como a indução da qualidade pretendida para os sistemas e as instituições educativas (^{FREITAS, 2007}). Ademais, o Estado aperfeiçoou a produção e a difusão de dados estatísticos no campo educacional por meio do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), fazendo com que, na década seguinte, a iniciativa fosse seguida por várias unidades da Federação.

Nesse contexto, São Paulo criou o Índice de Desenvolvimento da Educação do Estado de São Paulo (Idesp) com o objetivo de monitorar a educação, estabelecendo metas que as escolas devem alcançar ano a ano (^{SÃO PAULO, 2014}). Trata-se de um indicador de qualidade do Ensino Fundamental (EF) e do Ensino Médio (EM) que utiliza o desempenho dos alunos nos exames Saresp e o fluxo escolar.

Partindo-se do pressuposto de que as avaliações em larga escala têm adquirido relevância na organização dos processos de planejamento e gestão educacional e que há a pretensão de que tais resultados sejam incorporados pelos educadores na consecução do trabalho escolar, desenvolveu-se este estudo com o propósito de identificar e analisar as concepções de um grupo de gestores de Escolas de EF e EM acerca das finalidades dos resultados do Saresp.

O texto está organizado da seguinte forma: inicialmente, realiza-se uma breve revisão teórica sobre a avaliação em larga escala, sinalizando o papel atribuído a ela no que tange à qualidade do ensino; em seguida, discute-se sobre o sistema de avaliação da Secretaria de Estado da Educação de São Paulo e o emprego da avaliação em larga escala como instrumento da política de mérito dessa rede de ensino; e, finalmente, são apresentados e discutidos os procedimentos metodológicos e os resultados do estudo em pauta.

Avaliação Educacional em Larga Escala

Nas últimas décadas, a avaliação educacional passou a ser identificada a partir de duas dimensões: uma interna e outra externa. A primeira constitui-se, dentre outras, pela avaliação da aprendizagem realizada pelo professor como parte do seu fazer pedagógico, a autoavaliação e a avaliação institucional. Por sua vez, a externa manifesta-se pela avaliação do desempenho escolar, em larga escala, de natureza sistêmica, realizada por agente externo à escola, podendo orientar ações das mais variadas ordens nas políticas educacionais (^{ALAVARSE; BRAVO; MACHADO, 2013}; ^{KLEIN; FONTANIVE, 1995}; ^{WIEBUSCH, 2012}).

Assim, se, por um lado, a institucionalização da avaliação em larga escala como componente do monitoramento da educação básica e superior, no Brasil, é um fenômeno recente, por outro, o interesse pela avaliação enquanto elemento norteador das políticas educacionais é bem anterior a 1990 (^{FREITAS, 2007}, p. 7). Contudo, é nessa década que as atenções por parte dos governos federal e locais intensificaram suas políticas de monitoramento da educação e esse modelo de avaliação, com diferentes propósitos, tornou-se elemento chave dessa empreitada (^{BAUER, 2006}; ^{FREITAS, 2007}).

A título de esclarecimento, em razão do tema desta pesquisa, cabe frisar que, por vezes, emprega-se, de forma equivocada, o termo avaliação em larga escala como sinônimo da avaliação externa. Segundo ^{Werle (2010, p. 22, grifo do autor)}, “a avaliação externa pode designar avaliação de uma instituição, realizada por profissional ou firma especializada neste tipo de consultoria, abrangendo todo o escopo ou apenas parte das ações institucionais”. Ela é compreendida como todo processo avaliativo do desempenho das escolas, desencadeado e operacionalizado por sujeitos alheios ao cotidiano escolar (^{MACHADO, 2012}), sendo, por esse motivo, chamada de externa. Portanto,

[...] a avaliação em larga escala é um procedimento amplo e extensivo, envolvendo diferentes modalidades de avaliação, realizado por agências reconhecidas pela especialização técnica em testes e medidas, abrangendo um sistema de ensino, ou seja, todas as escolas de um determinado nível ou série deste sistema, mesmo que utilizando procedimentos amostrais, na maior parte das vezes voltada predominantemente para o foco da aprendizagem dos alunos e com a finalidade de obter resultados generalizáveis ao sistema. (^{WERLE, 2010}, p. 22, grifo do autor).

Percebe-se, portanto, que nem toda avaliação externa ocorre em larga escala, mas a “avaliação de larga escala é sempre uma avaliação externa às instituições escolares avaliadas”, sendo fundamental “agregar ao termo avaliação externa com a informação de que é ‘em larga escala’, pois é esse adjetivo que a diferencia quanto ao tipo e abrangência” sistêmica (^{WERLE, 2010}, p. 22).

Assim sendo, independentemente da denominação a ela atribuída, trata-se de um modelo de avaliação que busca aferir o desempenho demonstrado pelos alunos com o propósito de se confrontar o que o ensino é e como ele deveria ser do ponto de vista do alcance de algumas habilidades sendo realizadas para diferentes fins.

Para Kellaghan (2001 apud ^{VIANNA, 2003}, p. 45), “uma das prioridades da avaliação em larga escala é a identificação de problemas de aprendizagem, com o fito evidente de imediata superação do quadro apresentado”, mas o autor evita utilizar o termo recuperação por entender que ele gera descrédito no meio educacional.

^{Barreto e Pinto (2001, p. 57)}, por meio de uma investigação que analisou o estado da arte em avaliação nos anos 1990, acrescentam que, dentre os objetivos das avaliações em larga escala, destaca-se o de:

[...] delinear o perfil cognitivo da população com base em informações de caráter censitário, permitindo reconstituir detalhes da trajetória escolar de populações que frequentam a escola e identificar a transição de um estágio cognitivo dos sujeitos para outro.

Ademais, essas autoras evidenciam uma preocupação com os novos modelos de organização da produção e a competência da mão de obra que está sendo formada para empregar tecnologia moderna, tendo a avaliação um papel de destaque para aferir essa competência (^{BARRETO; PINTO, 2001}).

A avaliação em larga escala pode ainda se caracterizar como censitária quando procura abranger toda ou a maior parte dos alunos do período escolar a que se destina, e amostral quando é aplicada numa parcela, ou seja, um grupo considerado estatisticamente representativo do conjunto de alunos do ano escolar avaliado, a fim de que os dados obtidos e as análises feitas possam ser considerados válidos para o conjunto da população (^{KLEIN; FONTANIVE, 1995}; ^{ROCHA, 2015}).

Fortalecida e ampliada no contexto das reformas educativas dos anos 1990 (^{OLIVEIRA, 2000}), a avaliação em larga escala vem, cada vez mais, adquirindo centralidade na formulação das políticas educacionais em vários níveis (^{VIANNA, 2003}). No caso da educação básica, ela tem, paulatinamente, ultrapassado as cercanias das escolas, estreitando a distância entre o avaliador (governo) e o avaliado (escola), bem como produzindo referenciais nacionais de qualidade de ensino (^{BONAMINO; SOUSA, 2012}).

O Sistema de Avaliação da Secretaria da Educação de São Paulo e a Meritocracia Escolar

O Saresp é uma avaliação de caráter censitário implantada em 1996, que abrange, obrigatoriamente, a participação de todas as escolas públicas estaduais do ensino regular. São avaliados alunos do 3º, 5º, 7º e 9º anos do EF e da 3ª série do EM. Com o intuito de monitorar a qualidade do ensino paulista e subsidiar as políticas públicas educacionais, o Saresp se constitui em provas cognitivas e questionários aplicados aos alunos, professores, pais e gestores da rede estadual paulista de ensino público (^{SÃO PAULO, 2012}).

Com relação à sua trajetória, essa avaliação tem três fases. A primeira (1996 a 2002) deu-se no contexto da ascensão da avaliação em larga escala ocorrida em âmbito nacional, na década de 1990. Representa sua construção identitária, na medida em que o Saresp, nesse primeiro momento, “se colocou como política educacional capaz de contribuir para uma nova cultura de avaliação no ensino de São Paulo, em busca de melhoraria da qualidade educacional” (^{CALDERÓN; OLIVEIRA JÚNIOR, 2012}, p. 2).

Dentre os elementos que contribuíram para essa construção identitária, destacam-se o embate gerado durante sua implantação, as oposições ideológicas por parte da comunidade educacional e os desencontros em sua atuação e aprimoramentos.

A segunda fase (2003 a 2007) se caracterizou pela instabilidade em sua estrutura em razão das constantes trocas de comando na Secretaria de Estado da Educação de São Paulo (SEE) (^{BAUER, 2006}; ^{CALDERÓN; OLIVEIRA JÚNIOR, 2012}, ²⁰¹⁴). Foram três governos e três secretários de Estado diferentes. Essas mudanças acabaram gerando alguns desencontros, mas coube à equipe de governo a preparação da terceira fase, especialmente no ano de 2007, para sua implantação, em 2008, cujo modelo permanece vigente.

Essa terceira fase caracteriza-se por um conjunto de mudanças “que não só confirmaram o contínuo processo de aprimoramento desse sistema de avaliação como também sua condição de estabilidade enquanto política avaliativa em larga escala” (^{CALDERÓN; OLIVEIRA JÚNIOR, 2012}, p. 10). Ademais, no bojo dessa reestruturação, encontram-se a reformulação do currículo, a criação de Matrizes de Referência próprias de avaliação, o lançamento do Programa de Qualidade da Escola (PQE) e, junto com ele, a criação do Idesp.

Cabe frisar que essas ações intentaram o aprimoramento e valorização “da questão dos resultados, bem como as intervenções a partir deles, como forma de medir e melhorar a qualidade educacional” (^{CALDERÓN; OLIVEIRA JÚNIOR, 2012}, p. 10) na perspectiva da nova gestão pública (^{OLIVEIRA, 2015}) e do chamado Estado Avaliador (^{AFONSO, 1998}; ²⁰⁰³; ^{PERONI, 2009}; ^{SOUSA, 2003}), tais como meritocracia, classificação e responsabilização. A meritocracia na Gestão Educacional da SEE se insere no contexto de reformas a partir das quais se parte do entendimento de que diante da existência de uma suposta crise de eficiência do Estado (^{RAMOS, 2016}), tem-se, entre as proposições do liberalismo que orienta e implementa os ajustes desencadeados no Brasil, de modo particular a partir da década de 1990 (^{OLIVEIRA, 2015}), o pressuposto da reforma do Estado com o propósito de ampliar sua eficiência e capacidade de regulação (^{BRASIL, 1997}; ^{LIMA, 2015}; ^{OLIVEIRA, 2015}; ^{ZANARDINI, 2007}).

Grosso modo, o objetivo dessa reforma é fazer com que a administração pública se torne mais eficiente, oferecendo aos cidadãos mais serviços e de melhor qualidade. Em outras palavras, busca-se “fazer mais e melhor com os recursos disponíveis”, entendendo que

A redução de custos será perseguida ao mesmo tempo em que se promove a contínua revisão e aperfeiçoamento das rotinas e processos de trabalho, simplificando procedimentos, desburocratizando e estabelecendo metas e indicadores de desempenho e de satisfação do cidadão. (^{BRASIL, 1997}, p. 7).

Para além do setor produtivo, no campo educacional, nesse mesmo período, acentua-se o discurso ancorado na necessidade de aprofundamento do processo de descentralização nos sistemas de ensino enfatizando-se “a urgência de se instaurar, nesses sistemas, critérios de excelência, de eficácia e eficiência, de competitividade e de outros aspectos do campo da racionalidade econômica” (^{MARTINS, 2001}, p. 29).

Assim, “as sociedades modernas, inspiradas nos ideais iluministas”, a exemplo do que ocorreu em São Paulo, “depositam uma confiança incomensurável na educação como meio de promoção da justiça social, omitindo toda alusão à ingerência que podem ter as demais relações sociais” (^{VALLE; RUSCHEL, 2010}, p. 77).

Nesse contexto, no ano de 2008, a SEE implantou o Programa de Qualidade da Escola (PQE), que tem como objetivo promover a melhoria da qualidade e a equidade do sistema de ensino na rede estadual paulista, dando ênfase ao direito que todos os alunos de rede pública possuem: aprender com qualidade (^{SÃO PAULO, 2012}).

No Programa é assinalada a importância de obter informações acerca dos desempenhos das escolas estaduais e, para tanto, é utilizado o Idesp como indicador de qualidade, para aferir o desempenho das instituições de ensino. Trata-se de um avaliador sistêmico calculado por meio de dados do fluxo escolar, medido pela taxa média de aprovação em cada etapa da escolarização (anos iniciais e anos finais do ensino fundamental e ensino médio), coletados pelo Censo Escolar e pelo desempenho dos alunos nos exames de proficiência do Saresp (^{NOVAES, 2014}).

A SEE vê o Idesp, entre outras coisas, como uma alternativa salvacionista para as soluções do trabalho cotidiano de seus gestores por considerar que esse indicador oferece capacidade de planejamento escolar aos Diretores, na medida em que apresenta, de forma clara, o número de alunos que estão nos diferentes níveis de proficiência. Para tanto, elabora-se uma classificação dos alunos do 3º, 5º, 7º e 9º anos do EF e da 3ª série do EM considerando o desempenho deles em Língua Portuguesa e Matemática com base em uma escala que mede os resultados de forma ordenada. Além disso, escolhe os números que definem os pontos da escala de proficiência¹ de forma arbitrária, sendo constituída com os resultados da aplicação do método estatístico de análise denominado Teoria da Resposta ao Item (TRI) (^{SÃO PAULO, 2014}). Ao considerar a proporção de alunos distribuídos nos quatro níveis de proficiência, o Idesp expressa o maior objetivo da SEE, qual seja, melhorar a equidade do sistema com foco na qualidade (^{CASTRO, 2009}).

Na perspectiva da SEE, o Idesp foi essencial para a implantação do PQE porque, além de avaliar anualmente cada escola de sua rede, propõe metas para o aumento dos índices de qualidade do ensino. O pressuposto básico é que uma boa escola é aquela cuja maior parte dos alunos aprende as competências e habilidades requeridas para o ano em um período ideal - o ano letivo (^{SÃO PAULO, 2011}).

De posse desses resultados, cabe aos gestores e ao conjunto de professores das escolas avaliadas identificar suas potencialidades e fragilidades e, a partir daí, definir metas para implementar seu projeto pedagógico, bem como rever práticas pedagógicas que, eventualmente, não estejam atendendo às demandas da escola. Ou seja, “o Idesp tem o papel de dialogar com as escolas, fornecendo-lhes, ao mesmo tempo, um diagnóstico que aponte suas fragilidades e potencialidades e um norte que permita sua melhoria constante” (^{SÃO PAULO, 2010}, p. 1).

Assim,

Associando a avaliação à melhoria da qualidade do ensino, o documento de implantação revela que tal qualidade é dependente, por um lado, do compromisso dos gestores do sistema de ensino e, por outro, das escolas, sendo estas particularmente responsabilizadas pelo desempenho dos alunos. (^{BONAMINO; SOUSA, 2012}, p. 380).

Não obstante, sabe-se que a utilização de resultados de avaliação, mesmo com os esforços e avanços, ainda é tímida. Em geral, essa prática, em muitas escolas, é pontual, restringindo-se ao planejamento anual, levando a crer que nem sempre os resultados dessa avaliação norteiam o plano de gestão das escolas.²

Supõe-se, portanto, que a institucionalização do Saresp, como referencial de gestão das escolas, continua sendo um desafio para muitos gestores da rede estadual paulista, embora

[...] os objetivos indicados para o SARESP em 1996 permanecem até os dias atuais, evidenciando que a avaliação deve servir tanto para uso dos gestores dos sistemas, quanto na orientação do planejamento e do trabalho pedagógico nas escolas. (^{BONAMINO; SOUSA, 2012}, p. 381).

Contudo, a realização de provas anuais, além de representar um custo altíssimo para a SEE, acaba inviabilizando essa prática porque gera um volume de dados muito grande, não permitindo que os gestores e, consequentemente, os professores se apropriem, de forma eficiente, desses resultados por conta da escassez de tempo. Assim, o que temos observado é que “[...]um resultado é sobreposto ao outro rapidamente” e, por conta disso, na maioria das vezes, “são tratados como se não tivessem importância” (^{SANTANA; ROTHEN, 2014}, p. 389).

A despeito da fragilidade do Saresp no que tange à apropriação dos resultados por parte dos profissionais da educação (^{MIRANDA, 2013}), para além do diagnóstico do processo de ensino e da aprendizagem, esse sistema de avaliação tem servido de instrumento de responsabilização dos professores e gestores desde o ano de 2000, quando foi aprovada a Lei Complementar nº 891 (^{SÃO PAULO, 2000}), que instituiu o Bônus Mérito, cuja distribuição leva em consideração os resultados do Saresp. Mais recentemente, a Lei Complementar nº 1.078/2008 estabeleceu a bonificação por resultados a ser paga aos servidores em efetivo exercício na SEE mediante o cumprimento de metas estabelecidas (^{SÃO PAULO, 2008}) com o propósito de “criar incentivos concretos para

o progresso das escolas, a exemplo da bem-sucedida experiência de outros países do mundo desenvolvido, como Inglaterra e Estados Unidos” (^{CASTRO, 2008} apud ^{SOUSA; MAIA; HAAS, 2014}, p. 196). Esse ponto de vista se insere no arcabouço da política educacional que enfatiza o controle por resultados como meio de induzir a melhoria da educação (^{SEGATTO, 2011}) e a meritocracia como mecanismo de gestão e promoção da qualidade (^{SOUSA; MAIA; HAAS, 2014}).

Não obstante, é sabido que a política de bônus adotada pela SEE não tem repercutido em evolução no desempenho escolar dos estudantes de sua rede. Mesmo com a melhora do Idesp nos anos iniciais (1º ao 5º ano do ensino fundamental), cuja média saltou de 4,42, em 2013, para 5,33, em 2017 (a meta é chegar a 7 pontos em 2030), nos anos finais (6º ao 9º ano) desse mesmo nível de ensino e no ensino médio, o Idesp continua baixo. É oportuno destacar que de 2013 a 2017 o Idesp, nos anos finais, oscilou de 2,5 para 3,21 (meta para 2030 é alcançar 6 pontos), e no ensino médio de 1,83 para 2,36, cuja meta para 2030 é atingir 5 pontos numa escala de 0 a 10 (^{SÃO PAULO, 2013}, ²⁰¹⁷).

Assim, além de não repercutir na melhora do desempenho escolar, a política de bônus está

[...] induzindo a qualidade educacional a uma concepção mercadológica, que centraliza, segundo os documentos, a ideia de qualidade pautada em quantidade, competição e premiação, desconsiderando outros determinantes da qualidade educacional. (^{FILIPE; BERTAGNA, 2017}, p. 206).

Ademais, partindo-se do pressuposto de que o Idesp é um indicador sintético que “corresponde à multiplicação de dois indicadores - o indicador de desempenho (ID), que avalia o quanto os alunos aprenderam, e o indicador de fluxo (IF), que avalia quanto tempo os alunos levam para aprender” (^{SÃO PAULO, 2014}, p. 3), ele representa um instrumento de gestão que se articula com a política de mérito da SEE, que até pode subsidiar a gestão escolar, mas não consegue induzir a melhoria da qualidade da educação.

Com relação a essa política, é oportuno destacar que ela é comumente utilizada em ambientes corporativos, definindo-se como a escolha ou promoção de alguém, conforme seus méritos e competências. Trata-se de um conceito com bases na ideologia liberal que, nas últimas décadas, tem se alargado e incorporado ao discurso e à prática dos mais diversos setores, incluindo-se o da educação (^{CRUZ; CARNEIRO; ARRAIS NETO, 2014}).

Cabe frisar ainda que o

[...] eixo qualidade do ensino, adotado pela reforma educacional paulista, apresenta de forma clara e forte a presença do princípio da racionalização organizacional e de gastos com o setor, segundo o modelo gerencialista assumido, tendo por base a performatividade e o controle de resultados. (^{RAMOS, 2016}, p. 559).

Esse modelo de gestão ganhou repercussão no campo educacional gerando discussões e debates que levaram “[...] o sistema nacional de educação a redefinir competências, a se burocratizar, a ampliar suas esferas de atuação e, principalmente, a apoiar-se nos referenciais meritocráticos, privilegiando a escolarização dos mais ‘capazes’” (^{VALLE; RUSCHEL, 2010}, p. 76, grifo do autor), remetendo pensar que nesse ponto de vista estão implícitas as noções de aumento da capacidade de o aluno aprender e de o professor ensinar (^{VIEIRA et al., 2013}). A despeito das críticas advindas principalmente do meio acadêmico e dos professores da Rede Estadual Paulista, sob a ótica neoliberal que se traduz pela ideia central do mercado como mecanismo de regulação e que levará qualidade às escolas, a SEE implantou seu novo modelo de gestão administrativo baseado na meritocracia para a carreira docente (^{VIEIRA et al., 2013}) por meio da Lei Complementar nº 1.097 (^{SÃO PAULO, 2009}), que instituiu o Programa de Valorização pelo Mérito aos professores efetivos da rede estadual de ensino.

Com base nessa lei, a SEE estabeleceu o sistema de promoção para os integrantes do Quadro do Magistério que representa a passagem do titular de cargo das classes de docentes e de suporte pedagógico (Diretor de Escola e Supervisor de Ensino)

[...] para faixa imediatamente superior da que estiver enquadrado, mediante aprovação em processo de avaliação teórica, prática ou teórica e prática, de conhecimentos específicos, observados os interstícios, os requisitos, a periodicidade e as demais condições previstas nesta lei complementar. (^{SÃO PAULO, 2009}, p. 1).

Não obstante, na perspectiva da gestão de racionamento de verbas praticado, cabe mencionar que, “para participar dessa prova, o profissional precisaria ter no mínimo 80% dos pontos previstos na tabela de frequência/assiduidade; ainda, essa progressão restringia-se a apenas 20% do contingente total dos integrantes de cada uma das faixas docentes” (^{RAMOS, 2016}, p. 570). Ademais, esperava-se que essa prova ocorresse anualmente, mas o que se tem observado é que sua realização depende de vontade política. Outro agravante é que após a aprovação do servidor, o pagamento dos beneficiários não tem sido imediato, levando, por vezes, anos para ser efetivado.

Procedimentos Metodológicos

Com objetivo de conhecer as concepções de um grupo de gestores escolares acerca do emprego de resultados da avaliação em larga escala, optou-se pela pesquisa quantitativa, cuja vantagem é a possibilidade de se levantar informações com confiabilidade estatística.

Os dados foram coletados por meio de um questionário estruturado na forma de escala do tipo Likert variando de 0 (discordância total) a 5 (concordância total). O uso desse tipo de escala permite mais precisão de resposta, levando, portanto, a uma maior consistência dos dados (^{SPECTOR, 1992}), e foi aplicado a uma população compreendida por gestores escolares (diretores) de uma diretoria de ensino estadual na cidade São Paulo.

População

O questionário foi respondido por 54 gestores de escolas públicas de EF e EM localizadas na região centro-oeste da cidade de São Paulo. A escolha dos sujeitos deu-se em razão de que um dos pesquisadores esteve, de 2013 a 2016, desenvolvendo um projeto com as escolas dessa região com foco na melhoria dos resultados educacionais.

Com relação à caracterização dos participantes da pesquisa quanto ao gênero, dentre os 54 respondentes, 88% são mulheres e 12% homens; quanto ao tempo de atuação na gestão escolar, 15 tinham até 5 anos (27,7%); 5 se enquadravam na faixa de 6 a 10 anos (9,3%); 15 variavam de 11 a 15 anos (27,7%); 10 tinham de 16 a 20 anos (18,5%); 7 possuíam acima de 20 anos (13%); e 2 não responderam (3,8%).

Resultados e Discussão

Os dados foram tratados estatisticamente, utilizando-se do método estatístico da Análise Fatorial de Componentes Principais (ACP), com método de rotação Varimax por ser o mais utilizado (^{PALLANT, 2007}; ^{PREARO et al., 2011}), com o intuito de se determinar as relações entre os fatores, sem definir em que medida os resultados se ajustam a um modelo (^{PESTANA; GAGEIRO, 2000}). O emprego da ACP possibilitou identificar as variáveis que agregam a maior parte da variabilidade presente no conjunto de dados e estudar a relação existente entre essas variáveis.

A opção pela ACP está relacionada principalmente ao problema de pesquisa, e ainda porque se pretendeu, com esse estudo, “condensar (resumir) a informação contida em diversas variáveis originais em um conjunto menor de novas dimensões [...]” (^{HAIR JR et al., 2005}). Portanto, esse procedimento foi adotado com dois objetivos básicos: agrupar as 13 variáveis intervalares do modelo proposto em fatores e excluir variáveis que não colaboravam para o nível de explicação desejado (apenas uma variável foi excluída).

Segundo ^{Pereira (2004)}, a ACP é uma técnica multivariada que se aplica à identificação de fatores num conjunto de medidas realizadas, possibilitando organizar a maneira como os sujeitos interpretam as coisas, indicando as que estão relacionadas entre si e as que não estão (^{PESTANA; GAGEIRO, 2000}), bem como ver até que ponto diferentes variáveis têm subjacência no mesmo conceito (fator).

Com base nas recomendações de ^{Hair Jr e outros (2005)}, buscou-se uma seleção de cargas fatoriais mais significativas, escolhendo as que apresentaram valores acima de 0,400 (corte das cargas fatoriais), para que os resultados não ficassem muito distribuídos. Para realizar o tratamento dos dados, empregou-se o software SPSS base 18.0, escolhendo eigenvalues (valores próprios) acima de 1,0, ou seja, retendo-se apenas os fatores que apresentavam valores próprios maiores que 1, obedecendo ao critério de normalização de Kaiser.

Para verificar a fatorabilidade da matriz de correlações, foram analisados alguns aspectos, conforme Quadro 1. Obteve-se uma medida de adequação amostral Kaiser-Meyer-Olkin (KMO) igual a 0,579, que indica a adequação dos dados à análise fatorial (^{HAIR JR et al., 2005}; ^{PEREIRA, 2004}). Em seguida, procedeu-se o teste de Esfericidade de Bartlett, que mostrou significância menor que 0,0001 (p<0,0001), indicando, portanto, que há um nível de probabilidade muito adequado para a correlação entre variáveis e, assim, o método da Análise Fatorial é, novamente, confirmado para o tratamento dos dados (^{HAIR JR et al., 2005}; ^{MALHOTRA, 2006}; ^{PEREIRA, 2004}).

Após a análise, foram obtidos 4 fatores, utilizando-se o critério de se considerar apenas aqueles com eigenvalue maior que 1,0 e cargas fatoriais iguais ou superiores a 0,400. No que se refere ao conjunto dos fatores, verificou-se que eles responderam por 64,8% da variação total dos dados, acima do patamar aceitável que é de 60% (^{HAIR JR et al., 2005}).

Em síntese, todas as variáveis trabalhadas são contínuas, o método de extração dos fatores é por componentes principais e a rotação deles é feita pelo método ortogonal de Varimax.

Na composição dos fatores, foram consideradas apenas as variáveis que apresentavam carga fatorial maior que 0,419, que representa o corte usado para o mínimo aceitável em termos de correlação. Contudo, pode-se aceitar valores menores, até 0,3, dependendo do tipo de instrumento empregado para a obtenção dos dados (^{KERLINGER, 1980}) e do tamanho da amostra que, segundo Hair Jr e outros (2005), deve ser superior a 50 observações e quantidade de variáveis em razão igual ou superior a cinco. Considerando-se que, nessa pesquisa, a amostra foi composta por 54 observações (participantes) e o número de variáveis é de 12, com base nas orientações de ^{Hair Jr e outros (2005)}, ela atende o requisito quanto ao tamanho, mas não quanto à proporcionalidade entre o número de variáveis e de observações, o que representa uma limitação da pesquisa e não a invalidação da análise.

O Quadro 2, a seguir, apresenta um resumo dos resultados da ACP.

Os fatores obtidos com a ACP foram nomeados e interpretados considerando-se o referencial teórico que fundamenta essa pesquisa. Para tanto, além das cargas fatoriais obtidas na ACP, utilizou-se também da estatística descritiva para compreender o grau de discordância ou concordância dos gestores acerca do tema investigado.

Fator 1 - Orientação e Monitoramento: esse fator engloba as variáveis: a) a avaliação em larga escala norteia meu trabalho na gestão da escola (0,893); b) a avaliação em larga escala deve orientar os gestores no monitoramento da qualidade do ensino (0,862); c) a avaliação em larga escala deve orientar a formação de educadores (0,639). O título “orientação e monitoramento” está alicerçado em ^{Gimenes e outros (2013, p. 17)}, para quem “as avaliações em larga escala apresentam em comum a pretensão de servir de diagnóstico educacional com base no monitoramento dos resultados de aprendizagem dos alunos, dentre outros objetivos e contornos”, e em ^{Viana (2005, p. 17)}, segundo o qual:

Os resultados das avaliações não devem ser usados única e exclusivamente para traduzir um certo desempenho escolar. A sua utilização implica em servir de forma positiva na definição de novas políticas públicas, de projetos de implantação e modificação de currículos, de programas de formação continuada dos docentes e, de maneira decisiva, na definição de elementos para a tomada de decisões que visem a provocar um impacto, ou seja, mudanças no pensar e no agir dos integrantes do sistema.

A avaliação em larga escala, nesse sentido, tanto serve para orientar a formação docente quanto como instrumento de monitoramento da qualidade do ensino que, no campo educacional, possui diversos significados e comporta diferentes dimensões (^{CALDERÓN; OLIVEIRA JÚNIOR, 2012}, 2014; ^{DOURADO; OLIVEIRA; SANTOS, 2007}). Em decorrência disso, “[...] tais avaliações rapidamente se associaram à ideia de qualidade, limitando-a aos resultados obtidos pelos alunos” (^{GIMENES et al., 2013}, p. 16).

Cabe frisar que o alto nível da carga fatorial das duas primeiras assertivas sinaliza a compreensão dos diretores acerca da correlação dos fins da avaliação em larga escala para orientar a gestão escolar.

Fator 2 - Meritocracia na Gestão Escolar:³ esse fator contempla as seguintes variáveis: a) a extinção do bônus ajudará na melhoria dos resultados educacionais (-0,847), que, por ter carga negativa, indica que a maioria dos gestores é de opinião contrária a essa hipótese. Nesse caso, supõe-se que eles atribuem ao pagamento do bônus pela SEE a possibilidade de ajuda na melhoria dos resultados educacionais; b) o bônus é um incentivo à melhoria dos resultados educacionais (0,679); essa assertiva ratifica a concepção dos gestores (assertiva anterior) de que a bonificação por resultados induz à melhoria dos resultados educacionais; c) a avaliação em larga escala deve ser um componente da política de avaliação docente (0,419), que, por sua vez, induz a pensar que esse modelo de avaliação analisa tanto o desempenho escolar quanto a prática docente. Contudo, por tratar-se de uma carga fatorial baixa, não há como fazer afirmações contundentes a esse respeito, apenas suposições.

Cabe enfatizar que a avaliação externa e em larga escala, quando bem empregada, serve também como instrumento de avaliação da prática docente e de gestão (^{BAUER, 2006}), pois os gestores podem, “por meio da análise do próprio desempenho, ao longo do tempo [...] encontrar os meios de potencializar a qualidade do trabalho que desenvolvem” (^{VALENTE; GARCIA; LOBO, 2018}, p. 127).

Não obstante, esses resultados não podem ser generalizados, tendo em vista que representam a opinião de um grupo de gestores participantes da pesquisa e não a totalidade desses profissionais. Cabe frisar que “a meritocracia escolar é um dos principais mecanismos dentro do sistema capitalista que ajuda a perpetuar e legitimar as desigualdades sociais impostas por esse sistema” (^{SOARES; BACZINSKI, 2018}, p. 37). Portanto, a concepção dos gestores pode estar influenciada pelos ideais liberais e pelas pressões cotidianas impostas pelo cumprimento de metas, não permitindo que eles façam uma análise mais profunda da realidade educacional e escolar.

Fator 3 - Finalidades da Avaliação na Gestão Escolar: a despeito de as avaliações externa e em larga escala não conseguirem diagnosticar a realidade escolar em profundidade, porque, apesar de orientarem as políticas educacionais, “não expressam o detalhe e a multiplicidade dos fazeres dos docentes e das escolas e suas comunidades” (^{WERLE, 2010}, p. 23), seus resultados dão suporte à gestão escolar (^{CALDERÓN; OLIVEIRA JÚNIOR, 2012}; ^{MIRANDA, 2013}). Esse fator comporta as variáveis: a) a avaliação em larga escala deve se voltar, exclusivamente, ao diagnóstico da aprendizagem dos alunos (0,708), que contou com 50% de concordância dos respondentes, mas teve um percentual de 27,8% dos gestores discordando totalmente dessa possibilidade; b) as metas do Plano de Gestão da minha escola são definidas a partir dos resultados da avaliação em larga escala (0,685); essa assertiva contou com 68,5% de concordância; c) a avaliação em larga escala deve se preocupar com a formulação de políticas de incentivos salariais. Nesse caso, não houve unanimidade nas respostas dos gestores (13% discordaram; 35,2% foram indiferentes; 48,1% concordaram).

Assim, diferentemente do que defende Castro acerca da “implantação de salários diferenciados mediante desempenho”, a maior parte dos gestores investigados são reticentes a essa política, refutando, portanto, a hipótese de que “o ideal seria estabelecer sistemas de avaliação dos professores vinculados aos resultados das escolas”, defendida pela autora (^{CASTRO, 2007} apud ^{ALAVARSE; BRAVO; MACHADO, 2013}, p. 61).

Fator 4 - Visão Utilitarista da Avaliação: esse fator agrega duas variáveis que conversam entre si, na medida em que, na perspectiva liberal adotada pela SEE, existe relação entre a política docente e o pagamento de bônus. São elas: a) a avaliação em larga escala deve se preocupar apenas com a política educacional (0,775); b) a avaliação em larga escala serve apenas para orientar o pagamento de bônus aos educadores (0,738).

Analisando-se as opiniões dos gestores acerca dessas variáveis, constata-se um elevado grau de discordância sobre o assunto (64,8% no primeiro caso e 87% no segundo). Para a maioria deles, a avaliação em larga escala não está a serviço da política educacional e tampouco orienta o pagamento dos educadores. Contudo, a avaliação em larga escala pode orientar ações das mais variadas ordens nas políticas educacionais (^{ALAVARSE; BRAVO; MACHDO, 2013}; ^{KLEIN; FONTANIVE, 1995}), inclusive o pagamento de bônus que, na SEE, é regulamento pela Lei Complementar nº 1.078, de 17 de dezembro de 2008 (^{SÃO PAULO, 2008}).

Além disso, estudos mostram que essas avaliações “são realizadas para diferentes fins” (^{VIANNA, 2003}, p. 45), tendo se institucionalizado entre os gestores de tal modo que eles assumem uma “visão utilitarista [...] orientada para a produtividade e o controle, para a instrumentalização da educação” cuja consequência é a perda de sentido tornando-a “fortemente administrada, de tipo neocientífico” (^{LIMA, 2015}, p. 1346).

Os usos dos resultados das avaliações em larga escala, nas concepções dos gestores, estão relacionados, entre outras questões, a orientar e monitorar a qualidade do ensino, valorizar a meritocracia na gestão escolar e utilizar os resultados como sustetáculo da gestão escolar. Esses dados trazem um detalhamento relevante que apresenta certa sintonia com o estudo de ^{Bauer e outros (2015)}, com 4.309 municípios, no qual os autores identificaram, entre outros aspectos, que os usos dos resultados estavam atrelados a algum tipo de mobilização da escola, ações ou programas educacionais das secretarias municipais, monitoramento da rede de ensino, apoio à gestão de pessoal e a divulgação de informações para diferentes públicos.

Todavia, os usos dos resultados encontrados (orientar e monitorar, valorizar a meritocracia e utilizar resultados para apoiar a gestão escolar) necessitam ser enquadrados no contexto educacional ao qual os gestores estão submetidos no dia a dia, muitos deles em cenários depressão pela obtenção de melhores posições nos rankings, e, ao mesmo tempo, no quadro teórico que vem produzindo significados e norteando as políticas de avaliação no Brasil.

Tal enquadramento dos resultados deste estudo traz reflexões relevantes sobre a gestão escolar, que tem usado os dados das avaliações em larga escala para o estabelecimento de objetivos e como norteador do trabalho cotidiano. Situações que pressupõem o desenvolvimento de novas práticas de gestão que incidem sobre a atuação dos professores e o acompanhamento dos alunos (^{ALMEIDA; NHOQUE, 2017}; ^{GARCIA; MIRANDA, 2017}). Uma sinalização, que necessita evidentemente ser mais investigada, de uma gestão escolar mais alinhada com a esfera pedagógica, que busca na problematização dos resultados das avaliações melhorar a qualidade da educação escolar.

Considerações Finais

As finalidades das avaliações em larga escala, nas concepções dos gestores participantes deste estudo, em certa medida apontam para o alinhamento entre o preconizado pelas políticas educativas da SEE e a consolidação de um modelo de avaliação que

[...] tende a ser desvinculada da investigação social, tal como da prática pedagógica de cada professor, para ser usada como instrumento de auditoria, à luz de uma concepção gestionária, orientada para a informação dos decisores políticos e para a alocação diferenciada de recursos considerados escassos. (^{LIMA, 2015}, p. 1.343).

Por outro lado, as respostas obtidas indicam que os gestores, no desempenho de suas funções, têm utilizado os resultados das avaliações em larga escala tanto para nortear seu trabalho como para definir metas do plano de Gestão Escolar. Além disso, na concepção desses profissionais, esses resultados servem de subsídio para a reformulação de documentos pedagógicos e administrativos, o que é positivo, pois se espera que os resultados sejam interpretados e apropriados pelos gestores em benefício da melhoria da qualidade social da educação.

Ademais, os gestores atribuem uma relação positiva entre a avaliação externa e em larga escala e a política de mérito da SEE à melhoria do desempenho escolar, sendo, inclusive, contrários à extinção do pagamento de bônus aos educadores. Não obstante, cabe frisar que a bonificação por resultados, além de não repercutir na melhoria dos resultados educacionais, impede uma política mais efetiva de valorização da carreira docente.

Esse ponto de vista é preocupante porque dialoga com uma política educacional com viés mercadológico, que valoriza o mérito individual e a competição entre escolas e educadores, desencorajando a união de forças em prol de um projeto que busque a qualidade social da educação. Com isso, todos perdem: professores, porque não têm uma política efetiva de valorização da carreira; e alunos, que se tornam objeto de uma modelo de avaliação que, dadas suas características, não os reconhece como sujeitos do processo educativo.

É oportuno mencionar que os gestores investigados reconhecem a importância das avaliações em larga escala - Saresp - para o desenvolvimento de práticas de gestão que estão atreladas às dimensões pedagógica e de monitoramento do currículo. Esse ponto de vista vai ao encontro do que preconizam as políticas educacionais do Estado de São Paulo em relação ao que se espera desses profissionais acerca da utilização dos resultados do Saresp, diferentemente do que é apontado na maioria dos estudos que tratam desse assunto.

Assim, se por um lado os resultados desse modelo de avaliação não podem ser vistos de forma unilateral e perniciosa à educação porque “o desempenho dos alunos nessas provas tende a ser tratado, por professores e coordenadores, como indicador do nível de aprendizagem dos alunos, subsidiando preponderantemente iniciativas que visam à superação das dificuldades diagnosticadas” (^{SOUSA et al., 2015}, p. 58), por outro, ainda persiste a dificuldade de apropriação desses resultados por boa parte ou até mesmo a maioria de professores e gestores escolares. Portanto, essa concepção não pode ser generalizada porque representa o olhar de um grupo de gestores, mas também não pode ser ignorada.

Cabe mencionar ainda que, tanto no Brasil quanto em muitos outros países, temos observado um crescimento acelerado das exigências de eficácia escolar. Grosso modo, são exigências de transformações, que repercutem na dinâmica escolar e na forma de atuação de professores e gestores escolares (^{OLIVEIRA; DUARTE; CLEMENTINO, 2017}). Para ^{Dale (2009)}, as premissas da produtividade e da competitividade têm embasado as tendências internacionais de accountability,⁴ que forçam os sistemas educativos à implementação de ações com o intuito de buscar, por meio de instrumentos de avaliação, a melhoria dos resultados escolares. Esse conjunto de políticas adentra o cotidiano escolar influenciando diretamente a ação gestora.

Contudo, a despeito do número de participantes da pesquisa ser pequeno, a forma como os gestores veem os resultados das avaliações ratifica a ideia de que o Saresp, apesar de não conseguir induzir a melhoria da qualidade do ensino, pode nortear práticas de gestão que, por sua vez, poderão subsidiar o trabalho docente e, consequentemente, alavancar a melhoria da aprendizagem escolar.

Por fim, considerando-se que o uso e a problematização dos resultados das avaliações em larga escala nas escolas ainda são assuntos pouco trabalhados e reconhecendo a grande diversidade social e econômica do país, não há como pensar em um receituário para subsidiar os gestores no emprego dos resultados das avaliações em larga escala. Assim, “o que se pode fazer é indicar possibilidades objetivando que cada escola problematize os resultados dos testes e crie condições de uso a favor da melhoria da qualidade da educação em sua comunidade escolar” (^{SOLIGO, 2010}, p. 6), fugindo, dessa forma, de um modelo de gestão orientado por uma prática avaliativa que desconsidera o projeto pedagógico das escolas.