1 Introdução

Desde finais do século XX que a avaliação configura uma obrigação da maior parte dos países desenvolvidos ( ^{AFONSO; COSTA, 2012} ), estando associada a mudanças ocorridas nas políticas educativas, em consequência dos processos de globalização e de europeização ( ^{MAROY, 2012} ). Acresce a importância conferida aos indicadores de qualidade e benchmarks , e a valorização dos resultados das organizações educativas e respetiva publicitação ( ^{GUNTER; FITZGERALD, 2013} ), que são adidos a partir da ideologia da Nova Gestão Pública, um “programa de reforma do setor público que aplica conhecimento e instrumentos da gestão empresarial e de áreas relacionadas, [visando a] [...] melhorar a eficiência, a eficácia e a ação geral dos serviços públicos nas burocracias modernas” ( ^{VIGODA, 2003} , p. 813).

Nesta aceção, reportando-se aos últimos 25 anos, em Portugal, ^{Barroso (2017)} ressalta o reforço da avaliação e da comparação que ocorrem no quadro da construção do designado “espaço de Educação europeu”, lugar de confluência e de interceção dos vários Estados, de emissão de diretrizes e de redes de atores ( ^{NÓVOA; LAWN, 2002} ). Fenómeno visível, por exemplo, na interdependência estabelecida entre a Organização para a Cooperação e Desenvolvimento Económico (OCDE) e a Comissão Europeia (CE) ( ^{GREK, 2014} ) que, na última década, por meio de projetos como o Programa Internacional de Avaliação de Alunos (PISA), vêm desempenhando um papel relevante na coordenação das políticas educacionais e da ação pública ( ^{CARVALHO, 2012} ), intensificando a vigilância mútua como forma de governo na Educação ( ^{CARVALHO; COSTA, 2017} ).

Neste contexto, caracterizado de “avaliacionite aguda” (ESTEVÃO, 2019, p. 226), impera o quantificável e o mensurável ( ^{AFONSO, 2009} ) e promove-se a avaliação como problema público, com crescente visibilidade nas agendas políticas ( ^{GARRAUD, 2010} ). ^{Sá (2018)} refere a existência de uma espécie de salvífica imagem da avaliação institucional e ^{Lima (2015)} reconhece, na avaliação, um “caráter olímpico” e “uma certa arrogância objetivista’ que considera advir “de uma epistemologia positivista e da adesão a pedagogias científicas e racionalizadoras” (p.1343).

Não desconsiderando estas análises, o artigo decorre de uma pesquisa que segue o entendimento da política como ação pública, nas quais intervêm vários atores para além do Estado ( ^{HASSENTEUFEL, 2008} ; ^{LASCOUMES; LE GALÈS, 2007} ) e inscreve-se numa linha investigativa que compreende a avaliação externa das escolas (AEE) como instrumento de características híbridas, baseado em conhecimento ( ^{AFONSO; COSTA, 2012} ; ^{CARVALHO; COSTA, 2017} ) de natureza diversa (por exemplo: estatal, teórico, profissional), produzido por atores/espaços sociais e cognitivos diferenciados (por exemplo: administração, universidades, organizações internacionais) ( ^{BARROSO, 2009} ).

Neste artigo, propomo-nos compreender o papel do conhecimento na formulação dos problemas (problematização) e nas soluções encontradas (preconização), centrando-nos na construção da política de AEE¹ , desenvolvida em Portugal, desde 2006² . O conceito de conhecimento utilizado transcende o domínio científico ( ^{DELVAUX, 2009} ), abarcando conhecimentos menos formais (por exemplo: crenças, representações), consubstanciando-se, segundo ^{Delvaux (2009)} , em “tudo o que pretende dizer o real” (p. 962).

De cariz qualitativo e exploratório, o estudo baseia-se na análise documental de textos oficiais que resultam de duas cenas-chave³ da política de avaliação, de natureza deliberativa e formal: a cena ‘Governo’, cujo produto oficial foi a Lei nº 31/2002 ( ^{PORTUGAL, 2002} ) que aprova o sistema de avaliação da Educação e do ensino não superior; e a cena ‘Inspeção/GTAE’ que se reporta ao grupo de trabalho, cujo produto foi o modelo de AEE. Seguindo ^{Nonaka (1994)} , para quem a criação de conhecimento decorre de processos de socialização e de combinação de saberes, assumimos que o conhecimento externalizado pelos atores que intervêm nessas cenas está materializado nestes dois produtos.

O artigo está organizado em três partes, além desta introdução. Na primeira parte, descrevemos a relação entre conhecimento e política, percorrendo os processos que se constituem essenciais na mobilização de conhecimento na política, nomeadamente, a problematização dos problemas e a preconização das soluções. A segunda parte consiste na nota metodológica, na qual explicitamos o uso da técnica de análise arquivística de documentos oficiais analisados relativos à conceção da política de avaliação do sistema educativo e, especificamente, da AEE. A terceira parte compreende a análise dos dados e sua discussão, centrando-se na forma como o conhecimento está mobilizado nos documentos-chave da construção da política de AEE e os efeitos do conhecimento na perpetuação desta política. O artigo fecha com uma conclusão a que se segue a lista de referências bibliográficas.

2 Processos de problematização e preconização na construção das políticas públicas

O conhecimento é um processo social, que cumpre uma função primacial na regulação social, sendo mobilizado e posto em circulação por meio de processos de problematização e de preconização ( ^{DELVAUX, 2009} ). A problematização consiste na formulação dos problemas (“fluxo de problemas”) e a preconização, na emissão das soluções (“fluxo de ideias”) ( ^{DELVAUX, 2009} ). A análise destes processos-chave requer que se atente à complexidade e à ambiguidade dos processos de decisão política ( ^{KINGDON, 2003} ), próximos da imagem da anarquia organizada (COHEN; MARCH; OLSON, 1972), e afastando-se de uma hipotética linearidade que, de facto, parece não existir. Como refere ^{Barroso (2013)} , “em política, os problemas não existem ‘fora das soluções’. A maneira como são formulados induz determinado tipo de soluções. Outras vezes são as soluções que ‘criam’ os problemas” (p. 4). Neste sentido, gerar e selecionar ideias, e impô-las na ação pública, ganha uma complexidade que se assemelha a uma moldagem coletiva em que problematização e preconização se entrecruzam ( ^{DELVAUX; MANGEZ, 2008} ). É sobre estes dois processos, e os conhecimentos neles privilegiados, que nos debruçaremos seguidamente.

2.2 Preconização: provas e conhecimento

O processo de preconização não é cíclico nem fechado no tempo; é espiralado, alimentado e construído em torno de um problema específico, que persistirá enquanto estiver integrado na agenda pública. Para isso, há de provar que as soluções que o sustêm são técnica e financeiramente viáveis, e eficazes, quando comparadas com outras, para além de contribuírem para a resolução de outros problemas existentes.

Tal como na problematização, também aqui existem provas a superar. As soluções construídas durante a preconização baseiam-se em conhecimento causal, mas também em crenças e em opiniões, em regras formais, em ideias externas e até no mapeamento do que já se conhece sobre cada problema ( Tabela 3 ).

3 Nota metodológica

O artigo baseia-se em conhecimento inscrito em documentos, entendidos como depósitos privilegiados de modos de ideação, no sentido atribuído por ^{Carvalho (2012)} , de “lugares de problematização do real e de legitimação e de deslegitimação dos modos de (o) pensar e de nele/sobre ele agir” (p.77). Consideram-se as políticas como espaços sociais de comunicação, onde ocorrem “diferentes modos de relação com o mundo educacional (e diferentes orientações acerca do que é, do que deve ou do deveria ser esse mundo educacional)” ( ^{CARVALHO, 2015} , p. 320), que podem ser observadas a partir de ângulos diversos, de produção e de efetivação, incluindo “documentos oficiais e oficiosos, como a legislação” ( ^{CARVALHO, 2015} , p. 320), e com base em conhecimento fixado em textos produzidos por comissões, estudos, bem como em relatórios (prévios ou posteriores ao estabelecimento formal de uma política).

O corpus documental analisado consiste em documentos oficiais – a Lei n^o 31/2002 ( ^{PORTUGAL, 2002} ) e o Relatório do GTAE (IGE, 2011) – produzidos nas duas cenas identificadas (‘Governo’ e ‘Inspeção/GTAE⁴ ), que são norteadores da política (regulamentação; referencial teórico; modelo de intervenção etc.), os quais resultaram de processos de problematização e de preconização, envolvendo um conjunto de operações cognitivas. O enfoque no GTAE decorreu de investigação anterior, segundo a qual, se constituiu como “espaço” de intensificação de processos de hibridação das modalidades de regulação ( ^{CARVALHO; COSTA, 2017} ). Foram analisados, também, recomendações e pareceres do Conselho Nacional de Educação (CNE), relatórios da Inspeção e a recomendação emanada do Parlamento Europeu, enquanto “lugares” de produção e de legitimação de conhecimento codificado. Todos os documentos foram sujeitos à análise de conteúdo qualitativa ( ^{SCHREIER, 2012} ).

4 Conhecimento, problematização e preconização na política de AEE

Nesta secção, apresentamos os resultados do estudo, tendo em vista compreender como, partindo dos produtos (Lei nº 31/2002 [ ^{PORTUGAL, 2002} ] e Relatório GTAE) produzidos nas duas cenas (Governo e Inspeção/GTAE), os diferentes atores cogitaram a avaliação das escolas, fabricando o problema e coletivizando soluções, mobilizando conhecimento diverso que permitiu fortalecer a sua pertinência desde 2006.

A secção é composta por cinco partes, nas quais analisamos os processos de problematização e de preconização no 2º ciclo da AEE. As três primeiras partes referem-se ao processo de configuração e de estabilização do problema (designadamente, as operações de nomear, de descrever e de situar) e as duas últimas, ao processo de configuração e de estabilização das soluções. Como se constatará, os problemas e as soluções emergentes são os que resistiram a um conjunto de provas, cuja natureza identificamos e explicamos, e que nos permitem deduzir qual o conhecimento mobilizado pelos atores.

A consagração do problema por mecanismos comparativos e associativos

O estatuto de problema imputado à melhoria da qualidade educativa fez-se a partir da intervenção de atores claramente identificados (por exemplo: escolas, comunidade educativa) (prova da acessibilidade) e pela comparação transnacional ( ^{PORTUGAL, 2002} , ART. 4º; PONTO 2), com base em elos de equivalência que indicam processos de associação e de comparação com os desempenhos de outros países. Este conhecimento permitiu legitimar o propósito declarado na lei, e operacionalizado pelo GTAE, de contribuir para a melhoria da qualidade educativa (vide relatório GTAE).

Desta forma, as relações de equivalência ajudaram a tornar crível que o sistema educativo tinha problemas equivalentes aos de outros congéneres, e a considerar fundamental adotar as indicações de “organizações internacionais de referência” (IGE, 2011, p.9), valorizando-se a aferição dos “graus de desempenho do sistema educativo nacional em termos comparados [...] através da participação em projetos e estudos desenvolvidos a nível internacional” ( ^{PORTUGAL, 2002} , PONTO 2).

Ademais, o conhecimento utilizado pelos atores, e inscrito nos documentos analisados, revela, também, a existência de uma ampla mobilização do conhecimento cartográfico (por exemplo: estudos e recomendações de organismos internacionais, legislação, boas práticas), cuja natureza descritiva (opiniões, informação e dados relativos à denotação e à conotação de ‘qualidade do sistema educativo’, provenientes de atores nacionais e internacionais) permite justificar determinadas pistas e rejeitar outras. Veja-se a referência a experiências nacionais e internacionais, designadamente, os modelos de “Avaliação Integrada das escolas” (Portugal), “ How Good is Our School ” (Escócia), “ Together Towards Improvement ” (Irlanda do Norte), e da própria União Europeia (UE) - “Gestão da Qualidade Total” e o modelo da Fundação Europeia para a Qualidade da Gestão (EFQM), que podemos associar à pressão global da questão da qualidade sobre o setor da Educação, vista como a Educação sendo colocada a serviço da economia ( ^{CARVALHO; CORREIA, 2018} ).

Acresce, ainda, a fixação de um conjunto de indicadores respeitantes à organização, ao funcionamento e à gestão escolares, que dão corpo ao conjunto de problemas interrelacionados (“constelação de problemas”), unanimemente aceites, relativos à necessidade declarada de os resultados acompanharem a evolução dos resultados internacionais (prova da importância) e de a melhoria dos mesmos decorrer do seu incremento em nível nacional (prova compatibilidade) ( ^{PORTUGAL, 2002} ; ART. 9º; PONTO 2).

O conhecimento comparativo e associativo é, pois, amplamente mobilizado para a superação das provas da importância (mostrar pela comparação que se trata de uma situação globalmente reconhecida), da compatibilidade (indicadores relativos à qualidade educativa, como sejam, a liderança, a gestão e as práticas organizacionais, de acordo com a UE e os relatórios de organismos internacionais como a OCDE) e da acessibilidade (considerando-se que o problema é imputável a determinados atores, principalmente professores, podendo ser solucionado por estes).

A lógica comparativa também está presente na alusão à “identificação de boas práticas organizativas, de procedimentos e pedagógicas, relativas à escola e ao trabalho de Educação, ensino e aprendizagens” ( ^{PORTUGAL, 2002} ), na senda da Recomendação do Parlamento Europeu (EC, 2001), no qual se prevê a criação de “uma base de dados para a divulgação de ferramentas e instrumentos eficazes de avaliação da qualidade das escolas” ( ^{EC, 2001} ) e a elaboração trienal de relatórios a apresentar ao Parlamento e ao Conselho Europeus, ao Comité Económico e Social e ao Comité das Regiões. De igual modo, o GTAE (2º ciclo) arrola contributos nacionais, sustentando-se no mapeamento do que já existe nacionalmente (mormente, por meio das “boas práticas” identificadas pela inspeção durante o 1º ciclo de AEE) e que, juntamente com as práticas efetivadas nos demais estados-membros permite estimar quais os recursos necessários para a sua consecução (IGE, 2011). A Tabela 5 esquematiza a nossa análise.

5 Conclusão

Neste artigo, tivemos, como propósito, pesquisar como conhecimento e política se interrelacionam nos processos de problematização e de preconização da política de AEE. Para o efeito, tomámos a Lei nº 31/2002 e o Relatório do GTAE (no qual consta o modelo de avaliação) enquanto recetáculos do conhecimento que permitiu criar a política, após a superação de provas a que as ideias foram testadas. Do estudo, ressalta que a melhoria da qualidade do sistema educativo (o problema identificado) é perseguida por meio da avaliação das escolas (a solução preconizada) e que a ‘qualidade da escola’ é compreendida como impactando a ‘melhoria dos resultados do sistema educativo’, o que é alcançado por meio da AEE, com base em informação condensada em indicadores (resultados, prestação do serviço educativo e liderança e gestão). Neste processo, destacam-se o conhecimento comparativo e o cartográfico, que permitiram cogitar a avaliação, fabricar os problemas e coletivizar as soluções preconizadas, agilizando inferências de utilidade governamental e de eficácia, a partir de exemplos internacionais, recorrendo à evidence based policy ( ^{SOLESBURY, 2001} ), pelo recurso às ‘boas práticas’ que, segundo ^{Barroso (2013)} , “visam operacionalizar objetivos e planos governamentais e condicionar a ação dos diferentes atores” (p. 19).

Resultando de um processo socialmente construído (que o artigo não pretendeu captar), a Lei e o Relatório consubstanciam o conhecimento codificado ( ^{FREEMAN; STURDY, 2015} ), mobilizado nos processos de fabricação da política, tornando possível transpor as provas e garantir a sua continuidade: estabelecendo correspondências com outras situações/locais, com base em ‘bons exemplos’ (por exemplo: os modelos escocês e da Irlanda do Norte), baseando-se no argumento de posição (o peso da UE) e em conhecimento pericial (OCDE). Assim, na construção do problema, destacamos o poder de posição de organizações que detêm um “monopólio de conhecimento” útil aos políticos, produzindo conhecimento específico para melhorar a eficácia da regulação, uma tendência das novas formas de regulação dos governos para legitimarem as suas ações (PONS; VAN ZANTEN, 2008)⁵ Efetivamente, no 2º ciclo de avaliação, a reformulação do modelo de AEE baseou-se na integração de novas informações (por exemplo: estudos, recomendações, informação sobre o 1º ciclo de AEE) que foram adicionadas a um conjunto de representações (‘constelação de problemas’) já existentes, o que reforçou o valor acrescentado da AEE.

Além disso, sublinhamos a presença do conhecimento técnico-científico nos GTAE de 2006 e 2011 ( ^{BARROSO, 2011} ) que advém da participação de atores de áreas de conhecimento e de experiência de diferentes setores ( ^{AFONSO; COSTA, 2015} ). Estudo anterior mostra o cruzamento desse conhecimento heterogéneo, proveniente de quem integrou os GTAE: em 2006, 6 elementos da academia e também funcionários seniores da administração central (3 investigadores e 2 elementos ligados à inspeção); em 2011, 8 elementos (3 investigadores e 5 elementos ligados à inspeção), o que sugere um movimento no sentido da internalização dos assuntos ( ^{CARVALHO; COSTA, 2017} ), dado o aumento do número de elementos ligados à inspeção. Quanto ao conhecimento, o Relatório de 2006 (IGE, 2006) baseava-se no design e/ou gestão de dispositivos de avaliação importados do estrangeiro, o que teve continuidade no Relatório de 2011 (IGE, 2011).

Neste contexto de conhecimento diverso e entrelaçado que caracteriza a construção do modelo de AEE, assinalamos, ainda, o peso desempenhado pelos dados sistematizados que a cartografia provê. Este conhecimento ajuda a tornar exequível o problema, partindo de indicadores associados a resultados estatísticos oriundos de fontes diversas (transnacionais-nacionais-locais), largamente aproveitados para justificar o problema e assegurar a respetiva resolução. Não despiciendo é também o potencial de convencimento da cartografia no favorecimento de ilações lógicas e no estabelecimento de comparações, o que permite contextualizar os resultados da avaliação por via da formulação de propostas de melhoria. Destarte, a cartografia é ilustrativa da relevância crescente dos dados e do exercício de associação que estes permitem, estimulando a comparação como modo de governo da Educação ( ^{NÓVOA; YARIV-MASHAL, 2003} ). Com um papel deveras regulador dentro do processo político específico da avaliação das escolas, a cartografia ajuda a posicionar as escolas entre si, com base em conhecimento contextualizado e em indicadores validados internacionalmente, facultando a emissão de juízos avaliativos sobre as escolas e os seus atores e o desempenho do sistema educativo.

Igualmente, é de notar o exercício, por parte das autoridades públicas, de introdução de fórmulas comparativas (indicadores de resultados escolares; indicadores de tendência) que dialogam com conhecimento inscrito em documentos estruturantes das escolas: de natureza propositiva (por exemplo: Projeto Educativo), avaliativa (por exemplo: Relatórios de Autoavaliação), normativa (por exemplo: Regulamento Interno) e de operacionalização (por exemplo: Planos de Ação). Em vista disso, a incorporação na AEE de conhecimento organizacional é objeto das lentes avaliativas dos indicadores e da análise estatística. De facto, os indicadores estão muito presentes, ajudando a simplificar a complexidade dos fenómenos educativos, sendo alvitrados como soluções, ou caminhos para a solução. Mais, a sua aparente neutralidade permite estruturar o espaço público em torno de categorias que são de fácil compreensão, o que também concorre para normalizar os problemas e suas soluções ( ^{DELVAUX; MANGEZ, 2008} ).

Esta pesquisa permitiu também refletir sobre a concomitância de formas burocráticas e pós-burocráticas no governo da Educação ( ^{BARROSO, 2005} ; ^{CARVALHO, 2015} ), na política de AEE. Nesse sentido, destacamos a presença de traços burocráticos associados à autoridade racional-legal, em que a dominação política se continua a apoiar ( ^{WEBER, 1964} ), mormente, na importância atribuída ao conhecimento dos peritos e ao conhecimento técnico-científico no apoio à decisão política (central na racionalidade técnica), na relevância dos dados e da mensuração, no recurso a indicadores preestabelecidos e nos processos de racionalização e de formalização associados à produção de documentos de controlo a priori . De resto, reconhecendo que as “imagens formais, racionais e burocráticas de escolas” ( ^{LIMA, 2015} ) ganham em estar presentes no olhar que lançamos sobre estes fenómenos, e que a “burocracia não é um dinossauro extinto pela Nova Gestão Pública” ( ^{LIMA, 2015} , p. 1349), podemos falar de uma hibridização de formas de regulação burocrática/pós-burocrática regulada por atores da tecnoestrutura do Ministério da Educação (Inspeção). Assim, os traços burocráticos encontrados nos processos de problematização e de preconização da política de AEE, convivem com uma acrescida relevância de características pós-burocráticas que a avaliação, como instrumento baseado em conhecimento, faz evidenciar e que a tornam um lugar onde convergem. Porém, se é certo que os propósitos pré-definidos podem aproximar o instrumento de AEE à racionalidade técnica do modelo burocrático, não se perde de vista que os meios pelos quais se concretiza a AEE a inscrevem na pós-burocracia, porquanto se ajustam a modos de concretização assentes na interação e na negociação de sentidos, nos contextos de ação (escolas), tendo, na sua base, uma rede de atores e de relações sociais que, por via deles, se formam ( ^{LASCOUMES; LE GALÈS, 2004} ).

Deste modo, também constatamos que o recurso a indicadores predeterminados que possibilitam definir limites e vincular o problema a fatores explicativos se aproxima do conceito de racionalidade formal instrumental (de adequação meios-fins, em que os fins são dados a priori ) ( ^WEBER,1964 ). Mesmo assim, não deixamos de ter presente que, constituindo-se como métricas condicionantes da avaliação, estes indicadores não traduzem uma causalidade direta (própria da burocracia). Pelo contrário, são tributários de outros processos – singulares – que se preconiza deverem ocorrer durante a AEE, nomeadamente, durante a intervenção nas escolas, onde diversos atores (diretores, equipas de avaliação, professores, coordenadores, pais, estudantes, autarcas etc.) atuam como intermediários no processo de regulação. Acresce que, contrariamente, à regulação burocrática, algo alheia às questões da qualidade e da eficácia dos resultados ( ^{BARROSO, 2005} ), na AEE, a regulação não se dá com base na verificação da conformidade legal estipulada a priori , associada à burocracia, mas por meio do controlo a posteriori , pelos resultados que são alcançados pelas escolas (pós-burocrático) ( ^{BARROSO, 2009} ). Além disso, é com base no conhecimento mobilizado (e não, especificamente, na hierarquia), que o Estado retira legitimidade para interagir com os atores escolares, indagando-os sobre as suas escolhas, e induzindo-os para novas opções ( ^{AFONSO, 2020} ). Desta forma, não deixando de ser valorizada, na AEE, a racionalidade circunscreve-se, basicamente, à racionalidade instrumental.

Chegados aqui, importa ressaltar que os produtos da atividade argumentativa refletem processos de escolha e atestam o triunfo de uns conhecimentos sobre outros, advindos do composto cognitivo dos atores que intervieram nos processos de problematização e de preconização. Sendo assim, o conhecimento inscrito nos produtos das duas cenas põe em evidência o poder de quem os concebeu e, concomitantemente, podem bem ser considerados uma manifestação do poder do conhecimento que vingou, por meio do qual se previu regular o pensamento, a atuação e a interação dos atores no quadro da AEE, contribuindo assim para a legitimação da própria política.