1 Introdução
Desde finais do século XX que a avaliação configura uma obrigação da maior parte dos países desenvolvidos ( AFONSO; COSTA, 2012 ), estando associada a mudanças ocorridas nas políticas educativas, em consequência dos processos de globalização e de europeização ( MAROY, 2012 ). Acresce a importância conferida aos indicadores de qualidade e benchmarks , e a valorização dos resultados das organizações educativas e respetiva publicitação ( GUNTER; FITZGERALD, 2013 ), que são adidos a partir da ideologia da Nova Gestão Pública, um “programa de reforma do setor público que aplica conhecimento e instrumentos da gestão empresarial e de áreas relacionadas, [visando a] [...] melhorar a eficiência, a eficácia e a ação geral dos serviços públicos nas burocracias modernas” ( VIGODA, 2003 , p. 813).
Nesta aceção, reportando-se aos últimos 25 anos, em Portugal, Barroso (2017) ressalta o reforço da avaliação e da comparação que ocorrem no quadro da construção do designado “espaço de Educação europeu”, lugar de confluência e de interceção dos vários Estados, de emissão de diretrizes e de redes de atores ( NÓVOA; LAWN, 2002 ). Fenómeno visível, por exemplo, na interdependência estabelecida entre a Organização para a Cooperação e Desenvolvimento Económico (OCDE) e a Comissão Europeia (CE) ( GREK, 2014 ) que, na última década, por meio de projetos como o Programa Internacional de Avaliação de Alunos (PISA), vêm desempenhando um papel relevante na coordenação das políticas educacionais e da ação pública ( CARVALHO, 2012 ), intensificando a vigilância mútua como forma de governo na Educação ( CARVALHO; COSTA, 2017 ).
Neste contexto, caracterizado de “avaliacionite aguda” (ESTEVÃO, 2019, p. 226), impera o quantificável e o mensurável ( AFONSO, 2009 ) e promove-se a avaliação como problema público, com crescente visibilidade nas agendas políticas ( GARRAUD, 2010 ). Sá (2018) refere a existência de uma espécie de salvífica imagem da avaliação institucional e Lima (2015) reconhece, na avaliação, um “caráter olímpico” e “uma certa arrogância objetivista’ que considera advir “de uma epistemologia positivista e da adesão a pedagogias científicas e racionalizadoras” (p.1343).
Não desconsiderando estas análises, o artigo decorre de uma pesquisa que segue o entendimento da política como ação pública, nas quais intervêm vários atores para além do Estado ( HASSENTEUFEL, 2008 ; LASCOUMES; LE GALÈS, 2007 ) e inscreve-se numa linha investigativa que compreende a avaliação externa das escolas (AEE) como instrumento de características híbridas, baseado em conhecimento ( AFONSO; COSTA, 2012 ; CARVALHO; COSTA, 2017 ) de natureza diversa (por exemplo: estatal, teórico, profissional), produzido por atores/espaços sociais e cognitivos diferenciados (por exemplo: administração, universidades, organizações internacionais) ( BARROSO, 2009 ).
Neste artigo, propomo-nos compreender o papel do conhecimento na formulação dos problemas (problematização) e nas soluções encontradas (preconização), centrando-nos na construção da política de AEE1 , desenvolvida em Portugal, desde 20062 . O conceito de conhecimento utilizado transcende o domínio científico ( DELVAUX, 2009 ), abarcando conhecimentos menos formais (por exemplo: crenças, representações), consubstanciando-se, segundo Delvaux (2009) , em “tudo o que pretende dizer o real” (p. 962).
De cariz qualitativo e exploratório, o estudo baseia-se na análise documental de textos oficiais que resultam de duas cenas-chave3 da política de avaliação, de natureza deliberativa e formal: a cena ‘Governo’, cujo produto oficial foi a Lei nº 31/2002 ( PORTUGAL, 2002 ) que aprova o sistema de avaliação da Educação e do ensino não superior; e a cena ‘Inspeção/GTAE’ que se reporta ao grupo de trabalho, cujo produto foi o modelo de AEE. Seguindo Nonaka (1994) , para quem a criação de conhecimento decorre de processos de socialização e de combinação de saberes, assumimos que o conhecimento externalizado pelos atores que intervêm nessas cenas está materializado nestes dois produtos.
O artigo está organizado em três partes, além desta introdução. Na primeira parte, descrevemos a relação entre conhecimento e política, percorrendo os processos que se constituem essenciais na mobilização de conhecimento na política, nomeadamente, a problematização dos problemas e a preconização das soluções. A segunda parte consiste na nota metodológica, na qual explicitamos o uso da técnica de análise arquivística de documentos oficiais analisados relativos à conceção da política de avaliação do sistema educativo e, especificamente, da AEE. A terceira parte compreende a análise dos dados e sua discussão, centrando-se na forma como o conhecimento está mobilizado nos documentos-chave da construção da política de AEE e os efeitos do conhecimento na perpetuação desta política. O artigo fecha com uma conclusão a que se segue a lista de referências bibliográficas.
2 Processos de problematização e preconização na construção das políticas públicas
O conhecimento é um processo social, que cumpre uma função primacial na regulação social, sendo mobilizado e posto em circulação por meio de processos de problematização e de preconização ( DELVAUX, 2009 ). A problematização consiste na formulação dos problemas (“fluxo de problemas”) e a preconização, na emissão das soluções (“fluxo de ideias”) ( DELVAUX, 2009 ). A análise destes processos-chave requer que se atente à complexidade e à ambiguidade dos processos de decisão política ( KINGDON, 2003 ), próximos da imagem da anarquia organizada (COHEN; MARCH; OLSON, 1972), e afastando-se de uma hipotética linearidade que, de facto, parece não existir. Como refere Barroso (2013) , “em política, os problemas não existem ‘fora das soluções’. A maneira como são formulados induz determinado tipo de soluções. Outras vezes são as soluções que ‘criam’ os problemas” (p. 4). Neste sentido, gerar e selecionar ideias, e impô-las na ação pública, ganha uma complexidade que se assemelha a uma moldagem coletiva em que problematização e preconização se entrecruzam ( DELVAUX; MANGEZ, 2008 ). É sobre estes dois processos, e os conhecimentos neles privilegiados, que nos debruçaremos seguidamente.
2.1 Problematização: provas e conhecimento
Para que os problemas se imponham, é preciso que os atores recorram a certo tipo de conhecimento que permita sustentar as suas argumentações. Assim sendo, na problematização, a relação entre problemas dá-se por meio de associações lógicas e quase sempre causais, e o conhecimento utilizado assenta na criação de ligações entre factos, situações ou variáveis. As comparações e as associações revelam-se um tipo de conhecimento propício para estabelecer relações que não segue, necessariamente, critérios de racionalidade científica, tendo a função de simplificar as questões em discussão ( DELVAUX, 2009 ).
Além disso, se é certo que os problemas só existem uma vez transpostas as provas que garantam a sustentabilidade do processo de problematização, é de sublinhar que nem todas as provas ( Tabela 1 ) são, necessariamente, evocadas; os atores apenas mobilizam as que garantam a sobrevivência das suas ideias e crenças. Assim, as provas nada têm de sistemático, tão pouco surgem em momentos predeterminados do processo de preconização, baseando-se em critérios incorporados nos atores ( DELVAUX; MANGEZ, 2008 ).
Processo | Prova | Conhecimento |
---|---|---|
Problematização | Importância | Associações |
Questionar a necessidade de uma nova política que resolva ‘o problema’. | Comparações | |
Acessibilidade | Associações | |
Contestar que as situações tidas como problemas possam ter uma origem humana ou ser objeto de intervenção | Comparações | |
Hierarquização | Associações | |
Pôr em causa a importância e acessibilidade relativas de um problema face a outros também apresentados | Comparações | |
Compatibilidade | Associações | |
Potenciar o agendamento de um problema, por se considerar que a sua discussão pode contribuir para a resolução de outros problemas que já integram a agenda. | Comparações |
Fonte: Elaboração das autoras a partir de Delvaux e Mangez (2008)
2.1.1 Operações cognitivas
A problematização envolve tornar desejável uma determinada situação e transformá-la na preocupação de um coletivo. Com esse propósito, ancora-se em três operações: nomear, descrever e situar. Não sendo puramente cognitivas, estas operações implicam a mobilização de conhecimento e têm objetivos e processos determinados ( Tabela 2 ).
Operação cognitiva | Objetivo | Como é feito | Permite |
---|---|---|---|
NOMEAR | Promover consensos e estruturar perceções | Identificando a situação problemática, designando-a | Restringir/delimitar a AP e os atores Atribuir significado à situação |
DESCREVER | Mostrar os efeitos que a situação gera e o modo como se deve/pode atuar | Descrevendo a situação como deplorável ou mostrando que a situação é causada pela ação humana | Converter a situação num problema solucionável |
SITUAR | Reforçar o estatuto de problema | Estabelecendo relações, principalmente causais, com outras situações já reconhecidas como problemáticas Equacionando a situação no quadro de “constelações de problemas” (ou objetivos) já existentes | Ser reconhecida por um maior número de atores e/ou vista como elucidativa de uma situação já reconhecida como problemática |
Fonte: Elaboração das autoras a partir de Delvaux e Mangez (2008)
A primeira forma de circunscrever a AP é por meio da nomeação. Quando nomeamos, centramo-nos algures, estruturando as perceções dos outros sobre o problema, criando consensos e direcionando a ação a tomar, e circunscrevendo o problema a um grupo de atores. A descrição compreende a demonstração de que uma situação é problemática, mas passível de resolução, o que depende da ação de certos atores. A terceira operação consiste em situar o problema, relacionando-o com outros problemas que já se afirmaram na AP ( Tabela 2 ). Cada putativo ‘novo problema’ terá maior probabilidade de adquirir esse estatuto, se for visto como explicador de uma situação que seja já amplamente reconhecida como problemática.
2.2 Preconização: provas e conhecimento
O processo de preconização não é cíclico nem fechado no tempo; é espiralado, alimentado e construído em torno de um problema específico, que persistirá enquanto estiver integrado na agenda pública. Para isso, há de provar que as soluções que o sustêm são técnica e financeiramente viáveis, e eficazes, quando comparadas com outras, para além de contribuírem para a resolução de outros problemas existentes.
Tal como na problematização, também aqui existem provas a superar. As soluções construídas durante a preconização baseiam-se em conhecimento causal, mas também em crenças e em opiniões, em regras formais, em ideias externas e até no mapeamento do que já se conhece sobre cada problema ( Tabela 3 ).
Processo | Prova | Conhecimento |
---|---|---|
Preconização | Exequibilidade | Cartografia Regras Formais |
Correspondente da prova da acessibilidade, na problematização. Permite demonstrar que é possível pôr em prática as propostas, não existindo constrangimentos por falta de recursos, nomeadamente, jurídicos. | ||
Aceitabilidade | Crenças e opiniões Associações | |
Correspondente da prova de compatibilidade na problematização. Permite ponderar se a proposta irá gerar ou agravar outros problemas ou provocar efeitos perversos. | ||
Pertinência/relevância | Ideias externas Associações | |
Correspondente à prova da importância na problematização. Permite ponderar se a proposta permite verdadeiramente resolver o problema e os objetivos estipulados. |
Fonte: Elaboração das autoras a partir de Delvaux e Mangez (2008)
3 Nota metodológica
O artigo baseia-se em conhecimento inscrito em documentos, entendidos como depósitos privilegiados de modos de ideação, no sentido atribuído por Carvalho (2012) , de “lugares de problematização do real e de legitimação e de deslegitimação dos modos de (o) pensar e de nele/sobre ele agir” (p.77). Consideram-se as políticas como espaços sociais de comunicação, onde ocorrem “diferentes modos de relação com o mundo educacional (e diferentes orientações acerca do que é, do que deve ou do deveria ser esse mundo educacional)” ( CARVALHO, 2015 , p. 320), que podem ser observadas a partir de ângulos diversos, de produção e de efetivação, incluindo “documentos oficiais e oficiosos, como a legislação” ( CARVALHO, 2015 , p. 320), e com base em conhecimento fixado em textos produzidos por comissões, estudos, bem como em relatórios (prévios ou posteriores ao estabelecimento formal de uma política).
O corpus documental analisado consiste em documentos oficiais – a Lei no 31/2002 ( PORTUGAL, 2002 ) e o Relatório do GTAE (IGE, 2011) – produzidos nas duas cenas identificadas (‘Governo’ e ‘Inspeção/GTAE4 ), que são norteadores da política (regulamentação; referencial teórico; modelo de intervenção etc.), os quais resultaram de processos de problematização e de preconização, envolvendo um conjunto de operações cognitivas. O enfoque no GTAE decorreu de investigação anterior, segundo a qual, se constituiu como “espaço” de intensificação de processos de hibridação das modalidades de regulação ( CARVALHO; COSTA, 2017 ). Foram analisados, também, recomendações e pareceres do Conselho Nacional de Educação (CNE), relatórios da Inspeção e a recomendação emanada do Parlamento Europeu, enquanto “lugares” de produção e de legitimação de conhecimento codificado. Todos os documentos foram sujeitos à análise de conteúdo qualitativa ( SCHREIER, 2012 ).
4 Conhecimento, problematização e preconização na política de AEE
Nesta secção, apresentamos os resultados do estudo, tendo em vista compreender como, partindo dos produtos (Lei nº 31/2002 [ PORTUGAL, 2002 ] e Relatório GTAE) produzidos nas duas cenas (Governo e Inspeção/GTAE), os diferentes atores cogitaram a avaliação das escolas, fabricando o problema e coletivizando soluções, mobilizando conhecimento diverso que permitiu fortalecer a sua pertinência desde 2006.
A secção é composta por cinco partes, nas quais analisamos os processos de problematização e de preconização no 2º ciclo da AEE. As três primeiras partes referem-se ao processo de configuração e de estabilização do problema (designadamente, as operações de nomear, de descrever e de situar) e as duas últimas, ao processo de configuração e de estabilização das soluções. Como se constatará, os problemas e as soluções emergentes são os que resistiram a um conjunto de provas, cuja natureza identificamos e explicamos, e que nos permitem deduzir qual o conhecimento mobilizado pelos atores.
4.1 A escolha da melhoria da qualidade do sistema enquanto problema
Observando o produto legislativo – Lei nº 31/2002 ( PORTUGAL, 2002 ) – percebemos que a nomeação, que consiste em circunscrever a situação considerada problemática, se focou num imperativo específico: melhorar a qualidade do sistema educativo, da sua organização e dos seus níveis de eficiência e de eficácia. À melhoria da qualidade do sistema atribuiu-se o estatuto com o propósito a exigir atenção, no âmbito demarcado do sistema de Educação e de ensino não superior (ART. 2º, PONTO 2). Para a sua problematização foram convocados “o Conselho Nacional de Educação, através da comissão especializada permanente para a divulgação do sistema educativo, bem como os serviços do Ministério da Educação” (ART. 11, PONTO 2).
Para a criação de um ambiente propício a que a melhoria da qualidade do sistema educativo português fosse encarada como situação problemática, contou-se com a forte contribuição da recomendação emanada pelo Parlamento Europeu e respetivo Conselho, em 2001 que, no quadro da Estratégia de Lisboa, elege a qualidade dos ensinos básico, secundário e profissionalizante como um dos principais objetivos de todos os Estados-Membros (EC, 2001).
Uma vez o problema definido, tornou-se necessário o seu reconhecimento público, o que se alcançou ao convertê-lo numa situação negativa que se faz acompanhar da respetiva solução. Assim, a Lei no 31/2002, de 20 de dezembro, fez acompanhar o problema (melhoria da qualidade do sistema educativo) da sua solução (“criação de termos de referência para maiores níveis de exigência”) ( PORTUGAL, 2002 , ART. 4º, PONTO 1), remetendo para os modelos de avaliação que viriam a ser elaborados por diferentes GTAE.
O GTAE, que reformulou o modelo para o 2º ciclo de avaliação (2011-2017), centrado, essencialmente, no desempenho dos alunos, aprofundou as premissas básicas que delimitam como problema a garantia de qualidade do sistema educativo. Isso mesmo é evidenciado pelas questões que levantou: “O que faz uma escola de qualidade? Quais são os fatores subjacentes à qualidade de uma escola? O que se entende por qualidade, quando aplicada ao sistema de Educação e formação?” (IGE, 2011, p. 9).
A análise mostra que o problema designado, em ambas as cenas deliberativas (melhoria da qualidade do sistema educativo), é estabilizado a partir de um conjunto de operações cognitivas que possibilitam, simultaneamente, delimitar atores/cenas envolvidos, regular o grau de decisão e de ações que lhes são conferidos (nomear), descrever a forma de gerir a situação problemática e apontar o instrumento que permite executar essa gestão (situar) ( Tabela 4 ).
Problematização Operações Cognitivas | Produtos das cenas Governo e Inspeção/GTAE | |
---|---|---|
| ||
Lei n.º 31/2002, 20 de dezembro | Modelo de Avaliação Externa de Escolas (2º ciclo) | |
NOMEAR | Propósito: melhoria da qualidade do sistema educativo | Propósito: garantia da qualidade do sistema de educação e formação |
Delimita as cenas onde a ação decorrerá: AE/escolas; IGEC; ME; CNE | Delimita a definição de parâmetros da decisão e ação no terreno | |
Grau de abertura elevado quanto às decisões e ações dos atores | Discricionariedade deixada aos atores | |
DESCREVER | Situação gerível pela ação humana através persecução sistemática de objetivos identificados | O problema como resultado das práticas de organização e gestão (produto ação humana) |
Criação de termos de referência | O problema é resolúvel se se intervir em determinadas dimensões e processos organizacionais (passível de intervenção) | |
Identificação de boas práticas | ||
Análises comparativas de resultados | ||
SITUAR | Propósito conseguido através da AEE | Propósito conseguido através da operacionalização do modelo |
Suportada em indicadores relativos à organização e funcionamento escolar (art. º9.º; ponto 2.º) | Suportado em instrumentos/indicadores processuais -domínios; campos de análise; referentes |
Fonte: Elaboração das autoras a partir de Delvaux e Mangez (2008)
Em ambas as cenas, os argumentos usados para legitimar o problema e ultrapassar provas são alimentados por conhecimento de natureza semelhante (comparações e associações), aspeto analisado em seguida.
A consagração do problema por mecanismos comparativos e associativos
O estatuto de problema imputado à melhoria da qualidade educativa fez-se a partir da intervenção de atores claramente identificados (por exemplo: escolas, comunidade educativa) (prova da acessibilidade) e pela comparação transnacional ( PORTUGAL, 2002 , ART. 4º; PONTO 2), com base em elos de equivalência que indicam processos de associação e de comparação com os desempenhos de outros países. Este conhecimento permitiu legitimar o propósito declarado na lei, e operacionalizado pelo GTAE, de contribuir para a melhoria da qualidade educativa (vide relatório GTAE).
Desta forma, as relações de equivalência ajudaram a tornar crível que o sistema educativo tinha problemas equivalentes aos de outros congéneres, e a considerar fundamental adotar as indicações de “organizações internacionais de referência” (IGE, 2011, p.9), valorizando-se a aferição dos “graus de desempenho do sistema educativo nacional em termos comparados [...] através da participação em projetos e estudos desenvolvidos a nível internacional” ( PORTUGAL, 2002 , PONTO 2).
Ademais, o conhecimento utilizado pelos atores, e inscrito nos documentos analisados, revela, também, a existência de uma ampla mobilização do conhecimento cartográfico (por exemplo: estudos e recomendações de organismos internacionais, legislação, boas práticas), cuja natureza descritiva (opiniões, informação e dados relativos à denotação e à conotação de ‘qualidade do sistema educativo’, provenientes de atores nacionais e internacionais) permite justificar determinadas pistas e rejeitar outras. Veja-se a referência a experiências nacionais e internacionais, designadamente, os modelos de “Avaliação Integrada das escolas” (Portugal), “ How Good is Our School ” (Escócia), “ Together Towards Improvement ” (Irlanda do Norte), e da própria União Europeia (UE) - “Gestão da Qualidade Total” e o modelo da Fundação Europeia para a Qualidade da Gestão (EFQM), que podemos associar à pressão global da questão da qualidade sobre o setor da Educação, vista como a Educação sendo colocada a serviço da economia ( CARVALHO; CORREIA, 2018 ).
Acresce, ainda, a fixação de um conjunto de indicadores respeitantes à organização, ao funcionamento e à gestão escolares, que dão corpo ao conjunto de problemas interrelacionados (“constelação de problemas”), unanimemente aceites, relativos à necessidade declarada de os resultados acompanharem a evolução dos resultados internacionais (prova da importância) e de a melhoria dos mesmos decorrer do seu incremento em nível nacional (prova compatibilidade) ( PORTUGAL, 2002 ; ART. 9º; PONTO 2).
O conhecimento comparativo e associativo é, pois, amplamente mobilizado para a superação das provas da importância (mostrar pela comparação que se trata de uma situação globalmente reconhecida), da compatibilidade (indicadores relativos à qualidade educativa, como sejam, a liderança, a gestão e as práticas organizacionais, de acordo com a UE e os relatórios de organismos internacionais como a OCDE) e da acessibilidade (considerando-se que o problema é imputável a determinados atores, principalmente professores, podendo ser solucionado por estes).
A lógica comparativa também está presente na alusão à “identificação de boas práticas organizativas, de procedimentos e pedagógicas, relativas à escola e ao trabalho de Educação, ensino e aprendizagens” ( PORTUGAL, 2002 ), na senda da Recomendação do Parlamento Europeu (EC, 2001), no qual se prevê a criação de “uma base de dados para a divulgação de ferramentas e instrumentos eficazes de avaliação da qualidade das escolas” ( EC, 2001 ) e a elaboração trienal de relatórios a apresentar ao Parlamento e ao Conselho Europeus, ao Comité Económico e Social e ao Comité das Regiões. De igual modo, o GTAE (2º ciclo) arrola contributos nacionais, sustentando-se no mapeamento do que já existe nacionalmente (mormente, por meio das “boas práticas” identificadas pela inspeção durante o 1º ciclo de AEE) e que, juntamente com as práticas efetivadas nos demais estados-membros permite estimar quais os recursos necessários para a sua consecução (IGE, 2011). A Tabela 5 esquematiza a nossa análise.
Processo | Prova | Cena | Conhecimento que alimenta provas e argumentos | |
---|---|---|---|---|
| ||||
Governo | Inspeção/GTAE | |||
| ||||
Argumentos que edificam as provas | Argumentos que edificam as provas | |||
Problematização | Importância | Reconhecimento de que os problemas do sistema educativo português são equivalentes aos de outros países pelo que os seus resultados têm de acompanhar os resultados internacionais. | Reconhecimento de que os problemas do sistema educativo português são equivalentes aos de outros países pelo que os seus resultados têm de acompanhar os resultados internacionais. A melhoria dos resultados do sistema é conseguida a partir da melhoria da qualidade. | Comparações e Associações |
Compatibilidade | Indicadores de resultados têm relação direta com a qualidade educativa e a melhoria da qualidade com a melhoria dos resultados | São fundamentais: as indicações da OCDE, UE, UNESCO, principios básicos da legislação nacional, recomendações do CNE e boas práticas identificadas pela IGEC | Comparações e Associações | |
Acessibilidade | -------------- | O problema identifica os atores que estão na sua origem e que podem geri-lo | Comparações e Associações |
Fonte: Elaboração das autoras a partir de Delvaux e Mangez (2008)
4.2 O problema enquanto produto da ação humana
Para garantir a sobrevivência do problema, é importante compatibilizá-lo com os problemas que dominam a agenda pública e a sua receção junto do público-alvo. A prova da aceitabilidade desempenha, neste aspeto, um papel importante, porque se relaciona com a avaliação do sistema educativo por meio da associação a outros problemas, tais como o cumprimento da escolaridade obrigatória, os resultados escolares (designadamente quanto aos fluxos escolares, à taxa e à qualidade do sucesso), a inserção no mercado de trabalho, a organização do sistema educativo, a estrutura curricular, a rede escolar e o regime de avaliação dos alunos ( PORTUGAL, 2002 , ART. 9º; 14).
Esta prova implicou a mobilização de crenças e de opiniões de peritos, da comunidade educativa e do CNE (pareceres e recomendações), no estabelecimento de associações sobre os efeitos da AEE. Logo, a aquiescência das soluções foi atingida por meio da configuração de interdependências que garantiram a criação de alianças. Por um lado, há a ressaltar as alterações realizadas no modelo do 1º ciclo de avaliação, que se apoiaram na recolha de opiniões e de informação junto de peritos, sendo mobilizados os pareceres (PARECERES nº 5/2008; nº 3/2010) e a recomendação do CNE (RECOMENDAÇÃO nº 1/ 2011) (IGE, 2011, p.19), bem como dados de inquéritos aplicados a avaliadores e a diretores envolvidos na AEE. Por outro lado, refira-se que a construção da qualidade da escola não ocorre apenas em termos absolutos (a melhoria dos resultados dos alunos), mas, igualmente, em termos relativos, ao associar outros problemas da agenda política relacionados com a qualidade do ensino, de que são exemplo a autonomia das escolas, a pressão para a diminuição das taxas de abandono, a sistematicidade da autoavaliação requerida pela autoridade pública etc. ( PORTUGAL, 2002 , ART. 9º; 14).
4.3 As variáveis contextuais como conhecimento privilegiado
O GTAE direciona a ação das escolas para a forma como podem ser monitorizados os objetivos da política de “promover o progresso das aprendizagens e dos resultados dos alunos; incrementar a responsabilização a todos os níveis; fomentar a participação na escola da comunidade educativa e da sociedade local; contribuir para a regulação da Educação” (IGE, 2011, p. 10). Nesse sentido, requer-se às escolas a identificação de pontos fortes e de áreas prioritárias para a melhoria do seu trabalho e a validação das práticas de autoavaliação por meio da apresentação pública da qualidade do seu trabalho (IGE, 2011, p. 10).
Além disso, o GTAE preconiza onde é que a intervenção deve ocorrer, o que é percetível nos indicadores selecionados para influir na situação problemática, de modo a atingir resultados positivos. Por seu turno, estes indicadores decorrem do uso legitimador de instâncias transnacionais, remetendo para a transponibilidade da política e de seus efeitos.
Nesse sentido, foram considerados com mais impacto nas aprendizagens dos alunos (IGE, 2011, p. 9), os seguintes indicadores:
Resultados (académicos, sociais e reconhecimento da comunidade);
Prestação do serviço educativo (planeamento e articulação, práticas de ensino, monitorização e avaliação das aprendizagens);
Liderança e gestão (liderança, gestão, autoavaliação e melhoria).
Alimentados por informação de variada proveniência e natureza, fornecida pela Direção-Geral de Estatísticas da Educação e Ciência (DGEEC), foi com base nestes indicadores que se balizou a imagem do que se considera uma ‘escola de qualidade’. Trata-se de conhecimento estatístico diversificado e heterogéneo, que se baseia em variáveis de contexto dotadas de capacidade explicativa estatisticamente significativa ( Tabela 6 ).
Variáveis globais de contexto da E/AE | Variáveis específicas do contexto da E/AE | Indicadores de resultados para os quais são calculados os Valores Esperados em contexto | Indicadores de Tendência | ||
---|---|---|---|---|---|
| |||||
Variáveis por ano terminal de ciclo | Variáveis gerais para o Ensino Básico | Ensino Secundário | |||
nº total de alunos | Idade média dos alunos | % de docentes do Quadro (1º ciclo) | % de docentes do Quadro (2º e 3º ciclos + Secundário) | % de alunos que concluiram (4º, 6º, 9º e 12º anos) | Média móvel indicador de tendência; permite uma análise da posição relativa de vada E/AE em relação ao seu valor esperado |
média nº anos de habilitação das mães | % positivas a Português (Prova Final 4º, 6º e 9º anos) | ||||
% de mães que não sabe responder | % positivas a Matemática (Prova Final 4º, 6º e 9º anos) | ||||
média nº anos de habilitação dos pais | Média do número de alunos por turma | % de docentes do Quadro (2º e 3º ciclos + Secundário) | Média do número de anos de habilitação dos pais | Média dos resultados Provas Finais a Português (6º e 9º anos) | Afastamento do Valor Esperado indica o quão longe cada resultado da escola está do respetivo valor esperado |
% de pais que não sabe responder | Média dos resultados Provas Finais a Matemática (6º e 9º anos) | ||||
% alunos escalão A de ASE | Média dos resultados a Português (Exame Nacional- 1ª fase- 12º ano) | ||||
% alunos escalão B de ASE | % de raparigas | Média do número de anos de habilitação dos pais | Média do número de anos de habilitação das mães | Média dos resultados a Matemática (Exame Nacional- 1ª fase- 12º ano) | |
% alunos que não beneficiam de ASE | Média dos resultados a História (Exame Nacional- 1ª fase- 12º ano) | ||||
% de docentes do quadro | |||||
% de alunos do Ensino Básico Jovem | % de alunos com ASE | Média do número de anos de habilitação das mães | |||
% de alunos do Ensino Secundário Jovem | |||||
% de alunos do Ensino Básico Jovem que não estão no ensino Regular | |||||
% de alunos do Ensino Secundário Jovem que não estão no ensino Regular |
Fonte: Elaboração das autoras a partir de DGEEC (2015)
Neste ponto, é de ressaltar o “valor esperado”, que consiste em indicadores de resultados escolares, calculados a partir de variáveis específicas, de contexto, que detêm poder explicativo na variabilidade observada nos resultados escolares das escolas, face ao conjunto de escolas semelhantes. Estes indicadores são considerados pela DGEEC não como “uma meta a atingir, mas sim como um valor de referência que permite enquadrar a Unidade Orgânica entre outras que se podem considerar como, de algum modo, comparáveis em termos de contexto sociocultural” (DGEEC (2015, p.11). Salienta-se, igualmente, a existência de dois indicadores de tendência: o afastamento ao “valor esperado” e à média móvel. O primeiro traduz o quão longe cada resultado de determinada escola está do seu valor esperado; o segundo permite analisar, no tempo, a posição efetiva da escola em relação ao seu valor esperado.
Por conseguinte, a análise documental prévia, qualitativa, de documentos estruturantes da ação das escolas (por exemplo: projeto educativo, relatório de autoavaliação), que é realizada pelas equipas AEE, é delimitada por conhecimento quantitativo e estatístico. Mobilizad a priori do momento de visita às escolas da equipa de avaliação, recolhido centralmente pela Inspeção da Educação, este conhecimento sistematiza, de forma diversa, informação para a análise de contexto e de eficácia educativa de cada escola. Não obstante, a este conhecimento junta-se um outro, também quantitativo, mas proveniente do terreno, relativo às perceções dos atores escolares e da comunidade educativa (alunos, pais etc.), do seu nível de satisfação face à provisão da Educação pelas escolas (inquéritos de satisfação) e que concorre, juntamente, com o acima identificado (estatístico), para reforçar a informação disponibilizada à equipa de avaliação.
4.4 O significado e a praticabilidade da política
A viabilidade técnica e financeira do sistema de avaliação foi um dos aspetos acautelados, tendo importado assegurar que a tecnoestrutura do Ministério da Educação (Inspeção) garantia a operacionalização da AEE – atendendo aos recursos humanos, materiais e financeiros – e que outros parceiros (por exemplo: CNE) interviessem mediante um conjunto de regras estipuladas pelo GTAE. Este conhecimento, que permite superar a prova da exequibilidade, visando a provar que o modelo se encontra dentro dos limites necessários para a ação, implica que se comprove a viabilidade das ideias, atendendo aos recursos e ao enquadramento jurídico existentes. Neste caso, o problema provou ser sustentável, também, legislativamente, na medida em que os normativos em vigor viabilizam a sua implementação (por exemplo: Lei de Bases do Sistema Educativo) (IGE, 2011, p.15). Acresce destacar que a argumentação apoiada em relações causais permite antecipar o impacto das ideias sobre o problema, que é expectável resolverem (prova da pertinência): por um lado, possibilitando a criação de uma visão futura, extensiva e intensiva da qualidade do sistema educativo; por outro lado, criando associações entre o desempenho das escolas, ao nível local.
5 Conclusão
Neste artigo, tivemos, como propósito, pesquisar como conhecimento e política se interrelacionam nos processos de problematização e de preconização da política de AEE. Para o efeito, tomámos a Lei nº 31/2002 e o Relatório do GTAE (no qual consta o modelo de avaliação) enquanto recetáculos do conhecimento que permitiu criar a política, após a superação de provas a que as ideias foram testadas. Do estudo, ressalta que a melhoria da qualidade do sistema educativo (o problema identificado) é perseguida por meio da avaliação das escolas (a solução preconizada) e que a ‘qualidade da escola’ é compreendida como impactando a ‘melhoria dos resultados do sistema educativo’, o que é alcançado por meio da AEE, com base em informação condensada em indicadores (resultados, prestação do serviço educativo e liderança e gestão). Neste processo, destacam-se o conhecimento comparativo e o cartográfico, que permitiram cogitar a avaliação, fabricar os problemas e coletivizar as soluções preconizadas, agilizando inferências de utilidade governamental e de eficácia, a partir de exemplos internacionais, recorrendo à evidence based policy ( SOLESBURY, 2001 ), pelo recurso às ‘boas práticas’ que, segundo Barroso (2013) , “visam operacionalizar objetivos e planos governamentais e condicionar a ação dos diferentes atores” (p. 19).
Resultando de um processo socialmente construído (que o artigo não pretendeu captar), a Lei e o Relatório consubstanciam o conhecimento codificado ( FREEMAN; STURDY, 2015 ), mobilizado nos processos de fabricação da política, tornando possível transpor as provas e garantir a sua continuidade: estabelecendo correspondências com outras situações/locais, com base em ‘bons exemplos’ (por exemplo: os modelos escocês e da Irlanda do Norte), baseando-se no argumento de posição (o peso da UE) e em conhecimento pericial (OCDE). Assim, na construção do problema, destacamos o poder de posição de organizações que detêm um “monopólio de conhecimento” útil aos políticos, produzindo conhecimento específico para melhorar a eficácia da regulação, uma tendência das novas formas de regulação dos governos para legitimarem as suas ações (PONS; VAN ZANTEN, 2008)5 Efetivamente, no 2º ciclo de avaliação, a reformulação do modelo de AEE baseou-se na integração de novas informações (por exemplo: estudos, recomendações, informação sobre o 1º ciclo de AEE) que foram adicionadas a um conjunto de representações (‘constelação de problemas’) já existentes, o que reforçou o valor acrescentado da AEE.
Além disso, sublinhamos a presença do conhecimento técnico-científico nos GTAE de 2006 e 2011 ( BARROSO, 2011 ) que advém da participação de atores de áreas de conhecimento e de experiência de diferentes setores ( AFONSO; COSTA, 2015 ). Estudo anterior mostra o cruzamento desse conhecimento heterogéneo, proveniente de quem integrou os GTAE: em 2006, 6 elementos da academia e também funcionários seniores da administração central (3 investigadores e 2 elementos ligados à inspeção); em 2011, 8 elementos (3 investigadores e 5 elementos ligados à inspeção), o que sugere um movimento no sentido da internalização dos assuntos ( CARVALHO; COSTA, 2017 ), dado o aumento do número de elementos ligados à inspeção. Quanto ao conhecimento, o Relatório de 2006 (IGE, 2006) baseava-se no design e/ou gestão de dispositivos de avaliação importados do estrangeiro, o que teve continuidade no Relatório de 2011 (IGE, 2011).
Neste contexto de conhecimento diverso e entrelaçado que caracteriza a construção do modelo de AEE, assinalamos, ainda, o peso desempenhado pelos dados sistematizados que a cartografia provê. Este conhecimento ajuda a tornar exequível o problema, partindo de indicadores associados a resultados estatísticos oriundos de fontes diversas (transnacionais-nacionais-locais), largamente aproveitados para justificar o problema e assegurar a respetiva resolução. Não despiciendo é também o potencial de convencimento da cartografia no favorecimento de ilações lógicas e no estabelecimento de comparações, o que permite contextualizar os resultados da avaliação por via da formulação de propostas de melhoria. Destarte, a cartografia é ilustrativa da relevância crescente dos dados e do exercício de associação que estes permitem, estimulando a comparação como modo de governo da Educação ( NÓVOA; YARIV-MASHAL, 2003 ). Com um papel deveras regulador dentro do processo político específico da avaliação das escolas, a cartografia ajuda a posicionar as escolas entre si, com base em conhecimento contextualizado e em indicadores validados internacionalmente, facultando a emissão de juízos avaliativos sobre as escolas e os seus atores e o desempenho do sistema educativo.
Igualmente, é de notar o exercício, por parte das autoridades públicas, de introdução de fórmulas comparativas (indicadores de resultados escolares; indicadores de tendência) que dialogam com conhecimento inscrito em documentos estruturantes das escolas: de natureza propositiva (por exemplo: Projeto Educativo), avaliativa (por exemplo: Relatórios de Autoavaliação), normativa (por exemplo: Regulamento Interno) e de operacionalização (por exemplo: Planos de Ação). Em vista disso, a incorporação na AEE de conhecimento organizacional é objeto das lentes avaliativas dos indicadores e da análise estatística. De facto, os indicadores estão muito presentes, ajudando a simplificar a complexidade dos fenómenos educativos, sendo alvitrados como soluções, ou caminhos para a solução. Mais, a sua aparente neutralidade permite estruturar o espaço público em torno de categorias que são de fácil compreensão, o que também concorre para normalizar os problemas e suas soluções ( DELVAUX; MANGEZ, 2008 ).
Esta pesquisa permitiu também refletir sobre a concomitância de formas burocráticas e pós-burocráticas no governo da Educação ( BARROSO, 2005 ; CARVALHO, 2015 ), na política de AEE. Nesse sentido, destacamos a presença de traços burocráticos associados à autoridade racional-legal, em que a dominação política se continua a apoiar ( WEBER, 1964 ), mormente, na importância atribuída ao conhecimento dos peritos e ao conhecimento técnico-científico no apoio à decisão política (central na racionalidade técnica), na relevância dos dados e da mensuração, no recurso a indicadores preestabelecidos e nos processos de racionalização e de formalização associados à produção de documentos de controlo a priori . De resto, reconhecendo que as “imagens formais, racionais e burocráticas de escolas” ( LIMA, 2015 ) ganham em estar presentes no olhar que lançamos sobre estes fenómenos, e que a “burocracia não é um dinossauro extinto pela Nova Gestão Pública” ( LIMA, 2015 , p. 1349), podemos falar de uma hibridização de formas de regulação burocrática/pós-burocrática regulada por atores da tecnoestrutura do Ministério da Educação (Inspeção). Assim, os traços burocráticos encontrados nos processos de problematização e de preconização da política de AEE, convivem com uma acrescida relevância de características pós-burocráticas que a avaliação, como instrumento baseado em conhecimento, faz evidenciar e que a tornam um lugar onde convergem. Porém, se é certo que os propósitos pré-definidos podem aproximar o instrumento de AEE à racionalidade técnica do modelo burocrático, não se perde de vista que os meios pelos quais se concretiza a AEE a inscrevem na pós-burocracia, porquanto se ajustam a modos de concretização assentes na interação e na negociação de sentidos, nos contextos de ação (escolas), tendo, na sua base, uma rede de atores e de relações sociais que, por via deles, se formam ( LASCOUMES; LE GALÈS, 2004 ).
Deste modo, também constatamos que o recurso a indicadores predeterminados que possibilitam definir limites e vincular o problema a fatores explicativos se aproxima do conceito de racionalidade formal instrumental (de adequação meios-fins, em que os fins são dados a priori ) ( WEBER,1964 ). Mesmo assim, não deixamos de ter presente que, constituindo-se como métricas condicionantes da avaliação, estes indicadores não traduzem uma causalidade direta (própria da burocracia). Pelo contrário, são tributários de outros processos – singulares – que se preconiza deverem ocorrer durante a AEE, nomeadamente, durante a intervenção nas escolas, onde diversos atores (diretores, equipas de avaliação, professores, coordenadores, pais, estudantes, autarcas etc.) atuam como intermediários no processo de regulação. Acresce que, contrariamente, à regulação burocrática, algo alheia às questões da qualidade e da eficácia dos resultados ( BARROSO, 2005 ), na AEE, a regulação não se dá com base na verificação da conformidade legal estipulada a priori , associada à burocracia, mas por meio do controlo a posteriori , pelos resultados que são alcançados pelas escolas (pós-burocrático) ( BARROSO, 2009 ). Além disso, é com base no conhecimento mobilizado (e não, especificamente, na hierarquia), que o Estado retira legitimidade para interagir com os atores escolares, indagando-os sobre as suas escolhas, e induzindo-os para novas opções ( AFONSO, 2020 ). Desta forma, não deixando de ser valorizada, na AEE, a racionalidade circunscreve-se, basicamente, à racionalidade instrumental.
Chegados aqui, importa ressaltar que os produtos da atividade argumentativa refletem processos de escolha e atestam o triunfo de uns conhecimentos sobre outros, advindos do composto cognitivo dos atores que intervieram nos processos de problematização e de preconização. Sendo assim, o conhecimento inscrito nos produtos das duas cenas põe em evidência o poder de quem os concebeu e, concomitantemente, podem bem ser considerados uma manifestação do poder do conhecimento que vingou, por meio do qual se previu regular o pensamento, a atuação e a interação dos atores no quadro da AEE, contribuindo assim para a legitimação da própria política.