Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
Na análise crítica das atuais trajetórias dos sistemas educativos, há aspetos que obrigatoriamente têm de ser citados, caso do global e local, unidos pela avaliação, sobretudo nas suas formas quer de prestação de contas e responsabilização, quer de estandardização e uniformização. No campo da avaliação, um sistema educativo tem várias facetas, com predomínio para a avaliação das aprendizagens, não podendo ser ignorada a avaliação institucional, que se tem movido internacionalmente em torno da noção de garantia da qualidade. É sobre o tema da avaliação institucional que este texto versa, analisando-se as políticas que a legitimam e focando-se, por meio de uma pesquisa realizada em Portugal, com financiamento da Fundação para a Ciência e Tecnologia (FCT-PTDC/CPE-CED/116674/2010), sobre as escolas do ensino não superior2 (ou seja, do ensino fundamental e do ensino médio) e o modelo de Avaliação Externa das Escolas (AEE)3, em busca da identificação de impacto e efeitos.
O estudo parte de três objetivos e está centrado na seguinte questão: que impacto e efeitos produz a AEE, considerando a melhoria da escola, o envolvimento da comunidade e a implementação de políticas de accountability? Os objetivos estão listados a seguir: i) problematizar a AEE a nível internacional de acordo com um quadro teórico-conceptual centrado no impacto e nos efeitos; ii) mapear os estudos realizados em Portugal no contexto da AEE e analisar seus processos e práticas; e iii) conhecer perceções de professores e elementos da comunidade sobre o impacto e efeitos da AEE.
Mediante pesquisa quantitativa e qualitativa de âmbito nacional, são descritos e analisados dados relativos a relatórios da Inspeção-Geral da Educação e Ciência (IGEC), a contraditórios elaborados pelas escolas a um inquérito por questionário a diretores de escolas e, por último, a dois estudos de caso. Os resultados indicam, entre outros, que a avaliação institucional tem obedecido a uma lógica transnacional de valorização dos resultados académicos, assim como de subordinação do processo de autoavaliação das escolas ao modelo de AEE.
AVALIAÇÃO INSTITUCIONAL: DAS POLÍTICAS À PRÁTICA
Hoje em dia, qualquer discussão sobre avaliação é uma problemática com contornos muito distintos, sobretudo se a globalização for considerada nos seus diversos significados. Uma análise possível, perspetivada a partir da avaliação, conduz a um entendimento sobre a globalização como sinónimo não só de contradições, assim como de uma “retórica enganosa e uma eficiente ocultação dos factos” (SOBRINHO, 2009, p. 37). Com a evaporação do nacional e a consagração do transnacional no âmbito de uma cultura-mundo (LIPOVETSKY; SERROY, 2010) que se torna símbolo da estandardização e uniformização, é aberto espaço para “ideologia do sucesso individual” (SOBRINHO, 2009, p. 50), moldada pelo paradigma da avaliação baseada em standards (STAKE, 2006; FULLAN, 2015), de natureza quantitativa e construída a partir de critérios que são o suporte instrumental de uma política de prestação de contas e responsabilização (AFONSO, 2014; RYAN; FELLER, 2009), com significativo impacto no processo das reformas operadas na sociedade (TURNER; YOLCU, 2014).
O interesse político sobre a avaliação centra-se, assim, num exercício contábil de evidenciar o que realmente se trabalha na escola, tanto a nível institucional quanto no plano das aprendizagens, advogando-se um sentido realista para um determinado tipo de avaliação que apenas tem utilidade quando perspetivada em função dos avultados recursos financeiros mobilizados pelos governos nacionais.
Essa é, de facto, a base do manifesto realista para a avaliação, defendendo PAWSON (2013) a ideia de que a avaliação será tanto mais útil quanto mais seguir a prática baseada em evidência, ou seja, a avaliação do que realmente funciona na escola, em termos de indicadores de desempenho, tornando-se necessário quantificar a qualidade a partir de padrões amplamente partilhados. Desse modo, o peso da accountability nos processos e práticas de avaliação tem como tela de fundo modelos de políticas baseadas em evidências, em testes à larga escala e em resultados externos (HANBERGER, 2016). Por exemplo, os sistemas de desempenho da escola (SCHILDKAMP; TEDDLIE, 2008) consistem na valorização de suas caraterísticas organizacionais e nos efeitos observáveis nos resultados das aprendizagens, camuflando as questões curriculares e pedagógicas. E, como sublinha Sobrinho (1995 apudPOLIDORI, 2009, p. 110): “a avaliação institucional deve ser promovida como um processo de caráter essencialmente pedagógico”.
O modelo de prestação de contas tem sido o pressuposto da avaliação institucional, mais concretamente no caso português, da AEE no ensino básico (fundamental) e secundário (médio).4 O último ciclo de AEE, concluído em 2017, continha três domínios de avaliação - resultados; prestação do serviço educativo; liderança e gestão - e um conjunto significativo de indicadores. O parâmetro dos resultados corresponde sobretudo aos académicos, ou seja, provas e exames externos, nos finais de cada ciclo do ensino fundamental e no final do ensino médio. Na atribuição das classificações a cada escola, obrigatoriamente avaliada externamente, o parâmetro resultados condiciona a classificação dos dois restantes, pelo que existe um fator de determinação em função dos resultados obtidos pela escola a nível nacional, ignorando-os quer os processos e práticas de avaliação que existem no interior da escola (ALVES; MORGADO, 2012), quer a necessidade de uma linguagem da educação, enfraquecida pela linguagem da aprendizagem (BIESTA, 2013), quer ainda os diferentes significados que a avaliação pressupõe (ESTEBAN; AFONSO, 2010; SCHWANDT, 2009; SOBRINHO, 2002).
O 2º ciclo de AEE correspondeu a um modelo iniciado em 2011 e concluído em 2017, depois de um primeiro modelo implementado de 2006 a 2011, de natureza formativa, pois coincidiu com a generalização do processo da AEE na realidade portuguesa. Existindo somente para as escolas públicas, a avaliação institucional tem sido abordada tanto pelo Conselho Nacional de Educação (FIALHO et al., 2014), que é um órgão consultivo, com diversos pareceres e recomendações, quanto por organismos transnacionais, por exemplo, a Organização para a Cooperação e Desenvolvimento Económico (OECD, 2013), que tem sido responsável pela publicação de estudos que representam a validação das políticas nacionais, servindo de roteiro de mudanças essencialmente administrativas (FIALHO et al., 2014). Assim, a avaliação institucional converte-se num processo regulado transnacionalmente, tendo os governos nacionais uma autonomia controlada na sua implementação, na medida em que as regras são ditadas externamente e que o seu processo de implementação impõe uma lógica quantitativa de avaliação (EUROPEAN COMMISSION/EACEA/EURYDICE, 2015; PACHECO, 2014b; SOUSA, 2019).
Implementada pela IGEC no quadro de uma política europeia (PONS, 2014) e de modelos implementados por outros países (EHREN; SCHACKLETON, 2016), a AEE é uma questão emergente de investigação, tendo-se tornado objeto de pesquisa de várias investigações de mestrado e doutorado (FIGUEIREDO, 2017; OLIVEIRA, 2017; RODRIGUES et al., 2014; SAMPAIO, 2018; SOUSA et al., 2016; SOUSA, 2019), bem como de estudos de investigação (BARREIRA; BIDARRA; VAZ-REBELO, 2016; PACHECO, 2014b; 2016; SOUSA; PACHECO, 2018). Reconhecendo-se que a escola, enquanto objeto de avaliação, é difícil de definir (FIGARI, 2008), dada sua complexidade e ambiguidade (MCNAMARA; O’HARA, 2009), e que há muitos modelos possíveis para avaliar sua eficácia (SANDERS; DAVIDSON, 2003; STUFLLEBEAM, 2003), um grupo de investigadores realizou um projeto centrado no estudo de impacto e efeitos da avaliação institucional, cujos resultados parciais refletem a análise dos dados recolhidos em escolas dos ensinos fundamental e médio em Portugal.
METODOLOGIA
No projeto de pesquisa, de âmbito nacional, ao nível do território continental português, utilizou-se a metodologia quantitativa (BOGDAN; BIKLEN, 1994) e qualitativa (AMADO, 2013; MOREIRA, 2007), com uma diversidade de técnicas de recolha e análise de dados de modo a responder à seguinte pergunta de investigação: que impacto e efeitos produz a AEE no ensino não superior nos 1º e 2º ciclos do modelo, tendo como referências a melhoria da escola, a participação da comunidade e a implementação de políticas de prestação de contas?
Considerando sua pertinência, clareza e exequibilidade (QUIVY; CAMPENHOUDT, 2013), e reconhecendo-se que é “a fase mais difícil de um processo de investigação” (TUCKMAN, 1994, p. 22), a questão de investigação foi um ponto de referência constante dos investigadores, com suficiente valor teórico e prático. Para sua operacionalização, a pergunta de partida foi desdobrada nas seguintes questões: a AEE, no ensino não superior, produz impacto e efeitos na melhoria da escola a nível organizacional, curricular e pedagógico, na consolidação da autoavaliação institucional, na participação da comunidade na vida social da escola?; a AEE, no ensino não superior, produz impacto e efeitos na apropriação pela escola e comunidade dos referentes utilizados no processo de avaliação?
Dos objetivos formulados sobressaem: problematizar a AEE a nível internacional de acordo com um quadro teórico-conceptual centrado no impacto e efeitos; mapear os estudos realizados em Portugal no contexto da AEE; analisar processos e práticas de AEE; conhecer perceções dos docentes e elementos da comunidade sobre o impacto e efeitos da AEE.
A formulação dos objetivos gerais foi complementada com a formulação de objetivos empíricos, de acordo com o seguinte design de investigação (Quadro 1):
QUADRO 1 Design da investigação
| QUESTÕES DE INVESTIGAÇÃO | ESTUDOS EMPÍRICOS | OBJETIVOS EMPÍRICOS | TAREFAS DE INVESTIGAÇÃO |
| A AEE produz impacto e efeitos: - na melhoria da escola ao nível organizacional, curricular e pedagógico? - na consolidação da autoavaliação institucional? - na participação da comunidade na vida social da escola? |
Análise dos relatórios de avaliação. Análise dos contraditórios. Impacto e efeitos da AEE: perspetivas dos diretores. |
Recolher/analisar dados sobre os relatórios de AEE. Recolher/analisar dados sobre os contraditórios no contexto da AEE. Estudar o impacto e efeitos da AEE nas dimensões organizacional, curricular e pedagógica. Estudar o impacto e efeitos da AEE na relação escola/ comunidade. Estudar o impacto e efeitos da AEE na consolidação da autoavaliação. |
Análise dos relatórios de AEE de 2006/2007 a 2013/2014. Análise dos contraditórios de AEE de 2006/2007 a 2013/2014. Inquérito por questionário a diretores (n = 813). |
| A AEE produz impacto e efeitos na apropriação pela escola e comunidade dos referentes utilizados no processo de avaliação? | Impacto e efeitos da AEE: perspetivas dos docentes e do restante da comunidade. | Estudar o grau de apropriação dos referenciais da AEE pelas escolas e comunidade. | Estudos de caso (n = 9). Inquérito por entrevista a diretores (n = 9). Inquérito por entrevista a coordenadores de equipas de autoavaliação (n = 9). |
Fonte: Elaboração dos autores.
Sendo uma investigação desenvolvida durante três anos, com o envolvimento de investigadores de várias universidades portuguesas, os dados da investigação são mais abrangentes e completos, de modo a problematizar em termos de impacto e efeitos a avaliação externa, realizada a nível nacional, nas escolas dos ensinos básico (fundamental) e secundário (médio). Os dados apresentados dizem respeito à análise dos relatórios do modelo de AEE, de responsabilidade da IGEC, aos contraditórios elaborados pelas escolas em caso de discordância da classificação final emitida pela IGEC ao inquérito por questionário aplicado a diretores de escolas e à exploração de dados a partir de dois estudos de caso realizados, considerando-se, na perspetiva de Stake (2007), que todo o estudo de caso é um estudo de avaliação. Para efeitos de análise, foram considerados os relatórios e contraditórios da AEE referentes ao período de 2006/2007 a 2013/2014, tendo em conta as respetivas publicações no site da IGEC e o término do projeto de investigação em 2015.
Assim - e explicitando-se o que se pretende responder a partir de cada fonte de dados, com os relatórios de AEE -, busca-se o efeito das classificações atribuídas à escola por cada um dos domínios. Com os contraditórios, indaga-se o modo como as escolas aceitam e/ou rejeitam a avaliação, e com o inquérito por questionário a diretores de escolas, procura-se traçar trajetórias mais gerais sobre as suas perspetivas acerca dos domínios da avaliação externa (resultados, prestação do serviço educativo, liderança e gestão).
Em termos gerais, a AEE tem um referencial nacional implementado pela IGEC, tal como acontece na grande maioria dos países europeus, pois a IGEC assume também o papel de supervisão e avaliação (EUROPEAN COMISSION/EACEA/EURYDICE, 2015). No 2º ciclo, de 2011 a 2017, essa avaliação foi realizada, a nível de cada escola, por uma equipa de três elementos: dois inspetores e um professor do ensino superior. Depois de a escola ter aplicado questionários a alunos, encarregados de educação e professores sobre resultados sociais, e de ter enviado para a IGEC os dados exigidos sobre os documentos estruturantes que regem a instituição, a equipa visita a escola, durante três a quatro dias, sendo os dados recolhidos por entrevista a membros da escola e da comunidade, organizados em painéis diferenciados. No intervalo de dois a três meses, a escola recebe o relatório de avaliação, de acordo com a seguinte classificação por domínio: insuficiente, suficiente, bom, muito bom, excelente. Consequentemente, a escola pode ou não elaborar o contraditório para contestar dados factuais e não dados de interpretação da avaliação, que a IGEC aceita ou não, ainda que tanto o relatório como o contraditório sejam divulgados no site da IGEC.
DESCRIÇÃO E ANÁLISE DOS RESULTADOS
Para se obter uma análise focalizada e abarcante do processo em estudo (AMADO; FREIRE, 2013; MABRY, 2009; MORGADO, 2013), são apresentados, a seguir, os dados e é realizada a análise dos relatórios da AEE publicados pela IGEC no 1º e 2º ciclos de avaliação institucional, dos contraditórios e dos inquéritos por questionários realizados aos diretores, concluindo-se com a síntese dos dois estudos de caso. Os dados de caracterização dos respondentes não são apresentados neste texto, pois são parte integrante do relatório final do projeto de pesquisa apresentado à Fundação para a Ciência e a Tecnologia.
Relatórios de AEE
Todos os relatórios de AEE divulgados no site da IGEC de 2006/2007 a 2013/2014 foram analisados por meio de tratamento estatístico, nomeadamente as classificações obtidas nos domínios de avaliação. Por motivos que se prenderam quer com a constituição dos agrupamentos de escolas e a agregação de agrupamentos de escolas - verificada sobretudo a partir do ano letivo de 2011/2012 -, quer ainda com a alteração do modelo de AEE no início do 2º ciclo (alteração dos domínios, da escala de classificação e introdução do valor esperado), não foi possível estabelecer uma evolução comparativa dos resultados. Com efeito, muitas das escolas avaliadas no 1º ciclo (de 2006 a 2011) foram integradas em agrupamentos de escolas no 2º ciclo de AEE.
Considerando-se os resultados do 1º ciclo de avaliação, e tendo em conta as classificações obtidas pelas escolas (n = 1.107) nos cinco domínios, verifica-se o predomínio das classificações muito bom e bom nos domínios organização e gestão escolar e liderança, os dois níveis mais altos da escala de classificação. Nos restantes domínios prevalecem as classificações bom e suficiente (Tabela 1).
TABELA 1 Distribuição de frequência (%) da classificação das escolas por domínio, nos relatórios relativos ao 1o ciclo de Avaliação Externa das Escolas (n = 1.107)
| DOMÍNIOS | MUITO BOM | BOM | SUFICIENTE | INSUFICIENTE |
| Resultados | 8,1% | 60,5% | 30,4% | 1,0% |
| Prestação do Serviço Educativo | 11,3% | 67,6% | 21,0% | 0,1% |
| Organização e Gestão Escolar | 26,0% | 64,7% | 9,0% | 0,3% |
| Liderança | 33,8% | 53,6% | 11,9% | 0,7% |
| Capacidade de Autorregulação | 5,1% | 41,6% | 48,8% | 4,5% |
Fonte: Elaboração dos autores com base nos dados publicados pela Inspeção-Geral da Educação e Ciência (IGEC, 2012).
Da análise desses resultados, verifica-se que a AEE, no 1º ciclo, traduziu-se num “efeito de teto, isto é, sobrevalorização das classificações mais elevadas” (BIDARRA et al., 2014, p. 237, grifos nossos). Através da adição das percentagens relativas às classificações bom e muito bom, obtêm-se percentagens elevadas: organização e gestão escolar (90,7%); liderança (87,4%); prestação do serviço educativo (78,9%). Os domínios resultados (68,6%) e capacidade de autorregulação e melhoria da escola (46,7%) têm valores mais baixos, dado o peso da classificação de suficiente ser bastante expressivo, respetivamente 30,4% e 48,8%. Tais resultados permitem dizer que “a escala utilizada perdeu progressivamente o poder discriminativo” (BIDARRA et al., 2014, p. 244).
Essas duas situações estão diferentemente colocadas no 2º ciclo de AEE. Com a introdução da classificação excelente, e uma vez que raramente é atribuída nos domínios, não havendo qualquer escola no território continental com essa classificação, o poder discriminativo da escala tende a não ser tão significativo, ainda que a maioria das classificações se mantenha nos níveis bom e muito bom, de acordo com as classificações atribuídas às escolas avaliadas durante os dois primeiros anos letivos do 2º ciclo de AEE (2011/2012 e 2012/2013) (Tabela 2):
TABELA 2 Distribuição de frequência (%) da classificação das escolas por domínio, nos relatórios relativos ao 2o ciclo de Avaliação Externa das Escolas, durante os anos letivos 2011/2012 e 2012/2013 (n = 275)
| DOMÍNIOS | EXCELENTE | MUITO BOM | BOM | SUFICIENTE | INSUFICIENTE |
| Resultados | - | 24,8% | 55,1% | 19,7% | 0,4% |
| Prestação do Serviço Educativo | - | 31,7% | 55,3% | 13,0% | - |
| Liderança e Gestão | 0,6% | 40,6% | 45,6% | 12,2% | - |
Fonte: Elaboração dos autores com base nos dados publicados pela Inspeção-Geral da Educação e Ciência (IGEC, 2015).
Todavia, o efeito de teto continua a ser observado no 2º ciclo da AEE, sendo que as classificações concentraram-se nos níveis mais elevados. Somando-se os resultados das classificações de bom e muito bom, obtêm-se os seguintes valores nos diferentes domínios: resultados (79,9%); prestação do serviço educativo (87%); liderança e gestão (86,2%). Isso traduz-se num aumento significativo, do 1.º para o 2º ciclo de AEE, dos resultados das escolas nos domínios resultados (de 68,6% para 79,9%) e liderança e gestão (de 37,5% para 86,2%), bem como num aumento diminuto das classificações no domínio prestação do serviço educativo (de 78,9% para 87,0%). Para efeitos de uma leitura comparativa entre os dois ciclos de AEE, e por que os campos de análise do domínio liderança e gestão (2º ciclo de AEE) têm uma forte semelhança com os campos de análise dos domínios organização e gestão escolar e liderança (1º ciclo de AEE), optou-se por agregar os valores destes últimos (Tabela 1).
Nas classificações obtidas pelas escolas no 2º ciclo de AEE, observa-se forte tendência para que o nível atribuído ao domínio resultados determine os que são conferidos aos domínios de prestação do serviço educativo e de liderança e gestão e, caso sejam diferentes, são identificados, nos documentos de orientação da IGEC, como situações de exceção.
CONTRADITÓRIOS
Nesse ponto, são apresentados os resultados dos contraditórios elaborados pelas escolas, a nível nacional, em resposta aos relatórios da AEE publicados pela IGEC no período de 2006/2007 a 2013/2014, abrangendo o 1º e 2º ciclos de AEE. Todos os contraditórios foram consultados a partir do site da IGEC. No quadro de referência do modelo de AEE (IGE, 2009, p. 13), as escolas, após receberem os relatórios de avaliação, “dispõem de um prazo (no mínimo de 15 dias úteis) para apresentar contraditório”, sem que exista um modelo a seguir ou mesmo limite de páginas.
Decorrendo de uma análise apreciativa dos avaliadores, o contraditório é considerado nos aspetos factuais, e não propriamente no que é considerado juízo valorativo, correspondendo a uma possível discordância improdutiva, já que a instância de recurso jamais veio a ser instituída como organismo independente.
A resposta aos relatórios de AEE (n = 1.382), a análise estatística dos contraditórios (n = 481), elaborados pelas escolas nos primeiros oito anos de implementação do modelo de AEE do ensino não superior, permite-nos constatar a existência de um enunciado empírico geral: no cálculo do rácio relatório/contraditório, 29,7% das escolas avaliadas externamente apresentaram contraditório, sendo mais elevada a percentagem no 1º ciclo (33,2%) do que nos três primeiros anos do 2º ciclo de AEE (22,1%). O ato de contraditar os resultados da AEE não se torna, assim, suficientemente abrangente, pois verifica-se a tendência para aceitação dos resultados por mais de dois terços das escolas, numa tendência descendente à medida que o processo de avaliação foi sendo generalizado e consolidado, movimento notório nos primeiros quatro anos do 1º ciclo. Com efeito, a diminuição dos contraditórios pode ter, como base explicativa, quer a mudança para a liderança unipessoal nas escolas, operada em 2008/2009, quer a socialização das escolas para com o modelo, demonstrando uma tendente progressividade na sua apropriação.
Dos resultados globais dos contraditórios, destacam-se os seguintes aspetos: 61,1% não apontam para qualquer concordância/discordância quanto à experiência de avaliação, ainda que 38,9% dos contraditórios incluam referências à concordância com o modelo e/ou reconhecimento de vantagens; 93,6% não incluem referências teóricas a conceções de avaliação; 68,6% incluem discordâncias sobre a classificação atribuída a um ou mais domínios, com predominância em mais do que um; as escolas não discordam apenas quando as classificações se situam nos níveis insuficiente ou suficiente, dado que há casos em que as escolas revelam discordância quando é atribuída a classificação de bom e/ou muito bom em certos domínios; 41,6% das escolas invocam a correção de factos dos relatórios de avaliação, sobretudo quando relacionados com os resultados das aprendizagens e/ou com a caracterização socioeconómica da escola; 73,6% discordam da interpretação dos avaliadores, sendo esta divergência notória, sobretudo, no domínio dos resultados; 6% fazem referência ao tempo diminuto para a avaliação externa; 31,4% são contraditórios minimalistas, isto é, incluem observações, correção de factos em diminuto número, comentários, validação da avaliação externa, satisfação com os resultados; 50,7% são contraditórios reativos moderados, sendo predominante a discordância quanto à interpretação de afirmações no texto do relatório de avaliação, o pedido de alteração da classificação nos domínios, a reposição de interpretações e a justificação dos pontos fracos; 17,9% são contraditórios reativos enfáticos, com predomínio da argumentação com recurso à ironia, do levantamento de questões frequentes, da exigência de recomendações, da retificação dos pontos fracos, da valorização dos pontos fortes e da desculpabilização.
Inquérito a diretores
A tarefa relacionada com a recolha e análise de dados empíricos por meio de um inquérito por questionário a diretores (n = 813) foi concretizada de modo parcial, já que o número de respondentes (n = 256) ficou aquém do que seria minimente recomendado, isto é, 40%. Mesmo assim, e dada a distribuição geográfica, os resultados são significativos e indicam que os diretores têm uma visão globalmente positiva da AEE, alcançando uma média de 1,11 numa escala que pode variar de -3 (extremamente negativa) a 3 (extremamente positiva), tal como é possível verificar na Tabela 3.
TABELA 3 Medidas descritivas da perceção dos diretores sobre a Avaliação Externa das Escolas, em cada um dos domínios
| DOMÍNIOS | x̄ | σ |
|---|---|---|
| Resultados | 0.96 | 0.82 |
| Prestação do Serviço Educativo | 1.10 | 0.85 |
| Liderança e Gestão | 1.28 | 0.87 |
| GERAL | 1.11 | 0.82 |
Fonte: Elaboração dos autores.
Partindo de questões decorrentes dos vários indicadores de cada um dos domínios avaliados no 2º ciclo de AEE - isto é, resultados, prestação do serviço educativo, liderança e gestão -, e não sendo descritos os resultados por indicador, dado seu elevado número, o que dificultaria a perceção dos dados para o leitor, os resultados são apresentados de forma global.
Perante a questão das mudanças da AEE nas dimensões estruturantes do processo de avaliação, de acordo com seus três domínios, os diretores são de opinião que o impacto se verifica mais no domínio da liderança e gestão (1.28) e da prestação do serviço educativo (1.10) do que nos resultados (0.96), ainda que todos os valores sejam positivos e que apenas se revele uma tendência na diferença entre os três domínios. Considerando os dados do inquérito por questionário, pode-se afirmar: i) o impacto e efeitos da AEE são, de forma global, vistos como moderadamente positivos; ii) o impacto e efeitos mais fortes são notados nos aspetos mais próximos aos atores escolares, nomeadamente: avaliação interna, documentos orientadores, atuação da liderança; nos resultados dos alunos e atuação de alunos e famílias, os impactos e efeitos são vistos como menores; iii) os principais fatores potenciadores do impacto e efeitos da AEE relacionam-se com o grau em que esse processo desenvolveu junto da comunidade educativa da escola; iv) no 2º ciclo de AEE a perceção dos seus efeitos está relacionada com a classificação final de cada escola, enquanto no 1º ciclo de AEE as classificações das escolas não estão relacionadas com as perceções dos seus efeitos e impacto; v) os resultados mais elevados no 2º ciclo de AEE estão relacionados com perceções mais favoráveis dos seus efeitos, sobretudo nos aspetos da autoavaliação e da articulação com a comunidade educativa.
Estudos de caso
Para a realização dos estudos de caso de natureza instrumental (STAKE, 2007), foram considerados os seguintes critérios de seleção: escolas que tenham melhorado a sua classificação final do 1º para o 2º ciclo de AEE e escolas que tenham baixado o seu resultado entre os dois ciclos de AEE. A análise destes casos permitiu o estudo do contexto de realidades diferentes.
No conjunto da investigação, de âmbito nacional pela participação de universidades localizadas geograficamente no norte, centro e sul de Portugal, foram realizados nove estudos de caso. Em todos os casos, foi utilizada a mesma metodologia na recolha de dados. Procedeu-se à caracterização de cada escola por via da análise documental, mantendo-se o seu anonimato, realizou-se uma entrevista ao diretor e um grupo focal a docentes, incluindo os que desempenhassem cargos de gestão intermédia, tais como os coordenadores de departamentos e de projetos. Dos nove estudos de caso, apresentam-se de seguida, genericamente, os dois estudos de caso coordenados pela equipa do projeto da Universidade do Minho.
A partir dos resultados de dois estudos realizados na região norte do país, constata-se que os casos analisados são distintos na forma como os atores escolares se posicionam face à AEE, sobretudo ao nível das lideranças de topo e das lideranças intermédias, ainda que a AEE seja valorizada identicamente, sobretudo no modo como consideram que a escola seja capaz de ultrapassar os seus pontos fracos, consolidar os seus pontos fortes e reforçar sua imagem social. A diferença dos dois estudos de caso está associada essencialmente à autonomia, pois a escola que tem uma visão mais crítica da AEE possui de uma autonomia consagrada por contrato com o Ministério da Educação, que lhe permite ativar uma estratégia de suporte externo, designadamente a contratualização com uma instituição externa para realizar a sua autoavaliação (caso 1), enquanto a outra escola possuiu uma experiência de mudanças significativas no seu procedimento organizacional e curricular, do 1º para o 2º ciclo, para corresponder às exigências do modelo de AEE (caso 2). No estudo de caso 1, a escola assume uma resistência colaborante, não deixando de se adaptar aos procedimentos externos, tal como se verifica, de um modo muito evidente, no guião organizacional que implementa.
Apesar do posicionamento crítico face à AEE, verifica-se que em cada estudo de caso há uma tendência evidente para aceitação do referencial do modelo, tanto na apropriação de discursos avaliativos, quanto na concordância com procedimentos que permitam à escola obter os melhores resultados, o que está de acordo com a existência do efeito de legitimação (PACHECO et al., 2014).
A centralidade dos resultados académicos no processo de AEE está na base de alterações verificadas nas organizações escolares estudadas, nomeadamente em termos organizacionais e curriculares, salientando-se a elaboração de documentos, a criação de cargos de liderança intermédia, a modificação dos critérios de avaliação, a implementação de práticas de articulação e sequencialidade curriculares e o enfoque no trabalho colaborativo docente. Porém, são mudanças que acontecem sob o efeito procedimental (PACHECO et al., 2014), ancorado numa racionalidade técnica que está intrinsecamente relacionada com o efeito teórico do quadro pedagógico (MONS, 2009).
Decorrente dessas mudanças, poder-se-á questionar se a AEE tem efeito observável nas práticas em contexto de sala de aula, não podendo deixar de ser referidas pelos inquiridos dos dois estudos de caso. A relevância da avaliação externa das aprendizagens nos resultados da AEE, ao nível de provas e exames nos ensinos básico e secundário, é enfatizada nos discursos dos docentes inquiridos. Tal constatação permite-nos inferir que a AEE promove e incentiva uma cultura de avaliação centrada nos resultados académicos (MCNAMARA; O’HARA, 2009), estando essa associada à melhoria da qualidade da escola, originando o que é amplamente aceito como visão em túnel (centrado no quantitativo e nos resultados académicos) e processo de ossificação (EHREN; VISSCHER, 2006), isto é, os atores escolares tendem a agir em função do que é regulado pelo modelo de avaliação externa, neste caso, a AEE. Com efeito, os atores escolares inquiridos nos dois estudos de caso sublinham que o processo de autoavaliação está fortemente condicionado à AEE, sendo esta um fator de regulação daquela, contrariamente ao que é proposto por Nevo (2009), que defende a autoavaliação em função das necessidades da escola, das diferentes perspetivas sobre avaliação e da utilização social da avaliação. Em concordância com esta perspetiva, McNamara e O’Hara (2009) sublinham que a capacidade de realização da autoavaliação é um aspeto central da avaliação institucional. A investigação mais recente no âmbito da AEE em Portugal defende que a autoavaliação das escolas é o pilar da justiça social num contexto da AEE (SAMPAIO, 2018). É nesse sentido que reiteramos a ideia de que a autoavaliação significativa, para cada escola, por meio de sinergias interinstitucionais que promovam a cooperação de olhares internos e externos, contribui para o desenvolvimento das escolas e, consequentemente, para processos inovadores (SOUSA, 2018).
CONCLUSÃO
Os dados da investigação apontam para uma tendência para as classificações atribuídas às escolas terem sido determinadas, tanto no 1º ciclo (2006-2011) como no 2º (2011-2017), pelo efeito de teto, ou seja, por via da sobrevalorização das classificações mais elevadas. Como a escala de classificação foi alterada no 2º ciclo, com a introdução de valor de excelente, esse efeito de teto foi em parte mitigado, pois as classificações continuaram situadas, maioritariamente no muito bom e bom, sendo residual a quantidade de escolas com a classificação de excelente no 2º ciclo (n = 1).
A análise dos dois ciclos permite sublinhar que, em termos de valores de média das classificações finais das escolas, a escola do ensino não superior, em Portugal - e escola pública, porque o modelo não abrangeu as escolas privadas -, é de qualidade, com valores mais elevados, em primeiro lugar, para o domínio liderança e gestão, em segundo, para o domínio prestação do serviço educativo, em terceiro, para o domínio resultados.
Apesar de ser um instrumento de contestação das classificações atribuídas em cada um dos domínios, o contraditório não se revelou um ato de discordar, verificando-se a tendência para a aceitação dos resultados por mais de dois terços das escolas, numa tendência descendente à medida que o processo de avaliação foi sendo generalizado e consolidado, movimento notório nos primeiros quatro anos do 1º ciclo de AEE. Esta tendência demonstra que há a possibilidade de, com o processo de consolidação do modelo de AEE em Portugal, as escolas tenderem a aceitar as classificações finais, sendo menos reativas.
Dos estudos de caso apresentados, ressalta-se a evidência de que os atores das duas escolas têm opiniões distintas, sobretudo ao nível das lideranças. Os dados analisados nos dois estudos de caso enfatizam a relevância da autonomia de cada escola na perceção do impacto e efeitos da AEE. A avaliação externa é percecionada de um modo mais crítico quando as escolas têm mais autonomia.
Se toda a avaliação externa produz efeitos colaterais (PENNINCKX, 2017) que podem ser pretendidos ou não, são salientados os seguintes efeitos positivos/negativos, dependendo de sua focagem no modo como cada escola perspetiva seu processo de avaliação:
Aceitação da articulação da escola com a comunidade. Os diretores assumem que a AEE é um processo que torna mais visível o trabalho da escola, reforçando as lideranças híbridas dos diretores, ancoradas em princípios defensores de uma visão humanista de educação, do trabalho colaborativo docente e de uma escola eficaz em termos da cultura de exigência de resultados.
Valorização da imagem social da escola, pois as escolas perspetivam o instrumento de avaliação externa como um fator da sua afirmação perante os pais, alunos e demais atores sociais, contribuindo para fortalecer estilos de liderança.
Visão otimista dos diretores que perspetivam a AEE como oportunidade para cultivar processos de mudança nas escolas, tendo em conta os princípios estabelecidos externamente.
Em síntese, a avaliação institucional, apesar de estar ancorada em políticas de uniformização e estandardização - que inevitavelmente conduzem as escolas para uma cultura de prestação de contas e responsabilização -, e apesar de valorizar o desempenho em função dos resultados externos, bem como de salientar os aspetos organizacionais da escola, necessita quer de um olhar essencialmente formativo e pedagógico, quer de um processo de autoavaliação que se torne uma componente fundamental da escola, aspetos que serão, decerto, discutidos no 3º ciclo de AEE, iniciado em 2019.
Terminado este estudo, os investigadores de várias universidades portuguesas estão a iniciar o projeto “Mecanismos de mudança nas escolas e na inspeção. Um estudo sobre o 3º ciclo de Avaliação Externa das Escolas do ensino não superior”, também financiado pela FCT, por um período de três anos, cuja realização contribuirá para um conhecimento mais profundo de políticas, processos e práticas de avaliação institucional.
