SciELO - Scientific Electronic Library Online

 
vol.25Relações entre os jogos de papéis e o desenvolvimento psíquico de crianças de 5-6 anosO ensino integrado como medida política em prol da justiça social: o caso dos cursos EFA em Portugal e do PROEJA no Brasil índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Revista Brasileira de Educação

versão impressa ISSN 1413-2478versão On-line ISSN 1809-449X

Rev. Bras. Educ. vol.25  Rio de Janeiro jan./dez 2020  Epub 28-Abr-2020

https://doi.org/10.1590/s1413-24782020250022 

Artigos

Interdependência entre domínios na avaliação externa para a melhoria dos “resultados” em duas organizações escolares

Interdependence among domains in the external evaluation for the improvement of “results” in two school organizations

Interdependencia entre dominios en la evaluación externa para la mejora de los “resultados” en dos organizaciones escolares

Pascoal Diogo Albuquerque I  
http://orcid.org/0000-0001-7805-2925

António Gomes Ferreira I  
http://orcid.org/0000-0002-3281-6819

Carlos Manuel Folgado Barreira I  
http://orcid.org/0000-0001-6137-2842

IUniversidade de Coimbra, Coimbra, Portugal.


RESUMO

Pretendeu-se compreender a evolução/involução das classificações atribuídas ao domínio “Resultados” em duas escolas próximas geograficamente (E1 e E2), com base em relatórios e contraditórios de avaliação externa de escola, procurando averiguar a existência ou não de coincidências nas apreciações realizadas nas duas avaliações, bem como de influências dos outros domínios. Efetuou-se uma análise de um corpus composto de nove documentos centrado nos relatórios de avaliação externa e nos contraditórios das duas instituições pesquisadas, no âmbito dos dois ciclos de avaliação já concluídos em Portugal (2006-2011 e 2011-2017). Considerando as duas escolas, para a subida generalizada das classificações no domínio “Resultados” contribuíram as evidências registadas no fator/campo de análise relativo aos resultados académicos, bem como as práticas evidenciadas nos domínios “Prestação do serviço educativo” e “Liderança e gestão”.

PALAVRAS-CHAVE: avaliação externa de escolas; relatórios; contraditórios; resultados

ABSTRACT

It was intended to understand the evolution/involution of the classifications attributed to the evaluation domain “Results”, in two geographically close schools (E1 and E2), considering the reports and contradictions of the external school evaluation, looking for to verify the existence or not of coincidences in the evaluations carried out in the two evaluations, as well as influences from other domains. An analysis of a corpus consisting of nine documents was carried out, centered on the external evaluation reports and on the contradictions of two schools, within the framework of the two external school evaluation cycles already completed in Portugal (2006-2011 and 2011-2017). Considering the two schools, for the generalized increase in the classifications in the “Results” domain, the evidences registered in the factor/field of analysis related to the academic results contributed to it, as well as the practices evidenced in the domains “Providing the educational service” and “Leadership and management”.

KEYWORDS: external evaluation of schools; reports; contradictory; results

RESUMEN

Se pretendió comprender la evolución/involución de las clasificaciones atribuidas al dominio “Resultados”, en dos escuelas geográficamente cercanas (E1 y E2), a partir de los informes y las contradicciones de la evaluación externa de la escuela, buscando averiguar la existencia o no de coincidencias en las apreciaciones realizadas en las dos evaluaciones, así como de las influencias de otros dominios. Se realizó un análisis de un corpus de nueve documentos, centrado en los informes de evaluación externa y en las contradicciones de dos escuelas, en el contexto de dos ciclos de la evaluación externa de la escuela ya concluidos en Portugal (2006-2011 y 2011-2017). Considerando las dos escuelas, para la subida generalizada de las clasificaciones en el dominio “Resultados” contribuyeron las evidencias registradas en el factor/campo de análisis relativo a los resultados académicos, así como las prácticas evidenciadas en los dominios “Prestación del servicio educativo” y “Liderazgo y gestión”.

PALABRAS CLAVE: evaluación externa de las escuelas; informes; contradictorios; resultados

INTRODUÇÃO

Determinados os principais fatores de eficácia (Mortimore et al., 1988; Teddlie e Stringfield, 1993), os subsequentes programas de melhoria vieram permitir, para além da aplicação no terreno de mudanças em sintonia com esses fatores, o desenvolvimento de modelos de autoavaliação e de avaliação externa que passaram a ter como referentes as caraterísticas da escola eficaz (Macbeath, 2007; Stoll e Sammons, 2007). A avaliação externa em Portugal recebeu, entre outras, influências do modelo escocês (Brigas, 2012; Figueiredo, Leite e Fernandes, 2014; HMIE, 2001), que tem sido revisto para responder com adequação e maior flexibilidade às especificidades das escolas.

Dando sequência ao previsto na lei n. 46/86, de 14 de outubro - Lei de Bases do Sistema Educativo (LBSE) -, a Assembleia da República Portuguesa aprovou a lei do sistema de avaliação da educação e do ensino não superior (lei n. 31/2002, de 20 de dezembro). A avaliação da educação e do ensino não superior, ao fornecer informação sobre a eficácia do sistema educativo, vai, de acordo com Clímaco (1995), desempenhar um papel de relevo no processo de tomada de decisão no nível dos planeamentos político, estratégico e operacional. Existe uma conceção de avaliação que pretende criar elementos que sirvam de referência para patamares maiores de exigência

bem como a identificação de boas práticas organizativas, de procedimentos e pedagógicas relativas à escola e ao trabalho de educação, ensino e aprendizagens, que se constituam em modelos de reconhecimento, valorização, incentivo e dinamização educativa. (lei n. 31/2002, n. 1, artigo 4º)

Em contrapartida, pretende-se também a aferição dos graus de desempenho do sistema educativo nacional em comparação com o desempenho de outros sistemas educativos internacionais (lei n. 31/2002, n. 2, artigo 4º).

A afirmação da accountability, em que a prestação de contas pelas atividades realizadas e a responsabilização dos decisores e intervenientes são, necessariamente, precedidas de uma avaliação, conduz a um gradual estabelecimento de uma cultura de qualidade, exigência e responsabilidade. A avaliação da escola engloba a autoavaliação, de caráter obrigatório, e a avaliação externa (lei n. 31/2002, artigos 5º e 6º).

Em Portugal, conduzidos pela Inspeção-Geral da Educação (IGE) e pelo organismo que lhe sucedeu (Inspeção-Geral da Educação e Ciência - IGEC), decorreram dois ciclos de avaliação externa de escolas (AEE) (primeiro ciclo de AEE: 2006-2011; segundo ciclo de AEE: 2011-2017), com algumas diferenças entre eles.

Para a definição dos referenciais, a realização do estudo-piloto, a definição de procedimentos, do calendário e das condições de extensão da autoavaliação e da AEE às restantes escolas, a produção de recomendações relativas à avaliação e à autonomia das escolas, a ministra da Educação e o ministro de Estado e das finanças aprovaram o despacho de criação de um primeiro grupo de trabalho para esse efeito (n. 1 do despacho conjunto n. 370/2006, de 3 de maio). Findo o primeiro ciclo avaliativo, um segundo grupo de trabalho, igualmente criado por despacho conjunto, ficou encarregado de: efetuar uma reapreciação do modelo implementado no primeiro ciclo; elaborar uma proposta para um novo modelo de AEE; formar avaliadores e acompanhar a fase experimental de aplicação nas escolas de um novo modelo de AEE; elaborar uma proposta de normativo e um relatório final (n. 2 do despacho conjunto n. 4.150/2011, de 4 de março).

Antes das alterações introduzidas no quadro de referência da avaliação externa (QRAE) do segundo ciclo, e sem conhecimento prévio das conclusões do segundo grupo de trabalho, Bidarra et al. (2014) efetuaram um estudo analítico das classificações atribuídas, entre 2007 e 2010, a 167 unidades de gestão pertencentes à Região Centro, tendo concluído, entre outros aspetos:

  • haver uma “sobreposição acentuada entre domínios de avaliação” (Bidarra et al., 2014, p. 243), sugerindo a possibilidade de agregação em um componente dos “aspetos pedagógicos e funcionais ligados à instrução (que inclui os domínios Resultados e Prestação do Serviço Educativo)” e em outro dos “aspetos estruturais ou organizacionais das escolas (que agrega os domínios Organização e Gestão Escolar, Liderança e Capacidade de Autorregulação e Melhoria da Escola)” (Bidarra et al., 2014, p. 244);

  • existir “uma acentuada redundância na informação veiculada pelos diferentes fatores, sendo que um quadro referencial com nove fatores poderia substituir, sem prejuízo maior, o quadro inicial composto por 19 fatores” (Bidarra et al., 2014, p. 244);

  • haver a perda progressiva do poder discriminativo da escala de avaliação em virtude de “as classificações mais elevadas [corresponderem] a percentagens superiores a 90% no último ano do processo de avaliação em estudo” [...] “contrariamente ao que seria de esperar, os avaliadores utilizam ponderações implícitas dos fatores, sendo que no caso do domínio Resultados o fator Sucesso Académico tem objetivamente o dobro do peso dos restantes fatores” (Bidarra et al., 2014, p. 244).

Concluídas as tarefas do segundo grupo de trabalho, a escala de avaliação utilizada no primeiro ciclo de AEE, composta de quatro níveis de avaliação (“Insuficiente”, “Suficiente”, “Bom” e “Muito Bom”) cuja descrição se apoia na frequência da ocorrência de pontos fortes e fracos, passou a conter, no segundo ciclo, mais um nível (“Excelente”). A descrição de cada nível passou também a considerar a comparação entre o valor obtido e o valor esperado “na melhoria das aprendizagens e dos resultados dos alunos e nos respetivos percursos escolares” (IGEC, 2011a, p. 1). A mudança de cinco para três domínios de avaliação contemplou, genericamente, a inclusão dos domínios “Organização e gestão escolar” e “Liderança”, existentes no quadro de referência do primeiro ciclo de AEE, no domínio “Liderança e gestão” do quadro adotado na segunda AEE, incorporando-se também agora, como campo de análise designado de “Autoavaliação e melhoria”, o anterior domínio “Capacidade de autorregulação e melhoria da escola” (IGEC, 2011b). Em termos numéricos, de um total de 5 domínios e 19 fatores da primeira AEE, passou-se para 3 domínios e 9 campos de análise no quadro de referência da segunda AEE, com 43 referentes:

  • “Resultados” - “Resultados académicos”: 4;

  • “Resultados” - “Resultados sociais”: 4;

  • “Resultados” - “Reconhecimento da comunidade”: 3;

  • “Prestação do serviço educativo” - “Planeamento e articulação”: 5;

  • “Prestação do serviço educativo” - “Práticas de ensino”: 7;

  • “Prestação do serviço educativo” - “Monitorização e avaliação das aprendizagens”: 5;

  • “Liderança e gestão” - “Liderança”: 5;

  • “Liderança e gestão” - “Gestão”: 5;

  • “Liderança e gestão” - “Autoavaliação e melhoria”: 5 (IGE, 2010; IGEC, 2011b).

No quadro de referência do segundo ciclo de AEE deixaram de existir as perguntas ilustrativas do entendimento do fator e os descritores e indicadores, existentes no quadro do primeiro ciclo. O campo “Monitorização e avaliação das aprendizagens”, do domínio “Prestação do serviço educativo”, passou posteriormente a constar nos relatórios de AEE como “Monitorização e avaliação do ensino e das aprendizagens”.

Bidarra et al. (2014) assinalaram uma convergência parcial entre as suas primeiras três conclusões, anteriormente expostas, e o que ficou definido para segundo ciclo da AEE em termos do novo quadro de referência e da nova escala de avaliação. Em relação a uma ponderação explícita dos fatores na classificação dos domínios, Bidarra et al. (2014, p. 245) mencionam que a lógica do valor acrescentado na atribuição das classificações, ao “utilizar o diferencial entre o valor esperado e o valor obtido nos resultados académicos como determinante na atribuição de níveis de classificação em todos os domínios, vem a constituir uma forma explícita de assumir o seu peso na AEE”.

Em nosso entender, enquanto no primeiro ciclo de AEE há uma preocupação maior com a afirmação da autoavaliação de escola e uma maior lógica de controlo, na segunda AEE, com os processos de avaliação interna/autoavaliação mais consolidados, há um recentrar na validação das práticas.

No primeiro ciclo da AEE, na maioria das 1.107 escolas não agrupadas ou agrupamentos de escolas (ENAAE), avaliadas/avaliados no período 2006-2011, a classificação de “Bom” foi a classificação maioritariamente atribuída em quatro domínios (“Resultados”: 60,5%; “Prestação do serviço educativo”: 67,6%; “Organização e gestão escolar”: 64,7%; “Liderança”: 53,6%), tendo sido a classificação de “Suficiente” maioritária (48,8%) no domínio “Capacidade de autorregulação e melhoria da escola/agrupamento” (IGE, 2011). Relativamente aos três últimos anos da segunda AEE (2014-2017), a IGEC (2018) produziu um relatório sobre o desempenho das trezentas ENAAE avaliadas/avaliados, tendo concluído que a classificação de “Bom” foi maioritária nos três domínios de avaliação (“Resultados”: 56,7%; “Prestação do serviço educativo”: 58,3%; “Liderança e gestão”: 54,3%).

Alferes et al. (2016) estudaram a evolução do desempenho de 461 ENAAE, em um período temporal que abrangeu todo o primeiro ciclo de AEE (2006-2011) e os anos letivos entre 2011 e 2014, pertencentes ao segundo ciclo avaliativo. Esses autores concluíram que: no domínio “Resultados”, subiram as classificações 44%, e 46,9% mantiveram-nas; no domínio “Prestação do serviço educativo”, ocorreram 42,7% subidas e 45,1% manutenções; no domínio “Organização e gestão escolar”, da primeira AEE, contrastado com o domínio “Liderança e gestão”, da segunda AEE, 33,4% subiram as classificações e 51,6% mantiveram-nas; no domínio “Liderança”, do primeiro ciclo de AEE, comparado com o domínio “Liderança e gestão”, do segundo ciclo de AEE, verificaram-se 31,9% subidas e 49,9% manutenções; no domínio “Capacidade de autorregulação e melhoria da escola/agrupamento”, do quadro de referência da primeira AEE, comparativamente com o domínio “Liderança e gestão”, da segunda AEE, ocorreram 66,8% subidas e 29,9% manutenções de classificação. Assim, em termos acumulados, mantiveram ou subiram a classificação, relativamente ao total de unidades de gestão: “90,9% (Resultados), 87,9% (Prestação do Serviço Educativo), 85% (Organização e Gestão Escolar versus Liderança e Gestão), 81,8% (Liderança versus Liderança e Gestão) e 96,7% (Capacidade de Autorregulação e Melhoria da Escola versus Liderança e Gestão)” (Alferes et al., 2016, p. 64).

Alferes et al. (2016) calcularam também os rácios entre as escolas que subiram e as que desceram a classificação do primeiro para o segundo ciclo da AEE, verificando-se o menor valor (147/84 = 1,75) para o contraste das classificações do domínio “Liderança e gestão” (segundo ciclo) com as do domínio “Liderança” (primeiro ciclo), e o maior valor (308/15 = 20,53) para a comparação das classificações no domínio “Liderança e gestão” (segundo ciclo) com as classificações no domínio “Capacidade de autorregulação e melhoria da escola/agrupamento” (primeiro ciclo). Esse valor elevado “traduz obviamente a disparidade das classificações nos domínios do primeiro ciclo: a Capacidade de Autorregulação e Melhoria da Escola foi claramente o domínio onde se verificaram as classificações mais baixas, com 55% de classificações inferiores a Bom” (Alferes et al., 2016, p. 65).

Alferes et al. (2016, p. 66) referem que a subida generalizada das classificações “tomada pelo valor facial, […] seria compatível com a melhoria efetiva das Escolas, resultante do feedback obtido no primeiro ciclo da AEE”. No entanto, os autores, justificando-se também com “as modificações introduzidas no quadro de referência, a alteração dos procedimentos de atribuição de classificações e a relativização do sentido das mesmas”, concluem que a afirmação de que ocorreu uma melhoria efetiva é problemática e “a fortiori, não [lhes permite] pronunciar sobre o hipotético impacte positivo da AEE no desempenho e eficácia das escolas portuguesas” (Alferes et al., 2016, p. 66).

No ano letivo 2013-2014, a ENAAE estudada por Albuquerque (2012) foi objeto da segunda AEE, tendo ocorrido uma descida de classificação nos três domínios, comparativamente com a primeira AEE (ano letivo 2010-2011). Essa descida ocorreu em contraciclo com o que o que se passou na maioria das ENAAE, com oferta de ensino secundário, da mesma área geográfica.

Em relação aos contraditórios elaborados pelas escolas, Pacheco (2016a, p. 71-72) menciona que “de todos os contraditórios elaborados, apenas um seguiu a tramitação do recurso, observando-se que os seus fundamentos discordantes não foram aceites pela tutela em termos de alteração da classificação atribuída aos domínios”, tratando-se de “um processo oculto, pois na página da Inspeção é apresentado o relatório, o contraditório e a resposta ao contraditório, sem a inclusão de qualquer referência ao recurso” (Pacheco, 2016a, p. 72). Segundo esse autor (2016a, p. 72), nos oito anos de contraditórios por ele analisados, “em apenas um caso se verificou a alteração da classificação num dos domínios, facto que se registou no ano letivo 2011/12, na área territorial do Centro”. Pacheco (2016a, p. 80), entre outros aspetos, conclui que, “nos procedimentos de implementação do modelo de avaliação externa, existe uma reduzida ou nula eficácia dos contraditórios”, consubstanciada “não só porque a discordância relativa às classificações, quase sempre fundamentada na divergência de interpretações associadas ao juízo de valor que cada classificação contém no seu enunciado avaliativo, fica muito distante do texto dos avaliadores”, bem como pela não criação da “comissão de recurso da avaliação externa das escolas”, o que, expressa o autor, “legitima uma avaliação que inclui a possibilidade de elaborar um contraditório que ab initio impõe à escola a obrigação de aceitar a decisão final dos avaliadores da IGEC, transformando-o num contraditório descontraditado” (Pacheco, 2016a, p. 80).

Após a conclusão dos trabalhos de um grupo nomeado por despacho n. 13.342/2016, de 9 de novembro, que analisou estudos de AEE, como os efetuados no âmbito do projeto de investigação “Impacto e efeitos da avaliação externa nas escolas do ensino não superior”, nomeadamente as suas recomendações e resultados globais (Pacheco, 2016b), e da posterior promulgação, em 6 de julho de 2018, de nova legislação estruturante (decreto-lei n. 54/2018 e decreto-lei n. 55/2018), no primeiro trimestre de 2019, foi publicada no sítio web da IGEC a documentação principal referente ao terceiro ciclo de AEE. À data de conclusão da escrita deste artigo (abril de 2019) não existiam AEE finalizadas. No entanto, muito sinteticamente, relativamente ao segundo ciclo de AEE, salientamos algumas das principais alterações: 4 domínios de avaliação, 12 campos de análise, 40 referentes e 127 indicadores (IGEC, 2019b); maior destaque dado à autoavaliação, com a sua promoção a domínio de avaliação (IGEC, 2019b); consideração, em diferentes campos de análise, de aspetos concernentes à inclusão de todos os alunos (IGEC, 2019b); retirada da escala de avaliação, para todos os níveis qualitativos especificados, da comparação entre os valores obtidos e os valores esperados (IGEC, 2019c); uma metodologia de trabalho que engloba a observação de aulas; a inclusão, como objeto de avaliação, das escolas particulares e cooperativas cuja receita seja maioritariamente proveniente de fundos públicos (IGEC, 2019a); a existência de uma comissão de recurso (IGEC, 2019d).

Nesse sentido, colocou-se-nos a seguinte questão: De que forma os relatórios das avaliações externas de escolas, bem como os contraditórios, apresentados por duas escolas próximas geograficamente, permitem compreender a alteração das suas classificações no domínio “Resultados”? E as subquestões associadas: Há coincidência nas apreciações feitas nos dois ciclos avaliativos? Em cada ciclo avaliativo, que influências existem de outros domínios no domínio “Resultados”?

Pretendemos assim compreender a evolução/involução das classificações atribuídas ao domínio “Resultados” em duas escolas próximas geograficamente, com base nos relatórios e contraditórios de AEE, procurando averiguar a existência ou não de coincidências nas apreciações realizadas nas duas AEE, bem como de influências dos outros domínios.

A seguir à secção relativa à metodologia, na terceira e quarta secções serão objeto de análise os relatórios de AEE de duas ENAAE, designadas no texto simplesmente por E1 e E2, bem como, quando tal ocorreu, o exercício do contraditório. Essas escolas, com presença e serviço longevo às gerações de estudantes que nelas estudaram, têm projetos educativos que apostam fortemente na formação para o prosseguimento de estudos no ensino superior e servem alunos que, em altas percentagens, não beneficiam da ação social escolar (ASE) e cujos encarregados de educação (EE) maioritariamente possuem como habilitações académicas o ensino secundário ou o ensino superior. A última secção é referente à conclusão.

METODOLOGIA

Procedeu-se a um estudo documental centrado nos relatórios de AEE da E1 e da E2, próximas geograficamente da ENAAE objeto do estudo realizado por Albuquerque (2012). Assim, foram analisados nove documentos:

  1. relatório da primeira AEE da E1;

  2. relatório da segunda AEE da E1;

  3. contraditório exercido pela E2 em relação à versão inicial do relatório da primeira AEE;

  4. relatório da primeira AEE (relatório final), após o contraditório exercido pela E2;

  5. primeiro contraditório exercido pela E2 em relação à versão inicial do relatório da segunda AEE;

  6. resposta da equipa de AEE ao primeiro contraditório exercido pela E2;

  7. relatório da segunda AEE da E2, já com alteração da classificação do domínio “Resultados” de “Bom” para “Muito Bom”;

  8. segundo contraditório exercido pela E2 em relação à nova versão do relatório da segunda AEE (onde o domínio dos “Resultados” foi classificado com “Muito Bom”);

  9. resposta da equipa de AEE ao segundo contraditório exercido pela E2.

Os relatórios da primeira AEE, analisados nas secções seguintes, têm um número de páginas que varia entre 12 (E1) e as 13 (E2), incluindo a capa. Neles, antes da caraterização de cada ENAAE, foi expresso que seus capítulos “decorrem da análise dos documentos fundamentais da Escola [ou Unidade de Gestão], da sua apresentação e da realização de entrevistas em painel” (IGE, 2007, p. 2; 2008, p. 2). Além disso, nas considerações finais, no caso da E2, foram apresentadas as definições do que se entende por pontos fortes e pontos fracos. Assim, os primeiros foram definidos como os “atributos da organização que ajudam a alcançar os seus objetivos” (IGE, 2008, p. 12) e os segundos como os “atributos da organização que prejudicam o cumprimento dos seus objetivos” (IGE, 2008, p. 12). No relatório da primeira AEE da E1 não foram apresentadas nenhumas das duas definições anteriores e, no final do relatório, a designação “pontos fracos” foi substituída por “debilidades” (IGE, 2007, p. 12).

O número de páginas dos relatórios da segunda AEE varia entre 8 (E1) e 10 (E2), excluindo a capa. No seu início, antes da caraterização de cada ENAAE, foi referido que “as conclusões decorrem da análise dos documentos fundamentais da Escola, em especial da sua autoavaliação, dos indicadores de sucesso académico dos alunos, das respostas aos questionários de satisfação da comunidade e da realização de entrevistas” (IGEC, 2011c, p. 1; 2012a, p. 1). A referência às fontes de dados, consideradas para a produção das apreciações, foi novamente efetuada na nota introdutória à avaliação domínio a domínio. A designação “pontos fracos”, utilizada nos relatórios da primeira AEE, foi substituída pelos termos “áreas onde a Escola deve incidir prioritariamente os seus esforços para a melhoria” (IGEC, 2011c, p. 8; 2012a, p. 9).

Realizámos uma síntese das caraterizações das escolas, efetuadas pelas equipas de AEE, que incluiu: uma breve referência às instalações; a enunciação dos níveis da oferta educativa ao nível do número de cursos e da sua designação geral, bem como o número de escolas em cada nível; a caraterização das habilitações académicas dos pais e de sua ocupação profissional; a descrição do número e percentagem de alunos beneficiários da ASE; o número de nacionalidades e o número de alunos de nacionalidade não portuguesa; o número total de alunos, de professores, de assistentes operacionais, de assistentes administrativos e de técnicos superiores; o número de turmas em cada ano escolar e em cada ciclo.

Como categoria de análise, foi considerado o domínio “Resultados”. Para as duas AEE, procedeu-se à enunciação das classificações obtidas em todos os domínios do respetivo quadro de referência. Na primeira AEE, foram referidos aspetos mencionados nas conclusões da avaliação do domínio, conjugados com aspetos mencionados na avaliação dos seus fatores, tendo em atenção os pontos fortes e fracos destacados, no final do relatório, pela equipa avaliativa. Em relação à segunda AEE, foram mencionados aspetos pertencentes à avaliação de cada campo do domínio (em um total de três campos), olhando sempre para os pontos fortes e áreas a melhorar salientadas pelos avaliadores externos, no final do relatório.

Relativamente ao contraditório exercido pelas escolas, perante os relatórios das avaliações externas, nos casos em que tal ocorreu (E2), foi dado algum destaque ao seu conteúdo e também ao facto de as alterações neles propostas terem sido ou não seguidas, bem como terem conduzido ou não a alterações na classificação final atribuída ao domínio “Resultados”.

RESULTADOS

ANÁLISE DOS RELATÓRIOS DE AVALIAÇÃO EXTERNA DA E1

A primeira AEE da E1 foi realizada no ano letivo 2006/2007. Na caraterização da E1, a equipa de avaliação salientou, entre outros aspetos, a existência de vários espaços propiciadores de boas condições de trabalho. A oferta formativa, exclusivamente pertencente ao ensino secundário, contemplava os “cursos de ciências e tecnologias, de ciências socioeconómicas e de ciências sociais e humanas” (IGE, 2007, p. 3). A população escolar era formada por 600 alunos em regime diurno e cerca 260 alunos a frequentar o ensino recorrente (IGE, 2007). O número referido de alunos abrangidos pela ASE foi 17 (IGE, 2007), não constando menção ao número ou percentagem de alunos estrangeiros. O pessoal docente e não docente era constituído por “106 professores, uma psicóloga, uma assistente social, 10 funcionários administrativos e 30 auxiliares de acção educativa” (IGE, 2007, p. 3).

Na primeira AEE, a E1 registou a classificação de “Bom” em todos os domínios de avaliação (IGE, 2007).

Nas conclusões da avaliação do domínio “Resultados” foi referido que “a Escola estuda os resultados académicos dos seus alunos, suportando a análise em diversos indicadores de sucesso por disciplina, turma e ano de escolaridade”, acrescentando a equipa de AEE que, “contudo, não fazem parte das práticas de reflexão interna do estabelecimento de ensino o confronto destes resultados com referentes externos, bem como a análise da evolução temporal das classificações obtidas nos exames nacionais do ensino secundário” (IGE, 2007, p. 3). Entre outros aspetos, foram também mencionadas “as taxas de transição/conclusão verificadas em 2004/2005, nos diferentes anos de escolaridade, [situadas] substancialmente acima das médias nacionais”, as classificações positivas registadas em todas as disciplinas do ensino secundário de 2006 com exame nacional e a não existência de “problemas de comportamento ou indisciplina significativos” (IGE, 2007, p. 3). Em relação a esse aspeto, na avaliação do fator “1.3. Comportamento e disciplina”, foi mencionado que há uma atuação preventiva, “em diálogo com os alunos e as respectivas famílias, dentro dos princípios e das medidas preconizados na lei e no regulamento interno” (IGE, 2007, p. 7), tendo o “ambiente educativo tranquilo e disciplinado, favorável à aprendizagem” (IGE, 2007, p. 12) sido assinalado como ponto forte no final do relatório. Em relação às taxas de transição/conclusão, na avaliação do fator “1.1. Sucesso académico”, foram mencionados os valores das percentagens verificadas, em 2004/2005, “substancialmente acima das médias nacionais em qualquer dos anos de escolaridade do ensino secundário”, acrescentando a equipa de AEE que tal desempenho foi associado pelos responsáveis escolares, “sobretudo, às caraterísticas do corpo docente (estável, experiente e qualificado) e ao contexto sociofamiliar muito favorável da população estudantil” (IGE, 2007, p. 6). No final do relatório de AEE, foram salientados como pontos fortes os “resultados académicos globais alcançados” (IGE, 2007, p. 12) e a “forte incidência nas dimensões académicas do currículo como orientação estratégica do trabalho docente” (IGE, 2007, p. 12).

A segunda AEE da E1 foi realizada no ano letivo 2011/2012. Para além do ensino secundário, a oferta formativa já incluía o terceiro ciclo do ensino básico (CEB), com 257 alunos (10 turmas) (IGEC, 2011c).

A escola obteve a classificação de “Muito Bom” nos domínios “Resultados”, “Prestação do serviço educativo” e “Liderança e gestão” (IGEC, 2011c). Na avaliação do domínio “Resultados”, no campo “Resultados académicos”, a equipa de AEE, entre outros aspetos, mencionou que a “análise dos resultados dos dois últimos anos (2009-2010 e 2010-2011) revela uma taxa de conclusão do terceiro ciclo elevada, embora com um ligeiro decréscimo” (IGEC, 2011c, p. 2), sendo que, para 2009/2010, a taxa de conclusão do nono ano se situou acima do valor esperado (IGEC, 2011c). Referiu também que “no período em análise, a percentagem de níveis 4 e 5, nos exames nacionais de Língua Portuguesa e Matemática também baixou, embora continuando a registar valores significativos” (IGEC, 2011c, p. 2). Em relação ao ensino secundário, foi mencionado que “tanto os indicadores de conclusão como as médias das classificações finais de disciplina obtidas em Português (13,9) e Matemática (15,0) revelam um desempenho da Escola dentro do valor esperado” (IGEC, 2011c, p. 3). Relativamente ao abandono escolar, a equipa referiu que no ensino básico não há registo de abandono e que no ensino secundário se verificou a “anulação de matrícula a algumas disciplinas, em particular nas que são sujeitas a exame” (IGEC, 2011c, p. 3). No ensino secundário, para o trénio 2008-2011, a ENAAE registou “uma considerável aproximação entre as classificações internas e os resultados obtidos nos exames nacionais na generalidade das disciplinas” (IGEC, 2011c, p. 3). Assim, a equipa de AEE salientou como ponto forte, no final do relatório, os “resultados obtidos pelos alunos nos exames nacionais de 9º e 12º ano, nas disciplinas de Língua Portuguesa/Português e Matemática” (IGEC, 2011c, p. 8). Na avaliação do campo “Resultados sociais”, entre outros aspetos, a equipa mencionou a participação dos alunos nas tomadas de decisão da ENAAE, a adesão “menos conseguida” (IGEC, 2011c, p. 3) a atividades como clubes e projetos e o acompanhamento do percurso escolar dos alunos “sendo a via mais comum a entrada no ensino superior (97% dos alunos que se candidataram em 2011 obtiveram colocação)” (IGEC, 2011c, p. 3). Como ponto forte, a equipa de AEE destacou a “existência de um bom ambiente educativo, propício ao desenvolvimento das aprendizagens e orientado para níveis de sucesso elevados” (IGEC, 2011c, p. 8).

No Quadro 1, são apresentadas as classificações obtidas pela E1 nos dois ciclos avaliativos.

Quadro 1 - Classificações obtidas pela E1 nos dois ciclos de avaliação externa. 

Primeira Avaliação Externa de Escolas Segunda Avaliação Externa de Escolas
Domínios avaliados Classificações Domínios avaliados Classificações
Resultados Bom Resultados Muito Bom
Prestação do serviço educativo Bom Prestação do serviço educativo Muito Bom
Organização e gestão escolar Bom Liderança e gestão Muito Bom
Liderança Bom
Capacidade de autorregulação e melhoria da escola Bom

Fonte: Relatórios de Avaliação Externa de Escolas da E1 (IGE, 2007; IGEC, 2011c).

No Quadro 2(t2), apresentam-se os pontos fortes e as debilidades/áreas prioritariamente a melhorar, assinalados pelas equipas de AEE na parte final dos relatórios.

Quadro 2 - Pontos fortes e áreas a melhorar registadas nos relatórios da avaliação externa da E1. 

Pontos fortes Áreas a melhorar
Primeira Avaliação Externa de Escolas Segunda Avaliação Externa de Escolas Primeira Avaliação Externa de Escolas Segunda Avaliação Externa de Escolas

  • Resultados académicos globais alcançados;

  • Forte incidência nas dimensões académicas do currículo como orientação estratégica do trabalho docente;

  • Qualidade e motivação de algumas lideranças de topo e intermédias;

  • Dedicação, apoio e incentivo dados pelo Conselho Executivo aos diversos atores escolares;

  • Qualidade, abrangência e impacto do trabalho desenvolvido pela psicóloga;

  • Ambiente educativo tranquilo e disciplinado, favorável à aprendizagem.

  • Resultados obtidos pelos alunos nos exames nacionais de 9º e 12º anos, nas disciplinas de língua portuguesa/português e matemática;

  • Existência de um bom ambiente educativo;

  • Trabalho cooperativo dos docentes, com impacto muito positivo no planeamento e articulação das atividades e na promoção do sucesso escolar;

  • Avaliação sistemática dos resultados escolares que permite orientar, em permanência, as estratégias educativas em razão das necessidades dos alunos;

  • Aproximação entre as classificações interna e externa, na generalidade das disciplinas do ensino secundário sujeitas a exame nacional.

  • Falta de definição de objetivos e metas claras e avaliáveis do desempenho organizacional;

  • Insuficiente articulação interdisciplinar;

  • Falta de articulação com as escolas locais do ensino básico no âmbito da sequencialidade das aprendizagens;

  • Falta de abertura, em algumas situações, à implementação das novas tecnologias de informação e comunicação.

  • Avaliação das aulas supervenientes, com vista a determinar com rigor o grau de eficácia dessa medida de apoio;

  • Acompanhamento do trabalho desenvolvido pelos assistentes técnicos e operacionais, bem como o reforço da formação proporcionada a esses profissionais;

  • Rentabilização da parceria estabelecida com [um jornal diário regional e uma empresa de software], como forma de a escola alargar o seu espaço de intervenção;

  • Consolidação do processo de autoavaliação, de forma a coordenar as diversas práticas já existentes e obter uma visão mais estruturada e abrangente do desempenho da escola.

Fonte: Relatórios de Avaliação Externa de Escolas da E1 (IGE, 2007; IGEC, 2011c).

ANÁLISE DOS RELATÓRIOS DE AVALIAÇÃO EXTERNA E CONTRADITÓRIOS DA E2

A primeira avaliação externa da E2 foi realizada no ano letivo 2007/2008. Na caraterização da E2, em relação às instalações, a equipa de AEE mencionou, entre outras caraterísticas, a existência de espaços diversificados adequados à realização das atividades (IGE, 2008). Em relação à oferta educativa, os avaliadores referiram que a unidade incluía o terceiro CEB com três turmas do 7º ano e três turmas do 8º ano; o ensino secundário, em que os “alunos […], do período diurno, [estavam], na sua quase totalidade (96%), matriculados em cursos científico-humanísticos de Ciências e Tecnologias, Artes Visuais e Línguas e Humanidades, tendo em vista o prosseguimento de estudos” (IGE, 2008, p. 3), acrescendo ainda “22 alunos distribuídos por 3 turmas dos cursos tecnológicos e profissionais” (IGE, 2008, p. 3) e o ensino recorrente (noturno; 108 alunos) (IGE, 2008). Dos 628 alunos que frequentavam a E2 no regime diurno, a ASE beneficiava “cerca de 8% dos alunos (14 do ensino básico e 34 do ensino secundário)” (IGE, 2008, p. 3). Não consta no relatório a referência ao número de nacionalidades e ao número de alunos de nacionalidade não portuguesa. Em relação às habilitações académicas dos pais, os avaliadores salientaram que “48% dos pais possui uma habilitação de nível superior, 16,2% detém o ensino secundário e 10,6% o 3.º ciclo do ensino básico” (IGE, 2008, p. 3). Relativamente à ocupação profissional dessas famílias, nada foi concretamente mencionado no relatório. O pessoal docente e não docente era composto por “102 professores (91% pertencente ao quadro) e 48 elementos do pessoal não docente, incluindo uma psicóloga” (IGE, 2008, p. 3).

Na primeira AEE, a E2 obteve a classificação de “Bom” em todos os domínios, exceto no domínio “Capacidade de autorregulação e melhoria da escola”, no qual obteve a classificação de “Suficiente” (IGE, 2008).

Nas conclusões da avaliação do domínio “Resultados”, os avaliadores referiram, no início das observações, que a ENAAE “recolhe, por ano lectivo, diversos dados estatísticos sobre o percurso escolar dos alunos”, acrescentando que, contudo, “não os utiliza na reflexão global dos resultados académicos alcançados, na análise da evolução temporal das classificações obtidas ou para estabelecer comparações com os resultados de outras escolas com características semelhantes” (IGE, 2008, p. 3). Mencionaram também que a “reflexão sobre os resultados escolares é efetuada pelos departamentos curriculares, centrando-se essencialmente nas avaliações de final de cada período, com impacto na alteração de algumas práticas pedagógicas” (IGE, 2008, p. 3). Essas considerações da equipa de AEE sobre a reflexão, por parte da E2, sobre os resultados escolares, bem como outras efetuadas nas avaliações dos domínios “Prestação do serviço educativo” e “Capacidade de autorregulação e melhoria da escola”, terão levado os avaliadores a registarem como ponto fraco, no final do relatório, a “débil reflexão sobre os resultados escolares, que não permite ter uma imagem global e evolutiva do desempenho da organização” (IGE, 2008, p. 12). Em relação às taxas de transição, a equipa salientou como ponto forte as “taxas de transição registadas, em 2006/07, no 7.º ano do ensino básico e nos 10.º e 11.º anos dos cursos científico-humanísticos, acima dos 90%” (IGE, 2008, p. 12). No entanto, no caso do 12º ano dos cursos científico-humanísicos, foi mencionado que se registava “um decréscimo na taxa de conclusão do 12.º ano, que não vai além de 79%” (IGE, 2008, p. 3). Tendo em conta as taxas de transição anteriormente referidas, os avaliadores assinalaram como ponto fraco, no final do relatório, a “taxa de conclusão, em 2006/07, do 12.º ano dos cursos científico-humanísicos (79%), que não acompanha as taxas de transição verificadas nos outros anos de escolaridade (acima dos 90%), verificando-se um diferencial de 11%” (IGE, 2008, p. 12). Em relação aos exames nacionais do ensino secundário, entre outros aspetos, foi referido que se verificava o fato de que, na disciplina de Português, os resultados se situavam “1,7 valores acima das médias nacionais […] (13,0 contra 11,3 valores)” e na disciplina de Matemática, “2,7 valores […] (13,3 contra 10,6 valores)” (IGE, 2008, p. 3). Na avaliação do fator “1.1. Sucesso académico”, foi mencionado que o “abandono escolar, apesar de constar no projecto educativo como uma prioridade, é residual, não constituindo um problema” (IGE, 2008, p. 6).

O contraditório apresentado pela E2 é um documento composto de 41 páginas (corpo principal com 26 páginas mais 15 páginas de anexos, incluindo 12 do projeto educativo). A propósito da descrição da classificação de “Muito Bom”, transcrita da escala de avaliação utilizada pelos avaliadores externos, a E2 considerou que a “formulação é pouco precisa” (E2, 2008, p. 2). Seguidamente à introdução, a E2 apresentou para cada domínio de avaliação a classificação que considerou dever ser a eles atribuída, fundamentando tal atribuição com uma avaliação, fator a fator, em que, sempre que o entendeu, além de elencar os pontos expressos no relatório de avaliação externa, apresentou seus pontos de discordância em relação ao conteúdo do relatório e acrescentou novos dados e considerações. No final da avaliação de cada fator, a E2 atribuiu também uma classificação. Assim, globalmente, a E2 considerou dever ser atribuída a classificação de “Muito Bom” aos domínios “Resultados”, “Prestação do serviço educativo”, “Organização e gestão escolar” e “Liderança”, e a classificação de “Bom” ao domínio “Capacidade de autorregulação e melhoria da escola” (E2, 2008). Após a análise do contraditório, a equipa de AEE não efetuou quaisquer modificações nas classificações dos domínios. Foram apenas registadas três alterações, diretamente relacionadas com outros tantos aspetos mencionados pela E2.

A segunda avaliação externa da E2 foi efetuada no ano letivo 2011/2012. Em um primeiro relatório da segunda AEE, a E2 obteve a classificação de “Bom” nos domínios “Resultados” e “Liderança e gestão”, e “Muito Bom” no domínio “Prestação do serviço educativo”.

A seguir ao conhecimento do relatório, a E2 exerceu o seu direito ao contraditório, elaborando um documento composto por sete páginas, considerando, entre outros aspetos, que “os pontos fortes ou as áreas de melhoria deveriam estar em correspondência com os campos de análise dos três domínios” (E2, 2012a, p. 2) e concluindo a exposição com a solicitação da atribuição das seguintes classificações: “Resultados - Excelente”; “Prestação do Serviço Educativo - Muito Bom”; e “Liderança e Gestão - Muito Bom” (E2, 2012a, p. 7). A equipa de AEE respondeu a esse contraditório elaborando um documento, datado de julho de 2012, mencionando na “Conclusão da Equipa”, entre outros aspetos, que, de acordo com análise do contraditório:

a equipa de avaliação conclui não existir fundamento para proceder a alterações ao relatório, confirmando que foram adequada e justamente ponderadas as classificações atribuídas nos diferentes domínios, tendo em conta o quadro orientador estabelecido no modelo de avaliação externa. (IGEC, 2012b, p. 2)

Assim, a equipa de AEE não efetuou nenhuma alteração das classificações atribuídas. Posteriormente, uma nova versão do relatório foi publicada, incluindo, entre outras, a alteração da classificação do domínio “Resultados” de “Bom” para “Muito Bom”. Todas as alterações efetuadas foram mencionadas no final dessa nova versão, em uma nota explicativa da IGEC. Assim, será esse relatório da segunda AEE aquele que aqui apresentaremos, salientando, contudo, que essa nova versão do relatório também foi objeto do exercício de um novo contraditório.

Na avaliação do campo “Resultados académicos”, do domínio “Resultados”, entre outros aspetos, os avaliadores mencionaram que “no último triénio (2008-2009 a 2010-2011), o desempenho da Escola foi marcado por resultados internos e externos positivos, quer no ensino básico quer no ensino secundário regular” (IGEC, 2012a, p. 2). Em relação às taxas de conclusão, no terceiro CEB, referiram que “a taxa de conclusão do 9.º ano superou, anualmente, em mais de seis pontos percentuais a média nacional” (IGEC, 2012a, p. 2), e no ensino secundário, “nos cursos científico-humanísticos do ensino secundário, a taxa de conclusão do 12.º ano [registou] um decréscimo progressivo, mas mantêm-se bastante acima da média nacional em qualquer dos anos considerados” (IGEC, 2012a, p. 2-3). Relativamente aos exames nacionais, entre outros aspetos, no caso do terceiro CEB, foi mencionado que “as percentagens de classificações positivas alcançadas nos exames de Língua Portuguesa e de Matemática foram, também, significativamente superiores às nacionais” (IGEC, 2012a, p. 2), e no ensino secundário foi referido que “nos exames (1.ª fase), neste período [2008-2011], alcançaram-se resultados sempre acima dos nacionais nas disciplinas analisadas” (IGEC, 2012a, p. 3). A equipa destacou como ponto forte, no final do relatório, os “resultados dos exames nacionais de Matemática A e Física e Química A” (IGEC, 2012a, p. 9). Na avaliação dos “Resultados sociais”, entre outras considerações, os avaliadores referiram a existência de uma “prática de auscultação frequente dos estudantes no âmbito dos processos de autoavaliação institucional - questionários - e de reuniões entre a associação de estudantes e a direção da Escola, onde são apresentados e discutidos diversos aspetos do quotidiano escolar” (IGEC, 2012a, p. 3). Mencionaram também o cumprimento das regras por parte dos alunos (IGEC, 2012a). Na avaliação do campo “Reconhecimento da comunidade”, entre outros aspetos, a equipa de AEE mencionou que a “avaliação da comunidade educativa sobre o serviço prestado pela Escola, […] é, globalmente, pouco favorável” (IGEC, 2012a, p. 4). Foram também referidos a valorização dos “sucessos académicos, cívicos, culturais e desportivos dos alunos” (IGEC, 2012a, p. 4). Assim, tendo em conta o afirmado, quer nesse campo, quer no campo “Resultados sociais”, os avaliadores assinalaram como ponto forte, no final do relatório, as “elevadas expetativas e exigência escolar assumidas por professores, pais e alunos” (IGEC, 2012a, p. 9).

A E2 voltou a exercer o seu direito ao contraditório. Esse segundo contraditório, datado de outubro de 2012, apresenta, no seu texto, referências ao primeiro contraditório (a E2 refere-se-lhe como “Contraditório”) e à resposta da equipa de AEE a esse primeiro contraditório. A E2 expôs em seis pontos o “essencial dos [seus] argumentos não contraditados ([…] os cinco primeiros sobre os Resultados e o último sobre a Liderança e Gestão), considerando como parte integrante deste [segundo] contraditório o anteriormente enviado” (E2, 2012b, p. 1).

Na resposta ao segundo contraditório, datada de outubro de 2012, a equipa de AEE focou-se mais nas alterações mencionadas na nota da IGEC, presentes no final da nova versão do relatório da segunda AEE. A equipa reproduziu também essas alterações em sua resposta e referiu-se posteriormente a elas utilizando a designação “asserções”. Terminaram a sua resposta mencionando que, “em face do que antecede, os avaliadores concluem não existir fundamento para poder proceder a alterações ao relatório” (IGEC, 2012c, p. 2).

No Quadro 3, encontram-se as classificações finais obtidas nas AEE realizadas na E2.

Quadro 3 - Classificações obtidas pela E2 nos dois ciclos de avaliação externa. 

Primeira Avaliação Externa de Escolas Segunda Avaliação Externa de Escolas
Domínios avaliados Classificações Domínios avaliados Classificações
Resultados Bom Resultados Muito Bom
Prestação do serviço educativo Bom Prestação do serviço educativo Muito Bom
Organização e gestão escolar Bom Liderança e gestão Bom
Liderança Bom
Capacidade de autorregulação e melhoria da escola Suficiente

Fonte: Relatórios de Avaliação Externa de Escolas da E2 (IGE, 2008; IGEC, 2012a).

No Quadro 4, são apresentados os pontos assinalados pelas equipas de AEE no final dos relatórios.

Quadro 4 - Pontos fortes e áreas a melhorar registadas nos relatórios da avaliação externa da E2. 

Pontos fortes Áreas a melhorar
Primeira Avaliação Externa de Escolas Segunda Avaliação Externa de Escolas Primeira Avaliação Externa de Escolas Segunda Avaliação Externa de Escolas

  • Taxas de transição registadas, em 2006/07, no 7º ano do ensino básico e nos 10º e 11º anos dos cursos científico-humanísticos, acima dos 90%;

  • Eficácia dos apoios educativos e dos serviços prestados pelo gabinete de psicologia e orientação escolar, demonstrada pelas taxas de transição dos alunos com necessidades educativas especiais (95%);

  • Valorização da componente experimental do currículo;

  • Liderança executiva eficiente na requalificação e no apetrechamento das instalações, com efeitos na melhoria das condições de trabalho e de atendimento dos utentes.

  • Taxas de conclusão no 9º e no 12º ano de escolaridade (cursos científico-humanísticos);

  • Resultados dos exames nacionais de matemática A e física e química A;

  • Elevadas expetativas e exigência escolar assumidas por professores, pais e alunos;

  • Trabalho colaborativo dos docentes;

  • Valorização da componente experimental do currículo, que potencia o desenvolvimento de práticas ativas na aprendizagem das ciências e da atitude positiva dos alunos diante do método científico;

  • Desenvolvimento de parcerias e projetos, com impacto relevante na prestação do serviço educativo e nas aprendizagens dos alunos;

  • Utilização das tecnologias de informação e comunicação, o que tem contribuído para a agilização dos procedimentos de gestão pedagógica e administrativa, o apoio ao estudo autónomo dos alunos e a melhoria da comunicação interna e externa.

  • Taxa de conclusão, em 2006/07, do 12º ano dos cursos científico-humanísicos (79%), que não acompanha as taxas de transição verificadas nos outros anos de escolaridade (acima dos 90%), verificando-se um diferencial de 11%;

  • Falta de definição e apropriação de metas claras e avaliáveis do desempenho organizacional, que não potencia a orientação dos profissionais para os resultados e a monitorização dos progressos alcançados;

  • Débil reflexão sobre os resultados escolares, que não permite ter uma imagem global e evolutiva do desempenho da organização;

  • Falta de monitorização global dos apoios implementados aos alunos com dificuldades de aprendizagem, não inseridos nas necessidades educativas especiais;

  • Insuficiente acompanhamento da prática letiva em contexto de sala de aula.

  • Taxas de sucesso nos cursos profissionais;

  • Projeto educativo da escola, de forma a torná-lo um referencial concreto e útil para ação dos colaboradores;

  • Consistência e efetividade do processo de autoavaliação, enquanto contributo decisivo para identificar e ultrapassar fragilidades e promover o desenvolvimento sustentado da escola.

Fonte: Relatórios de Avaliação Externa de Escolas da E2 (IGE, 2008; IGEC, 2012a).

CONCLUSÃO

Recordando a questão de partida: De que forma os relatórios das AEE, bem como os contraditórios, apresentados por duas escolas próximas geograficamente permitem compreender a alteração de suas classificações no domínio “Resultados”? E as subquestões associadas: Há coincidência nas apreciações feitas nos dois ciclos avaliativos? Em cada ciclo avaliativo, que influências existem dos outros domínios no domínio “Resultados”? Não esquecendo as diferenças entre os modelos de AEE utilizados, podemos constatar, quer no caso da E1, quer no da E2, uma melhoria das classificações da primeira para a segunda AEE.

No caso da E1, podemos observar a ocorrência de uma subida de classificação, de “Bom” para “Muito Bom”, em todos os domínios. Tal subida generalizada terá, em nossa opinião, sido potenciada pela melhoria do desempenho no domínio “Resultados”, fundamentalmente no nível dos resultados internos e externos, da ausência de abandono escolar, da existência de um ambiente propício à realização das aprendizagens e de uma satisfação com a qualidade do ensino ministrado.

Podemos considerar que houve uma manutenção, como pontos fortes, dos resultados académicos, do ambiente educativo propício ao desenvolvimento de aprendizagens e do trabalho docente mais orientado para a promoção do sucesso dos alunos no nível dos resultados académicos. A qualidade e motivação de algumas lideranças, referida como ponto forte na primeira AEE, deixou de estar mencionada como tal na segunda AEE. No entanto, no relatório da segunda avaliação, entre outros aspetos relativos à liderança, está que as

lideranças dos órgãos de direção e gestão, bem como das estruturas de coordenação e supervisão, revelam conhecer as suas competências e […] mostram-se motivadas e orientadas para a manutenção e superação dos níveis de sucesso académico obtidos nos últimos anos. (IGEC, 2011c, p. 6)

Podemos, assim, inferir que o trabalho das lideranças terá influenciado a prestação do serviço educativo e a obtenção, pelos alunos, de melhores resultados académicos. A avaliação sistemática dos resultados escolares teve um incremento da primeira para a segunda AEE.

A “falta de definição de objetivos e metas claras e avaliáveis do desempenho organizacional” (IGE, 2007, p. 12), apontada como debilidade no relatório da primeira AEE, deixou de constar na segunda avaliação, embora também não conste, no relatório da segunda AEE, qualquer menção a metas. Entre outros aspetos mencionados no relatório da segunda AEE, “a existência de diferentes observatórios sem um plano de articulação e de atuação comuns” (IGEC, 2011c, p. 8) terá levado a equipa a registar como área a melhorar a “consolidação do processo de autoavaliação, de forma a coordenar as diversas práticas já existentes e obter uma visão mais estruturada e abrangente do desempenho da Escola” (IGEC, 2011c, p. 8). A “falta de articulação com as escolas locais do ensino básico no âmbito da sequencialidade das aprendizagens” (IGE, 2007, p. 12) deixou de ser considerada uma debilidade, da primeira AEE para a segunda AEE, uma vez que a E1 passou a ter, em sua oferta formativa, o terceiro CEB. A articulação interdisciplinar, que na primeira avaliação foi julgada insuficiente, deixou de ser considerada uma debilidade na segunda AEE, existindo no segundo relatório, a propósito do planeamento e da articulação, a referência explícita de que “é feita a exploração interdisciplinar de alguns conteúdos programáticos” (IGEC, 2011c, p. 4). Também uma maior utilização das tecnologias da informação e comunicação (TIC) transparece do segundo relatório de AEE, pelo que a debilidade registada na primeira AEE de “falta de abertura, em algumas situações, à implementação das novas tecnologias de informação e comunicação” (IGE, 2007, p. 12) terá sido ultrapassada. Em relação à formação, no primeiro relatório foi expresso que “o levantamento das necessidades de formação não é sistemático” (IGE, 2007, p. 4), continuando, no relatório da segunda AEE, a respeito dos assistentes operacionais e técnicos, a ser mencionada como área a melhorar, para além de maior acompanhamento do trabalho desenvolvido pela equipa da unidade pesquisada, um “reforço da formação proporcionada a estes profissionais, de forma a elevar a sua autoestima e o grau de motivação no trabalho” (IGEC, 2011c, p. 8). A avaliação de aulas supervenientes e a rentabilização de duas parcerias (IGEC, 2011c) constituem-se como dois aspetos a melhorar que não constavam do relatório da primeira AEE.

No caso da E2, observa-se uma subida das classificações nos domínios “Resultados” e “Prestação do serviço educativo”, de “Bom” para “Muito Bom”. No caso do agregado dos três domínios, “Organização e gestão escolar”, “Liderança” e “Capacidade de autorregulação e melhoria da escola”, que passaram a um único domínio na segunda AEE (“Liderança e gestão”), embora sem reflexo na alteração do nível de classificação globalmente atribuído, pode-se considerar a ocorrência de uma ligeira melhoria, uma vez que se verificaram alguns progressos na “Autoavaliação e melhoria” com a criação de uma equipa de autoavaliação e o desenvolvimento de “alguns procedimentos de autoavaliação, que assumem um caráter sistemático no campo dos resultados académicos e que têm tido impacto na construção de conhecimento do desempenho da Escola e na autorregulação neste domínio” (IGEC, 2012a, p. 8).

Da primeira para a segunda AEE da E2, os resultados académicos, no nível das taxas de conclusão no final do terceiro CEB e do ensino secundário e também das médias das classificações obtidas em alguns exames nacionais, continuaram a manter-se como pontos fortes. Também a “valorização da componente experimental do currículo, que potencia o desenvolvimento de práticas ativas na aprendizagem das ciências e da atitude positiva dos alunos face ao método científico” (IGE, 2008, p. 12; IGEC, 2012a, p. 9), manteve-se como ponto forte. As parcerias e os projetos, o trabalho colaborativo docente e a utilização das TIC foram áreas cujo incremento levou ao seu registo, na segunda AEE, como pontos fortes. Assim, em nosso entender, aspetos pertencentes aos domínios “Prestação do serviço educativo” e “Liderança e gestão” terão influenciado positivamente os resultados académicos.

A referência dos avaliadores, no relatório da primeira AEE, de que “só pontualmente são referidas metas de excelência quantificadas em relação aos resultados a atingir, o que dificulta a monitorização do trabalho realizado” (IGE, 2008, p. 4), terá contribuído, entre outros aspetos, para que no final do relatório fosse registado como ponto fraco a “falta de definição e apropriação de metas claras e avaliáveis do desempenho organizacional, que não potencia a orientação dos profissionais para os resultados e a monitorização dos progressos alcançados” (IGE, 2008, p. 12). Na segunda AEE, tendo em conta o mencionado pela equipa avaliativa de que o projeto educativo “não identifica prioridades e pontos fracos nem fixa metas quantificadas, pelo que não aponta uma visão estratégica clara de desenvolvimento e um referencial para a ação dos colaboradores” (IGEC, 2012a, p. 7), foi registada como área a melhorar o “Projeto educativo da Escola, de forma a torná-lo um referencial concreto e útil para ação dos colaboradores” (IGEC, 2012a, p. 9). Saliente-se que, nas respostas efetuadas nos contraditórios, a E2 referiu explicitamente a não quantificação de metas como “uma opção consciente de quem considera que a meta (no que diz respeito a resultados académicos) é de nível 5 para os alunos do Ensino Básico e de 20 valores para os do Ensino Secundário” (E2, 2012a, p. 6; 2012b, p. 6). O processo de autoavaliação foi alvo de alguns progressos. No entanto, na segunda AEE, foi registada como área a melhorar a “consistência e efetividade do processo de autoavaliação, enquanto contributo decisivo para identificar e ultrapassar fragilidades e promover o desenvolvimento sustentado da Escola” (IGEC, 2012a, p. 9).

O aumento do número de alunos a frequentar o ensino profissional na E2, embora em percentagens muito baixas relativamente ao total de alunos frequentadores dessa ENAAE, veio trazer-lhe novos desafios educativos. Sendo um só aluno que não conclua um curso uma preocupação para uma escola, pensamos que, a partir do relatório da segunda AEE da E2, dos contraditórios e das respostas a eles, a manutenção do registo “taxas de sucesso nos cursos profissionais” (IGEC, 2012a, p. 9) como área a melhorar não deveria ser, eventualmente, penalizador da sua classificação no domínio “Resultados”.

Nas duas AEE, a E2 exerceu o seu direito ao contraditório. Na primeira, o contraditório exercido não conduziu à alteração das classificações. Já na segunda, a primeira versão do relatório da avaliação externa foi seguida de um primeiro contraditório exercido pela E2, o qual, pela resposta da equipa de avaliação, não produziu alterações. Contudo, em nosso entender, tal contraditório desencadeou um processo que levou à produção de uma nova versão do relatório da segunda AEE, esta já com alterações incluindo a alteração da classificação no domínio “Resultados” de “Bom” para “Muito Bom”. Destacamos também a firmeza de convicções da E2, que exerceu novamente o seu direito ao contraditório, relativamente a essa nova versão do relatório. Com fundamentação pertinente, utilizadora do conteúdo do primeiro contraditório e da resposta ao documento pelos avaliadores, solicitou uma “releitura do […] contraditório original” (E2, 2012b, p. 7). Entendemos assim que essa segunda AEE, com toda a sequência de acontecimentos ocorridos, poderia ter sido objeto de análise por uma comissão independente para tornar mais credível a avaliação realizada.

Tratando-se de duas escolas nas quais houve a subida generalizada das classificações no domínio “Resultados”, indicando uma possível melhoria no desempenho, é de salientar que para essa subida terão contribuído as evidências registadas no fator/campo de análise relativo aos resultados académicos, bem como as práticas desenvolvidas nos domínios “Prestação do serviço educativo” e “Liderança e gestão”.

REFERÊNCIAS

ALBUQUERQUE, P. A autorregulação a partir dos resultados da avaliação interna e externa de uma organização escolar. 2012. 370f. Dissertação (Mestrado em Gestão da Formação e Administração Educacional) - Faculdade de Psicologia e de Ciências da Educação da Universidade de Coimbra, Coimbra, 2012. [ Links ]

ALFERES, V.; BARREIRA, C.; BIDARRA, M. G.; VAZ-REBELO, M. P. Evolução do desempenho das escolas no quadro da avaliação externa. In: BARREIRA, C.; BIDARRA, M. G.; VAZ-REBELO, M. P. (orgs.). Estudos sobre avaliação externa de escolas. Porto: Porto Editora, 2016. p. 55-67. [ Links ]

BIDARRA, M. G.; BARREIRA, C.; VAZ-REBELO, M. P.; ALFERES, V. Relatórios de avaliação externa. Da análise das redundâncias à ponderação diferencial dos resultados no primeiro ciclo de avaliação. In: PACHECO, J. A. (org.). Avaliação externa de escolas: quadro teórico/conceptual. Porto: Porto Editora , 2014. p. 229-246. [ Links ]

BRIGAS, J. Modelos de avaliação externa das escolas - o caso português no contexto europeu. 2012. 160f. Dissertação (Mestrado em Supervisão Pedagógica) - Departamento de Educação e Ensino a Distância da Universidade Aberta, Lisboa, 2012. [ Links ]

CLÍMACO, M. C. Observatório da Qualidade da Escola. Guião Organizativo. Lisboa: Ministério da Educação, Programa Educação Para Todos (PEPT), 1995. [ Links ]

E2. [Contraditório exercido pela E2 em relação ao Relatório da Avaliação Externa realizada em 2008]. Portugal: 2008. [ Links ]

E2. [Contraditório exercido pela E2 em relação à primeira versão do relatório da avaliação externa realizada em 2012]. Portugal: 2012a. [ Links ]

E2. [Contraditório exercido pela E2 em relação à nova versão do relatório da avaliação externa realizada em 2012]. Portugal: 2012b. [ Links ]

FIGUEIREDO, C.; LEITE, C.; FERNANDES, P. Modelos internacionais de avaliação externa. A avaliação de escolas em Portugal e na Inglaterra - origem, fundamentos e percursos. In: PACHECO, J. A. (org.). Avaliação externa de escolas: quadro teórico/conceptual. Porto: Porto Editora , 2014. p. 119-146. [ Links ]

HMIE - HM Inspectorate of Education. How good is our school? Self-evaluation using quality indicators. Livingston: HMIE, 2001. Disponível em: Disponível em: http://staff.unak.is/not/runar/KennHA/STJ/Vefgreinar/HowGood_OurSchool.pdf . Acesso em: dez. 2018. [ Links ]

IGE - Inspeção-Geral da Educação. [Relatório da Avaliação Externa da E1 (1º ciclo avaliativo)]. Lisboa: IGE, Área Territorial de Inspeção do Centro, 2007. [ Links ]

IGE - Inspeção-Geral da Educação. [Relatório da Avaliação Externa da E2 com alterações em função do contraditório apresentado (1º ciclo avaliativo)]. Lisboa: IGE, Área Territorial de Inspeção do Centro , 2008. [ Links ]

IGE - Inspeção-Geral da Educação. Avaliação Externa das Escolas 2010-2011. Quadro de referência para a avaliação de escolas e agrupamentos de escolas. Lisboa: IGE, 2010. Disponível em: Disponível em: https://www.igec.mec.pt/upload/AEE_2011/AEE_10_11_Quadro_Referencia.pdf . Acesso em: mar. 2020. [ Links ]

IGE - Inspeção-Geral da Educação. Avaliação Externa das Escolas: avaliar para a melhoria e a confiança - 2006-2011. Lisboa: IGE , 2011. Disponível em: Disponível em: https://www.igec.mec.pt/upload/Relatorios/AEE_2006_2011_RELATORIO.pdf . Acesso em: mar. 2020. [ Links ]

IGEC - Inspeção-Geral da Educação e Ciência. Avaliação Externa das Escolas 2011-2012 - Escala de Avaliação. Lisboa: IGEC, 2011a. Disponível em: Disponível em: http://www.ige.min-edu.pt/upload/AEE2_2011/AEE_11_12_(3)_Escala_Avaliação.pdf . Acesso em: dez. 2018. [ Links ]

IGEC - Inspeção-Geral da Educação e Ciência. Avaliação Externa das Escolas 2011-2012 - Quadro de referência para a avaliação externa de escolas. Lisboa: IGEC, 2011b. Disponível em: Disponível em: http://www.ige.min-edu.pt/upload/AEE2_2011/AEE_11_12_(1)_Quadro_referencia.pdf . Acesso em: dez. 2018. [ Links ]

IGEC - Inspeção-Geral da Educação e Ciência. [Relatório da Avaliação Externa da E1 (2º ciclo avaliativo)]. IGEC, Área Territorial de Inspeção do Centro, 2011c. [ Links ]

IGEC - Inspeção-Geral da Educação e Ciência. [Relatório da Avaliação Externa da E2, após o contraditório apresentado pela ENAAE e a resposta ao mesmo pela equipa de avaliação (2º ciclo avaliativo)]. IGEC, Área Territorial de Inspeção do Centro , 2012a. [ Links ]

IGEC - Inspeção-Geral da Educação e Ciência. [Resposta da equipa de avaliação ao contraditório apresentado pela E2 em relação à primeira versão do relatório da avaliação externa (2º ciclo avaliativo)]. IGEC, Área Territorial de Inspeção do Centro , 2012b. [ Links ]

IGEC - Inspeção-Geral da Educação e Ciência. [Resposta da equipa de avaliação ao contraditório apresentado pela E2 em relação à nova versão do relatório da avaliação externa (2º ciclo avaliativo)]. IGEC, Área Territorial de Inspeção do Centro , 2012c. [ Links ]

IGEC - Inspeção-Geral da Educação e Ciência. Avaliação Externa das Escolas 2014-2015 a 2016-2017 - Relatório. Lisboa: IGEC, 2018. Disponível em: Disponível em: https://www.igec.mec.pt/upload/Relatorios/AEE_2014-2017_RELATORIO.pdf . Acesso em: mar. 2020. [ Links ]

IGEC - Inspeção-Geral da Educação e Ciência. Terceiro ciclo da avaliação externa das escolas: âmbito, princípios e objetivos. Lisboa: IGEC, 2019a. Disponível em: Disponível em: https://www.igec.mec.pt/upload/AEE3_2018/AEE_3_Amb_princ_objetivos.pdf . Acesso em: 24 mar. 2020. [ Links ]

IGEC - Inspeção-Geral da Educação e Ciência. Terceiro ciclo da avaliação externa das escolas: quadro de referência. Lisboa: IGEC, 2019b. Disponível em: Disponível em: https://www.igec.mec.pt/upload/AEE3_2018/AEE_3_Quadro_Ref.pdf . Acesso em: mar. 2020. [ Links ]

IGEC - Inspeção-Geral da Educação e Ciência. Terceiro ciclo da avaliação externa das escolas: escala de avaliação. Lisboa: IGEC, 2019c. Disponível em: Disponível em: https://www.igec.mec.pt/upload/AEE3_2018/AEE_3_Escala_avaliacao.pdf . Acesso em: mar. 2020. [ Links ]

IGEC - Inspeção-Geral da Educação e Ciência. Terceiro ciclo da avaliação externa das escolas: metodologia de trabalho. Lisboa: IGEC, 2019d. Disponível em: Disponível em: https://www.igec.mec.pt/upload/AEE3_2018/AEE_3_Metodologia_I.pdf . Acesso em: mar. 2020. [ Links ]

MACBEATH, J. Improving school effectiveness: retrospective and prospective. In: TOWNSEND, T.; AVALOS, B.; CALDWELL, B.; CHENG, Y-C.; FLEISCH, B.; MOOS, L. et al. (eds.). International handbook of school effectiveness and improvement. Dordrecht: Springer, 2007. p. 57-74, v. 17, parte 1. [ Links ]

MORTIMORE, P.; SAMMONS, P.; STOLL, L.; LEWIS, D.; ECOB, R. School matters: the junior years. Wells: Open Books Publishing, 1988. [ Links ]

PACHECO, J. A. Contraditórios do primeiro e segundo ciclos de avaliação externa de escolas: uma análise quantitativa-qualitativa. In: BARREIRA, C.; BIDARRA, M. G.; VAZ-REBELO, M. P. (orgs.). Estudos sobre Avaliação Externa de Escolas. Porto: Porto Editora , 2016a. p. 69-81. [ Links ]

PACHECO, J. A. Resultados globais do projeto. In: BARREIRA, C.; BIDARRA, M. G.; VAZ-REBELO, M. P. (orgs.). Estudos sobre Avaliação Externa de Escolas. Porto, Portugal: Porto Editora, 2016b. p. 263-271. [ Links ]

PORTUGAL. Lei n. 46, de 14 de outubro de 1986. Lei de Bases do Sistema Educativo. Diário da República: Lisboa, Série I, n. 237, 14 out. 1986. Disponível em: Disponível em: https://dre.pt/application/file/a/222361 . Acesso em: dez. 2018. [ Links ]

PORTUGAL. Lei n. 31, de 20 de dezembro de 2002. Aprova o Sistema de Avaliação da Educação e do Ensino não Superior, desenvolvendo o regime previsto na lei n. 46/86, de 14 de outubro - Lei de Bases do Sistema Educativo. Diário da República: Lisboa, Série I-A, n. 294, 20 dez. 2002. Disponível em: Disponível em: https://dre.pt/application/file/a/405438 . Acesso em: dez. 2018. [ Links ]

PORTUGAL. Despacho n. 370, de 3 de maio de 2006. Cria um grupo de trabalho com diversas atribuições, nomeadamente definir os referenciais para a autoavaliação e avaliação externa. Diário da República: Lisboa, Série II, n. 85, 3 maio 2006. Disponível em: Disponível em: https://dre.pt/application/file/753102 . Acesso em: dez. 2018. [ Links ]

PORTUGAL. Despacho n. 4.150, de 4 de março de 2011. Cria, sob a coordenação da Inspeção-Geral da Educação, um grupo de trabalho com a missão de apresentar uma proposta de modelo para o novo ciclo do Programa de Avaliação Externa das Escolas. Diário da República: Lisboa, Série II, n. 45, 4 mar. 2011. Disponível em: Disponível em: https://dre.pt/application/file/a/2708193 . Acesso em: dez. 2018. [ Links ]

PORTUGAL. Despacho n. 13.342, de 9 de novembro de 2016. Cria o Grupo de Trabalho de Avaliação Externa das Escolas, com a missão de analisar os referenciais e metodologias do Programa de Avaliação Externa das Escolas existente com vista a propor um modelo a utilizar na avaliação externa dos estabelecimentos de educação e ensino a partir do ano letivo de 2017-2018. Diário da República: Lisboa, Série II, n. 215, 9 nov. 2016. Disponível em: Disponível em: https://dre.pt/application/file/a/75692724 . Acesso em: dez. 2018. [ Links ]

PORTUGAL. Decreto-lei n. 54, de 6 de julho de 2018. Estabelece o regime jurídico da educação inclusiva. Diário da República: Lisboa, Série I, n. 129, 6 jul. 2018. Disponível em: Disponível em: https://dre.pt/application/file/a/115648907 . Acesso em: dez. 2018. [ Links ]

PORTUGAL. Decreto-lei n. 55/2018, de 6 de julho de 2018. Estabelece o currículo dos ensinos básico e secundário, os princípios orientadores da sua conceção, operacionalização e avaliação das aprendizagens, de modo a garantir que todos os alunos adquiram os conhecimentos e desenvolvam as capacidades e atitudes que contribuem para alcançar as competências previstas no Perfil dos Alunos à Saída da Escolaridade Obrigatória. Diário da República: Lisboa, Série I, n. 129, 6 jul. 2018. Disponível em: Disponível em: https://dre.pt/application/file/a/115648908 . Acesso em: dez. 2018. [ Links ]

STOLL, L.; SAMMONS, P. Growing together: school effectiveness and school improvement in the UK. In: TOWNSEND, T.; AVALOS, B.; CALDWELL, B.; CHENG, Y-C.; FLEISCH, B.; MOOS, L. et al. (eds.). International handbook of school effectiveness and improvement. Dordrecht: Springer , 2007. v. 17, parte 1, p. 207-222. [ Links ]

TEDDLIE, C.; STRINGFIELD, S. Schools make a difference: lessons learned from a 10-year study of school effects. New York: Teachers College Press, 1993. [ Links ]

Recebido: 18 de Abril de 2019; Aceito: 04 de Dezembro de 2019

Pascoal Diogo Albuquerque é doutorando em ciências da educação pela Universidade de Coimbra (Portugal). E-mail: pda@sapo.pt

António Gomes Ferreira é doutor em ciências da educação pela Universidade de Coimbra (Portugal). Professor da mesma instituição. E-mail: antonio@fpce.uc.pt

Carlos Manuel Folgado Barreira é doutor em ciências da educação pela Universidade de Coimbra (Portugal). Professor da mesma instituição. E-mail: cabarreira@fpce.uc.pt

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons