1 Introdução

Quer a investigação sobre eficácia quer a investigação sobre melhoria estão relacionadas com o que o que se chamou “[...] reforma orientada para o desempenho internacional” (^{REYNOLDS, 2007}, p. 473). No início do século XXI, segundo ^{Hopkins e Reynolds (2001}), a investigação sobre a melhoria da escola e a investigação sobre a eficácia da escola passaram a convergir, entre outros aspetos, na focagem nos resultados dos alunos.

A investigação sobre as caraterísticas-chave decisivas para a promoção do progresso e do desenvolvimento dos discentes (^{MORTIMORE et al., 1988}) ou sobre os processos associados com a eficácia escolar (^{REYNOLDS; TEDDLIE, 2000}) identificou um conjunto de fatores-chave em eficácia educacional que passaram assim a constar dos quadros de referência utilizados nas inspeções escolares ou nas avaliações externas de escolas (SCHEERENS; ^{EHREN, 2016}). Por outro lado, a melhoria eficaz da escola identificou, entre outras, as dimensões da saúde organizacional, a avaliação baseada na escola, as facetas da liderança educacional e a reforma sistémica eficaz, com ênfase, entre outros, no desempenho dos alunos e na qualidade do ensino (SCHEERENS; EHREN, 2016). Por outro lado, a avaliação das aprendizagens dos alunos, centrada nos resultados e no cumprimento de metas, tem originado algumas consequências nefastas para a qualidade do ensino (^{SOARES; SOUSA, 2020}).

Segundo ^{Hofer, Holzberger e Reiss (2020}), a eficácia das inspeções escolares relaciona-se com o cumprimento dos objetivos de prestar contas, verificar a aplicação de políticas e melhorar a escola. Os objetivos de apoiar e articular com os professores, as escolas e o sistema educacional, para o seu desenvolvimento e melhoria, ganharam importância desde a década de 90 do século XX (^{EHREN, 2016a}). As escolas com piores desempenhos passaram a contar com programas de apoio específicos, tendo sido desenvolvido materiais de suporte para elas (^{REDDING et al., 2018}). Por outro lado, a participação do órgão inspetivo na avaliação e no fornecimento de estímulo e de apoio a redes de escolas de uma mesma área geográfica tem originado um impacto significativo na melhoria das escolas (^{BROWN et al., 2020}).

A inspeção escolar/avaliação externa de escola (IE/AEE), para além dos resultados cognitivos, passou também a considerar a avaliação dos resultados sociais (^{DIJKSTRA, 2017}). Os efeitos expectáveis das inspeções escolares ou das avaliações externas de escola dependem também daquilo que for considerado nos quadros de referência. Por exemplo, embora haja um reconhecimento de que a qualidade do ensino é a principal condição para a qualidade da escola, as caraterísticas dos professores não constam dos quadros com os standards utilizados nas ações inspetivas ou avaliativas da escola, o que pode afetar a validade dos resultados produzidos por essas avaliações (^{EHREN; PIETSCH, 2016}; SCHEERENS; ^{EHREN, 2016}). Segundo Ehren e Pietsch (2016), a eficácia de um sistema de avaliação de escolas ou de IE tem de considerar como da maior importância a validade, pois julgamentos errados irão provavelmente causar um impacto negativo nas escolas e nos professores. Para ^{Simeonova et al. (2020}), o rigor das inspeções escolares depende, entre outros, das formas e da frequência das visitas inspetivas e do nível de realce da autoavaliação da escola e do planeamento de ações para a melhoria.

Num estudo que permitiu identificar 30 estudos que utilizaram estatística inferencial, ^{Hofer, Holzberger e Reiss (2020}) mencionam alguns fatores que podem influenciar a eficácia das inspeções. Conforme ^{Piezunka (2019}), as duas estratégias utilizadas pelos inspetores para aumentar a aceitação do feedback pelos representantes das escolas são a realização de menos julgamentos e de mais descrições sobre o observado e a consideração das opiniões dos representantes acerca das suas expetativas em relação às escolas.

A literatura tem mostrado evidências empíricas crescentes de que as inspeções escolares podem ser uma caraterística fundamental da melhoria escolar (^{EHREN, 2016b}). Dez estudos empíricos, realizados em Portugal, no âmbito do projeto de investigação “Impacto e efeitos da avaliação externa nas escolas do ensino não superior” (^{PACHECO, 2014}, p. 10), permitiram concluir que a AEE tem produzido impacto e efeitos: na apropriação pela escola dos referentes da AEE, na monitorização dos resultados dos alunos, na melhoria da escola a nível organizacional, no fortalecimento da autoavaliação da escola, na realização dos planos de melhoria e no incremento da participação da comunidade na vida social da escola (PACHECO, 2016). Utilizando uma outra caraterização dos efeitos, ^{Maia e Pacheco (2019}), a partir de uma revisão de literatura, enunciaram e descreveram, entre outros, o efeito de legitimação discursiva, o efeito procedimental, o efeito de legitimação simbólica e o efeito pragmático.

O fato de as inspeções informarem aquilo que as escolas já sabem ou não serem produzidos efeitos em determinados grupos de alunos tem também sido assinalado em alguns estudos (^{EHREN, 2016b}). Por outro lado, efeitos indesejáveis ou efeitos colaterais, principalmente negativos, das AEE/inspeções escolares têm vindo também a ser referidos nas revisões de literatura. São exemplos disso efeitos como: o stresse, a ansiedade e o aumento da carga de trabalho na preparação para a inspeção (EHREN; JONES; PERRYMAN, 2016); a ausência de consequências qualitativas para a escola (^{PACHECO, 2014}); a fixação na medida que pode levar à manipulação deliberada dos dados (PACHECO, 2014); o comportamento estratégico intencional, com atividades pré e durante a visita inspetiva, destinadas a fornecer uma melhor imagem da escola ou mesmo enganar a equipa de AEE, com raro contributo para a melhoria da escola (EHREN; JONES; PERRYMAN, 2016; ^{PENNINCKX, 2017}); o comportamento estratégico não intencional, com focagem por parte da escola nos elementos que são avaliados e que constam no quadro de referência da AEE, ocorrendo uma distração da vida escolar normal por causa da notificação, conduta ou resultados da IE (EHREN; JONES; PERRYMAN, 2016; PENNINCKX, 2017).

Alguns autores (^{HOFER; HOLZBERGER; REISS, 2020}; ^{KEMETHOFER; GUSTAFSSON; ALTRICHTER, 2017}) assinalam que nos países europeus as IE/AEE só a partir dos anos 1990 começaram a ser introduzidas à lógica de governança baseada em evidências, sendo um número significativo de resultados da investigação sobre o impacto e efeitos das IE/AEE nas escolas inconclusivos ou não generalizáveis. ^{Hofer, Holzberger e Reiss (2020}) pontuam que, em 16 estudos com grupos de controlo, em que foram identificados 222 efeitos, 58% (129) podem ser considerados sem significado positivo ou negativo atribuível.

Ante os desenvolvimentos expostos nesta introdução, este artigo tem por objetivo realizar uma revisão sistemática sobre os efeitos das inspeções escolares/AEE nas escolas, apresentados nos resultados divulgados por artigos de acesso aberto, publicados em revistas científicas, presentes nas bases de dados Web of Science e Scopus, desde 2016 até o momento (14/08/2021).

2 Metodologia

Realizou-se uma pesquisa, nas bases de dados de resumos e citações com revisão por pares Web of Science e Scopus, de artigos científicos considerando-se a IE/AEE de instituições escolares do ensino não superior. Efetuaram-se dez pesquisas, cinco em cada base de dados, por título do artigo, resumo e palavras-chave, para o período de 2016 ao presente (14/08/2021), com a seguinte combinação lógica de palavras-chave (filtro): em inglês, “School external evaluation” ou “School inspection” e “Effects”; em castelhano, “Evaluación externa de la escuela” ou “Inspección escolar” e “Efectos”; em português, “Avaliação externa de escola” ou “Inspeção escolar” e “Efeitos”; em francês, “Évaluation externe de l'école” ou “Inspection scolaire” e “Effets”; em alemão, “Schulexterne evaluation” ou “Schulinspektion” e “Auswirkungen”. Os resultados desta pesquisa inicial encontraram 914 artigos (Web of Science: 669; Scopus: 245).

Com base no enquadramento efetuado na introdução, nomeadamente considerando o apresentado por ^{Ehren (2016b}), Ehren, Jones e Perryman (2016), ^{Hofer, Holzberger e Reiss (2020}), ^{Pacheco (2014}, 2016) e ^{Penninckx (2017}), para ajudar a análise dos resultados apresentados em cada artigo, definiu-se uma palavra-chave caraterizadora - “mudanças” - e, a partir dela, estabeleceram-se as seguintes nove categorias de efeitos da IE/AEE nas escolas, cada uma com sete ideias-chave associadas (entendidas como não sendo as únicas), apresentadas nos parágrafos seguintes.

Mudanças organizacionais (MO) - A IE/AEE: é um processo desenvolvido com o conhecimento da maioria dos professores da escola; proporciona aos docentes um conhecimento dos pontos fortes e fracos da escola; influencia a articulação entre as lideranças da escola; influencia o empenho das lideranças intermédias (por exemplo: coordenadores, diretores de turma…); promove o empenho dos professores em projetos dinamizados pela escola; influencia o empenho dos docentes no desenvolvimento de estratégias inovadoras; influencia a gestão dos recursos humanos e materiais.

Mudanças no currículo (MC) - A IE/AEE: contribui para melhorar as práticas curriculares dos docentes (planificação, metodologia, avaliação…); contribui para a aplicação dos normativos sobre a flexibilidade curricular; contribui para o desenvolvimento do trabalho colaborativo entre professores no processo de desenvolvimento do currículo; contribui para que os docentes tenham autonomia no processo de desenvolvimento do currículo; contribui para melhorar o trabalho de supervisão das práticas curriculares dos professores (planificação, metodologia, avaliação…); provoca mudanças efetivas na gestão do currículo; contribui para a articulação entre ciclos/níveis de ensino.

Mudanças na sala de aula (MSA) - A IE/AEE: contribui para que os docentes colaborem entre si na preparação de aulas; contribui para um maior envolvimento dos professores nos processos de ensino e aprendizagem inovadores em contexto de sala de aula; contribui para o apoio prestado aos docentes para melhorarem as suas competências de ensino; influencia o acompanhamento da prática letiva na sala de aula; contribui para que os professores elaborem testes em conjunto para a avaliação das aprendizagens; reforça a valorização da avaliação sumativa em face da avaliação formativa das aprendizagens; valoriza os resultados da avaliação externa das aprendizagens (provas e exames nacionais).

Mudanças nos resultados dos alunos (MRA) - A IE/AEE: contribui para a melhoria dos resultados internos das aprendizagens; contribui para a melhoria dos resultados académicos externos das aprendizagens (provas e exames nacionais); contribui para a melhoria do cumprimento das regras e da disciplina; contribui para a redução da desistência e abandono escolar; influencia a participação dos alunos na vida da escola e assunção de responsabilidades; influencia o incremento das formas de solidariedade em que os alunos se envolvem; reforça o impacto da escolaridade no percurso dos alunos.

Mudanças na autoavaliação da escola (MAA) - A IE/AEE: contribui para a existência da autoavaliação da escola; realiza-se em paralelo com a autoavaliação da escola; impõe um modelo de autoavaliação da escola; contribui para a elaboração de um plano de melhoria da escola; valoriza o trabalho desenvolvido pela equipa de autoavaliação da escola; contribui para o impacto da autoavaliação no planeamento, na organização e nas práticas profissionais; favorece a existência, por parte da escola, de um plano contínuo de melhoria.

Mudanças nos processos de melhoria (MProcM) - A IE/AEE: contribui para o diagnóstico dos problemas a resolver; contribui para a definição de objetivos detalhados a partir do diagnóstico dos problemas a resolver; tem influência sobre a planificação das atividades de melhoria; influencia a definição dos papéis específicos e das tarefas de cada interveniente na implementação das atividades de melhoria; influencia a implementação das atividades de melhoria; influencia a avaliação e reflexão sobre as atividades de melhoria implementadas; contribui para o reajuste das atividades de melhoria já executadas.

Mudanças na comunidade (MCom) - A IE/AEE: revela a existência de uma prática de colaboração entre a escola e a comunidade educativa; contribui para que a escola siga uma estratégia de marketing na valorização da escola perante a comunidade educativa; possibilita informação aos pais/encarregados de educação (EE) sobre os pontos fortes e fracos da escola; promove a interação entre escola e comunidade educativa; influencia a valorização, pela comunidade envolvente, do papel da escola na educação e formação dos alunos; contribui para o incremento das parcerias estabelecidas com vista à prossecução dos objetivos do projeto educativo; contribui para promover o debate público sobre a qualidade das escolas.

Mudanças na cultura de melhoria (MCultM) - A IE/AEE: leva à aceitação do feedback dado pela equipa inspetiva/avaliativa; tem influência na liderança para o envolvimento das pessoas na melhoria; influencia a visão partilhada, clarificadora dos objetivos a alcançar e estratégias a seguir; contribui para a pressão interna para a melhoria; tem influência na liderança para o apoio à formação dos profissionais da escola; influencia a autonomia usada pelas escolas para melhorarem; influencia na vontade para a escola ser uma organização aprendente.

Mudanças não desejadas ou efeitos não desejados (MND/END) - A IE/AEE: leva a uma concentração excessiva nos procedimentos de registo; causa stresse nos envolvidos; retira tempo aos professores necessário para a preparação das suas aulas; leva os envolvidos a darem respostas para melhorarem a avaliação, com recurso à deturpação e fraude; provoca ansiedade nos profissionais; provoca o estreitamento do currículo lecionado; leva à não aceitação do feedback dado pela equipa inspetiva/avaliativa.

Foram considerados os artigos de acesso aberto com dados provenientes de: estudos qualitativos (por exemplo: análise documental, entrevistas), estudos quantitativos (por exemplo: descritivos, com grupos de controlo, com grupos de comparação, com correlação de variáveis, com estatística inferencial) e estudos com metodologias mistas (qualitativas e quantitativas).

Na etapa de decisão de inclusão para uma segunda fase de análise ao nível do texto integral do artigo, utilizou-se o software Rayyan (https://www.rayyan.ai/), o que não dispensou a leitura e a análise do título e do resumo de cada um dos 914 artigos.

Na segunda fase, procedeu-se a uma leitura do texto integral dos artigos. Como auxiliar da análise do conteúdo, utilizou-se o software MAXQDA 2020 Analytics Pro. Assim, o refinamento da pesquisa conduziu a 14 artigos considerados relevantes (2016: 7; 2017: 2; 2018: 0; 2019: 1; 2020: 3; 2021: 1). A referência completa de cada artigo é apresentada na secção “Referências” e está precedida de um asterisco (“*”).

A leitura do texto dos artigos permitiu identificar efeitos não traduzidos pelas ideias-chave de cada categoria, o que não impediu de considerá-los e de incluí-los numa das nove categorias definidas.

3 Resultados e discussão

Dos 14 artigos, oito são quantitativos, com recolha de dados por questionário e com discussão de resultados utilizando estatística inferencial, sendo quatro longitudinais (^{EHREN; SHACKLETON, 2016a}; ^{JONES et al., 2017}; ^{KEMETHOFER; GUSTAFSSON; ALTRICHTER, 2017}; ^{WAGNER, 2020}) e outros quatro não longitudinais (^{PENNINCKX 2016a}, 2016c; ^{QUESEL; SCHWEINBERGER; MÖSER, 2020}; ^{QUINTELIER; DE MAEYER; VANHOOF, 2020}). ^{Ehren e Shackleton (2016b}) utilizaram uma coleção de dados provenientes das avaliações das escolas e de um repositório de informação sobre as escolas organizado por uma organização sem fins lucrativos, em que aplicaram estatística inferencial. ^{Penninckx et al. (2016b}) realizaram um estudo longitudinal qualitativo com recolha de dados por entrevista. Este método de recolha foi também utilizado noutros quatro estudos ^{(HOPKINS et al., 2016}; ^{HULT; EDSTRÖM, 2016}; ^{MOURAZ; LEITE; FERNANDES, 2019}; ^{SAMPAIO; LEITE, 2021}). Dois estudos recorreram a mais do que um método de recolha de dados (HULT; EDSTRÖM, 2016; MOURAZ; LEITE; FERNANDES, 2019). Assim, para além de uma maioria de estudos quantitativos (9), há três estudos qualitativos e dois estudos que utilizaram uma metodologia mista (HULT; EDSTRÖM, 2016; MOURAZ; LEITE; FERNANDES, 2019).

Em termos de países, as recolhas de dados foram realizadas na Áustria, Inglaterra, Irlanda, Países Baixos, República Checa, Suécia e Suíça ^{(JONES et al., 2017}), na Áustria e Suécia (^{KEMETHOFER; GUSTAFSSON; ALTRICHTER, 2017}), no Estado federado alemão da Baixa Saxónia (^{WAGNER, 2020}), nos Países Baixos (^{EHREN; SHACKLETON, 2016a}, 2016b), em Portugal (^{MOURAZ; LEITE; FERNANDES, 2019}; ^{SAMPAIO; LEITE, 2021}), na região belga da Flandres (^{QUINTELIER; DE MAEYER; VANHOOF, 2020}; ^{PENNINCKX et al., 2016a}, 2016b, 2016c), no Reino Unido ^{(HOPKINS et al., 2016}), na Suécia (^{HULT; EDSTRÖM, 2016}) e na Suíça (^{QUESEL; SCHWEINBERGER; MÖSER, 2020}).

Nos 14 artigos desta revisão, foram encontradas 114 evidências de ocorrências de efeitos da IE/AEE na escola. As evidências de ocorrências de efeitos positivos (desejados) representam 58% e as dos negativos (não desejados) 42% do total. Seis estudos (43%) apresentam uma maioria de evidências relativas às ocorrências de efeitos não desejados (^{EHREN; SHACKLETON, 2016b}; ^{HOPKINS et al., 2016}; ^{HULT; EDSTRÖM, 2016}; ^{JONES et al., 2017}; ^{PENNINCKX et al., 2016b}; ^{SAMPAIO; LEITE, 2021}).

O maior número de evidências de ocorrências ocorreu em relação aos efeitos não desejados (48), seguindo-se as mudanças na cultura de melhoria (33) e as mudanças organizacionais (12). Com seis ou menos, ficaram as mudanças no currículo (6), nos processos de melhoria (6), na sala de aula (5), na autoavaliação da escola (3), na comunidade (1) e nos resultados dos alunos (0). Nos parágrafos seguintes é apresentada uma síntese por categoria de efeitos.

Os estudos revistos apresentam várias evidências de ocorrências de efeitos não desejados. Ao estar muita coisa em jogo num processo de inspeção/AEE ^{(HOPKINS et al., 2016}), com um aumento da carga de trabalho e com a perturbação da vida normal da escola (^{PENNINCKX et al., 2016b}), os professores sentem níveis de stresse e de ansiedade acima dos sentidos em períodos sem visitas inspetivas (PENNINCKX et al., 2016b), o que origina: redução do entusiasmo profissional após a visita inspetiva (PENNINCKX et al., 2016c), dores de cabeça e falta de sono antes da visita (PENNINCKX et al., 2016b) e redução da alimentação e do sono durante a visita (HOPKINS et al., 2016). Alguns autores apresentam evidências sobre a ocorrência de uma excessiva concentração, no processo de inspeção, nos procedimentos de registo dos dados ^{(JONES et al., 2017}), algumas vezes envolvendo burocracia contraproducente (^{SAMPAIO; LEITE, 2021}). O estudo de ^{Hult e Edström (2016}) assinala que a IE/AEE retira tempo aos professores necessário para a preparação das suas aulas. Por outro lado, a ocorrência de atividades que têm como propósito a receção de um julgamento da inspeção mais favorável, com recurso à deturpação de dados, visando enganar os inspetores, foi também mencionada por alguns autores (JONES et al., 2017; PENNINCKX et al., 2016b). Foram também encontradas evidências de que as IE/AEE nas escolas levam a que o foco passe a ser as disciplinas com exames externos, provocando o estreitamento do currículo lecionado (^{EHREN; SHACKLETON, 2016a}, 2016b; JONES et al., 2017) e das estratégias de ensino (JONES et al., 2017). Outros efeitos não desejados mencionados nos resultados dos estudos revistos foram: a falta de moral ou entusiasmo para melhorias a longo prazo (EHREN; SHACKLETON, 2016b); a redução do entusiasmo profissional dos professores depois da visita inspetiva, influenciada pela perceção da qualidade da avaliação realizada à escola (PENNINCKX et al., 2016c); o sentimento de dependência do que os inspetores poderiam revelar como indicadores de como a escola poderia/deveria melhorar (HOPKINS et al., 2016); a visão de que a autoavaliação sistemática da escola, com tempo e dedicação a ela, é um fenómeno improvável na ausência de um processo de IE/AEE da escola (HOPKINS et al., 2016); a relutância em inovar e a tendência para seguir a abordagem pedagógica que é percebida como sendo a preferida da equipa inspetiva e conducente a melhores resultados na IE/AEE (HOPKINS et al., 2016; JONES et al., 2017); a redução da confiança e a inibição da discussão sobre as dificuldades, devido à pressão para demonstrar bom desempenho (HOPKINS et al., 2016); o adiamento, por parte da escola, de algumas atividades e ações previstas devido à preparação e à realização da visita inspetiva (PENNINCKX et al., 2016b); a desconsideração das avaliações realizadas pelos próprios professores, em conjunto com os seus alunos, e alvo de reflexão conjunta sobre o ensino (^{HULT; EDSTRÖM, 2016}); o sentimento de falta de confiança nos professores, da parte da administração da escola e dos pais (HULT; EDSTRÖM, 2016); a colocação de lado de questões de justiça social ou o seu ajuste ao que é definido externamente, devido à necessidade do cumprimento de metas e objetivos específicos considerados relevantes pela IE/AEE, com foco excessivo nos resultados académicos dos alunos (SAMPAIO; LEITE, 2021); a não valorização pelos inspetores/equipa de AEE do trabalho realizado pelos professores (SAMPAIO; LEITE, 2021). A realização de novos estudos sobre efeitos não desejados continuará a ter toda a pertinência, especialmente pela desejável consideração de seus resultados na definição de políticas, por parte do Ministério da Educação, e na implementação de procedimentos, por parte do órgão inspetivo e das escolas, que visem à eliminação ou redução desses efeitos.

Relativamente às evidências de efeitos da IE/AEE na cultura de melhoria da escola, a perceção, por parte dos docentes, de justiça relativamente ao processo avaliativo está diretamente relacionada com a aceitação, por parte destes, do feedback dado pelos inspetores (^{QUINTELIER; DE MAEYER; VANHOOF, 2020}). A aceitação do feedback/resultados da avaliação por um diretor de uma escola que obteve uma classificação mais baixa na avaliação efetuada pelos inspetores é baixa no primeiro ano após a visita inspetiva, mas sobe no segundo ano (^{EHREN; SHACKLETON, 2016a}). O feedback da IE/AEE, nomeadamente o negativo, pode representar uma oportunidade de aprendizagem muito importante para a escola (^{QUESEL; SCHWEINBERGER; MÖSER, 2020}). A aceitação do feedback pode levar o diretor a ter sucesso na transformação das avaliações externas em internas com relevância reconhecida pelos docentes para a melhoria do seu trabalho (^{HULT; EDSTRÖM, 2016}). Por outro lado, ^{Kemethofer, Gustafsson e Altrichter (2017}) mencionam que há uma maior probabilidade de o feedback ser aceite em sistemas sujeitos a uma menor pressão do que em ambientes de alta pressão de prestação de contas, menos propícios para o processamento e uso dessas mensagens informativas dadas pela equipa inspetiva/avaliadora. A IE/AEE originou uma reflexão sobre a política da escola e levou a ações concretas de melhoria, originando menos efeitos concetuais e mais efeitos instrumentais (^{PENNINCKX et al., 2016c}) ou uma maior reflexão do docente sobre as suas práticas e um maior estímulo da vontade de tomar uma posição crítica (PENNINCKX et al., 2016a). A pressão exercida pelo diretor sobre os professores, como veículo da influência da IE/AEE no processo de construção da coerência curricular, estimulando-os para a realização de trabalho colaborativo e reorganizando os seus horários (^{MOURAZ; LEITE; FERNANDES, 2019}), conduziu ao envolvimento das pessoas na melhoria. As observações de aulas de acompanhamento (follow-up) parecem fornecer um ímpeto externo mais forte para melhorias, podendo motivar os diretores para iniciarem e coordenarem processos de melhoria que não fariam se não fosse a IE/AEE (^{WAGNER, 2020}). O efeito da IE/AEE na capacidade de melhoria no contexto sueco (^{KEMETHOFER; GUSTAFSSON; ALTRICHTER, 2017}) e uma maior atenção aos critérios de avaliação, antes da visita inspetiva, por parte dos diretores de escolas situadas em sistemas educativos considerados de maior pressão (KEMETHOFER; GUSTAFSSON; ALTRICHTER, 2017), foram outros efeitos evidenciados.

Em relação aos efeitos das IE/AEE na escola, a nível organizacional, foram encontradas evidências de que, no ano imediatamente a seguir à vista da equipa inspetiva/avaliadores, os diretores investem particularmente na cooperação entre professores, na liderança transformacional ou na participação dos docentes nos processos de decisão (^{EHREN; SHACKLETON, 2016a}). Ocorreram melhorias na eficácia da escola em escolas com mais baixa classificação na avaliação efetuada pelos inspetores/equipa inspetiva (EHREN; SHACKLETON, 2016a). Na Suécia ocorreu um efeito da IE/AEE nas condições de ensino, com a estimativa do efeito a atingir significância estatística (^{KEMETHOFER; GUSTAFSSON; ALTRICHTER, 2017}). A IE/AEE promoveu o empenho dos professores em projetos dinamizados por uma escola com contrato de autonomia destinados a melhor responder às dificuldades dos alunos, com efeito na melhoria das práticas de gestão (^{MOURAZ; LEITE; FERNANDES, 2019}). O diretor, como veículo da influência da IE/AEE no processo de construção da coerência curricular, exerce pressão sobre os docentes no sentido de se envolverem nesses projetos (MOURAZ; LEITE; FERNANDES, 2019). A IE/AEE tem influência num maior envolvimento dos docentes em processos inovadores de ensino e aprendizagem, no contexto da sala de aula (MOURAZ; LEITE; FERNANDES, 2019). Observamos, assim, alguma influência da IE/AEE no empenho dos professores no desenvolvimento de estratégias inovadoras.

A influência das IE/AEE nos processos de melhoria manifesta-se ao nível da planificação e implementação de atividades de melhoria. ^{Penninckx et al. (2016a}) evidenciam que, em resposta à IE, são planeadas ou realizadas ações concretas para a melhoria da escola. Hopkins et al. (2016) apresentam também evidências de que o processo de inspeção/AEE desencadeou atividades de melhoria por parte da escola nos aspetos relacionados com a prestação do serviço educativo/desempenho da escola, que foram considerados como necessitados de intervenções. Por outro lado, a obtenção de uma classificação mais baixa na avaliação da escola leva a um maior alinhamento dos processos da escola e do ensino com os standards da inspeção no primeiro ano seguinte a essa avaliação (^{EHREN; SHACKLETON, 2016a}). Esse resultado é convergente com a apropriação pela escola dos referentes da AEE mencionada por ^{Pacheco (2016}).

Relativamente às MC, destacam-se as evidências apresentadas por ^{Mouraz, Leite e Fernandes (2019}) de que ocorreu um efeito da AEE no estímulo ao desenvolvimento do trabalho colaborativo entre professores no desenvolvimento do currículo. Por outro lado, a IE/AEE contribui para a articulação entre ciclos/níveis de ensino (^{MOURAZ; LEITE; FERNANDES, 2019}) e as observações de aulas de follow-up parecem fornecer um ímpeto externo mais forte para melhorias (^{WAGNER, 2020}).

Em relação a mudanças na sala de aula, destacam-se as evidências de ocorrências de efeitos das IE/AEE na adequação das práticas que ocorrem na sala de aula, incluindo a elaboração de testes em conjunto para a avaliação das aprendizagens dos alunos (^{MOURAZ; LEITE; FERNANDES, 2019}). ^{Wagner (2020}) menciona que a ocorrência de observação de aulas de acompanhamento, na sequência de uma IE/AEE, pode motivar mais os professores, que normalmente preparam as aulas sozinhos, a colaborarem entre si para alcançarem melhores resultados nessas aulas.

Relativamente aos efeitos da IE/AEE na autoavaliação da escola, nos Países Baixos, os resultados do estudo de ^{Ehren e Shackleton (2016a}) sugerem que as visitas inspetivas a escolas com classificações mais baixas nas avaliações de escola conduziram a ações adicionais por parte dos diretores com vista à melhoria da autoavaliação da escola, especialmente nos dois anos subsequentes à divulgação do resultado da avaliação da escola. Por outro lado, as escolas com classificação mais alta trabalharam na sua autoavaliação antes ou durante uma primeira análise avaliativa efetuada pelos inspetores, tendo decrescido o nível de atividade quando os resultados foram publicados e os inspetores atribuíram essa classificação (^{EHREN; SHACKLETON, 2016a}). Em Portugal, ^{Sampaio e Leite (2021}) apresentaram evidências de que a IE/AEE contribuiu para a elaboração de planos de melhoria. O impacto das IE na promoção e melhoria da autoavaliação não registou significância estatística na Áustria e na Suécia (^{KEMETHOFER; GUSTAFSSON; ALTRICHTER, 2017}). Assim, nos Países Baixos e em Portugal foram encontradas evidências de que a IE/AEE tem contribuído para o fortalecimento da autoavaliação da escola, o que é convergente com o referido por ^{Pacheco (2016}).

Em relação às MCom, o estudo realizado por ^{Ehren e Shackleton (2016a}) apresenta alguma evidência de que os pais e os conselhos diretivos de escolas com desempenhos elevados utilizam a informação sobre os pontos fracos e fortes da escola, contida na primeira análise avaliativa efetuada pelos inspetores, durante ou no ano seguinte à publicação desses resultados, mas não nos anos subsequentes. Nesta revisão, não foram encontradas evidências de ocorrências de efeitos da IE/AEE no incremento da participação da comunidade na vida social da escola, designadamente dando voz aos atores sociais com intervenção direta na escola e reforçando as parcerias existentes, conforme referido por ^{Pacheco (2016}).

Nesta revisão não foram encontradas evidências de ocorrências de efeitos das IE/AEE nos resultados dos alunos. ^{Pacheco (2016}) assinala o efeito na monitorização dos resultados, contudo sem efeitos visíveis. Consideramos, assim, que esta é uma área, juntamente com as MSA, onde poderão ser efetuados estudos.

4 Considerações finais

A maioria dos estudos, 57% (8), apresenta uma maioria de evidências de ocorrências de efeitos, pretendidos ou desejados, das IE/AEE nas escolas (^{EHREN; SHACKLETON, 2016a}; ^{KEMETHOFER; GUSTAFSSON; ALTRICHTER, 2017}; ^{MOURAZ; LEITE; FERNANDES, 2019}; ^{PENNINCKX et al., 2016a}, 2016c; ^{QUESEL; SCHWEINBERGER; MÖSER, 2020}; ^{QUINTELIER; DE MAEYER; VANHOOF, 2020}; ^{WAGNER, 2020}). As evidências de ocorrências de efeitos positivos (desejados) representam 58% e as dos negativos 42% do total (114). Num estudo de revisão sistemática da literatura abrangendo cerca de 30 anos (1990 - abril de 2018), ^{Hofer, Holzberger e Reiss (2020}) mencionaram que, de 222 efeitos presentes em 16 estudos com grupos de controlo, 24% (54) podem ser considerados com significado positivo, 18% (39) com significado negativo e 58% (129) sem significado positivo ou negativo atribuível, mas dividindo-se em 50% (65) com tendência positiva, 33% (42) com tendência negativa e 17% (22) sem informação disponível sobre a tendência.

Constata-se que as evidências de ocorrência de efeitos não desejados são aquelas que estão mais presentes nesta revisão. O impacto emocional das inspeções nos professores tem sido acentuado (^{PENNINCKX et al., 2016b}). Tem ocorrido um crescente interesse pela realização de estudos sobre os efeitos não desejados na sequência de outros anteriores (^{EHREN; JONES; PERRYMAN, 2016}; ^{PACHECO, 2014}). Alguns autores sugeriram a continuidade do estudo dos efeitos não desejados com vista à implementação de políticas que levem à sua redução (PENNINCKX et al., 2016b), ou atendendo aos custos das IE/AEE (^{KEMETHOFER; GUSTAFSSON; ALTRICHTER, 2017}). Na sequência de efeitos mencionados por ^{Hult e Edström (2016}), sugerimos que seja dada uma maior atenção às avaliações internas das aprendizagens, realizadas pelos próprios professores.

Em relação aos efeitos desejados, registaram-se mais evidências de ocorrências de efeitos da IE/AEE nos âmbitos da cultura de melhoria (33) e organizacional (12). Com menos evidências de ocorrências de efeitos, registaram-se ao nível do currículo (6), nos processos de melhoria (6), na sala de aula (5), na autoavaliação da escola (3) e na comunidade (1). Continua, assim, a manter-se uma certa tendência para se poder concluir que, tal como referido por ^{Pacheco (2016}, p. 264), a IE/AEE tem gerado efeitos na “[...] melhoria da escola, mais a nível organizacional do que a nível curricular e dos modos de trabalho pedagógico”. Em termos da caraterização de efeitos, efetuada por autores revistos por ^{Maia e Pacheco (2019}), pode-se considerar que a IE/AEE tem produzido mais os efeitos procedimental, de legitimação discursiva, de legitimação simbólica e pragmática.

No estudo quantitativo longitudinal com grupo de controlo, ^{Wagner (2020}) assinalou, entre outras, a ocorrência de atividades de desenvolvimento depois das visitas inspetivas, com um ímpeto para a melhoria proporcionado pelas aulas observadas de acompanhamento, especialmente nas escolas com baixa capacidade de inovação. Por outro lado, alguns autores sugerem a realização de outros estudos sobre os efeitos desejados, que incluam, entre outras, informações sobre as condições de ensino por parte dos docentes (^{KEMETHOFER; GUSTAFSSON; ALTRICHTER, 2017}) e que considerem a relação entre a aceitação do feedback fornecido pelas equipas de IE/AEE e as respostas cognitivas e afetivas dos professores (^{QUINTELIER; DE MAEYER; VANHOOF, 2020}).

Com esta revisão, o leitor interessado no tema dos efeitos da IE/AEE nas escolas ficará a conhecer uma parte do que de mais recente se tem produzido. Fornece-se, assim, uma base de suporte teórico que, em conjunto com outras, poderá ser utilizada em futuros estudos empíricos. A pesquisa em outras bases de dados, de resumos e citações de artigos avaliados por pares, poderá trazer à luz a ocorrência de outros efeitos. Os efeitos na sala de aula e nos resultados dos alunos das EI/AEE encontram-se pouco estudados, pelo que esta será uma área de investigação em que se poderão vir a produzir e publicar novos trabalhos. Esta revisão considerou artigos científicos de acesso aberto, num período bem determinado. O alargamento dos tipos de fontes (referências) e do período temporal a considerar para a pesquisa e revisão será sempre uma opção válida.

Questões relativas a diferentes resultados obtidos têm levado alguns autores a sugerirem a realização de estudos que procurem responder às mesmas questões e que utilizem uma mesma metodologia (^{KEMETHOFER; GUSTAFSSON; ALTRICHTER, 2017}; ^{PENNINCKX, 2017}). A duração temporal das mudanças ou dos efeitos desejados pode ser limitada no tempo, pelo que a realização de estudos longitudinais envolvendo várias escolas, com utilização de grupos de controlo, aumentará o conhecimento da ocorrência dos efeitos e da sua persistência temporal e permitirá uma generalização dos resultados obtidos. Também a realização de estudos, envolvendo vários países, que atendam aos diversos contextos educacionais, poderá ajudar a consolidar as evidências sobre a frequência de ocorrência desses efeitos e a sua manutenção ao longo do tempo.