1 Introdução

A investigação demonstra que a Avaliação Externa de Escolas (AEE) do Ensino não superior tem adquirido proeminência nas agendas políticas de governos, quer a nível nacional quer internacional, emergindo das políticas de descentralização e do movimento accountability (^{Afonso, 2010}; Jones et al., 2017). A AEE é uma medida da Nova Gestão Pública, vista como um instrumento de aconselhamento estratégico para o desenvolvimento escolar, com o objetivo de promover a melhoria da qualidade educativa (Ehren, Altrichter, Mcnamara, O’Hara, 2013; Guzmán-Calle, Martín-Alonso, Rodríguez-Martínez, 2023; Taut, Rakoczy, 2016). De igual modo, procura fomentar mudanças nas organizações, considerando que elas advêm de iniciativas individuais dos atores escolares, estando associadas a uma abordagem construtivista (Gonçalves, Leite, Fernandes, 2015).

Nas últimas duas décadas testemunhou-se, em muitos países, uma transição na estratégia de governação que combinou a descentralização do poder do governo central – associada ao reforço do controlo externo, por via de mecanismos de avaliação institucional e de resultados acadêmicos – com o alargamento mitigado da autonomia administrativa das escolas, traduzindo uma lógica de controlo interno. Essa descentralização dos sistemas educativos instigou um crescente interesse por responsabilização, capacidade de resposta e autoaperfeiçoamento das escolas, impulsionando a diversificação de metodologias de avaliação educacional e a formulação de abordagens teóricas e de investigação, no âmbito da eficácia e da melhoria das escolas (^{Afonso, 2010}; ^{Piezunka, 2019}). A crescente descentralização implicou também um reforço dos níveis de confiança das instâncias que pilotam o sistema relativamente à capacidade das escolas e das suas lideranças para assumirem maior responsabilidade na operacionalização das políticas públicas.

Através de uma revisão sistemática da literatura (RSL), apoiada em artigos científicos publicados em revistas especializadas em Educação, pretende-se neste artigo mapear e compreender a amplitude e profundidade dos estudos existentes, a nível nacional e internacional, sobre a interseção entre AEE, políticas educacionais e práticas pedagógicas inclusivas. Esta revisão constitui parte integrante de um projeto de investigação mais amplo, cujo propósito é analisar estudos empíricos relativos a abordagens de AEE e respectivos impactos na promoção da inclusão educacional. Pretende-se investigar se as práticas de AEE estão alinhadas com os objetivos das políticas educativas promotoras da inclusão, identificando áreas passíveis de melhorias. Também se almeja reconhecer tendências e desafios, sintetizando as percepções das lideranças, docentes e outros stakeholders, com vista a elaborar recomendações fundamentadas nos resultados aferidos.

Por meio desta RSL, apresenta-se uma visão abrangente sobre como as políticas inclusivas são implementadas em diferentes contextos educativos, nomeadamente no português. Este enfoque pode proporcionar contributos relevantes para profissionais da Educação e decisores políticos, no sentido de melhorar os sistemas de avaliação de escolas, promovendo estratégias mais inclusivas e equitativas, além de se avaliar o efeito da avaliação externa na promoção desses objetivos.

A questão de investigação orientadora deste estudo, doravante QI, é a seguinte: “Em que medida a AEE influencia a implementação de políticas e práticas inclusivas no Ensino não superior?”.

Globalmente, a AEE institui-se como um procedimento que visa, entre outros aspectos, verificar a execução dos normativos legais em vigor. Nos últimos anos, as políticas inclusivas tornaram-se uma prioridade na agenda governativa de vários países, impondo-se como um desafio às comunidades educativas, nomeadamente às lideranças. A implementação dessas políticas representa uma oportunidade para cada escola desenvolver abordagens inovadoras, adaptadas às práticas de Ensino e de aprendizagem de todos os alunos, independentemente das capacidades, raça, etnia, classe social, gênero e religião (Seabra, Mouraz, Abelha, Henriques, 2020).

É imperativo que a Educação inclusiva seja encarada como um compromisso ético, com a adoção de práticas alinhadas com o compromisso educacional, e como uma missão que tenciona envolver todos os atores educativos. Neste contexto, a avaliação de escolas é fundamental para identificar os pontos fortes e as áreas que necessitam de melhoria, colocando o currículo e as aprendizagens dos alunos no centro das atividades escolares (^{Ainscow, 2020}; Carvalho, Azevedo, Vale, Fonseca, 2019). Segundo ^{Ehren e Honingh (2012)}, é expectável que a ação avaliativa das inspeções escolares afiance que todos os alunos têm a oportunidade de atingir o seu potencial acadêmico, incentivando as escolas a melhorarem continuamente, promovendo um Ensino de qualidade.

Após esta contextualização inicial, que apresenta e enquadra a QI que norteará este estudo, segue-se a exposição da metodologia adotada, na qual serão explicados os procedimentos utilizados, apresentados os dados coletados e sua subsequente análise. O artigo culmina com algumas considerações finais.

2 Metodologia

Esta RSL percorreu etapas claramente definidas, tendo-se determinado objetivos e procedimentos metodológicos validados em equipe.

Nas pesquisas efetuadas, constatou-se que não existem RSL específicas sobre o tema em estudo, ou seja, sobre AEE e sua relação com políticas educacionais e práticas pedagógicas inclusivas.

Pretendeu-se que esta RSL tivesse validade, confiabilidade e fosse passível de ser reproduzida (^{Vilelas, 2022}). Deste modo, a existência de uma estrutura que orientasse as etapas da RSL foi também considerada essencial, tendo sido adaptada a metodologia sugerida por ^{Xiao e Watson (2019)}: 1. Definição da QI; 2. Desenvolvimento e validação do protocolo da revisão; 3. Pesquisa de estudos em bases de dados; 4. Aplicação de critérios de inclusão de estudos; 5. Avaliação da qualidade dos estudos obtidos; 6. Extração dos dados; 7. Análise e síntese dos dados; 8. Apresentação da discussão e das conclusões.

Antes de se iniciar a pesquisa, definiu-se explicitamente a QI, tendo sido utilizada a técnica da mnemônica Pico, de acordo com o descrito no Quadro 1.

Como referido na introdução, a QI que norteou este estudo foi: “Em que medida a AEE influencia a implementação de políticas e práticas educativas inclusivas no Ensino não superior?”. Num segundo momento, foi desenvolvido e validado o protocolo da revisão, tendo sido registado na plataforma Open Science Framework (OSF) como um projeto de pesquisa. Constatou-se que se trata de um estudo original e autêntico, disponível em: https://osf.io/k3abj.

Na etapa seguinte, referente à pesquisa de estudos em bases de dados e outras fontes eletrônicas, foi solicitado apoio a duas técnicas superiores da biblioteca da universidade à qual os investigadores estão filiados, de forma a garantir que os critérios adotados na pesquisa estivessem ajustados aos objetivos do estudo, procurando fortalecer a integridade da pesquisa.

Optou-se por uma pesquisa sistemática e de periodicidade quinzenal, tendo sido iniciada em novembro de 2023 e concluída em finais de junho de 2024.

A definição dos termos de pesquisa foi feita com base na terminologia do Eric Thesaurus e teve por base a QI. Definiram-se conjuntos de palavras-chave como “external evaluation”, “external evaluation of school”, “school inspection” e “educational policies”, constituindo-se como critérios de inclusão. Foi usado o conceito “Higher Education” como critério de exclusão, de forma a não serem contemplados estudos sobre a realidade do Ensino Superior.

A pesquisa foi realizada nas bases de dados: Scopus, Web of Science, Eric e Scientific Electronic Library Online (SciELO). Por sugestão das técnicas da biblioteca, foi também realizada pesquisa no repositório científico de acesso aberto de Portugal (RCAAP). Nas bases Scopus, Web of Science e Eric, os termos foram definidos em inglês, por ser o idioma da busca. No portal SciELO e no RCAAP, a língua portuguesa foi a utilizada.

A procura foi circunscrita a artigos científicos, de âmbito nacional e internacional, tendo-se optado por não estabelecer limitação temporal nem geográfica, de modo a identificar quando e onde começaram a surgir estudos sobre o tema em análise. Da mesma forma, não foram impostas restrições quanto aos idiomas da pesquisa, com o intuito de ampliar a representatividade da literatura encontrada.

Foram definidos os seguintes critérios de inclusão: i) tipos de publicação “artigos”, “artigos de revisão” e “comunicação em conferência”; ii) com revisão por pares; iii) sem limitação temporal; iv) sem limitação geográfica; e v) estudos em qualquer língua.

Aquando da leitura integral e análise, foram estabelecidos como critérios de exclusão: i) estudos realizados fora da Europa; ii) estudos sem a apresentação clara de dados empíricos; iii) estudos com focos de pesquisa distintos (por exemplo, sobre estabelecimentos de Ensino Superior, instituições não educativas).

O Quadro 2 apresenta um resumo dos procedimentos adotados na pesquisa da literatura. O número de documentos registados corresponde à última pesquisa (junho de 2024).

O processo de avaliação da qualidade dos estudos encontrados foi feito pelos autores deste estudo, de forma independente, tendo as diferenças sido reconciliadas por mútuo acordo. Com recurso ao Excel, foi estabelecida uma checklist com os elementos necessários para um estudo com qualidade, tendo por base “Os critérios de avaliação da qualidade dos estudos de Bugalho e Carneiro em 2004” (^{Vilelas, 2022}). A referida checklist, com dez pontos de análise, incidiu na “validade dos resultados”, na “importância dos resultados” e na “aplicabilidade dos resultados”. Cada ponto foi avaliado com “sim”, “não” ou “não aplicável”. Os estudos incluídos nesta revisão reuniram mais de 50% dos critérios definidos.

3 Resultados

Foi apurado um total de 75 documentos, que foram exportados para o software de gestão de referências bibliográficas Mendeley.

Foram eliminados oito estudos duplicados. Depois, fez-se a leitura e avaliação dos títulos e dos resumos para aferir a elegibilidade dos estudos obtidos. Foram excluídos 25 estudos, por não estarem relacionados com o tema e os objetivos desta investigação e/ou por não incluírem uma descrição sobre a recolha e análise de dados empíricos. Após a leitura integral dos textos, houve exclusão de mais 20 documentos, por não corresponderem ao tema e aos interesses desta investigação.

Foram incluídos na revisão, constituindo o corpus de análise, um total de 22 artigos, 59,0% escritos em inglês (n = 13), 36,4% em português (n = 8) e 4,6% em alemão (n = 1). O procedimento de seleção dos documentos desta RSL se baseou nas recomendações do PRISMA (Page et al., 2021), pelo que se construiu o fluxograma apresentado na Figura para expor os procedimentos e resultados.

Fonte: Elaborada pelos autores e adaptado de Page et al. (2021)

Figura  Fluxograma para expor os procedimentos e resultados 

Em cada etapa (identificação, rastreio e inclusão) do fluxograma mostra-se o percurso metodológico, facilitando a compreensão dos estudos selecionados e que constituíram o corpus de análise.

Em seguida, procedeu-se à extração de dados de cada estudo incluído nesta RSL. Seguindo as orientações de ^{Donato e Donato (2019)}, elaborou-se uma tabela, numa folha do Excel, que reuniu as seguintes informações: i) nome de quem realizou a extração de dados; ii) data da leitura e extração de dados; iii) elementos identificativos do estudo (título, autor(es), ano de publicação, país(es) a que se refere o estudo, objetivos, metodologia adotada, participantes, intervenções e principais resultados). Foi uma síntese que permitiu sumariar, integrar, combinar e comparar os resultados.

Os 22 estudos foram também importados para o software de apoio de análise qualitativa de dados webQDA. Sistematizaram-se os anos de publicação, os autores e as revistas em que foram publicados, conforme apresentado no Quadro 3.

O corpus de análise é composto por estudos publicados entre 2010 e 2023. Constatou-se que o maior número de publicações diz respeito aos anos de 2015 (n = 3), 2016 (n = 3) e 2022 (n = 3). Alguns artigos compartilham autores comuns, como M.C.M. Ehren (estudos A02, A04 e A08); F. Seabra (A07, A18, A21 e A22); J. O´Hara (A04 e A08); J. Pacheco (A07, A09, A13 e A22); M. McNamara (A04, A08 e A14); e Ólafsdóttir, Jónasson e Sigurðardóttir (A19 e A20).

Relativamente às revistas e aos jornais de especialidade, conforme se pode observar no Quadro 3, a revista Studies in Educational Evaluation é a que publicou o maior número de artigos do corpus de análise (A02, A08, A17 e A20), representando 18,2% do total (n = 4). Os restantes artigos encontram-se distribuídos um (n = 1) por revista.

Os estudos selecionados abrangem exclusivamente países da Europa (Alemanha, Áustria, Chipre, Irlanda, Islândia, Países Baixos, Portugal, Reino Unido, República Checa e Suécia). A maior parte dos estudos, um total de dez, foca a AEE em Portugal (A03; A06; A07; A09: A12; A13; A16; A18; A21; A22). Há dois estudos (A04; A08) que comparam abordagens de AEE em seis países (Países Baixos, Inglaterra, Suécia, Irlanda, Áustria e República Checa). Quatro estudos abordam a AEE na Alemanha (A05; A15; A10; A17) e outros dois se referem à Islândia (A19; A20). Um dos estudos faz referência à Irlanda (A14); outro aos Países Baixos (A02); outro é referente ao Reino Unido (A11) e há um respeitante ao Chipre (A01).

Quanto à natureza metodológica, predominam os estudos qualitativos (n = 12), com um total de 54,5% (A01; A02; A03; A04; A09; A11; A12; A15; A18; A20; A21; A22). Os estudos quantitativos (n = 5) constituem cerca de 22,7% (A06; A07; A08; A13; A19); e em igual percentagem (22,7%) e número (n = 5) surgem os estudos mistos (A05; A10; A14; A16; A17). Quanto à tipologia dos estudos, de acordo com o referido pelos próprios autores, 16 são apresentados como estudos exploratórios (A03; A05; A06; A07; A10; A11; A13; A14; A15; A16; A17; A18; A19; A20; A21; A22), três como estudos comparativos (A02; A04; A08), dois como estudos de caso (A01; A12) e um como metaestudo (A09).

Todos os estudos selecionados fundamentam-se em pesquisas empíricas e realizam análise documental. Porém, os procedimentos de análise e a tipologia dos documentos nem sempre são apresentados de forma explícita. Nos estudos em que essa informação é fornecida, geralmente são referidos documentos estruturantes das escolas avaliadas, relatórios internos, relatórios elaborados pela Inspeção e/ou normativos legais pertinentes.

Com recurso exclusivo à análise de relatórios elaborados pela Inspeção, existem quatro estudos (A03; A18; A21; A22) – todos sobre o contexto português. Num estudo é referido que os relatórios da Inspeção foram analisados, mas foram também realizadas entrevistas aos diretores e docentes (A20). Em cinco estudos (A04; A11; A12; A14; A15) foram feitas entrevistas a inspetores (n = 3), diretores escolares (n = 1) e docentes (n = 1); em seis estudos (A06; A07; A08; A13; A16; A19) a opção recaiu em inquéritos por questionário dirigidos a diretores (n = 4), a docentes (n = 1) e a diretores e a docentes (n = 1). Dois estudos conjugaram inquéritos por questionário e observação de aulas, sendo o público-alvo constituído por docentes (A05; A17).

Relativamente à apresentação das limitações dos estudos, seis fazem essa referência. Dois artigos propõem que se faça um estudo sistemático e padronizado, com estratégias e instrumentos devidamente validados para que o processo de AEE seja fiável (A05; A10). Outros dois estudos (A01; A12) apresentam limitações associadas à natureza dos estudos de caso, sendo os resultados não generalizáveis. E noutros dois estudos (A08; A19) é referida a limitação de terem participado apenas diretores, inspetores ou professores.

Dos 22 artigos analisados, cinco apresentam sugestões de estudos futuros. No artigo A05 propõe-se a realização de um estudo sistemático sobre estratégias eficazes para integrar diferentes fontes de dados, visando aprimorar o processo de AEE; nos artigos A08 e A19 recomendam-se pesquisas que incorporem outras fontes de informação, como a opinião de alunos, pais e comunidade educativa sobre o impacto da Inspeção na melhoria das escolas. O estudo A10 refere a escassez de estudos que abordem a confiabilidade e validade dos instrumentos usados na avaliação da qualidade das escolas, no contexto da AEE, destacando a necessidade de mais investimentos nessa área. Por fim, os autores do artigo A20 salientam a importância de uma abordagem longitudinal para determinar o impacto a longo prazo das AEE, visando garantir a sustentabilidade e a eficácia na implementação de melhorias.

Verificou-se que todos os textos focam a AEE, abordando as políticas educacionais numa perspectiva global. Apenas sete evidenciam as políticas e práticas inclusivas (A12; A13; A15; A18; A20; A21; A22).

Todos os artigos foram analisados seguindo o paradigma interpretativo e a técnica de análise de conteúdo. Para tal, optou-se pelo critério de categorização semântica (^{Bardin, 2016}), tendo-se estabelecido as seguintes categorias de análise: i) Abordagens de AEE na Europa; ii) Impacto da AEE nas práticas inclusivas (tendências e desafios); iii) Contribuições para melhorar a AEE e as práticas inclusivas.

Na seção seguinte, procedemos à apresentação e discussão dos resultados da investigação, alinhando-os com as categorias anteriormente mencionadas. De igual modo, responde-se à QI que norteou esta RSL.

4 Discussão

Esta seção se estrutura em três subseções: 4.1 Abordagens de AEE na Europa; 4.2 Impacto da AEE nas práticas inclusivas (tendências e desafios); 4.3 Contribuições para melhorar a AEE e as práticas inclusivas. A Discussão desenvolve-se em diálogo com a literatura especializada e com os objetivos deste estudo.

5 Considerações Finais

Esta RSL permitiu identificar uma lacuna significativa de estudos que abordem especificamente o impacto da AEE na promoção de políticas e práticas inclusivas no Ensino não superior. Por isso, considera-se importante a realização de investigações mais aprofundadas, capazes de oferecer insights para (in)formar políticas promotoras de práticas inclusivas mais eficientes e sustentáveis.

Respondendo à QI que norteou este estudo – “Em que medida a AEE influencia a implementação de políticas e práticas educativas inclusivas no Ensino não superior?” –, conclui-se que ainda não existem resultados concretos sobre essa influência da AEE. No entanto, há evidências de um caminho iniciado, nomeadamente em Portugal.

Constata-se que o Paee, no atual 3º ciclo avaliativo, atribui importância à inclusão escolar, contemplando temas como a “equidade e a inclusão” no seu Quadro de Referência. Esta ênfase pode induzir mudanças significativas nas práticas educativas e avaliativas, fomentando ambientes mais inclusivos e estratégias pedagógicas mais adequadas às necessidades individuais dos alunos.

Num contexto mais abrangente, observa-se que a AEE tem exercido predominantemente um papel de indução, orientando as lideranças escolares na adoção de medidas de melhoria com base nos relatórios elaborados no seio da organização. No entanto, registam-se também desafios, como a dificuldade e/ou resistência de alguns professores na adoção de estratégias pedagógicas diferenciadas e inclusivas em contexto de sala de aula. Neste sentido, seria benéfico que a AEE assumisse também uma função mais proativa de responsabilização e orientação na necessidade de mudança, corroborando na promoção de formação, recursos e apoios necessários para impulsionar essas mudanças.

Em alguns estudos, sugere-se a necessidade de capacitar as lideranças para serem mais ativas e inclusivas, orientando a comunidade escolar na promoção de um ambiente educacional que atenda à diversidade e às necessidades de todos os alunos. De igual modo, propõe-se a integração harmoniosa dos processos de avaliação (autoavaliação e externa) e a implementação de mecanismos de feedback transparentes, assim como a participação ativa de lideranças, professores e outros stakeholders, de forma a possibilitar a promoção de uma cultura de melhoria contínua de práticas inclusivas.

Verifica-se, também, que a maioria das investigações consideradas neste estudo ocorre logo após as escolas receberem os relatórios da AEE, o que dificulta a avaliação da eficácia e da sustentabilidade das medidas de melhoria implementadas. Neste sentido, seria importante realizar estudos com uma abordagem longitudinal que permitam compreender o impacto a longo prazo das AEE, como sugerido por Ólafsdóttir, Jónasson e Sigurðardóttir (2022).

Para finalizar, considera-se crucial que as escolas adotem uma postura construtiva perante os feedbacks da Inspeção. É importante que haja reflexão sobre as práticas implementadas e a adoção de uma cultura de aprendizagem contínua, com base nas fragilidades e sucessos identificados. Além disso, as escolas devem promover o trabalho colaborativo e implementar ações direcionadas para o aprimoramento de políticas e práticas relacionadas com a Educação inclusiva. Este processo deve ser conduzido dentro de uma cultura de planejamento estratégico e de avaliação, de forma a assegurar que as medidas adotadas estejam alinhadas com os objetivos de melhoria contínua do sistema educativo.