Introdução

Embora já faça parte do senso comum, o entendimento de que o agir do homem na transformação cotidiana do mundo se dá em razão de múltiplas determinações e é resultado de uma combinação ativa (talvez única) de momentos históricos, de situações econômicas, sociais, políticas, culturais e psicológicas, de grupos sociais e de indivíduos revela a complexidade associada à análise de qualquer experiência social. Nesse sentido, qualquer reflexão sobre o processo de criação e desenvolvimento do Sistema de Avaliação da Educação Básica (Saeb) não esgota as possibilidades de análise e, por isso, é sempre necessária. (Pestana, ²⁰¹⁶, p. 72)

Em anos recentes, é crescente o uso dos indicadores no ciclo de políticas públicas no país, em uma tendência alinhada com as mudanças da administração pública, no sentido de buscar ferramentas para melhor planejamento e gerenciamento das ações do Estado (Jannuzzi, ²⁰⁰⁵). No campo educacional, o uso dessas evidências pode contribuir para políticas mais fundamentadas, com melhores decisões e que podem gerar melhores práticas e resultados (Bauer & Sousa, ²⁰¹⁵; Basso, ²⁰¹⁷; Leão & Souza, ²⁰²⁰). Entretanto, esse não é um percurso linear e unívoco, e sim complexo e multidimensional: o processo de formulação de políticas educacionais em geral, e políticas avaliativas em particular, é um mosaico de fatores também complexos, diversamente situados, permeados, por sua vez, por diferentes visões, interpretações, interesses e ações dos vários atores da política educacional, bem como por pressões políticas, contingências contextuais e históricas e tensões entre as diferentes esferas da sociedade (Ball, ¹⁹⁹⁸; Mainardes, ²⁰⁰⁶; Campbell & Levin, ²⁰⁰⁹; Castro, ²⁰¹⁶; Pertile & Mori; ²⁰²⁰; Aguiar & Tuttman, ²⁰²⁰). Nesse sentido, há limitações inerentes ao processo avaliativo, de forma que é importante que o uso desses indicadores seja constantemente pautado por propriedades balizadoras, tais como: relevância para a agenda política, validade de representação do conceito, confiabilidade da medida, sensibilidade às ações previstas, transparência metodológica, comunicabilidade ao público, periodicidade na sua atualização, comparabilidade da série histórica, entre outros (Jannuzzi, ²⁰⁰⁵; Willms et al., ²⁰¹²; Bauer & Sousa, ²⁰¹⁵).

Esses requisitos, em especial a atenção a uma visão multidimensional da educação que tem como pilares a equidade, a pluralidade, o rigor científico e a transparência, norteiam a proposta do Painel Educacional^[1], uma plataforma de Business Intelligence (BI) lançada pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) em 2015, e de cuja concepção e desenvolvimento as autoras fizeram parte enquanto servidoras integrantes da coordenação responsável pela articulação e disseminação de resultados do Sistema Nacional de Avaliação da Educação Básica (Saeb) (Basso, ²⁰¹⁷; Macedo, ²⁰¹¹). A plataforma foi criada com o propósito de contemplar uma demanda histórica da comunidade escolar, acadêmica e da sociedade como um todo, de que se fossem apresentados os resultados das avaliações em larga escala, em particular do Saeb, que fossem além do resultado bruto de desempenho nos testes cognitivos; e que tivessem como público-alvo principal os gestores municipais e estaduais, já que o objetivo do Saeb é fornecer subsídios para políticas públicas (Araújo, ²⁰¹⁶; Bonamino, ²⁰¹⁶; Castro, ²⁰¹⁶; Freitas, ²⁰¹⁶; Horta Neto et al., ²⁰¹⁶; Pestana, ²⁰¹⁶; Soares, ²⁰¹⁶; Leão & Souza, ²⁰²⁰). O Painel surge assim com a proposta de reunir em um só lugar, e de maneira mais amigável, informações que se encontravam muitas vezes disponíveis, porém dispersas em diferentes sítios e formatos, como sinopses estatísticas ^[2] e microdados^[3].

Para que a avaliação faça sentido e cumpra seu papel, é necessário que inclua ferramentas de devolutivas para a sociedade que estejam intrinsecamente atreladas aos seus objetivos (Bauer & Sousa, ²⁰¹⁵; Pestana, ²⁰¹⁶; Leão & Souza, ²⁰²⁰; Lustosa, ²⁰²⁰; Pertile & Mori, ²⁰²⁰). O Painel Educacional surgiu dos desafios de divulgação e disseminação dos dados do Saeb, que, por sua vez, foi pensado, inicialmente, para avaliar três dimensões principais: indicadores educacionais, indicadores da escola e indicadores do sistema de gestão educacional (Pestana, ²⁰¹⁶, p. 76). Ao longo dos anos, a organização do Saeb sofreu alterações metodológicas e estruturais, as quais tornaram os testes de desempenho o foco principal da análise dos resultados, em detrimento da análise do contexto social, escolar e pedagógico (Bauer & Sousa, ²⁰¹⁵; Bonamino, ²⁰¹⁶; Pestana, ²⁰¹⁶; Waiselfisz & Horta Neto, ²⁰¹⁶). O desafio que se mantém ao longo dos anos é: como apresentar os dados da avaliação de maneira informativa, clara, coerente, contextualizada e justa?

Este artigo analisa as possibilidades e limitações que uma plataforma interativa como o Painel Educacional oferece para o cumprimento dos objetivos do Sistema de Avaliação da Educação Básica (Saeb). Para alcançar esse objetivo, essa análise se divide em três partes: 1) a organização do Painel e os dados que ele reúne; 2) sua adesão aos objetivos do Saeb e algumas de suas potencialidades de uso como instrumento de gestão de política educacional a nível municipal e estadual; e 3) alguns desafios e possibilidades que a reformulação do Saeb a partir da Base Nacional Comum Curricular (BNCC) e da Política Nacional de Avaliação da Educação Básica apresenta à plataforma, principalmente no que diz respeito a um desenho da avaliação que inclua também o desenho de suas devolutivas. Como conclusão, argumentamos que o Painel Educacional tem contribuído para apresentar os dados do Saeb de maneira mais contextualizada, amigável, multidimensional e coerente com os objetivos da avaliação. Restam, porém, lacunas importantes, em especial em relação aos aspectos não cognitivos da avaliação. Se não houver um esforço muito específico e direcionado, essas lacunas correm o risco de se aprofundarem, especialmente com as sucessivas e crescentes mudanças no formato e nos objetivos da avaliação e com a nova configuração educacional a partir dos impactos profundos causados pela pandemia de Covid-19.

Organização da Plataforma

Concebido no Inep, na Diretoria de Avaliação da Educação Básica (Daeb), em parceria com a Diretoria de Estatísticas Educacionais (Deed) e a Diretoria de Tecnologia e Disseminação de Informações Educacionais (DTDIE), e em diálogo com representantes indicados ao Inep pelas secretarias estaduais de educação e nomeados em portaria (Basso, ²⁰¹⁷), o Painel Educacional tinha como meta inicial divulgar e contextualizar os resultados da Avaliação Nacional da Alfabetização (ANA) de 2014 (Brasil, ^2015a, pp. 67-69). No ano seguinte, ele expande seu escopo de forma a contemplar os resultados das diferentes etapas avaliadas no Saeb 2015 (Brasil, ²⁰¹⁸, p. 86), abrigando anos iniciais, finais e ensino médio. A partir desse ano, é instituído formalmente através do artigo 16 da Portaria Inep/Mec nº 410 de 2016 (Brasil, ²⁰¹⁶), que estabelece a estratégia para a realização da Avaliação Nacional da Alfabetização daquele ano, sendo replicada no artigo 22 da Portaria nº 447/2017 (Brasil, ^2017a) e na Portaria nº 366/2019 (Brasil, ²⁰¹⁹), que regulamentam o Saeb de 2017 e 2019, respectivamente.

A plataforma é organizada em duas divisões principais de acesso (Municipal e Estadual), ambas com a mesma estrutura: três abas (trajetória, contexto e aprendizagem), cada uma delas trazendo informações relativas às redes municipais e estaduais presentes na localidade selecionada. Assim, o Painel Municipal traz informações da rede municipal (RM) ao lado da rede estadual presente no município em questão (REM), enquanto o Painel Estadual traz as informações de cada rede estadual (RE) junto com as das redes municipais presentes naquele estado (RME).

A primeira aba, trajetória, traz em formato de tabelas as seguintes informações coletadas pelo Censo Escolar: matrículas, média de estudantes por turma, estudantes incluídos, matrículas em tempo integral, taxa de aprovação, taxa de reprovação, taxa de abandono e taxa de distorção idade-série. As informações apresentadas nessa primeira aba são de extrema relevância para entender a dimensão e trajetória escolar dos estudantes de determinada rede. Como argumenta Soares (²⁰¹⁶, p. 143):

Uma trajetória escolar regular é a primeira evidência de atendimento completo do direito à educação. Por trajetória escolar entende-se acesso, permanência, promoção e conclusão das etapas em que o ensino se organiza. A qualidade dessa dimensão é captada por sua regularidade, ou seja, essas diferentes etapas devem ser concluídas na idade esperada. Assim, uma trajetória, embora completa, porém irregular ou mais longa do que o necessário, é uma maneira inadequada de atender ao direito à educação.

Cada uma das tabelas apresentadas traz dados relativos a três anos: o da última edição do Saeb, e a dos dois anos anteriores a ele. Assim, essa aba possibilita ao gestor e à comunidade em geral obter um panorama da evolução desses dados entre uma edição do Saeb e a outra, e não só nas séries avaliadas, mas em todas as séries de cada etapa (anos iniciais, anos finais e ensino médio).

A segunda aba, contexto, apresenta seis indicadores produzidos pelo Inep, apresentados a seguir, acompanhados de suas respectivas notas técnicas:

(1) Indicador de Nível Socioeconômico (INSE), que permite situar o público de estudantes atendidos pela escola em um nível social. Esse indicador utiliza como base a escolaridade dos pais e a posse de bens e contratação de serviços pela família dos estudantes; (Brasil, ^2015b);

(2) Indicador de Complexidade da Gestão Escolar (ICGE), que classifica a complexidade de gestão das escolas, considerando o porte da instituição escolar, o número de turnos de funcionamento e a quantidade e complexidade de modalidades e etapas oferecidas (Brasil, ^2014a);

(3) Indicador de Esforço Docente (IED), que considera informações de turnos de trabalho, escolas e etapas de atuação e quantidade de estudantes atendidos para classificar aspectos do trabalho docente que contribuem para a sobrecarga no exercício da profissão (Brasil, ^2014b);

(4) Indicador de Adequação de Formação Docente (IAFD), que considera se os docentes possuem a formação acadêmica inicial adequada à disciplina e etapa de atuação na educação básica, de acordo com as orientações legais vigentes (Brasil, ^2014c);

(5) Indicador Regularidade Docente (IRD), que considera a permanência dos professores nas escolas em um intervalo de cinco anos. (Brasil, ^2015c)

(6) Indicador de Desenvolvimento da Educação Básica (IDEB), que utiliza como base a proficiência obtida nos testes de aprendizagem realizados pelo Inep e a taxa média de aprovação dos estudantes na etapa de ensino.

Cada um desses indicadores é apresentado no Painel em formato de tabela e gráfico, comparando as redes municipal e estadual naquela localidade. Tais indicadores visam a apresentar o cenário educacional de cada escola e rede de ensino para além dos dados de proficiência. Entendemos que essa visão integrada e mais ampla de cada contexto pode proporcionar uma análise mais justa e real da qualidade da oferta educacional, em que o desempenho de estudantes nos testes é apenas uma de muitas dimensões (Willms et al., ²⁰¹²; Bauer & Sousa, ²⁰¹⁵; Araújo, ²⁰¹⁶; Bonamino, ²⁰¹⁶; Castro, ²⁰¹⁶; Freitas, ²⁰¹⁶; Pestana, ²⁰¹⁶; Soares, ²⁰¹⁶; Leão & Souza, ²⁰²⁰; Lustosa, ²⁰²⁰).

A terceira e última aba, aprendizagem, traz dados sobre a participação e o desempenho das redes nos testes cognitivos, tanto em termos de médias, quanto às distribuições percentuais dos estudantes nos diferentes níveis da escala, e sua respectiva interpretação. Além disso, a partir de 2016, esta aba passou a contar também com os menus de médias comparadas e o de série histórica: enquanto o primeiro traz as médias da rede, naquela edição específica, justapostas às médias das outras redes em que a localidade está inserida (município, unidade da federação e Brasil), o menu “série histórica” traz as informações de despenho da rede em todas as edições desde 2013, tanto termos de média, quanto níveis da escala de proficiência.

O objetivo dessa sessão foi primeiro apresentar como foram organizados o Painel Educacional e os dados que ele apresenta. Nas próximas seções, analisamos como esses elementos dialogam com os objetivos do Saeb e elencamos alguns pontos de atenção no horizonte de sua iminente reformulação a partir da nova BNCC e da Política Nacional de Avaliação.

Os objetivos do Saeb e alguns aspectos conceituais do Painel

O artigo 2º da portaria Inep/Mec nº 366, de 29 de abril de 2019 (Brasil, ²⁰¹⁹), estabelece as diretrizes do Saeb para o referido ano:

Art 2º: O SAEB é um sistema de avaliação externa em larga escala, composto por um conjunto de instrumentos, realizado periodicamente pelo INEP desde os anos 1990, e que tem por objetivos, no âmbito da Educação Básica:

I. Produzir indicadores educacionais para o Brasil, suas Regiões e Unidades da Federação e, quando possível, para os Municípios e as Instituições Escolares, tendo em vista a manutenção da comparabilidade dos dados, permitindo, assim, o incremento das séries históricas;

II. Avaliar a qualidade, a equidade e a eficiência da educação praticada no país em seus diversos níveis governamentais;

III. Subsidiar a elaboração, o monitoramento e o aprimoramento de políticas públicas em educação baseadas em evidências, com vistas ao desenvolvimento social e econômico do Brasil;

IV. Desenvolver competência técnica e científica na área de avaliação educacional, ativando o intercâmbio entre instituições de ensino e pesquisa.

Tendo como referencial esses quatro objetivos do Saeb, é possível identificar o papel central que o Painel Educacional desempenha na operacionalização de todos eles, considerando a multiplicidade de instrumentos, atores e esferas que o Saeb envolve.

Desta forma, em relação ao primeiro objetivo, apresentamos na seção anterior os indicadores atualmente disponibilizados para municípios e unidades da federação, com atenção especial às séries históricas. De certa maneira, o Painel é inspirado no Boletim Escolar, outro instrumento de divulgação de resultados produzido pelo Inep desde 2009, porém com o foco na escola participante do Saeb. Nossa proposta foi oferecer ao gestor municipal e estadual as informações que o Boletim Escolar traz para o gestor escolar, e um pouco mais. Desta forma, enquanto o Boletim traz números de participantes e presentes na série/ano avaliadas pelos testes, o Painel oferece um panorama maior da situação de matrícula e trajetória em três anos consecutivos em todas as séries daquela etapa. Assim, o Painel busca contribuir especificamente em dar mais visibilidade a dados educacionais da alçada do gestor municipal e estadual, indo além dos dados cognitivos (por exemplo, ao trazer dados sobre esforço docente e complexidade escolar, ou média de alunos por turma e estudantes incluídos).

Da mesma forma, a aba contexto replica e amplia o ofertado no Boletim escolar. Enquanto para a escola, apresenta-se, desde 2015, os Índices de Nível Socioeconômico (INSE) e de Adequação de Formação Docente (IAFD), o Painel acrescenta a esses dois mais quatro indicadores produzidos pelo Inep, num esforço de disponibilizar ao gestor estadual e municipal uma gama maior de dados fundamentais para subsidiar suas decisões na aferição e melhoria da qualidade escolar, consoante ao segundo objetivo do Saeb, que como vastamente indicado na literatura, vai muito além do mero desempenho dos estudantes nos testes (Willms et al., ²⁰¹²; Bauer & Sousa, ²⁰¹⁵; Araújo, ²⁰¹⁶; Freitas, ²⁰¹⁶; Pestana, ²⁰¹⁶; Soares, ²⁰¹⁶; Santos & Pinto, ²⁰¹⁶; Santos et al., ²⁰¹⁷). Os conceitos empregados nesse segundo objetivo (qualidade, equidade e eficiência) são polissêmicos e objeto de diferentes entendimentos, apropriações e interesses (Cury, ²⁰¹⁴; Araújo, ²⁰¹⁶; Santos et al., ²⁰¹⁷; Santos & Ferreira, ²⁰²⁰; Silva, ²⁰²⁰; Pertile & Mori; ²⁰²⁰; Silva et al., ²⁰²⁰). É extensa a literatura crítica a uma visão de avaliação que se restringe à análise de resultados de aprendizagem e que está fundamentalmente ligada a um estreitamento curricular (Freitas, ²⁰¹⁶; Fernandes, ²⁰¹⁶; Silva, ²⁰²⁰). Avaliar a qualidade vai além da limitação dos testes de larga escala realizados: por isso a preocupação que tivemos, desde a concepção do Painel, em disponibilizar, em posição de destaque, os dados relativos à trajetória e ao contexto, e não simplesmente ou primeiramente os dados relativos ao desempenho ou à aprendizagem. É imperativo ainda analisar de forma mais profunda as desigualdades sociais que estão envolvidas nesse processo de aprendizagem, para além do que os testes de desempenho conseguem indicar (Willms et al., ²⁰¹²; Bonamino, ²⁰¹⁶).

Quanto ao terceiro objetivo do Saeb, tendo em vista essa percepção mais ampla que considera todo o contexto de escolas e redes de ensino, a concepção teórica que fundamentou o desenvolvimento do Painel Educacional também teve como premissa a importância que dados e evidências trazem para as políticas públicas em seus diferentes níveis e esferas, a partir de uma visão multidimensional da educação em que a equidade ocupa um papel central e envolve uma rede complexa de sujeitos e agentes: gestores estaduais, municipais, escolares, professores, estudantes e toda comunidade escolar (Ball, ¹⁹⁹⁸; Mainardes, ²⁰⁰⁶; Silva, ²⁰²⁰). Aqui, o Painel desempenha um papel importante (embora sem pretensões de ser exaustivo) no sentido de favorecer o esse objetivo enquanto subsídio para políticas públicas educacionais “baseadas em evidências” e “com vistas ao desenvolvimento social e econômico do Brasil”.

Os dados de avaliações externas independentes e com rigor científico são um tipo de ação que visa a trazer transparência, efetividade e permitir o planejamento de ações por parte do Estado e de seus agentes em diferentes níveis, além de orientar investimentos e identificar demandas educacionais (Pestana, ²⁰¹⁶). Para explicar como essas evidências podem ser utilizadas na elaboração de políticas, a literatura especializada oferece várias concepções. Esse processo de formulação de políticas públicas pode ser definido como o momento em que se definem meios para resolver as necessidades percebidas (Howlett et al., ²⁰¹³). Pode ser entendido também como o processo de gerar um conjunto de escolhas plausíveis para resolver problemas (Wu et al., ²⁰¹⁴, p. 52). Wiseman (²⁰¹⁰) apresenta três abordagens teóricas: a técnica-funcional; a política e a institucional ou organizacional. A perspectiva técnica-funcional se caracteriza por ser uma abordagem direta para a tomada de decisões, técnica e funcionalmente eficiente. Nela, utilizam-se evidências em busca da forma mais adequada ou eficaz de solucionar problemas educacionais, sendo a meta mais frequente o aumento da aprendizagem do aluno e a melhoria do ensino, geralmente considerando a menor despesa possível. A perspectiva sociopolítica é mais complexa. Nesta abordagem, as agendas políticas e sociais ditam as decisões e maneiras em que serão resolvidos os problemas educacionais e as evidências são formas de promover as agendas. Por último, a perspectiva institucional ou organizacional pressupõe que os modelos racionalmente legitimados para a elaboração de políticas já existem, e que são lentamente institucionalizados como parte dos sistemas organizacionais, incluindo os sistemas educacionais.

Nesse sentido, os dados coletados e divulgados por meio de plataformas como o Painel Educacional podem ter diversos usos e abordagens. Weiss (¹⁹⁹⁸) apresenta alguns desses usos, especificamente os relacionados aos dados de avaliação que, em sua visão, podem ser divididos em quatro categorias: uso instrumental; uso conceitual; como instrumento de persuasão; e para esclarecimento. O uso instrumental é entendido como um uso para a tomada de decisão. Neste caso, o processo de avaliação é capaz de produzir descobertas que podem influenciar a ação investigada e indicar as decisões que serão feitas com base nessas descobertas. Por exemplo, um gestor ao analisar os dados do Painel sobre o Indicador de Esforço Docente, pode tomar como medida uma quantidade máxima de turnos e estudantes que cada professor pode atender em sua rede de ensino. O segundo é o uso conceitual, quando os resultados da avaliação podem mudar o entendimento sobre o que é o programa e para que existe. Faria e Filgueiras (²⁰⁰⁷) classificam esse uso como uma função educativa da avaliação. O terceiro é o uso como instrumento de persuasão. Ele pode ser identificado quando a avaliação é usada para legitimar determinada posição ou ganhar aderentes. Nesse sentido, o gestor do programa, ao tomar ciência das deficiências encontradas, utiliza a avaliação para legitimar sua opinião e conquistar apoio (Faria & Filgueiras, ²⁰⁰⁷). O quarto é o uso para esclarecimento, que serve como influência para instituições e agentes não diretamente relacionados ao programa ou à política. Os resultados gerados com a avaliação impactam redes, alteram paradigmas das políticas, alteram a agenda governamental e influenciam as crenças e a organização das instituições (Faria, ²⁰⁰⁵).

O Painel Educacional tem como propósito apresentar, de maneira mais contextualizada e útil, aos gestores educacionais e comunidade educacional as informações obtidas pelo Saeb. Consoante ao quarto objetivo do Saeb, a plataforma visa, assim, a promover um intercâmbio de forma a construir um aprimoramento constante da ferramenta a partir das necessidades do usuário e do que há de mais bem fundamentado na comunidade acadêmica, escolar e na gestão pública. O Painel se alinha também a uma das finalidades institucionais do Inep, que tem como premissa desenvolver sistemas de avaliação, estatísticas e subsidiar o poder público no planejamento de políticas para a garantia à educação de qualidade (Brasil, ^2017b).

É importante, porém, sempre frisar que “educação de qualidade” é um conceito complexo e sujeito a diferentes concepções, e que, como o Saeb, consiste em muitas dimensões, atores e esferas (Cury, ²⁰¹⁴; Bauer & Sousa, ²⁰¹⁵; Araújo, ²⁰¹⁶; Santos & Ferreira, ²⁰²⁰; Pertile & Mori; ²⁰²⁰; Silva, ²⁰²⁰; Silva et al., ²⁰²⁰). Assim, para abarcar o maior número de dimensões possíveis de forma a fornecer evidências sobre a educação básica da maneira mais plural, justa e significativa, muito há de ser feito no sentido do quarto objetivo do Saeb, de desenvolvimento de “competência técnica e científica” e “intercâmbio entre instituições de pesquisa”, em todas as esferas: comunidades acadêmicas, escolares e administração federal, estadual, municipal e escolar (Castro, ²⁰¹⁶; Soares, ²⁰¹⁶; Waiselfisz & Horta Neto, ²⁰¹⁶; Fini & Santos, ²⁰²⁰). Conforme disposto na portaria Inep nº 366/2019 em seu artigo 3º (Brasil, ²⁰¹⁹), e reafirmado no art. 7º da portaria Mec nº 458/2020 (Brasil, ²⁰²⁰) e no art. 4º da portaria Inep nº 10/2021 (Brasil, ²⁰²¹):

Considerando a qualidade da Educação Básica como um atributo multidimensional, o SAEB toma como referência sete dimensões de qualidade da Educação Básica que se interrelacionam para promover percursos regulares de aprendizagens com vistas à formação integral dos estudantes brasileiros:

I - Atendimento Escolar;

II - Ensino e Aprendizagem;

III - Investimento;

IV - Profissionais da Educação;

V - Gestão;

VI - Equidade; e

VII - Cidadania, Direitos Humanos e Valores.

Para contemplar todas essas dimensões, faz-se necessário forte intercâmbio entre entes federados, comunidade acadêmica e escolar, conforme reconhecido nas portarias mencionadas. Na visão deste estudo, esse intercâmbio se fortalece à medida em que se resgatam alguns aspectos importantes da concepção original da avaliação ao mesmo tempo que se analisa o que há de mais atual no campo educacional. Na próxima seção, exploraremos algumas outras limitações e possibilidades que as novas definições do Saeb apresentam ao Painel.

Desafios e possibilidades futuras

A própria concepção do Saeb [...] gera um cansaço pela utilização de escalas incompreensíveis. Acredito que 90% do potencial do Saeb não é empregado. Acho que se deveria voltar às origens, porque havia propostas muito promissoras que foram abandonadas pelo caminho. Hoje temos condições que não tínhamos naquela época. As secretarias estão informatizadas. (Waiselfisz & Horta Neto, ²⁰¹⁶, p. 192)

Historicamente, o Painel tem expandido em seu escopo, embora não na mesma velocidade das transformações ocorridas no Saeb nos últimos anos. Inicialmente, eram apresentados apenas os resultados de leitura, escrita e matemática para 3º ano EF, tanto no Painel Municipal, quanto no Estadual. A partir de 2016, com a inclusão das outras séries então avaliadas no Saeb, o Painel passa a oferecer informações de trajetória e contexto para todas as três etapas. Nesse momento, ambos painéis passaram a conter também os resultados de língua portuguesa e matemática para o 5º e o 9º anos EF. Os resultados de 3ª e 4ª séries do Ensino Médio, por sua vez, foram incluídos somente no Painel Estadual, já que a etapa não faz parte da alçada do município, e até aquela edição de 2015, só participava do Saeb de maneira amostral. Em 2017, essa aplicação passa a ser censitária também para os alunos no último ano do ensino médio, mas os resultados só foram incluídos no Painel Municipal em outubro de 2020, na divulgação do Saeb 2019, que, por sua vez, teve a seguinte abrangência: creches e pré-escola da Educação Infantil (amostral); 2º ano EF (amostral); 5º e 9º anos EF (censitário); 3ª e 4ª séries EM (censitário).

Atualmente, o Saeb integra a Política Nacional de Avaliação da Educação Básica, regido pela Portaria Mec nº 458, de 5 maio de 2020 (Brasil, ²⁰²⁰), que dispõe em seu artigo 8º:

O Saeb será realizado anualmente, com caráter censitário, tendo como objetivo aferir o domínio das competências e das habilidades esperadas ao longo da educação básica, de acordo com a Base Nacional Comum Curricular - BNCC e as correspondentes diretrizes curriculares nacionais.

A atual reestruturação do Saeb, conforme disposto na portaria em pauta, envolveu não só a ampliação do público-alvo e a reformulação de matrizes, escalas e itens de forma a se adequarem às novas referências curriculares, como também a muito esperada reformulação dos questionários contextuais aplicados a estudantes, professores, diretores, e pela primeira vez, secretários municipais de educação. Num movimento de forma a reverter a tendência apontada por Bonamino (²⁰¹⁶), os questionários contextuais do Saeb sofreram modificações consideráveis na edição de 2019, tanto em termos de conteúdo, quanto em forma, passando a ser aplicados eletronicamente para diretores escolares e, pela primeira vez, para secretários municipais ^[4] . Até o momento, os resultados obtidos pelos questionários estão disponíveis no formato de microdados ^[5] que, apesar de abertos ao público, requerem software estatístico e conhecimento específico para a sua leitura e tabulação.

Uma questão fundamental a ser considerada, portanto, é como disponibilizar todas essas informações de forma acessível e significativa ao público externo, em particular aos gestores municipais e estaduais, uma vez que a estrutura na qual o Painel foi concebido não comporta as recentes alterações na avaliação. Algumas dessas mudanças, tais como a definição das sete dimensões do Saeb, a introdução do Ensino Infantil no escopo da avaliação, da prova de 2º ano EF e das provas de Ciências Naturais e Ciências Humanas no 9º ano EF e a reformulação dos questionários contextuais, foram estabelecidas no Saeb 2019 (Brasil, ²⁰¹⁹), contudo ainda não se refletem nas ferramentas de divulgação do Saeb. Outras mudanças se desenham no horizonte e estão ainda mais incertas, como a aplicação em todos os anos/séries e a utilização de mecanismo seriado como admissão para universidades, conhecido como “Enem seriado” (Brasil, ²⁰²¹, art. 5º). Além dos quatro objetivos do Saeb citados na seção anterior, a portaria Mec nº 458/2020 (Brasil, ²⁰²⁰) também acrescenta o seguinte, reafirmado no artigo 3 º da portaria Inep nº 10/2021 (Brasil, ²⁰²¹):

Art. 6º. I - construir uma cultura avaliativa, ao oferecer à sociedade, de forma transparente, informações sobre o processo de ensino-aprendizagem em cada escola, comparáveis em nível nacional, anualmente e com resultados em tempo hábil, para permitir intervenções pedagógicas de professores e demais integrantes da comunidade escolar.

O desafio que permanece é de fornecer devolutivas significativas, tempestivas e coerentes com os objetivos da avaliação (Castro, ²⁰¹⁶; Gomes, ²⁰¹⁶; Soares, ²⁰¹⁶; Pestana, ²⁰¹⁶; Lustosa, ²⁰²⁰). Para lidar com esses desafios, é importante a definição de quem é o público-alvo, seja da plataforma, seja da própria avaliação. A falta de clareza nos objetivos da avaliação gera um dissenso também em seus usos e ferramentas disponíveis; ora prezando o gerencial sobre o pedagógico, e vice-versa. Nesse sentido, é útil retomar aspectos da concepção original da avaliação, que tinha a ideia de “vasos comunicantes” (Waiselfisz & Horta Neto, ²⁰¹⁶), com maior cooperação entre os entes federados e atenção à qualidade da oferta, que vai muito além do resultado de aprendizado ^[6] . Como aponta Freitas:

Precisamos de uma visão alargada do sistema de avaliação nacional. Os agentes de avaliação da educação se dividem entre os que estão em nível federal, conduzindo a avaliação externa de larga escala; os que estão no interior da escola, ou seja, o próprio coletivo escolar; e os que estão nas salas de aula, conduzindo a avaliação da aprendizagem diretamente com o estudante (Freitas et al., 2009, como citado em Freitas, ²⁰¹⁶, p. 134)

O cenário atual da Política Nacional de Avaliação da Educação Básica não contempla apenas o Saeb, mas também o Exame Nacional para Certificação de Competências de Jovens e Adultos (Encceja) e o Exame Nacional do Ensino Médio (Enem). Enquanto os exames focam em resultados cognitivos individuais de forma a possibilitar ao examinando uma certificação para esta ou aquela finalidade, o objetivo do Saeb enquanto avaliação de sistemas pressupõe uma preocupação maior em medir e aprimorar o que é ofertado pelo sistema como um todo, não se resumindo assim à soma ou à média do resultado de indivíduos nos testes cognitivos. Embora possa haver, em tese, aspectos de correlação entre as duas finalidades, este é apenas um dos muitos vasos comunicantes possíveis, e talvez um daqueles em que o custo-benefício (seja pedagógico, seja orçamentário) seja menos vantajoso para todos os atores envolvidos na educação: alunos, professores, gestores escolares, municipais, estaduais ou federais, pesquisadores e público em geral.

Alinhadas à concepção original do Saeb, e de extensa literatura na área, entendemos que há anos, mas especialmente nesse momento de crise social, política e sanitária, o Saeb precisa evoluir mais na direção de oferecer devolutivas mais focadas nas condições de oferta do sistema, e não tanto nos resultados cognitivos específicos de escolas e estudantes. Para além do apelo do Conselho Nacional de Educação e da sociedade civil para um Saeb amostral em 2021 em função da pandemia do coronavírus, é recorrente na literatura a defesa de que um desenho amostral bem feito é capaz de suprir os principais benefícios de se ter uma avaliação, sem incorrer em seus principais pontos negativos (Waiselfisz & Horta Neto, ²⁰¹⁶; Freitas, ²⁰¹⁶; Lustosa, ²⁰²⁰).

Com o desenvolvimento das plataformas digitais, impulsionadas ainda mais com a pandemia e a aceleração forçada da educação a distância em todos os níveis educacionais, as possibilidades de devolutivas significativas são ainda maiores, muitas vezes supridas pela iniciativa privada, que condiciona seu uso também aos fins e objetivos da iniciativa privada (Soares, ²⁰¹⁶; Pertile & Mori, ²⁰²⁰; Rodrigues, ²⁰²⁰). Cabe ao Inep, dentro de sua missão institucional, acompanhar esses avanços de forma a democratizar os acessos às informações educacionais de qualidade, de forma a subsidiar as tomadas de decisão, considerando uma gama maior de aspectos relacionados ao direito à educação, em que resultados em testes cognitivos são apenas um aspecto entre muitos outros que compõem algo tão complexo e multifacetado como a educação básica.

Considerações Finais

Com um sistema nacional de avaliação que vem se tornando maior e mais complexo, no qual os resultados das avaliações geram consequências imediatas para indivíduos, escolas e sistemas de ensino, é importante que cada iniciativa de avaliação seja coerente, articulada e tecnicamente fundamentada e apresente de forma mais clara e transparente o porquê, para que, para quem, o que e como avaliar. (Pestana, ²⁰¹⁶, p. 81)

O Painel Educacional surgiu em 2015 como iniciativa da equipe técnica do Inep da qual as autoras fizeram parte para oferecer aos gestores estaduais e municipais mais elementos de análise em relação as suas redes de ensino. Mesmo com suas limitações, a divulgação contextualizada e com informações agregadas foi um esforço no sentido de que a comunidade educacional pudesse ter uma visualização mais clara e justa da organização, abrangência das condições de ensino e aprendizagem de cada rede.

O objetivo da plataforma até o momento continua sendo a disponibilização de dados e informações agregadas e de fácil acesso para gestores, comunidade acadêmica e público em geral. Se bem apresentados e articulados com as diversas redes, esses dados podem ser mais do que uma simples informação do cenário educacional, eles podem servir, em última análise, como uma alavanca para reformas nos sistemas de ensino (Kellaghan et al., ²⁰¹¹), especialmente em um momento tão difícil e transformador quanto o desencadeado pela pandemia do coronavírus.

Todavia, com as mudanças que o Saeb vem passando nos últimos anos, será necessário repensar o Painel Educacional e as devolutivas do Saeb como um todo, de forma a acompanhar as suas diversas mudanças, e na Política Nacional de Avaliação da Educação Básica. Para além dessa expansão de público-alvo, iniciadas e/ou anunciadas, há de se pensar em como fornecer ao público mais informações sobre as outras dimensões da educação listadas na portaria MEC nº 458/2020 (Brasil, ²⁰²⁰).

Essa agenda futura é um desafio para o Inep e para a comunidade educacional de forma geral. Somente com informações cada vez mais abrangentes, de fácil acesso e entendimento, que contextualizem as redes de forma justa, clara e tempestiva, abordando questões de aprendizagem, desigualdades e funcionamento, poderão ser pensadas políticas públicas educacionais que promovam a melhoria contínua da educação básica em todo o país.