Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
Os sistemas de avaliação da educação, organizados por agentes externos à escola (ditas avaliações externas),1 ganharam maior visibilidade na América Latina a partir da década de 1980, fruto da ascensão das políticas internacionais no continente que defendiam o gerenciamento estatal da educação, por meio de sua regulação e monitoramento (UCZAK, 2014; MENDONÇA, 2014).
Nesse período, propuseram-se no Brasil as primeiras iniciativas externas de avaliação aplicada em larga escala, com destaque para o Projeto Nordeste de Educação Básica I (Edurural), o Projeto Nordeste de Educação Básica II (Projeto Nordeste) e a Avaliação do Rendimento Escolar de Alunos de Escolas de 1° Grau da Rede Pública. Esta última, realizada por iniciativa do Ministério da Educação (MEC) com a colaboração da Fundação Carlos Chagas (FCC), com o objetivo de verificar a viabilidade de um projeto de avaliação em âmbito nacional, servindo de base para o desenho inicial do Sistema Nacional de Avaliação do Ensino Público de 1° Grau (Saep).
A primeira aplicação do Saep ocorreu no final de 1988. Com ela, foi possível verificar a pertinência dos instrumentos e procedimentos de medida até então utilizados nas avaliações externas nacionais, com vistas para a ampliação da proposta, que culminaria na criação do Sistema de Avaliação da Educação Básica (Saeb). Dessa forma, alguns estudos referem-se ao Saep como um projeto piloto do Saeb (BONAMINO; FRANCO, 1999; PESTANA, 2016).
As primeiras aplicações do Saeb ocorreram em 1990 e 1993 e assumiram os currículos de sistemas estaduais como subsídio para a elaboração das provas, que avaliaram a aprendizagem de uma amostra de estudantes, matriculados nas 1ª, 3ª, 5ª e 7ª séries do ensino fundamental, em Língua Portuguesa, Matemática, Ciências Naturais e Redação.
Entretanto, o Saeb só foi regulamentado quatro anos após o primeiro ciclo, por meio da publicação da Portaria n. 1.795, de 27 de dezembro de 1994 (BRASIL, 1994). Conforme o art. 1°, constituíam os objetivos gerais do referido sistema de avaliação:
1. contribuir para o desenvolvimento, em todos os níveis do sistema educativo, de uma cultura avaliativa que estimule a melhoria dos padrões de qualidade e equidade da educação básica e adequados controles sociais de seus resultados; 2. programar e desenvolver, em articulação com as Secretarias de Educação, processos permanentes de avaliação, apoiados em ciclos regulares de aferições das aprendizagens e competências obtidas pelos alunos e do desempenho dos estabelecimentos que compõem os sistemas de educação básica; 3. mobilizar os recursos humanos, técnicos e institucionais do Ministério, das Secretarias e de universidades e centros de estudos e pesquisas sociais e educacionais, para gerar e difundir os conhecimentos, técnicas e instrumentos requeridos pelas práticas de aferição e avaliação educacional; 4. proporcionar, aos responsáveis pela gestão educacional e pelo ensino, às famílias e aos cidadãos em geral, informações seguras e oportunas a respeito do desempenho e dos resultados dos sistemas educativos. (BRASIL, 1994, p. 1)
Nesses 30 anos de existência, o Saeb passou por alguns aprimoramentos, adaptações e alterações metodológicas, que auxiliaram a consolidação e a expansão do sistema (PESTANA, 2016). Entre essas modificações, destacamos o levantamento de dados contextuais, por meio de questionários, a partir do ciclo de 1995; a adoção de Matrizes de Referência para a elaboração dos itens, a partir do ciclo de 1997; e sua reestruturação por meio da publicação da Portaria Ministerial n. 931, de 21 de março de 2005 (BRASIL, 2005), fazendo com que o sistema passasse a ser composto pela Avaliação Nacional da Educação Básica (Aneb) e pela Avaliação Nacional do Rendimento Escolar (Anresc), mais conhecida como Prova Brasil.
A Aneb manteve o delineamento amostral, até então adotado pelo Saeb, condicionado ao mínimo de dez estudantes por turma avaliada. A Prova Brasil, por sua vez, inaugurou a avaliação censitária no contexto nacional, passando a avaliar todas as unidades que atendessem aos critérios de no mínimo 30 matrículas em cada etapa dos anos iniciais (4ª série/5º ano) ou dos anos finais (8ª série/9º ano) do ensino fundamental de escolas públicas, permitindo (re)conhecer as particularidades de cada escola e município (BRASIL, 2005). Para a 3ª série do ensino médio a avaliação tornou-se censitária apenas a partir de 2017, com a publicação da Portaria n. 564, de 19 de abril de 2017 (BRASIL, 2017).
Além disso, a partir de 2007, as médias de desempenho dos estudantes, calculadas no Saeb, passaram a ser combinadas com as taxas de aprovação, reprovação e abandono, apuradas no Censo Escolar, mediante a criação do Índice de Desenvolvimento da Educação Básica (Ideb), instituído pela publicação do Decreto n. 6.094, de 24 de abril de 2007 (BRASIL, 2007). O Ideb passou a ser utilizado como “[...] referência para o repasse e a distribuição dos recursos do Fundo Nacional de Desenvolvimento da Educação (FNDE)” (PESTANA, 2016, p. 80), ampliando o impacto do Saeb nas políticas educacionais brasileiras.
Em 2013, como uma das ações previstas na portaria que institui o Pacto Nacional pela Alfabetização na Idade Certa (Pnaic), a Avaliação Nacional de Alfabetização (ANA) passou a compor o Saeb, visando a realizar um diagnóstico amplo do processo de alfabetização nas escolas públicas brasileiras. Desde então, o Saeb passou a ser composto por três avaliações: ANA, Aneb e Prova Brasil.
Em 2020, o Saeb passou por outra reestruturação, mediante a publicação da Portaria n. 458, de 5 de maio de 2020 (BRASIL, 2020). A avaliação, até então aplicada bienalmente, passou a ser anual, abrangendo todas as séries a partir do 2° ano do ensino fundamental. Além disso, os resultados das avaliações realizadas no âmbito do ensino médio passaram a ser utilizados como uma nova possibilidade de acesso ao ensino superior (BRASIL, 2020).
Considerando esse percurso histórico e as transfigurações do sistema nas três últimas décadas, faz-se necessário compreender a dinâmica dos estudos que consideram o Saeb como objeto de análise, no sentido de contribuir para o estado da arte inerente ao tema. Nessa perspectiva, o presente artigo se insere no conjunto de estudos que se destinam a elaborar uma análise da produção acadêmica no campo da educação, sobretudo aquelas que se dedicam às avaliações de sistemas (GATTI; VIANNA; DAVIS, 1991; GATTI, 2009; BAUER, 2010) ou aos exames estandardizados (BAUER; ALAVARSE; OLIVEIRA, 2015; MARQUES; STIEG; SANTOS, 2020).
Posto isso, este artigo objetiva realizar uma revisão sistemática da literatura sobre o Saeb, de modo a compreender o que tem sido estudado e apontar para as lacunas existentes, indicando possibilidades de pesquisa no campo da avaliação educacional.
METODOLOGIA
Neste artigo, de natureza qualitativa do tipo exploratória, realizou-se uma revisão sistemática da literatura sobre o Saeb. Para isso, foram utilizadas as diretrizes de elegibilidade e análise do modelo Prisma (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) e a Análise Temática proposta por Braun e Clarke (2006).
O modelo Prisma, elaborado como ponto de partida para o desenvolvimento de uma revisão de literatura, auxilia, por meio de seus métodos sistemáticos, a identificação, seleção e avaliação crítica a respeito das pesquisas mais relevantes relacionadas ao tema em estudo (MOHER et al., 2009). Trata-se de um checklist que direciona o processo disposto em quatro fases: identificação, triagem, elegibilidade e inclusão.
A análise temática, por sua vez, segundo Souza (2019), contribui para estreitar o campo de visão analítico do pesquisador. É um instrumento estruturado em seis fases para que certas decisões, tradicionalmente implícitas, se tornem evidentes na realização da análise, tornando-se eficaz para interpretar e relatar padrões (temas) com base nos dados qualitativos.
Para compor esta revisão, optou-se por uma consulta expandida ao Portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), considerando SciELO (Scientific Electronic Library Online), Scopus e Web of Science (WoS) como bases de dados eletrônicas. Essas bases foram escolhidas por serem as principais indexadoras para a obtenção de melhores classificações nas avaliações do Qualis Periódicos da Área da Educação2 (COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR - CAPES , 2019).
O prazo final adotado para a indexação dos artigos nas bases consideradas foi o ano de 2019, não havendo delimitação inicial. Além disso, utilizou-se como descritor o “Sistema de Avaliação da Educação Básica”. Como critérios de inclusão, optou-se por periódicos revisados por pares, disponíveis em qualquer idioma.
Excluíram-se os artigos duplicados e os vinculados a periódicos cujo foco não fosse a educação. Em seguida, realizou-se uma leitura dos resumos dos artigos previamente selecionados, excluindo aqueles cuja temática principal não era o objeto desta pesquisa.
Por fim, foram selecionados os artigos para compor essa revisão, que foram lidos na íntegra por todos os autores e agrupados de acordo com a análise temática, conforme suas similaridades, que são apresentadas neste artigo. Também é realizada uma discussão sobre seus autores, que abarca o vínculo institucional, os grupos de pesquisa dos quais participam, os parceiros e os referenciais bibliográficos adotados nas publicações. Para isso, utilizou-se como fonte a plataforma Lattes, cujas informações foram obtidas em junho de 2020.
RESULTADOS
Mediante as estratégias de pesquisa, foram identificados, inicialmente, 124 artigos, dos quais 74 pertenciam a periódicos revisados por pares. Destes, 28 estavam indexados nas bases de dados definidas (SciELO, Scopus e WoS). Com a leitura dos resumos, optou-se pela exclusão daqueles cuja temática principal não era o objeto desta pesquisa ou que foram publicados em periódicos cujo foco não era a educação. Entre os artigos excluídos, destacam-se a presença de discussões sociais, curriculares, estruturais e de estudos que consideram instituições de ensino específicas, restando 11 artigos para as análises propostas neste estudo.
A Figura 1 apresenta um fluxograma da seleção dos artigos analisados, que foi realizada de acordo com as diretrizes do método Prisma.
Fonte: Elaboração dos autores.
FIGURA 1 Fluxograma da seleção dos artigos de acordo com o método Prisma
Após a leitura integral dos artigos selecionados, os temas foram classificados em três categorias (1, 2 e 3). A Figura 2 apresenta como se deu esta classificação, que foi utilizada na construção do Quadro 1, que também apresenta o ano de publicação, o título e o(s) autor(es) dos artigos selecionados pela metodologia do modelo Prisma.
Ressalta-se que entre os artigos analisados, nenhum autor apresenta mais de uma contribuição para a realização deste estudo. Ademais, a autoria dos trabalhos que compõem essa revisão se dá de forma individual, em dupla ou em grupo.
Os trabalhos individuais são realizados por professoras universitárias (ALVES, 2008; COELHO, 2008; DICKEL, 2016). No que diz respeito à autora Adriana Dickel, professora titular da Universidade de Passo Fundo (UPF), destaca-se que uma de suas áreas de pesquisa é o estudo de políticas e práticas de alfabetização no primeiro ciclo do ensino fundamental. Vale ressaltar que não foram encontradas ligações de Dickel com os demais autores, nem outras produções relacionadas ao Saeb.
Quanto à autora Maria Inês de Matos Coelho, professora titular da Universidade Estadual de Minas Gerais (UEMG), ressalta-se sua atuação como consultora, desde 2009, do Programa das Nações Unidas para o Desenvolvimento (Pnud). Apesar de Coelho (2008) ser citada por Kauko et al. (2016) e por Dantas, Massoni e Santos (2017) e de a avaliação educacional ser uma de suas linhas de pesquisa, verificou-se a ausência de outras produções da autora diretamente relacionadas ao Saeb.
A autora Fátima Alves desenvolveu seu artigo quando era professora associada da Pontifícia Universidade Católica do Rio de Janeiro (PUC/RJ). Esse período se deu após a conclusão de seu doutorado em educação sob a orientação do professor Creso Franco, autor de outra produção analisada no presente artigo. É com Franco que Alves tem o maior volume de publicações, seguido por Alícia Bonamino, também autora de um dos artigos. Além de apresentar outras produções relacionadas ao Saeb, Alves (2008) é citada por Kauko et al. (2016) e já prestou consultoria para instituições como a Organização das Nações Unidas para a Educação, a Ciência e a Cultura (Unesco) e o Banco Mundial.
As produções realizadas em dupla são oriundas de professores universitários (BONAMINO; FRANCO, 1999; SOUSA; OLIVEIRA, 2010; FRANCO; MENEZES-FILHO, 2012) e alunos de uma mesma instituição (CASTRO; TAVARES JÚNIOR, 2016). Dois dos artigos publicados por professores são de profissionais que compartilham o mesmo local de trabalho (BONAMINO; FRANCO, 1999; SOUSA; OLIVEIRA, 2010).
O artigo dos professores da PUC/RJ (BONAMINO; FRANCO, 1999) foi produzido durante o doutorado da professora associada Alícia Maria Catalano de Bonamino, também sob orientação do professor Creso Franco, que desde o final da década de 1990 coordenou projetos que analisam a situação da educação brasileira, baseando-se nos dados do Saeb.
Entre os projetos de pesquisa coordenados pelo professor Creso Franco, ressalta-se a atuação das autoras Alícia Bonamino e Fátima Alves na busca por fatores da eficácia escolar, promoção de equidade na escola e no desenvolvimento e validação de instrumentos adequados para surveys educacionais nos anos iniciais do ensino fundamental. Por comporem os mesmos projetos de pesquisa, as autoras Bonamino e Alves têm trabalhos em conjunto e também com Creso Franco.
Ressalta-se que além de Bonamino e Franco (1999) serem citados por Sousa e Oliveira (2010), os autores também têm produções individuais referenciadas em alguns dos artigos analisados (COELHO, 2008; ALVES, 2008; SOUSA; OLIVEIRA, 2010; KAUKO et al., 2016; DICKEL, 2016). Dessarte, Bonamino e Franco se mostram referências nas discussões acerca do Saeb.
Em relação aos professores da Universidade de São Paulo (USP) (SOUSA; OLIVEIRA, 2010) destaca-se que a professora colaboradora Sandra Zákia Sousa trabalhou no MEC, no período de 1982 a 1991, atuando também na gerência do Projeto de Capacitação de Recursos Humanos do Programa Edurural. O professor titular aposentado Romualdo Luiz P. Oliveira, por sua vez, atuou como colaborador da Unesco. Apesar de não ser o caso do presente trabalho, ambos são citados por outros dois artigos (KAUKO et al., 2016; DICKEL, 2016). Verificou-se que, além dos autores apresentarem um considerável volume de publicações em conjunto, há também a participação de Adriana Bauer, referência em avaliação educacional e integrante de um dos projetos de pesquisa dos quais os autores fizeram parte.
Com respeito ao artigo dos professores de instituições distintas (FRANCO; MENEZES-FILHO, 2012), podemos ressaltar que Naércio Aquino Menezes-Filho, do Instituto de Ensino e Pesquisa (Insper), orientou a professora adjunta Ana Maria de Paiva Franco, da Universidade Federal de Uberlândia (UFU), durante seu doutorado em Educação, sendo com ela suas únicas produções relacionadas ao Saeb. Menezes--Filho é citado em duas produções analisadas (ALVES, 2008; CASTRO; TAVARES JÚNIOR, 2016). Ana Maria de Paiva Franco, por sua vez, atuou como analista e consultora de instituições como Itaú (Unibanco), Banco Mundial e Comissão Econômica para América Latina e Caribe (Cepal). Além disso, a autora tem publicações com o economista Renato Baumann, seu orientador de mestrado e diretor do Escritório Cepal no Brasil (1995-2010), período no qual a autora prestou serviços técnicos.
Por último, encontram-se os artigos publicados por grupos no âmbito nacional e internacional. Ressalta-se que enquanto a produção nacional se restringe a um tema específico, que diz respeito à avaliação no ensino de Ciências Naturais (DANTAS; MASSONI; SANTOS, 2017), a produção internacional (CARNOY et al., 2015; KAUKO et al., 2016; FERRÃO et al., 2018) abrange temas mais amplos como economia (CARNOY et al., 2015), formulação de políticas públicas (KAUKO et al., 2016) e resultados de pesquisas realizadas pelo Inep (FERRÃO et al., 2018).
Entre os autores das produções realizadas em grupo, é importante acentuar a relevância de Martin Carnoy, autor com mais citações entre os artigos analisados (BONAMINO; FRANCO, 1999; ALVES, 2008; CARNOY et al., 2015; KAUKO et al., 2016; FERRÃO et al., 2018). Economista e professor da Universidade de Stanford, Carnoy também trabalhou como consultor do Banco Mundial e da Unesco. Além disso, o autor é conhecido por seus debates acerca da escola charter, por suas pesquisas em relação ao impacto das políticas de responsabilização na aprendizagem, eficácia e eficiência nas escolas e também pelos efeitos da globalização nos sistemas educacionais.
A seguir, apresenta-se uma exposição para cada categoria, identificada com base na análise temática deste estudo.
A origem do Saeb mediante as reformas educacionais da década de 1990
Nesta categoria se encontram quatro artigos que discutem o processo de criação do Saeb mediante as reformas educacionais que ocorreram durante a década de 1990, e que subsidiaram sua consolidação enquanto sistema de avaliação da educação básica brasileira.
À vista disso, apresentam-se três vertentes pertinentes relacionadas ao Saeb. A princípio, os artigos de Bonamino e Franco (1999) e Kauko et al. (2016) discutem quais foram as implicações para a pesquisa educacional brasileira, abordando a cooperação internacional e as primeiras experiências em avaliações, que influenciaram o processo de institucionalização do Saeb.
Em seguida, os artigos de Bonamino e Franco (1999) e Sousa e Oliveira (2010) analisam os objetivos inicialmente estabelecidos para o Saeb e sua influência na formulação de políticas públicas, por exemplo, a implantação de um currículo comum.
Por fim, o artigo de Coelho (2008) analisa a construção dos fatores de qualidade, eficiência, equidade e produtividade. Mediante uma análise temporal em maior nível, o artigo também aborda os enfoques e aperfeiçoamentos do Saeb ao longo do projeto histórico.
A primeira experiência em avaliação bem documentada, de acordo com Kauko et al. (2016) e Bonamino e Franco (1999), se refere ao Edurural, que envolveu três estados da região Nordeste,3 inicialmente apresentado em 1977. Os objetivos do Edurural eram voltados à ampliação do acesso ao ensino primário, redução das taxas de evasão e retenção, e melhoria da qualidade da educação.
O Edurural, segundo Bonamino e Franco (1999), foi financiado pelo Banco Mundial e teve sua atuação graças ao apoio da FCC e da Fundação Cearense de Pesquisa e Cultura, ambientada na Universidade Federal do Ceará (UFCE). Os resultados do projeto, que apontaram a precariedade do ensino nas escolas participantes, foram amplamente divulgados no cenário internacional, por meio dos relatórios do Banco Mundial. No Brasil, restringiu-se apenas às discussões no ambiente acadêmico (KAUKO et al., 2016).
Após a conclusão do Edurural, percebeu-se a necessidade de ampliação do projeto para os demais estados da região Nordeste. Assim, em parceria com o MEC, o Banco Mundial passou a financiar o Projeto Nordeste de Educação Básica II, em 1984 (BONAMINO; FRANCO, 1999; KAUKO et al., 2016).
O Projeto Nordeste, como ficou conhecido, envolveu os nove estados4 da região. A necessidade de desenvolvimento de um sistema de avaliação, para avaliar seu impacto no segmento educacional, foi o que “[...] levou as primeiras iniciativas que redundaram na criação do Sistema Nacional de Avaliação do Ensino Público de 1º Grau (Saep)” (BONAMINO; FRANCO, 1999, p. 110).
O Saep, em 1988, não apenas foi o primeiro esquema de avaliação sistemática, mas também preparou o terreno para a avaliação da educação básica brasileira, que ganha destaque na década 1990 (KAUKO et al., 2016). Nesse período, houve ampla discussão acerca das teorias de reprodução cultural e social, o que demonstrou as funções seletivas e excludentes da educação brasileira (COELHO, 2008).
Dessa forma, por meio desse cenário favorável e com a crescente utilização dos exames estandardizados, a partir de 1990, o Saeb passou a substituir o Saep, tendo sido criado com o objetivo de contribuir para o monitoramento da educação básica brasileira e para oferecer subsídios aos formuladores de políticas públicas (BONAMINO; FRANCO, 1999; SOUSA; OLIVEIRA, 2010).
Percebeu-se, pelas produções analisadas (BONAMINO; FRANCO, 1999; SOUSA; OLIVEIRA, 2010; COELHO, 2008), que além de passar por várias modificações, impostas por organismos e/ou estudos internacionais, o Saeb também influenciou outros sistemas de avaliação no âmbito nacional.
De acordo com Sousa e Oliveira (2010), destaca-se a influência do Saeb nos sistemas estaduais5 de avaliação, tornando-se uma referência para os gestores estaduais. Nota-se sua influência tanto como modelo de desenho a ser seguido quanto como parâmetro para a proposição de alternativas (SOUSA; OLIVEIRA, 2010). A citar, por exemplo, a Matriz de Referência do Saeb,6 instituída em 1997, que também serviu como subsídio para a formulação dos currículos estaduais (BONAMINO; FRANCO, 1999; SOUSA; OLIVEIRA, 2010).
Durante seus primeiros 20 anos, por meio de um estudo realizado por Coelho (2008), apresentam-se as principais modificações sofridas pelo Saeb nesse período. Dentre elas, destaca-se o levantamento de dados sobre o nível socioeconômico (NSE). Bonamino e Franco (1999), por sua vez, apontam os resultados do Relatório Coleman (1986) como essenciais para essa composição do Saeb. Esse relatório apontou o NSE dos alunos como o fator primordial para o desempenho escolar, o que levou à valorização de pesquisas de caráter social junto aos exames estandardizados (BONAMINO; FRANCO, 1999).
O Saeb, desde 1995, levanta dados referentes ao contexto social dos estudantes por meio da aplicação dos questionários contextuais, respondidos por alunos, professores e diretores, como observa Coelho (2008). Além disso, em concordância com a autora, a adoção de técnicas mais modernas para medição do desempenho do aluno, a redefinição das séries avaliadas e o uso das matrizes de referência também estão entre as principais alterações do Saeb.
Com base nessas alterações, conforme apresenta Coelho (2008), o Saeb também se consolida por seus estudos em relação à efetividade da escola (School Effectiveness Research - SRE) ou da “escola eficaz”. Essas pesquisas, por sua vez, visavam à elevação dos padrões educacionais, o que já era comum em países como Estados Unidos e Reino Unido (COELHO, 2008).
De acordo com Coelho (2008), constatou-se que várias produções internacionais na linha de estudo da “efetividade escolar” são referenciadas nos documentos do Saeb, bem como identificadas nos estudos realizados com base nos seus dados. Diante disso, o Saeb justifica-se como um forte contribuinte para que as mediações dos resultados de aprendizagem venham a ser realizadas por recursos quantitativos, bem como quanto ao uso da avaliação como instrumento de regulação e da administração gerencial e competitiva (COELHO, 2008).
Apesar de sua relevância, e de haver “[...] condições para correlacionar a medida de resultado com as características socioeconômicas dos alunos e com as características da escola” (COELHO, 2008, p. 241), persiste a dificuldade em esclarecer quais os efeitos dos fatores escolares (qualidade, eficiência, equidade e produtividade). A título de exemplo, sublinha-se a implicação das práticas docentes de sala de aula no desempenho dos alunos, conforme apresenta Coelho (2008), apuradas pelos questionários contextuais.
Encerram-se as discussões demonstrando que a avaliação passou a ser um dos eixos centrais das políticas públicas, em geral, e também das políticas educacionais (COELHO, 2008), no qual o Saeb determina-se a monitorar tais políticas e a qualidade da educação (BONAMINO; FRANCO, 1999), apesar de para Sousa e Oliveira (2010) essa ainda não ser uma realidade.
Além disso, atenta-se ao fato de que a comunidade educacional, suas ações e debates foram estabelecidos por meio da adoção e/ou referência a ideias, práticas e políticas estrangeiras (KAUKO et al., 2016), priorizadas de acordo com as condições impostas pelos acordos.
Diante disso, alerta-se para a necessidade de melhor conhecimento a respeito dos fatores escolares brasileiros (COELHO, 2008; KAUKO et al., 2016) e de pesquisas que analisem a fundo a problematização local das regiões e/ou das escolas (SOUSA; OLIVEIRA, 2010; KAUKO et al., 2016). É preciso considerar a extensão da diversidade da população brasileira, uma vez que se priorizou a ideia da construção de um roteiro global apoiado no fato de o esquema do exame estandardizado brasileiro ser orientado para o Programme for International Student Assessment (Pisa) (KAUKO et al., 2016).
Dessarte, os artigos dessa categoria creem na avaliação como além da execução de um projeto, podendo atender a várias demandas, dos gestores educacionais aos diversos setores da sociedade, como colocam Bonamino e Franco (1999). Por isso, análises mais complexas são necessárias, para dar continuidade às investigações de melhoria na qualidade da educação, como concluem Kauko et al. (2016).
Entre as aproximações dos artigos analisados, nota-se que apesar de apresentarem os documentos oficiais da legislação brasileira, Bonamino e Franco (1999) e Kauko et al. (2016) não consideram, em grande parte, os estudos dos pesquisadores em avaliação educacional do período em que se deu a implementação do Saeb. Mostrou-se um considerável volume de trabalhos produzidos e/ou publicados pelas fundações participantes, em especial pela FCC.
O Saeb como política de responsabilização (accountability)
Nesta categoria são agrupados três artigos que discutem o Saeb como política de responsabilização (accountability), servindo para monitorar e regular os sistemas de ensino por meio do desempenho escolar obtido.
Isso posto, apresentam-se duas concepções acerca desta categoria. Primeiramente, os artigos de Franco e Menezes-Filho (2012) e Dantas, Massoni e Santos (2017) discutem o impacto dos exames estandardizados na constituição de políticas educacionais e como elas direcionam a política de avaliação.
Depois, o artigo de Dickel (2016) avalia esse impacto por meio de um recorte, no qual analisa a relação entre o Pnaic e a ANA, um dos componentes do Saeb.
A avaliação, de acordo com Dantas, Massoni e Santos (2017), tem seu discurso pautado na avaliação formativa, contínua e acumulativa, bem como na valorização dos aspectos qualitativos, conforme disposto nos documentos oficiais. No entanto, segundo os autores, o que se perpetua na prática é a cultura de uma avaliação meramente quantitativa. Por esse motivo, comprova-se um grau de distanciamento entre o que a legislação estabelece e o que de fato venha a ser praticado em sala de aula (DANTAS; MASSONI; SANTOS, 2017).
Além disso, de acordo com os autores, a avaliação na literatura segue duas posições contraditórias. Uma defende a avaliação para orientar políticas públicas e apoiar as práticas de ensino e de aprendizagem escolar, buscando a qualidade da educação para amparar o desenvolvimento curricular. A outra, por sua vez, denuncia a avaliação por monitorar e regular os sistemas de ensino por meio da política de responsabilização, o que consequentemente interfere nas práticas escolares (DANTAS; MASSONI; SANTOS, 2017).
Nesse caso, Dickel (2016) examina as possibilidades da avaliação para alcançar a melhoria da qualidade do ensino. Segundo a autora, a ANA apresenta-se como uma ferramenta à disposição do professor, com o intuito de monitorar a aprendizagem das crianças e auxiliá-lo em seu trabalho.
Em contrapartida, sua institucionalização também contribui para maior regulação pedagógica (DICKEL, 2016). A autora, portanto, critica algumas ações das avaliações do Saeb. Entre elas, pelo próprio Pnaic, priorizam-se as aprendizagens acumuladas em um determinado período, em que são acompanhadas inclusive de um projeto curricular explícito, ditado pela avaliação. Reforça-se, portanto, a responsabilização do professor e da escola pelo resultado obtido, uma vez que estes são os encarregados do ensino dos conteúdos avaliados.
Diante disso, assim como Dantas, Massoni e Santos (2017), Franco e Menezes- -Filho (2012) discutem o Saeb como política de responsabilização, no qual se referem à preocupação do Brasil de melhorar a qualidade do ensino por meio da atribuição de metas educacionais. Essas metas são propostas em indicadores baseados no desempenho dos alunos nos exames estandardizados, como as provas do Saeb e os resultados do Pisa (FRANCO; MENEZES-FILHO, 2012).
Desse modo, Franco e Menezes-Filho (2012) também apresentam o Ideb como um propulsor para as políticas de responsabilização, uma vez que, desde 2007, pôde servir para que governos conseguissem monitorar as redes de ensino e, com base nisso, exigir ações em busca de um avanço esperado no indicador (FRANCO; MENEZES- -FILHO, 2012).
Destaca-se que por meio do desempenho médio dos alunos nos testes, divulgados pelo Ideb, as escolas estão suscetíveis a uma dinâmica de ranking, e, por isso, ocasiona-se o detrimento de umas em relação às outras, similarmente ao que acontece com empresas na concorrência dos mercados (FRANCO; MENEZES-FILHO, 2012).
Nesse caso, Franco e Menezes-Filho (2012) discordam de tal dinâmica e apresentam diversos fatores que podem interferir no desempenho escolar. Além disso, os autores defendem que a elaboração de políticas educacionais não deve ser baseada exclusivamente nos resultados, sendo necessário realizar uma análise qualitativa acerca dos fatores que envolvam a comunidade escolar.
Posto isso, ainda de acordo com esses autores, o ideal seria uma avaliação pensada para acompanhar o progresso do aluno ao longo de vários anos.7 No entanto, verificou-se que um dos desafios de tal situação é que grande parte dos países em desenvolvimento ainda não tem um sistema de avaliação da qualidade da educação que consiga tal êxito.
Em conclusão, constata-se que, entre os artigos desta categoria, existe fortemente a crítica quanto ao uso que se tem feito dos resultados das avaliações do Saeb, sobretudo no que diz respeito às suas ações como política de responsabilização (accountability) (FRANCO; MENEZES-FILHO, 2012; DANTAS; MASSONI; SANTOS, 2017). No entanto, Franco e Menezes-Filho (2012) não apresentam as primeiras iniciativas dessa responsabilização na educação brasileira, tampouco seus respectivos contextos.
Evidencia-se, portanto, a necessidade de pesquisas que considerem as resoluções do Saeb e/ou da legislação brasileira que ocasionaram em tal responsabilização, por exemplo, o Plano de Desenvolvimento da Educação (PDE), o Plano Nacional de Educação (PNE) e a própria ANA, já mencionada.
Além disso, os artigos de Dickel (2016) e Dantas, Massoni e Santos (2017) criticam algumas das ações do Saeb, como o ranqueamento grosseiro das escolas, mas não apresentam possíveis alternativas de mudanças nem para aperfeiçoamento do sistema.
Entre as poucas soluções apresentadas pelos artigos, justifica-se o uso de análises qualitativas acerca dos fatores da escola em conjunto com a quantitativa, porém não se apresenta o modo como seriam feitas e nem quais seriam os responsáveis por sua realização (FRANCO; MENEZES-FILHO, 2012; DANTAS; MASSONI; SANTOS, 2017).
Outra discussão apresentada pelos artigos refere-se à imposição de um currículo por meio da avaliação (DICKEL, 2016; DANTAS; MASSONI; SANTOS, 2017). Apesar da relevância desse fato, os artigos não consideram o movimento da adoção das matrizes de referência do Saeb nem a influência da Base Nacional Comum Curricular (BNCC) que, de acordo com Brasil (2020), será utilizada pelo Saeb para avaliar todos os anos escolares a partir do 2° ano do ensino fundamental.
Em síntese, exterioriza-se a necessidade de pesquisas que busquem abarcar algumas das questões expostas anteriormente, de maneira a considerar tanto o contexto das mudanças como o de seus agentes influenciadores. Desse modo, é necessário realizar uma investigação profunda de como o Saeb se torna um instrumento de monitoramento da qualidade da educação básica.
Os fatores associados aos resultados do Saeb
Nesta categoria encontram-se quatro artigos em que se analisam, por meio dos microdados do Saeb, disponibilizados na plataforma do Inep, os fatores associados aos resultados do Saeb. Dessa forma, os artigos apresentam duas discussões. A princípio, o artigo de Alves (2008) discorre sobre a organização dos sistemas de ensino e como os resultados são associados a eles. Posteriormente, os demais artigos correlacionam os resultados do Saeb com indicadores de contexto, no qual se destaca o NSE (CARNOY et al., 2015; CASTRO; TAVARES JÚNIOR, 2016; FERRÃO et al., 2018).
Primeiramente, Alves (2008) discute acerca da organização do ensino em redes: municipal, estadual, federal e privada. De acordo com a autora, grande parte das diferenças de desempenho entre essas redes está relacionada com suas próprias especificidades.
Para as redes municipal e estadual, enfatizadas por Alves (2008), são apontados os serviços educacionais e as condições de acesso como os principais impulsionadores dessas diferenças, que são confirmadas em um estudo de caso que considerou o estado de São Paulo.
Verificou-se que enquanto a rede municipal investiu em aspectos gerais da política social, como uniforme e merenda escolar, a rede estadual investiu em uma agenda estritamente educacional, como o tempo de permanência dos alunos nas escolas (ALVES, 2008). Com isso, a autora percebeu um rendimento menor nas notas do Saeb do município em relação ao estado.
Além disso, a autora defende que o fato de o estudante ter cursado a pré-escola tem influência significativa em seu desempenho escolar. Entretanto, critica a situação do Brasil, em que se garante o acesso à educação infantil sem se preocupar com a qualidade do ensino ofertado.
Ademais, ainda segundo Alves (2008), outro aspecto determinante para um bom desempenho escolar no Saeb está relacionado à formação dos professores. Este, por sua vez, é analisado como uma particularidade dos países em desenvolvimento, como o Brasil, em que nem sempre os docentes têm formação adequada às disciplinas que lecionam.
Por fim, conclui-se que apesar da modesta contribuição dessas políticas educacionais, nas redes municipal e estadual, para o aumento do desempenho dos alunos, ao que tudo indica, essas medidas ainda são insuficientes para oferecer a promoção da magnitude de que as escolas brasileiras necessitam (COELHO, 2008).
Outra variável determinante para o desempenho escolar, de acordo com Carnoy et al. (2015) e Ferrão et al. (2018), é o NSE dos alunos. Além disso, a relevância que a família dá ao estudo e seu grau de escolaridade também influenciam a permanência dos alunos na escola e os resultados que eles obtêm.
Não obstante, conforme os resultados obtidos por Castro e Tavares Júnior (2016), os ganhos no Pisa e no Saeb têm sido, em geral, maiores para os estudantes com menos recursos. Similarmente, os resultados de Carnoy et al. (2015) sugerem que esses estudantes não estão necessariamente atrás dos que possuem maiores recursos. Isso significa que, apesar da influência do background8 familiar, ele não é exclusivo para determinar a realização escolar do aluno (CASTRO; TAVARES JÚNIOR, 2016).
Por isso, os problemas nos sistemas de ensino deveriam ser resolvidos desde a pré-escola (CASTRO; TAVARES JÚNIOR, 2016; FERRÃO et al., 2018), de modo a auxiliar os alunos ao longo de sua trajetória escolar, evitando o comprometimento de sua escolarização futura (FERRÃO et al., 2018).
Conclui-se que, como a educação é uma possibilidade de ascensão social, em decorrência do valor atribuído à educação escolarizada, o entendimento do background familiar é crucial para a implementação de projetos e promoção de políticas e/ou ações educacionais destinadas à melhoria da qualidade da educação e à equidade no sistema de ensino (FERRÃO et al., 2018).
Constata-se, portanto, mais uma vez, a necessidade de um sistema de avaliação que monitore os alunos ao longo dos anos, em especial aqueles com menos recursos (FERRÃO et al., 2018). Dessa forma, o sistema forneceria subsídios às decisões políticas para um planejamento com medidas de caráter focalizado, pois conhecer melhor o perfil desses estudantes também ajudaria as escolas a adaptarem melhor esses alunos (CASTRO; TAVARES JÚNIOR, 2016; FERRÃO et al., 2018).
Ademais, o sistema de avaliação permitiria “[...] a avaliação do impacto de políticas, programas e medidas na atenuação das desigualdades sociais e educacionais” (FERRÃO et al., 2018, p. 290). Contudo, é preciso analisar os dados com cautela e atentar-se à generalização exacerbada dos resultados, pois o próprio Pisa apresentou uma superestimativa dos ganhos (CARNOY et al., 2015).
Percebe-se, também, que os artigos dessa categoria se preocupam em validar, mediante pesquisas empíricas, concepções relevantes para o desempenho escolar dos estudantes, como a influência do NSE e do background familiar (CARNOY et al., 2015; CASTRO; TAVARES JÚNIOR, 2016; FERRÃO et al., 2018). Em contrapartida, não se atentam para a descoberta de novos fatores que possam interferir no rendimento dos estudantes no Saeb, como a formação e a valorização docente, a complexidade da gestão e a infraestrutura das unidades escolares. Acredita-se que ponderar esses fatores contextuais é essencial para compreender as múltiplas faces do sistema educacional brasileiro e suas implicações para o processo de ensino e aprendizagem escolar.
Além disso, os artigos dessa categoria utilizam dados de edições específicas, sem considerar as modificações sofridas pelo Saeb, inclusive de uma edição para outra (ALVES, 2008; CARNOY et al., 2015; CASTRO; TAVARES JÚNIOR, 2016; FERRÃO et al., 2018). Vale ressaltar que a adoção pela análise de um período específico, sem associá-la à implantação de políticas públicas educacionais, pode se tornar vaga.
Como exemplo, pode-se citar o artigo de Alves (2008), que considera os dados do Saeb das edições de 1999, 2001 e 2003, mas não trata da adoção do programa de progressão continuada, apontada como um dos fatores que corroboraram não só para a ampliação de matrículas, mas que também produziu um efeito significativo nas taxas de abandono e de aprovação escolar (BRASIL, 1999; MENEZES-FILHO et al., 2009).
Em suma, os artigos desta categoria indicam que apesar de o Saeb ser um sistema de avaliação importante, pouco se produz em relação aos efeitos diretos que ele oferece à sua população (ALVES, 2008; CARNOY et al., 2015; CASTRO; TAVARES JÚNIOR, 2016; FERRÃO et al., 2018). Evidencia-se, portanto, a necessidade de maiores investimentos em pesquisas que também abarquem o processo de tomada de decisões dos governos com base nos resultados do Saeb, e não somente o juízo de valores, como tem se estabelecido.
CONSIDERAÇÕES FINAIS
Neste artigo, apresentou-se uma revisão sistemática da literatura sobre o Saeb. Observou-se que apesar de sua criação datar do ano de 1990, a publicação de artigos com temáticas diretamente relacionadas ao sistema, no âmbito da educação, acontece quase uma década depois (BONAMINO; FRANCO, 1999), ganhando notoriedade com a criação da Prova Brasil, que inaugurou o caráter censitário nas avaliações estandardizadas no cenário nacional.
Foram selecionados 11 artigos, classificados em três categorias de acordo com a análise temática e que abordam: a origem do Saeb mediante as reformas educacionais da década de 1990; o Saeb enquanto política de responsabilização (accountability); e os fatores associados aos resultados do Saeb.
Percebeu-se que o seu surgimento é abordado de forma generalizada pelos artigos e que vários porquês não são explicados ao longo dos textos, por exemplo, quais são os sujeitos que contribuíram para a elaboração/desenho desse sistema de avaliação? Como se deram as primeiras experiências de avaliação no âmbito nacional e quais foram suas justificativas? O que elas têm em comum com o Saeb? Qual o cenário de sua efetivação? E quais metodologias foram/são utilizadas para a avaliação e o levantamento de dados?
Apesar de destacarem as primeiras experiências de avaliação que culminaram no surgimento do Saeb, como o Edurural e o Projeto Nordeste, os artigos não abordam o que de fato se retirou de proveito dessas avaliações. Assim, aponta-se para a necessidade de estudos que possam abarcar a similaridade do Saeb com esses projetos de avaliação, de maneira a compreender suas prioridades, como a escolha dos anos e das disciplinas avaliadas, a preferência pelas metodologias utilizadas, a seleção das competências e habilidades e as instituições responsáveis por sua aplicação.
Observou-se também que essas discussões poderiam abarcar os interesses e as inclinações políticas do Brasil, durante a implantação do sistema, de maneira mais centralizada. As ações da FCC, pioneira na gestão das avaliações no contexto nacional, por exemplo, são pouco exploradas nos estudos que se referem ao surgimento do Saeb, embora haja um amplo acervo de documentos e relatórios do período, produzidos por pesquisadores da instituição.
Verifica-se, ainda, a presença de perguntas em aberto relacionadas à atuação internacional no contexto de criação do sistema de avaliação brasileiro: quem financiou sua implantação? Quais os possíveis interesses por trás disso? Quais foram as condicionantes e os desdobramentos dessa ação? Embora alguns artigos debatam a influência do Banco Mundial na consolidação do Saeb, não foi encontrado um estudo capaz de responder a todos esses questionamentos, que, por sua vez, constituem um importante subsídio para a compreensão da origem do sistema.
Ademais, ressalta-se a necessidade de estudos que considerem o processo sócio-histórico e epistemológico que culminou, para além da criação, na consolidação do Saeb, abarcando as principais modificações sofridas durante os seus primeiros 30 anos de existência.
Nessa vertente, deve-se considerar as diversas mudanças na estruturação do sistema, como a criação das matrizes de referência, que proporcionou uma discussão inicial acerca da implementação de um currículo comum no âmbito nacional e a adoção da Teoria de Resposta ao Item (TRI) para a construção dos testes, que viabilizou análises longitudinais por meio da comparabilidade dos resultados no decorrer dos anos. Essas análises, que consideram o desenvolvimento da educação ao longo dos anos, também precisam ser mais bem exploradas nos estudos, por oferecerem subsídios para o acompanhamento da efetividade das políticas públicas educacionais adotadas.
Quanto aos fatores externos que oferecem impacto no desempenho escolar dos estudantes, algumas das produções analisadas destacaram o NSE e o background familiar (CARNOY et al., 2015; FERRÃO et al., 2018) e a formação docente (ALVES, 2008). No entanto, percebe-se a ausência de estudos que tratem de outros fatores contextuais de ampla discussão na literatura especializada, como a infraestrutura das escolas (SOARES NETO et al., 2013; MATOS; RODRIGUES, 2016; SOARES; SOARES; SANTOS, 2020) e a complexidade da gestão, no que se refere ao porte da escola, ao número de estudantes nela matriculados e a quantidade de etapas ofertadas (OLIVEIRA; CARVALHO, 2018; GOBBI et al., 2020). Acredita-se que esses fatores também possam influenciar a aprendizagem dos estudantes.
Como referência para estudos futuros, algumas das produções analisadas (ALVES, 2008; COELHO, 2008; SOUSA; OLIVEIRA, 2010; CARNOY et al., 2015; KAUKO et al., 2016; DANTAS; MASSONI; SANTOS, 2017; FERRÃO et al., 2018) sinalizam autores que deverão ser consultados, considerando a relevância de seus trabalhos relacionados ao Saeb. Dentre eles, destacam-se: Heraldo M. Vianna; Bernardete A. Gatti; Maria I. Pestana; Ruben Klein; e Julio J. Waiselfisz.
Além disso, revela-se a importância da compreensão do papel das fundações que os autores supracitados fizeram parte, sobretudo no que diz respeito a suas pesquisas em avaliação educacional. Evidencia-se, dessa forma, a necessidade de pesquisas que utilizem como artifícios não só as produções acadêmicas, que se mostraram escassas, mas também documentos, relatórios oficiais e entrevistas com os agentes diretamente relacionados ao processo de consolidação do sistema.
É digno de nota que os trabalhos que se propõem a estudar essa temática, em geral, situam-se entre duas dimensões fundamentais no campo da avaliação: o juízo de valor e a tomada de decisão. Desse modo, percebeu-se que tanto o cenário acadêmico como o da política educacional concentram suas discussões em torno dos juízos de valor que se estabelecem com base nos resultados do sistema.
Em compensação, como política educacional de avaliação, não se pode abrir mão da tomada de decisão, ação pela qual o Saeb se destina a fazer. Demonstra- -se, portanto, a importância de maiores investimentos nessa dimensão, analisando quais políticas foram ou estão sendo estabelecidas, por meio de seus resultados, com o objetivo de qualificar as redes e os sistemas de ensino no Brasil.
Por último, ressalta-se que a nova configuração do Saeb, mediante a publicação da Portaria n. 458, de 5 de maio de 2020, que trata da expansão do sistema para todos os anos escolares, a partir do 2° ano do ensino fundamental, trará novas possibilidades de estudos e permitirá o acompanhamento do aluno em toda sua trajetória escolar. Também a possibilidade do uso dos resultados do sistema para o acesso ao ensino superior apresenta-se como uma ação que necessita ser investigada, considerando os impactos que pode trazer ao sistema educacional brasileiro.
Espera-se, portanto, que por meio dos apontamentos apresentados neste trabalho possa haver um maior interesse, por parte de pesquisadores educacionais, na investigação de temáticas que permeiam o Saeb e, com base nisso, auxiliar a construção de uma nova agenda de estudos relacionados à avaliação educacional, que poderá trazer contribuições significativas para a melhoria da qualidade da educação brasileira.
