INTRODUÇÃO
Este artigo apresenta um panorama da avaliação em larga escala (ALE), inventariando os caminhos trilhados na produção de conhecimento após três décadas de implantação de políticas que preveem esse tipo de avaliação no Brasil. Os processos de avaliação baseados na medição do desempenho escolar por meio de testes educacionais foram iniciados na década de 1960 (SOUSA, 1997). Na década de 1970, a avaliação constitui-se, em meio a sucessivas reformas educacionais, uma maneira de mensurar e de responsabilizar, com maior intensidade e intencionalidade, os professores pelo fracasso escolar dos estudantes (GREGO, 2012). A partir do final da década de 1980, registram-se as primeiras experiências, em nível nacional, de avaliações em larga escala como mecanismo de regulação da educação brasileira, do Sistema Nacional de Avaliação do Ensino Público (Saep), inicialmente no Paraná e no Rio Grande do Norte (SOUSA, 1997; BONAMINO; FRANCO, 1999; WERLE, 2011), já com forte interferência e recomendação de organismos multilaterais.
Conforme dados do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (BRASIL, 2020), na Educação Básica, foi implementada, em 1990, a primeira iniciativa de organização e viabilização de um ciclo de um sistema de ALE nomeado Sistema Nacional de Avaliação da Educação Básica (Saeb). Ao longo do tempo, esse ciclo foi sendo aprimorado: em 1995, foi adotada uma nova metodologia de construção de teste e análise de resultados, a Teoria de Resposta ao Item (TRI); em 2005, o ciclo foi reestruturado pela Portaria Ministerial n. 931 (BRASIL, 2005), passando a ser composto por duas avaliações, Avaliação Nacional da Educação Básica (Aneb) e Avaliação Nacional do Rendimento Escolar (Anresc) - ou Prova Brasil -; e, em 2019, às vésperas de completar três décadas de realização, o Saeb passou por uma nova reestruturação, para se adequar à Base Nacional Comum Curricular (BNCC).
Por sua vez, na Educação Superior, o primeiro registro de ALE remonta a 1993, com a criação do Programa de Avaliação Institucional das Universidades Brasileiras (Paiub), que teve início com a adesão voluntária e etapas de autoavaliação e avaliação externa. Em 2004, foi instituído o Sistema Nacional de Avaliação da Educação Superior (Sinaes), formado por três componentes principais: avaliação das instituições, avaliação dos cursos e avaliação do desempenho dos estudantes (BRASIL, 2020).
A política de ALE no Brasil surge sob a égide de mensurar a qualidade da educação (GUSMÃO, 2013), sustentando-se em um modelo gerencialista (IVO; HYPOLITO, 2017) e instituída com a influência de organismos supranacionais e no bojo de um Estado Avaliador (COSTA; VIDAL; VIEIRA, 2019). Advém, em parte, do interesse e incentivo do Banco Mundial (BM), do Banco Internacional para a Reconstrução e Desenvolvimento (Bird) e da Organização para a Cooperação e Desenvolvimento Econômico (OCDE), trazendo como consequência a expansão dos processos avaliativos na educação brasileira como condicionados a empréstimos e financiamentos associados à ampliação de programas de avaliação em todos os níveis educacionais.
Desde então, as avaliações em larga escala já completaram um ciclo de três décadas, com processos de avaliação de escolas, de instituições de ensino superior (IES) e de sistemas educacionais, constituídos, fundamentalmente, a partir de resultados de indicadores educacionais de natureza quantitativa. Ao longo dessa trajetória, as avaliações têm sido atreladas a outras finalidades, como desempenho e ranqueamento de escolas, IES e sistemas, performatividade e meritocracia, privatização da educação e desresponsabilização do Estado da oferta de educação. Assim, a qualidade é colocada como um conceito mercantil e antidemocrático, que mais atende à manutenção da desigualdade educacional do que à promoção da igualdade e à garantia do direito à educação (GENTILI, 2001).
Pelo exposto, ao longo do tempo, os processos de ALE se ampliaram, atingindo todo o sistema educacional, tendo implícita a ideia de evidenciar a “eficácia” ou “ineficiência” da educação. A ideia de avaliação é incorporada como uma forma de meritocracia, condicionando o resultado da avaliação ao alcance de metas por meio de indicadores educacionais. Nesse aspecto, desconsidera as desigualdades sociais, comparando realidades diferenciadas e colocando desiguais como iguais, além de responsabilizar professores, gestores e alunos, rotulando-os como responsáveis pelo fracasso escolar. Tendo em conta esse contexto complexo e dinâmico da ALE no cenário educacional brasileiro, este artigo apresenta um panorama da produção de conhecimento acumulada sobre ALE, que se constitui como uma política pública de avaliação com uma trajetória de mais de 30 anos.
METODOLOGIA
Para este estudo, utilizou-se de uma pesquisa bibliográfica cujo corpus são artigos científicos (LIMA; MIOTO, 2007, p. 38). No que diz respeito aos procedimentos metodológicos, desdobrou-se em três etapas: 1) identificação do material bibliográfico; 2) seleção dos artigos científicos para composição do corpus; e 3) análise dos artigos.
Na primeira etapa, definiu-se como descritor “avaliação em larga escala” com o boleano “OR” “avaliações em larga escala”. As bases de consulta e mapeamento foram as revistas indexadas no Portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e na plataforma Scientific Electronic Library OnLine Brasil (SciELO). No Portal de Periódicos da Capes, foram mapeados 69 artigos com os seguintes filtros: data de publicação de 1990 até 2020, periódicos revisados por pares e idioma português. Na plataforma SciELO, foram mapeados 78 artigos com os seguintes filtros: data de publicação de 1990 até 2020, coleção Brasil, todos os periódicos, idioma português e área temática das Ciências Humanas.
Na etapa de seleção de artigos sobre ALE, procedeu-se uma primeira leitura dos títulos, dos resumos e das palavras-chave dos documentos. Do Portal de Periódicos da Capes, foram selecionados 47 artigos e excluídos 22, considerando-se os seguintes critérios: outro contexto que não o Brasil (1), texto editorial (2), texto repetido na mesma base (3) e ausência das expressões “avaliação em larga escala” ou “avaliações em larga escala” no título, no resumo ou nas palavras-chave (16). Da plataforma SciELO, foram selecionados 51 e excluídos 27, considerando-se os seguintes critérios: textos repetidos no Portal de Periódicos Capes (13), texto repetido na mesma base (1), ausência das expressões “avaliação em larga escala” ou “avaliações em larga escala” no título, no resumo ou nas palavras-chave (10), texto editorial (1) e outro contexto que não o Brasil (2). O corpus de análise foi constituído por 98 documentos.
Na sequência, a etapa de análise desdobrou-se em três processos estruturantes: 1) organização; 2) análise bibliométrica; e 3) análise interpretativa. Para a organização, os componentes dos documentos - referências, periódico, ano de publicação, base de consulta, resumo, palavras-chave, objeto do estudo, foco de interesse e resultados ou considerações finais - foram extraídos do documento e catalogados em uma planilha do Excel.
A análise bibliométrica (ALVARENGA, 1998) cumpriu o objetivo de mapear a produção de conhecimento acumulada sobre a política de ALE, gerando gráficos de frequência e valores percentuais. Com base nisso, foi possível consolidar processos de análise estatística descritiva da incidência de informações sobre os seguintes aspectos: revistas em que os artigos foram publicados, ano de publicação, níveis educacionais, objetos de estudo, focos de interesse e autores recorrentes.
Por fim, a análise interpretativa centrou-se no conteúdo dos artigos e na produção de categorias de conteúdo a posteriori. Nessa fase, recorreu-se à leitura dos documentos, alguns na íntegra, com atenção à expressão do objetivo no resumo e dos resultados ou das considerações finais. A categorização foi realizada com base no objeto do estudo, tendo em vista suas aproximações e relações com os focos principais de interesse. Entende-se que alguns artigos poderiam compor outros focos de interesse.
PANORAMA DA PRODUÇÃO DE CONHECIMENTO SOBRE ALE
A apresentação dos resultados está organizada em duas seções: a primeira voltada à análise bibliométrica, e a segunda, à análise interpretativa.
Análise bibliométrica
O Gráfico 1, a seguir, evidencia que cinco revistas concentram aproximadamente 49% dos documentos: Estudos em Avaliação Educacional; Ensaio: Avaliação e Políticas Públicas em Educação; Educação: Teoria & Prática; Educação e Pesquisa; e Educação & Sociedade. Ao mesmo tempo, é possível verificar uma grande pulverização de revistas, uma vez que de 22 constava apenas um documento publicado.
No Gráfico 2, observa-se que a primeira publicação é do ano de 2002, sendo o recorte o período de 1990 até 2020. Entre 2002 e 2011, houve onze publicações, representando 11% das selecionadas. A partir de 2012, observou-se um crescimento de publicações, havendo maior expressividade entre 2014 e 2017, com 45 publicações, o que representa aproximadamente 46%, destacando-se o ano de 2014, com 15 publicações. No período posterior, de 2018 a 2020, contabiliza-se 29 publicações, com destaque de 12 publicações em 2019.
A maior parte dos níveis ou modalidades apresentados nos artigos faz referência à Educação Básica (88 artigos - 90%). A avaliação em larga escala da Educação Superior tem menor recorrência (12 artigos - 9%). Houve apenas um estudo sobre a avaliação da Pós-Graduação e um da Educação de Jovens e Adultos, e a Educação Profissional não foi especificada.
Os objetos de estudo podem ser mais bem visualizados no Gráfico 3. A avaliação em larga escala como um todo é objeto de 46 artigos, representando 47% dos documentos; o Programa Internacional de Avaliação de Estudantes (Pisa), de oito artigos; o Exame Nacional do Ensino Médio (Enem), de sete artigos; e o Saeb, de seis artigos.
Houve uma diversificação entre os focos ou interesses das pesquisas. Contudo, os efeitos das políticas foram predominantes (45 estudos, 47%), de acordo com o que apresenta o Gráfico 4.
Levando-se em consideração as autorias dos artigos, identificou-se uma dispersão, sendo que cinco pesquisadores concentram a produção com três a cinco artigos: Adriana Bauer; Adolfo Inácio Calderón; Sandra Zákia Sousa; Karla Oliveira Franco; e Sônia Ferreira Lopes Toffoli.
Análise interpretativa
A seguir, são apresentados os resultados a partir das categorias e focos de interesse que emergiram da análise dos artigos.
Categoria avaliação em larga escala
Nessa categoria, foram agrupados 46 estudos que tiveram como objeto a ALE como um todo e podem ser visualizados no Quadro 1.
Fonte: Elaboração dos autores, dados do estudo (2021).
Esquinsani (2019) confirma uma tendência ideológica da agenda internacional no campo das políticas educacionais referenciada e fortalecida na instalação e ampliação do Estado avaliador. Freitas (2014) aborda o papel dos reformadores e destaca como consequência mais direta de suas visões de mundo a constituição da matriz formativa que orienta a organização do trabalho pedagógico e a escolha dos “direitos de aprendizagem” numa perspectiva de medição por intermédio de testes padronizados.
Ramos (2018) verifica o quanto a política educacional está subordinada às avaliações em larga escala. Davies (2016), comparando as políticas educacionais dos governos de Luiz Inácio Lula da Silva e de Fernando Henrique Cardoso, conclui que são similares no incentivo à privatização e na adoção de políticas de ALE, cujo efeito tem sido responsabilizar quase exclusivamente as escolas e os professores pela qualidade do ensino.
Cóssio, Oliveira e Souza (2014) identificam concepções gerencialistas na intensificação dos instrumentos de avaliação externa e na centralidade da gestão estratégica das redes e escolas, priorizando a melhoria dos resultados e trazendo efeitos para o estreitamento curricular e a responsabilização das escolas e dos professores pelos resultados dos estudantes nos exames nacionais pela publicização e pelo ranqueamento. Bauer (2020) ratifica que as práticas curriculares e pedagógicas nas escolas brasileiras vêm produzindo um reducionismo e controle curricular. Paro (2011), por sua vez, advoga a necessidade de um conteúdo do ensino expandir-se para a cultura em sentido pleno, como direito universal.
Almeida (2020), para além do exposto, encontra indícios de uma rendição dos profissionais da educação à lógica gerencialista que coloniza a política educacional. Schneider (2013) evidencia mudanças nas escolas após a implantação de um sistema de ALE, destacando a tendência de os exames padronizados indicarem qual conhecimento é relevante e delimitarem, por extensão, o que deve ou não ser ensinado. Augusto (2015) associa o emprego de ALE às prestações de contas e à responsabilização dos professores e da gestão escolar pelos resultados escolares, bem como destaca a relevância do incentivo ao mérito docente e às políticas de valorização dos professores da educação básica, a exemplo da progressão nas carreiras profissionais, dos reajustes e das bonificações salariais.
Pizarro e Lopes Junior (2017) apontam a predominância de discussões sobre o Pisa e a necessidade de pesquisas sobre o impacto dessas avaliações no ensino. Com uma visão mais positiva, Cerdeira et al. (2017) mencionam que a ampliação do conhecimento sobre os sistemas de ALE tende a reduzir as resistências e permitir que as equipes de gestão escolar incorporem os dados como orientadores de suas ações práticas. Fontanive (2013) defende que os resultados das avaliações em larga escala podem ter impacto positivo na prática docente, promovendo ganhos de aprendizagem mediante programas de capacitação que auxiliem o professor a interpretar os resultados obtidos.
Martins e Sousa (2012) verificam que, embora ainda incipientes, investigações que se dedicam a analisar as relações entre avaliações em larga escala e gestão escolar tendem a aumentar, tendo em vista a centralidade que o tema vem conquistando nas diretrizes da área da educação. Bauer, Alavarse e Oliveira (2015) reconhecem a utilidade das avaliações como apoio para políticas de melhoria dos sistemas educacionais, porém questionam alguns de seus usos para a gestão, como a alocação de recursos nas escolas com melhores resultados, a definição de bônus para professores e o estabelecimento de rankings, estimulando a competição entre escolas e redes de ensino. Santos (2014) mostra que a ALE é capaz de promover espaços de gestão democrática para a educação municipal, mencionando que, quanto mais próximas das práticas educacionais as leis do Sistema Municipal de Educação estiverem, melhores serão o processo de ensino-aprendizagem e a conquista de uma autonomia pedagógica escolar.
Um conjunto de pesquisas enfatizou a qualidade da educação e criticou a sua associação às avaliações em larga escala. Sousa (2014) defende a importância da avaliação para a melhoria da qualidade da educação básica, mas ressalta que, por ocorrer na forma de ALE, institui um reducionismo na maneira como vem sendo tratada a atividade avaliativa no âmbito das iniciativas em curso no Brasil. Gusmão (2013) critica o enfoque da qualidade da educação nos resultados aferidos pelas provas de larga escala como o principal significado de qualidade que circula na sociedade. Cury (2014) e Sudbrack e Cocco (2014) ressaltam que a chamada “cultura de avaliação” impôs equivocadamente avaliações de larga escala com testes padronizados, a fim de medir o desempenho dos estudantes. Ao encontro disso, Amaro (2013) percebe que as avaliações alteram práticas pedagógicas na escola, apresentando características neotecnicistas, performativas, gerencialistas e de controle do currículo. Alinhado a tal ótica, Toffoli et al. (2016) mencionam que uma avaliação de qualidade deve permitir às pessoas oportunidades de respostas que assegurem inferências corretas de seu desempenho em relação ao construto medido.
Werle (2011) delineia o panorama da educação brasileira, destacando aspectos da consolidação da política de ALE. Para a pesquisadora, o projeto de ALE foi reforçado a partir de 2005 por ser legitimado por ações pragmáticas vinculadas ao ranqueamento de instituições, escolas e redes municipais e estaduais, à liberação de recursos, à valorização da “transparência” para a sociedade e à necessidade de qualificação da educação, bem como pela criação de novos índices e sistemas de seleção que valorizam os resultados de outras avaliações, instituindo novos parâmetros de comparações entre as instituições do sistema educacional. Bonamino e Sousa (2012) descrevem três gerações das avaliações em larga escala. A primeira enfatiza a avaliação com caráter diagnóstico da qualidade da educação ofertada e sem atribuição de consequências diretas para as escolas e para o currículo; a segunda geração contempla a divulgação pública e a devolução dos resultados para as escolas, estabelecendo consequências simbólicas; e a terceira geração inclui avaliações que referenciam políticas de responsabilização forte e de alto risco, abarcando sanções ou recompensas em decorrência dos resultados de alunos e escolas.
Para Lima e Gandin (2019), o processo que levou à consolidação das avaliações em larga escala no Brasil relaciona-se com a proliferação de discursos hegemônicos no âmbito global que afirmam a importância das avaliações de larga escala e das práticas concretas no que compete às avaliações. Nesse sentido, Comar (2017) constata a consolidação de um perfil meritocrata e gerencial das práticas avaliativas que segue orientações internacionais. Assim, questões como a garantia da qualidade da educação, verificada por processos avaliativos censitários, são articuladas a noções gerenciais de accountability e de controle do trabalho docente e compõem a particular configuração que garante o avanço da centralidade das avaliações em larga escala no Brasil (LIMA; GANDIN, 2019).
Bauer et al. (2015) e Ghisleni e Luce (2016, 2018) evidenciam a consolidação da ALE como instrumento de gestão educacional nas municipalidades. Bauer et al. (2015) citam a tendência de criação de propostas próprias de avaliação, além de uma aderência às iniciativas federais e estaduais. Ghisleni e Luce (2016), por sua vez, enfatizam que as avaliações assumem uma posição de protagonismo, garantida principalmente pelo órgão executivo central do sistema, que as eleva à condição de política estruturante da gestão e da prática pedagógica em geral, sinalizando uma adesão a modelos globalizados, com aspectos reformadores e regulatórios (GHISLENE; LUCE, 2018).
Nos estudos focados em governança e gestão educacional, Melgarejo e Shiroma (2019) abordam o projeto de educação sustentado pelo Banco Interamericano de Desenvolvimento e constatam que, por meio das reformas curriculares e das avaliações em larga escala, visa a destruir a carreira do magistério a partir da sua substituição por políticas meritocráticas; implementar políticas de accountability, estabelecer a política de vouchers, além das diversas outras formas de privatização, que atingem desde a escolha dos materiais didáticos até a terceirização da gestão de escolas públicas.
Bauer (2019) reconhece um avanço da produção sobre gestão educacional ao mesmo tempo que identifica uma ausência de estudos mais focados nos currículos praticados nas escolas e nos sistemas e uma lacuna na utilização dos resultados como base para o estabelecimento de outras políticas voltadas à gestão do sistema. Amaral e Bertagna (2015) denunciam a falta de clareza de profissionais da educação a respeito do processo de gestão que envolve a mudança na organização do trabalho pedagógico com a entrada da iniciativa privada na educação pública.
Martins e Calderón (2015) registram uma preocupação com a análise e a identificação de boas práticas escolares como meio de melhoria dos resultados das avaliações em larga escala e dos indicadores de desempenho. Bauer et al. (2017) encontram na ALE correspondência entre as iniciativas municipais e as iniciativas do Ministério da Educação relacionadas à criação de índices para aquilatar o desenvolvimento da qualidade educacional. Por outro lado, Santiago, Santos e Melo (2017) indicam que o processo avaliativo é um importante parâmetro para identificar se as propostas pedagógicas possibilitam condições de aprendizagem e participação de todos os estudantes.
Sobre desempenho de estudantes, Stanich e Sousa (2016) evidenciam que analisar os resultados das avaliações em larga escala pressupõe um olhar mais abrangente das condições que envolvem o trabalho docente e os processos de ensino e aprendizagem. Por sua vez, Alves (2009) confirma o efeito das variáveis contextuais e que a composição de um alunado interessado pelos estudos é altamente favorável às escolas nas avaliações em larga escala. Toffoli et al. (2016), ao tratar da eficácia da avaliação, defendem a justiça nas avaliações relacionada à igualdade de condições a todos os seus participantes.
Categoria Saeb, indicador, testes, projetos e prêmio
Na categoria Saeb, testes padronizados - Enem, Avaliação Nacional da Alfabetização (ANA), Provinha Brasil e Prova Brasil -, projetos e prêmios, foram agrupados 24 estudos. Os focos de interesse foram Efeitos da Política, Desempenho dos Estudantes, Eficácia da Avaliação e Qualidade da Educação que podem ser mais bem visualizados no Quadro 2.
FOCOS DE INTERESSE | N. DE ARTIGOS | AUTORES E ANO |
---|---|---|
Efeitos da Política | 12 | Bonamino, Coscarelli e Franco (2002); Ribeiro e Coscarelli (2010); Esteban (2012); Cóssio, Oliveira e Souza (2014); Barbosa e Mascarenhas (2014); Soares et al. (2014); Mota e Mota (2019); Esteban e Wolf (2015); Dickel (2016); Rosistolato, Prado e Martins (2018); Santos, Silva e Ernest (2019); Becher e Justo (2020) |
Desempenho dos Estudantes | 7 | Viggiano e Mattos (2013); Silva e Meletti (2014); Vidal et al. (2019); Oliveira e Silva (2018); Machado e Matos (2019); Santos (2020); Lockmann e Machado (2020) |
Eficácia da Avaliação | 4 | Gonçalves Júnior e Barroso (2014); Travitzki (2017); Toffoli (2019); Hollas e Bernardi (2020) |
Qualidade da Educação | 1 | Almeida, Dalben e Freitas (2013) |
Fonte: Elaboração dos autores, dados do estudo (2021).
Um conjunto de artigos teve como foco os efeitos da política na proficiência dos estudantes. Os resultados, do Saeb indicam que os alunos de modo geral não são capazes de ler fluente e proficientemente muitos gêneros textuais (BONAMINO; COSCARELLI; FRANCO, 2002; BARBOSA; MASCARENHA, 2014). Cóssio, Oliveira e Souza (2014) identificam que concepções gerencialistas intensificam o uso de instrumentos de avaliação externa priorizando a melhoria dos resultados cujos efeitos mais evidentes são o estreitamento curricular e a responsabilização das escolas e dos professores pelos resultados dos estudantes nos exames nacionais pela via da sua publicização e de seu ranqueamento.
Esteban e Wolf (2015) ressaltam que a Provinha Brasil é uma proposta de avaliação reducionista e um fomento a práticas pedagógicas que se entrelaçam a perspectivas classificatórias e excludentes, não contribuindo para a alfabetização. Ribeiro e Coscarelli (2010) e Rosistolato, Prado e Martins (2018), que enfocaram a Prova Brasil, evidenciam ser necessário realizar avaliações em larga escala, mas criticam a padronização das avaliações, uma vez que desrespeita as realidades escolares. Becher e Justo (2020), ao tratar da mesma prova a partir das perspectivas de professores e supervisores escolares, concluem que há pouco conhecimento destes sobre os sistemas de ALE. Já no que concerne à Provinha Brasil, Esteban (2012) critica os exames estandardizados, contrapondo exame e avaliação e discutindo processos que possam dar efetiva contribuição à alfabetização das crianças das classes populares.
O Enem foi objeto de estudo de um grupo significativo de documentos. Viggiano e Mattos (2013) avaliam o desempenho dos estudantes nas áreas do conhecimento contempladas pelo exame, mencionando que os piores resultados estão nas regiões Nordeste e Norte e que, no geral, nenhuma das áreas do conhecimento chegou ao índice de 59% de aproveitamento. Além de regiões, Oliveira e Silva (2018) destacam o efeito compensador que parece existir entre a elevada escolaridade dos pais e a baixa renda familiar, assim como a origem social e características como etnia, renda e tipo de instituição de ensino.
Para Hollas e Bernardi (2020), o Enem carece de elementos críticos e reflexivos, de problematizações e de contextualizações no cotidiano dos estudantes. No tocante à prova, Toffoli (2019) e Travitzki (2017) constatam qualidade aquém do desejável, uma vez que o Exame não permite aos participantes condições de respostas que assegurem inferências corretas sobre seu desempenho em relação às habilidades medidas. Gonçalves Júnior e Barroso (2014) evidenciam questões longas, com pouca exigência de raciocínios mais complexos característicos da resolução de problemas, e uma tendência de distribuição de questões por objetos de conhecimento diferentes do tradicional no ensino médio.
Para Dickel (2016), a ANA, ao projetar seu foco nas aprendizagens das crianças, secundarizando ou omitindo informações necessárias à composição de um quadro mais complexo acerca de como ocorre o processo de alfabetização inicial, configura-se como estratégia de responsabilização dos professores pelos resultados do trabalho escolar.
Um conjunto de pesquisas focou o desempenho ou a aprendizagem dos estudantes, evidenciando que as chances de sucesso na aprendizagem e de melhores desempenhos estão relacionadas às expectativas docentes sobre os alunos (VIDAL et al., 2019). Machado e Matos (2019) analisaram descritores de três tópicos da matriz de referência de Língua Portuguesa que indicam as habilidades de leitura em questões da Prova Brasil e concordam com os estudos que sugerem os problemas matemáticos como gênero textual a ser trabalhado em aulas de Língua Portuguesa e de Matemática, assim como a necessidade de que o trabalho com as estruturas linguísticas seja feito pelas duas disciplinas. Santos (2020) indica que há uma desigualdade na aprendizagem entre regiões brasileiras e um atraso nas proficiências matemáticas dos estudantes brasileiros num cenário de aprendizado insuficiente.
Lockmann e Machado (2020), ao analisarem o modo como a ANA está sendo aplicada nos espaços escolares, percebem que essa avaliação tem contribuído para a constituição do estudante com deficiência de dois modos: como um sujeito invisível ou incapaz para os avaliadores. Silva e Meletti (2014) apontam que uma parcela significativa da população com necessidade educacional especial realizou o Enem; entretanto, na Prova Brasil, a participação foi mínima, reforçando a ideia de ambiguidade entre discurso e prática inclusiva.
Almeida, Dalben e Freitas (2013), estudando o Índice de Desenvolvimento da Educação Básica (Ideb), consideram a importância das avaliações em larga escala como instrumento de informação sobre o desempenho dos alunos e das escolas. Salientam, porém, que o modelo é inapropriado para a compreensão e melhoria do trabalho desenvolvido nas escolas, criticando a adoção de processos meritocráticos em que as escolas são ranqueadas e responsabilizadas de forma unívoca por seus resultados. Soares et al. (2014) avaliam resultados positivos das avaliações em larga escala voltadas a um projeto de escola em tempo integral destinado a beneficiar alunos de maior vulnerabilidade social. Mota e Mota (2019) exploraram o Prêmio Escola Nota 10, e os resultados apontam para uma aproximação entre as avaliações das aprendizagens e as avaliações externas no cotidiano escolar.
Categoria Sistemas de avaliação estaduais e municipais
Nessa categoria, foram agrupados 12 estudos que tiveram como objeto sistemas de avaliação estaduais ou municipais e como foco de interesse os Efeitos da Política, a Consolidação da Política e o Desempenho dos Estudantes, conforme pode ser visualizado no Quadro 3.
FOCOS DE INTERESSE | N. DE ARTIGOS | AUTORES E ANO |
---|---|---|
Efeitos da Política | 8 | Sousa e Arcas (2010); Augusto (2012); Oliveira Junior e Calderón (2014); Franco e Calderón (2017); Santos e Sabia (2015); Ghisleni e Luce (2016); Miranda, Garcia e Veraszto (2020); Mota e Mota (2020) |
Consolidação da Política | 1 | Werle, Thum e Andrade (2009) |
Desempenho dos Estudantes | 3 | Soares (2005); Rocha e Martins (2014); Lima et al. (2019) |
Fonte: Elaboração dos autores, dados do estudo (2021).
Oliveira Junior e Calderón (2014), no tocante a aspectos relacionados à gestão do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp), identificam alguns silêncios temáticos: as apropriações da mídia atinentes aos resultados dos alunos em muitas situações cercadas de equívocos e ausência de profundidade sobre os sentidos da avaliação na escola, as não apropriações dos pais tendo em vista a importância desse público no contexto escolar, os processos comunicacionais hierarquizados entre o comando do governo paulista e os públicos da escola e um aprofundamento dos sentidos do accountability. Miranda, Garcia e Veraszto (2020) apontam o não alinhamento entre o preconizado pelas políticas educativas paulistas e um modelo de avaliação que se tornou um instrumento de auditoria orientado para a obtenção de dados com vistas à definição de políticas e orientação da gestão escolar. Sousa e Arcas (2010), tratando dos efeitos para o currículo, apontam que o sistema de avaliação tem norteado o currículo e o planejamento escolar e incidido, em especial, nas práticas avaliativas, fortalecendo concepções mais tradicionais e menos formativas e estimulando a noção de meritocracia. Santos e Sabia (2015) consideram que o Saresp, na atualidade, constitui um forte dispositivo de controle do trabalho docente em sala de aula, direcionando o que e como ensinar aquilo que posteriormente será avaliado externamente, inviabilizando a avaliação com função diagnóstica.
Lima et al. (2019) avaliam o desempenho médio em Língua Portuguesa e Matemática dos estudantes do nono ano do ensino fundamental no Programa de Avaliação da Educação Básica do Espírito Santo (Paebes) e os resultados corroboram o efeito negativo da reprovação e o efeito positivo do Índice de Atitudes e Práticas Pedagógicas (IPP). Rocha e Martins (2014) analisam o desenvolvimento de habilidades de escrita nos primeiros anos do ensino fundamental, indicando que habilidades de decodificação tendem a ocorrer antes de habilidades de codificação.
No tocante ao sistema de Avaliação e Monitoramento da Educação de Minas Gerais (Simave), constata-se a existência de três gerações de avaliação: uma primeira (2000-2002) pautada pelo caráter diagnóstico das avaliações; uma segunda (2003 e 2007) marcada pelo início do programa Acordo de Resultados do Governo de Minas Gerais e envolvendo metas de desempenho e gestão por resultados; e uma terceira, iniciada em 2007, que se caracteriza pela segunda fase do Acordo de Resultados, abarcando o pagamento do prêmio por produtividade atrelado ao desempenho dos alunos nos testes avaliativos (FRANCO; CALDERÓN, 2017). Augusto (2012), por sua vez, indica que as medidas empreendidas pelo governo concentram nos professores a responsabilização pelo êxito ou pelo fracasso dos alunos nos sistemas de ALE e nas avaliações regulares das escolas. A avaliação de desempenho dos professores e a avaliação institucional das escolas são vinculadas aos resultados escolares, sendo definidos centralmente, sem a participação dos professores, os percentuais de alunos que devem ser promovidos e os índices de proficiência a serem alcançados. Soares (2005), em relação aos resultados das provas, mostra que existe grande variabilidade explicada pelas diferenças entre as turmas, razoável variabilidade explicada pelas diferenças entre as escolas, além da enorme variabilidade explicada pelas diferenças entre os alunos.
Na análise do Sistema de Avaliação da Educação do Estado do Rio de Janeiro (Saerj), Mota e Mota (2020) indicam que os meios de regulação da política tiveram efeitos indutores negativos, de acordo com os professores, contribuindo para a descontinuidade da política educacional.
Werle, Thum e Andrade (2009) abordam os sistemas municipais e concluem que, embora a avaliação externa da educação básica seja uma realidade forte e presente em escolas públicas de zonas urbanas, as leis da Secretaria Municipal de Educação (SME) não expressam adesão da instância municipal ao Saeb. Ghisleni e Luce (2016) identificaram tensão entre a proposição da Secretaria Municipal de Educação de Porto Alegre de centralidade da ALE na sua condução política e pedagógica e as escolas, em que transparece uma demanda por mais clareza política, pedagógica e curricular. A avaliação, dessa forma, aparece como desempenho da escola no que interessa ao mundo externo, não como diagnóstico da aprendizagem e do ensino, das práticas pedagógicas e da gestão da escola e do sistema municipal de educação.
Categoria Sinaes, prova e indicador
Nessa categoria, foram agrupados sete estudos, tendo como objeto o Sinaes, o Exame Nacional de Desempenho dos Estudantes (Enade) e o Índice Geral de Cursos (IGC). Os focos de interesse podem ser visualizados no Quadro 4.
FOCOS DE INTERESSE | N. ARTIGOS | AUTORES E ANO |
---|---|---|
Eficácia da Avaliação | 3 | Bittencourt (2012); Lopes e Vendramini (2015); Toffoli e Simon (2018) |
Desempenho dos Estudantes | 3 | Brito (2007); Lopes e Vendramini (2013); Vendramini e Lopes (2016) |
Efeitos da Política | 1 | De Paula, Costa e Lima (2018) |
Fonte: Elaboração dos autores, dados do estudo (2021).
Ao analisar o Enade, Lopes e Vendramini (2013, 2015), Vendramini e Lopes (2016) e Toffoli e Simon (2018) utilizam métodos e modelagens estatísticas, apontando para a eficiência interna das avaliações. Em estudo do desempenho no Enade de estudantes bolsistas do Programa Universidade para Todos (Prouni), os resultados indicaram que o modelo de mensuração dos estudantes bolsistas apresenta um ajuste razoavelmente bom e permite afirmar que o desempenho do estudante durante a graduação é inferior ao do momento de seu ingresso no ensino superior (VENDRAMINI; LOPES, 2016). Brito (2007), com relação à avaliação de desempenho dos estudantes de licenciaturas pelo Enade, evidencia que os melhores resultados, tanto de ingressantes quanto de concluintes, são da área de Física (questões objetivas) e Geografia (questões discursivas), e que a menor média obtida pertence à área de Pedagogia.
De Paula, Costa e Lima (2018), estudando o Sinaes, entendem que a configuração e a racionalidade do Estado avaliador na educação fazem com que os resultados da ALE sejam utilizados para a constituição de rankings entre instituições, cidades, estados e países e que também supervalorizam o ensino em detrimento da pesquisa e da extensão. Bittencourt (2012) considera que a educação brasileira tem sido objeto de um número crescente de avaliações em larga escala desde o nível básico até a pós-graduação e que, de todos os processos, aquele que se encontra mais consolidado é o Índice Geral de Cursos (IGC).
Categoria Pisa
Nessa categoria, foram agrupados nove estudos que tiveram como objeto o Pisa, cujos focos de interesse podem ser visualizados no Quadro 5.
FOCOS DE INTERESSE | N. DE ARTIGOS | AUTORES E ANO |
---|---|---|
Efeitos da Política | 5 | Aguiar e Ortigão (2012); Dickel (2010); Gorur (2016); Araújo e Tenório (2017); Morris (2017) |
Qualidade da Educação | 1 | Oliveira e Araújo (2005) |
Governança e Gestão Educacional | 1 | Freitas e Coelho (2019) |
Desempenho dos Estudantes | 2 | Vieira (2017); Medeiros, Jaloto e Santos (2017) |
Fonte: Elaboração dos autores, dados do estudo (2021).
Freitas e Coelho (2019) evidenciam que a OCDE conquistou o controle do conhecimento no campo educativo por meio do discurso do futuro antecipado de movimento em direção à criação de novas cadeias de produção de valor, cujos vaticinadores são representados pelos novos “profetas” da educação neoliberal e da invenção de instrumentos poderosos de avaliação no campo educacional, a exemplo do Pisa. Oliveira e Araújo (2005), por sua vez, destacam os desafios teóricos e técnicos a serem enfrentados para a formulação de um padrão de qualidade que seja, ao mesmo tempo, compreensível à população e passível de ser exigido judicialmente.
Gorur (2016) afirma que o Pisa transforma objetos ontologicamente luxuriantes em objetos ontologicamente empobrecidos por meio da padronização e simplificação. Para Morris (2017), embora a mensuração de resultados educacionais possa satisfazer desejos de impor ordem e controle sobre o mundo, ela não é uma fonte de criatividade humana e não reconhece os múltiplos e complexos objetivos da escolarização.
Aguiar e Ortigão (2012) comparam resultados do Pisa de estudantes do Brasil e de Portugal, concluindo que itens envolvendo contextos científicos se mostram mais fáceis para os alunos portugueses, enquanto os que envolvem contextos da vida pessoal são mais fáceis para os brasileiros.
Dickel (2010) constata que o Pisa poderia ser um aporte importante para a elaboração de objetos de estudo e como referência de análise. Para Medeiros, Jaloto e Santos (2017), as avaliações internacionais têm potencial explicativo para a análise do desempenho dos estudantes, podendo contribuir para a elaboração das políticas públicas em educação e para os planejamentos pedagógicos das instituições de ensino e dos docentes. Em consonância, Araújo e Tenório (2017) analisaram o uso dos resultados do Pisa, referindo como problemas o fato de que a sua implementação e seus objetivos se relacionavam ao interesse do país em participar de tal avaliação para ser membro da OCDE, e não o interesse efetivo de transformar o Pisa em uma avaliação. Dessa forma, o Pisa continua a ser um diagnóstico realizado para satisfazer os interesses do país e da OCDE em termos de participação e acesso às políticas da organização, sem a necessidade de seguir seus protocolos por não ser um país membro.
Contrapondo-se à positividade em relação aos resultados do Pisa, Vieira (2017) aponta que é uma avaliação global, cujo impacto dos resultados nos planos e nas práticas pedagógicas tende a conflitar com as avaliações internas de aprendizagem, pois despreza o ensino-aprendizagem e a realidade nacional e local da escola, do aluno e do professor, tendo como objetivo apenas o desenvolvimento de conhecimentos que promovam o Brasil no plano econômico.
CONSIDERAÇÕES FINAIS
Em relação aos caminhos trilhados na produção de conhecimento sobre a ALE no Brasil, circunscritos aos procedimentos metodológicos adotados, destacou-se o período de 2014 a 2017 como o de maior quantidade de publicações, sendo evidenciada, ainda, a relevância de periódicos de avaliação educacional. Tais periódicos, que alavancam a produção do conhecimento, são as revistas Estudos em Avaliação Educacional e Ensaio: Avaliação e Políticas Públicas em Educação.
A utilização da expressão “avaliação em larga escala” no singular e no plural gerou uma concentração de artigos no âmbito da Educação Básica. Identificou-se, além disso, a existência de dispersão quanto às autorias dos artigos, já que as maiores concentrações foram de três, quatro e cinco produções de um grupo de cinco pesquisadores.
Verificou-se que a maioria dos estudos converge na compreensão do contexto macro que configura o modelo de ALE no Brasil, evidenciando a influência de organismos internacionais no fomento de políticas educacionais de avaliações padronizadas, situando na década de 1980 a gênese de ações de ALE que foram, sob a bandeira do Estado avaliador, ampliadas e solidificadas nas décadas posteriores. Entretanto, muitos desses estudos destacam as disputas presentes no campo, reflexos de diferentes concepções de educação e sociedade.
Identificou-se que a qualidade da educação, alinhada ao princípio constitucional de garantia do direito à educação e à importância da avaliação diagnóstica e formativa, é reivindicada quando se evidencia que as avaliações em larga escala, seguindo políticas mundiais, são operadas em uma perspectiva reducionista e/ou tecnicista. Nos estudos que tratam das relações com a gestão, a preocupação central é a conformidade e o arrefecimento do currículo e das práticas de gestão com a melhoria dos resultados das avaliações em larga escala. Todavia, é preciso reconhecer que existem concepções de qualidade da educação em disputa na produção de conhecimento nem sempre alinhadas ao princípio constitucional de garantia do direito à educação e de importância da avaliação diagnóstica e formativa.
Predominam estudos que criticam o modelo de ALE, ao mesmo tempo em que vários estudos são orientados para medir a eficácia escolar no que diz respeito à aprendizagem e ao desempenho de estudantes, reforçando uma tendência de individualização. Apesar do reconhecimento de fatores e variáveis que evidenciam as desigualdades educacionais, persistem pesquisas comparativas entre contextos diferentes e não passíveis de comparação. Os trabalhos que têm como foco eficácia ou boas práticas partem de outras concepções e reconhecem o valor das avaliações em larga escala.
Ressalta-se, ainda, que o Pisa e o Enem, em termos de prova, tiveram a maior recorrência de estudos, sendo apontados como uma ALE que exerce forte influência nas políticas educacionais, nos currículos dos diversos níveis de ensino, na regulação do trabalho docente e no futuro dos indivíduos que estão sendo avaliados.