Análise bibliométrica

O Gráfico 1, a seguir, evidencia que cinco revistas concentram aproximadamente 49% dos documentos: Estudos em Avaliação Educacional; Ensaio: Avaliação e Políticas Públicas em Educação; Educação: Teoria & Prática; Educação e Pesquisa; e Educação & Sociedade. Ao mesmo tempo, é possível verificar uma grande pulverização de revistas, uma vez que de 22 constava apenas um documento publicado.

Fonte: Elaboração dos autores com base em dados disponíveis nas plataformas SciELO e Capes (2021).

GRÁFICO 1 Quantidade de artigos por periódicos 

No Gráfico 2, observa-se que a primeira publicação é do ano de 2002, sendo o recorte o período de 1990 até 2020. Entre 2002 e 2011, houve onze publicações, representando 11% das selecionadas. A partir de 2012, observou-se um crescimento de publicações, havendo maior expressividade entre 2014 e 2017, com 45 publicações, o que representa aproximadamente 46%, destacando-se o ano de 2014, com 15 publicações. No período posterior, de 2018 a 2020, contabiliza-se 29 publicações, com destaque de 12 publicações em 2019.

Fonte: Elaboração dos autores com base em dados disponíveis nas plataformas SciELO e Capes (2021).

Gráfico 2 Quantidade de artigos por ano de publicação 

A maior parte dos níveis ou modalidades apresentados nos artigos faz referência à Educação Básica (88 artigos - 90%). A avaliação em larga escala da Educação Superior tem menor recorrência (12 artigos - 9%). Houve apenas um estudo sobre a avaliação da Pós-Graduação e um da Educação de Jovens e Adultos, e a Educação Profissional não foi especificada.

Os objetos de estudo podem ser mais bem visualizados no Gráfico 3. A avaliação em larga escala como um todo é objeto de 46 artigos, representando 47% dos documentos; o Programa Internacional de Avaliação de Estudantes (Pisa), de oito artigos; o Exame Nacional do Ensino Médio (Enem), de sete artigos; e o Saeb, de seis artigos.

Fonte: Elaboração dos autores com base em dados disponíveis nas plataformas SciELO e Capes (2021).

Gráfico 3 Objetos de estudo 

Houve uma diversificação entre os focos ou interesses das pesquisas. Contudo, os efeitos das políticas foram predominantes (45 estudos, 47%), de acordo com o que apresenta o Gráfico 4.

Fonte: Elaboração dos autores com base em dados disponíveis nas plataformas SciELO e Capes (2021).

Gráfico 4 Foco de interesse 

Levando-se em consideração as autorias dos artigos, identificou-se uma dispersão, sendo que cinco pesquisadores concentram a produção com três a cinco artigos: Adriana Bauer; Adolfo Inácio Calderón; Sandra Zákia Sousa; Karla Oliveira Franco; e Sônia Ferreira Lopes Toffoli.

Análise interpretativa

A seguir, são apresentados os resultados a partir das categorias e focos de interesse que emergiram da análise dos artigos.

Categoria avaliação em larga escala

Nessa categoria, foram agrupados 46 estudos que tiveram como objeto a ALE como um todo e podem ser visualizados no Quadro 1.

^{Esquinsani (2019}) confirma uma tendência ideológica da agenda internacional no campo das políticas educacionais referenciada e fortalecida na instalação e ampliação do Estado avaliador. ^{Freitas (2014}) aborda o papel dos reformadores e destaca como consequência mais direta de suas visões de mundo a constituição da matriz formativa que orienta a organização do trabalho pedagógico e a escolha dos “direitos de aprendizagem” numa perspectiva de medição por intermédio de testes padronizados.

^{Ramos (2018}) verifica o quanto a política educacional está subordinada às avaliações em larga escala. ^{Davies (2016}), comparando as políticas educacionais dos governos de Luiz Inácio Lula da Silva e de Fernando Henrique Cardoso, conclui que são similares no incentivo à privatização e na adoção de políticas de ALE, cujo efeito tem sido responsabilizar quase exclusivamente as escolas e os professores pela qualidade do ensino.

^{Cóssio, Oliveira e Souza (2014}) identificam concepções gerencialistas na intensificação dos instrumentos de avaliação externa e na centralidade da gestão estratégica das redes e escolas, priorizando a melhoria dos resultados e trazendo efeitos para o estreitamento curricular e a responsabilização das escolas e dos professores pelos resultados dos estudantes nos exames nacionais pela publicização e pelo ranqueamento. ^{Bauer (2020}) ratifica que as práticas curriculares e pedagógicas nas escolas brasileiras vêm produzindo um reducionismo e controle curricular. ^{Paro (2011}), por sua vez, advoga a necessidade de um conteúdo do ensino expandir-se para a cultura em sentido pleno, como direito universal.

^{Almeida (2020}), para além do exposto, encontra indícios de uma rendição dos profissionais da educação à lógica gerencialista que coloniza a política educacional. ^{Schneider (2013}) evidencia mudanças nas escolas após a implantação de um sistema de ALE, destacando a tendência de os exames padronizados indicarem qual conhecimento é relevante e delimitarem, por extensão, o que deve ou não ser ensinado. ^{Augusto (2015}) associa o emprego de ALE às prestações de contas e à responsabilização dos professores e da gestão escolar pelos resultados escolares, bem como destaca a relevância do incentivo ao mérito docente e às políticas de valorização dos professores da educação básica, a exemplo da progressão nas carreiras profissionais, dos reajustes e das bonificações salariais.

^{Pizarro e Lopes Junior (2017}) apontam a predominância de discussões sobre o Pisa e a necessidade de pesquisas sobre o impacto dessas avaliações no ensino. Com uma visão mais positiva, ^{Cerdeira et al. (2017}) mencionam que a ampliação do conhecimento sobre os sistemas de ALE tende a reduzir as resistências e permitir que as equipes de gestão escolar incorporem os dados como orientadores de suas ações práticas. ^{Fontanive (2013}) defende que os resultados das avaliações em larga escala podem ter impacto positivo na prática docente, promovendo ganhos de aprendizagem mediante programas de capacitação que auxiliem o professor a interpretar os resultados obtidos.

^{Martins e Sousa (2012}) verificam que, embora ainda incipientes, investigações que se dedicam a analisar as relações entre avaliações em larga escala e gestão escolar tendem a aumentar, tendo em vista a centralidade que o tema vem conquistando nas diretrizes da área da educação. ^{Bauer, Alavarse e Oliveira (2015}) reconhecem a utilidade das avaliações como apoio para políticas de melhoria dos sistemas educacionais, porém questionam alguns de seus usos para a gestão, como a alocação de recursos nas escolas com melhores resultados, a definição de bônus para professores e o estabelecimento de rankings, estimulando a competição entre escolas e redes de ensino. ^{Santos (2014}) mostra que a ALE é capaz de promover espaços de gestão democrática para a educação municipal, mencionando que, quanto mais próximas das práticas educacionais as leis do Sistema Municipal de Educação estiverem, melhores serão o processo de ensino-aprendizagem e a conquista de uma autonomia pedagógica escolar.

Um conjunto de pesquisas enfatizou a qualidade da educação e criticou a sua associação às avaliações em larga escala. ^{Sousa (2014}) defende a importância da avaliação para a melhoria da qualidade da educação básica, mas ressalta que, por ocorrer na forma de ALE, institui um reducionismo na maneira como vem sendo tratada a atividade avaliativa no âmbito das iniciativas em curso no Brasil. ^{Gusmão (2013}) critica o enfoque da qualidade da educação nos resultados aferidos pelas provas de larga escala como o principal significado de qualidade que circula na sociedade. ^{Cury (2014}) e ^{Sudbrack e Cocco (2014}) ressaltam que a chamada “cultura de avaliação” impôs equivocadamente avaliações de larga escala com testes padronizados, a fim de medir o desempenho dos estudantes. Ao encontro disso, Amaro (2013) percebe que as avaliações alteram práticas pedagógicas na escola, apresentando características neotecnicistas, performativas, gerencialistas e de controle do currículo. Alinhado a tal ótica, ^{Toffoli et al. (2016}) mencionam que uma avaliação de qualidade deve permitir às pessoas oportunidades de respostas que assegurem inferências corretas de seu desempenho em relação ao construto medido.

^{Werle (2011}) delineia o panorama da educação brasileira, destacando aspectos da consolidação da política de ALE. Para a pesquisadora, o projeto de ALE foi reforçado a partir de 2005 por ser legitimado por ações pragmáticas vinculadas ao ranqueamento de instituições, escolas e redes municipais e estaduais, à liberação de recursos, à valorização da “transparência” para a sociedade e à necessidade de qualificação da educação, bem como pela criação de novos índices e sistemas de seleção que valorizam os resultados de outras avaliações, instituindo novos parâmetros de comparações entre as instituições do sistema educacional. ^{Bonamino e Sousa (2012}) descrevem três gerações das avaliações em larga escala. A primeira enfatiza a avaliação com caráter diagnóstico da qualidade da educação ofertada e sem atribuição de consequências diretas para as escolas e para o currículo; a segunda geração contempla a divulgação pública e a devolução dos resultados para as escolas, estabelecendo consequências simbólicas; e a terceira geração inclui avaliações que referenciam políticas de responsabilização forte e de alto risco, abarcando sanções ou recompensas em decorrência dos resultados de alunos e escolas.

Para ^{Lima e Gandin (2019}), o processo que levou à consolidação das avaliações em larga escala no Brasil relaciona-se com a proliferação de discursos hegemônicos no âmbito global que afirmam a importância das avaliações de larga escala e das práticas concretas no que compete às avaliações. Nesse sentido, ^{Comar (2017}) constata a consolidação de um perfil meritocrata e gerencial das práticas avaliativas que segue orientações internacionais. Assim, questões como a garantia da qualidade da educação, verificada por processos avaliativos censitários, são articuladas a noções gerenciais de accountability e de controle do trabalho docente e compõem a particular configuração que garante o avanço da centralidade das avaliações em larga escala no Brasil (^{LIMA; GANDIN, 2019}).

^{Bauer et al. (2015}) e ^{Ghisleni e Luce (2016}, 2018) evidenciam a consolidação da ALE como instrumento de gestão educacional nas municipalidades. Bauer et al. (2015) citam a tendência de criação de propostas próprias de avaliação, além de uma aderência às iniciativas federais e estaduais. Ghisleni e Luce (2016), por sua vez, enfatizam que as avaliações assumem uma posição de protagonismo, garantida principalmente pelo órgão executivo central do sistema, que as eleva à condição de política estruturante da gestão e da prática pedagógica em geral, sinalizando uma adesão a modelos globalizados, com aspectos reformadores e regulatórios (GHISLENE; LUCE, 2018).

Nos estudos focados em governança e gestão educacional, ^{Melgarejo e Shiroma (2019}) abordam o projeto de educação sustentado pelo Banco Interamericano de Desenvolvimento e constatam que, por meio das reformas curriculares e das avaliações em larga escala, visa a destruir a carreira do magistério a partir da sua substituição por políticas meritocráticas; implementar políticas de accountability, estabelecer a política de vouchers, além das diversas outras formas de privatização, que atingem desde a escolha dos materiais didáticos até a terceirização da gestão de escolas públicas.

^{Bauer (2019}) reconhece um avanço da produção sobre gestão educacional ao mesmo tempo que identifica uma ausência de estudos mais focados nos currículos praticados nas escolas e nos sistemas e uma lacuna na utilização dos resultados como base para o estabelecimento de outras políticas voltadas à gestão do sistema. ^{Amaral e Bertagna (2015}) denunciam a falta de clareza de profissionais da educação a respeito do processo de gestão que envolve a mudança na organização do trabalho pedagógico com a entrada da iniciativa privada na educação pública.

^{Martins e Calderón (2015}) registram uma preocupação com a análise e a identificação de boas práticas escolares como meio de melhoria dos resultados das avaliações em larga escala e dos indicadores de desempenho. ^{Bauer et al. (2017}) encontram na ALE correspondência entre as iniciativas municipais e as iniciativas do Ministério da Educação relacionadas à criação de índices para aquilatar o desenvolvimento da qualidade educacional. Por outro lado, ^{Santiago, Santos e Melo (2017}) indicam que o processo avaliativo é um importante parâmetro para identificar se as propostas pedagógicas possibilitam condições de aprendizagem e participação de todos os estudantes.

Sobre desempenho de estudantes, ^{Stanich e Sousa (2016}) evidenciam que analisar os resultados das avaliações em larga escala pressupõe um olhar mais abrangente das condições que envolvem o trabalho docente e os processos de ensino e aprendizagem. Por sua vez, ^{Alves (2009}) confirma o efeito das variáveis contextuais e que a composição de um alunado interessado pelos estudos é altamente favorável às escolas nas avaliações em larga escala. ^{Toffoli et al. (2016}), ao tratar da eficácia da avaliação, defendem a justiça nas avaliações relacionada à igualdade de condições a todos os seus participantes.

Categoria Saeb, indicador, testes, projetos e prêmio

Na categoria Saeb, testes padronizados - Enem, Avaliação Nacional da Alfabetização (ANA), Provinha Brasil e Prova Brasil -, projetos e prêmios, foram agrupados 24 estudos. Os focos de interesse foram Efeitos da Política, Desempenho dos Estudantes, Eficácia da Avaliação e Qualidade da Educação que podem ser mais bem visualizados no Quadro 2.

Um conjunto de artigos teve como foco os efeitos da política na proficiência dos estudantes. Os resultados, do Saeb indicam que os alunos de modo geral não são capazes de ler fluente e proficientemente muitos gêneros textuais (^{BONAMINO; COSCARELLI; FRANCO, 2002}; ^{BARBOSA; MASCARENHA, 2014}). ^{Cóssio, Oliveira e Souza (2014}) identificam que concepções gerencialistas intensificam o uso de instrumentos de avaliação externa priorizando a melhoria dos resultados cujos efeitos mais evidentes são o estreitamento curricular e a responsabilização das escolas e dos professores pelos resultados dos estudantes nos exames nacionais pela via da sua publicização e de seu ranqueamento.

^{Esteban e Wolf (2015}) ressaltam que a Provinha Brasil é uma proposta de avaliação reducionista e um fomento a práticas pedagógicas que se entrelaçam a perspectivas classificatórias e excludentes, não contribuindo para a alfabetização. ^{Ribeiro e Coscarelli (2010}) e ^{Rosistolato, Prado e Martins (2018}), que enfocaram a Prova Brasil, evidenciam ser necessário realizar avaliações em larga escala, mas criticam a padronização das avaliações, uma vez que desrespeita as realidades escolares. ^{Becher e Justo (2020}), ao tratar da mesma prova a partir das perspectivas de professores e supervisores escolares, concluem que há pouco conhecimento destes sobre os sistemas de ALE. Já no que concerne à Provinha Brasil, Esteban (2012) critica os exames estandardizados, contrapondo exame e avaliação e discutindo processos que possam dar efetiva contribuição à alfabetização das crianças das classes populares.

O Enem foi objeto de estudo de um grupo significativo de documentos. ^{Viggiano e Mattos (2013}) avaliam o desempenho dos estudantes nas áreas do conhecimento contempladas pelo exame, mencionando que os piores resultados estão nas regiões Nordeste e Norte e que, no geral, nenhuma das áreas do conhecimento chegou ao índice de 59% de aproveitamento. Além de regiões, ^{Oliveira e Silva (2018}) destacam o efeito compensador que parece existir entre a elevada escolaridade dos pais e a baixa renda familiar, assim como a origem social e características como etnia, renda e tipo de instituição de ensino.

Para ^{Hollas e Bernardi (2020}), o Enem carece de elementos críticos e reflexivos, de problematizações e de contextualizações no cotidiano dos estudantes. No tocante à prova, ^{Toffoli (2019}) e ^{Travitzki (2017}) constatam qualidade aquém do desejável, uma vez que o Exame não permite aos participantes condições de respostas que assegurem inferências corretas sobre seu desempenho em relação às habilidades medidas. ^{Gonçalves Júnior e Barroso (2014)} evidenciam questões longas, com pouca exigência de raciocínios mais complexos característicos da resolução de problemas, e uma tendência de distribuição de questões por objetos de conhecimento diferentes do tradicional no ensino médio.

Para ^{Dickel (2016}), a ANA, ao projetar seu foco nas aprendizagens das crianças, secundarizando ou omitindo informações necessárias à composição de um quadro mais complexo acerca de como ocorre o processo de alfabetização inicial, configura-se como estratégia de responsabilização dos professores pelos resultados do trabalho escolar.

Um conjunto de pesquisas focou o desempenho ou a aprendizagem dos estudantes, evidenciando que as chances de sucesso na aprendizagem e de melhores desempenhos estão relacionadas às expectativas docentes sobre os alunos (^{VIDAL et al., 2019}). ^{Machado e Matos (2019}) analisaram descritores de três tópicos da matriz de referência de Língua Portuguesa que indicam as habilidades de leitura em questões da Prova Brasil e concordam com os estudos que sugerem os problemas matemáticos como gênero textual a ser trabalhado em aulas de Língua Portuguesa e de Matemática, assim como a necessidade de que o trabalho com as estruturas linguísticas seja feito pelas duas disciplinas. ^{Santos (2020}) indica que há uma desigualdade na aprendizagem entre regiões brasileiras e um atraso nas proficiências matemáticas dos estudantes brasileiros num cenário de aprendizado insuficiente.

^{Lockmann e Machado (2020}), ao analisarem o modo como a ANA está sendo aplicada nos espaços escolares, percebem que essa avaliação tem contribuído para a constituição do estudante com deficiência de dois modos: como um sujeito invisível ou incapaz para os avaliadores. ^{Silva e Meletti (2014}) apontam que uma parcela significativa da população com necessidade educacional especial realizou o Enem; entretanto, na Prova Brasil, a participação foi mínima, reforçando a ideia de ambiguidade entre discurso e prática inclusiva.

^{Almeida, Dalben e Freitas (2013}), estudando o Índice de Desenvolvimento da Educação Básica (Ideb), consideram a importância das avaliações em larga escala como instrumento de informação sobre o desempenho dos alunos e das escolas. Salientam, porém, que o modelo é inapropriado para a compreensão e melhoria do trabalho desenvolvido nas escolas, criticando a adoção de processos meritocráticos em que as escolas são ranqueadas e responsabilizadas de forma unívoca por seus resultados. ^{Soares et al. (2014}) avaliam resultados positivos das avaliações em larga escala voltadas a um projeto de escola em tempo integral destinado a beneficiar alunos de maior vulnerabilidade social. ^{Mota e Mota (2019}) exploraram o Prêmio Escola Nota 10, e os resultados apontam para uma aproximação entre as avaliações das aprendizagens e as avaliações externas no cotidiano escolar.

Categoria Sistemas de avaliação estaduais e municipais

Nessa categoria, foram agrupados 12 estudos que tiveram como objeto sistemas de avaliação estaduais ou municipais e como foco de interesse os Efeitos da Política, a Consolidação da Política e o Desempenho dos Estudantes, conforme pode ser visualizado no Quadro 3.

Oliveira Junior e Calderón (2014), no tocante a aspectos relacionados à gestão do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp), identificam alguns silêncios temáticos: as apropriações da mídia atinentes aos resultados dos alunos em muitas situações cercadas de equívocos e ausência de profundidade sobre os sentidos da avaliação na escola, as não apropriações dos pais tendo em vista a importância desse público no contexto escolar, os processos comunicacionais hierarquizados entre o comando do governo paulista e os públicos da escola e um aprofundamento dos sentidos do accountability. ^{Miranda, Garcia e Veraszto (2020}) apontam o não alinhamento entre o preconizado pelas políticas educativas paulistas e um modelo de avaliação que se tornou um instrumento de auditoria orientado para a obtenção de dados com vistas à definição de políticas e orientação da gestão escolar. ^{Sousa e Arcas (2010}), tratando dos efeitos para o currículo, apontam que o sistema de avaliação tem norteado o currículo e o planejamento escolar e incidido, em especial, nas práticas avaliativas, fortalecendo concepções mais tradicionais e menos formativas e estimulando a noção de meritocracia. ^{Santos e Sabia (2015}) consideram que o Saresp, na atualidade, constitui um forte dispositivo de controle do trabalho docente em sala de aula, direcionando o que e como ensinar aquilo que posteriormente será avaliado externamente, inviabilizando a avaliação com função diagnóstica.

^{Lima et al. (2019}) avaliam o desempenho médio em Língua Portuguesa e Matemática dos estudantes do nono ano do ensino fundamental no Programa de Avaliação da Educação Básica do Espírito Santo (Paebes) e os resultados corroboram o efeito negativo da reprovação e o efeito positivo do Índice de Atitudes e Práticas Pedagógicas (IPP). ^{Rocha e Martins (2014}) analisam o desenvolvimento de habilidades de escrita nos primeiros anos do ensino fundamental, indicando que habilidades de decodificação tendem a ocorrer antes de habilidades de codificação.

No tocante ao sistema de Avaliação e Monitoramento da Educação de Minas Gerais (Simave), constata-se a existência de três gerações de avaliação: uma primeira (2000-2002) pautada pelo caráter diagnóstico das avaliações; uma segunda (2003 e 2007) marcada pelo início do programa Acordo de Resultados do Governo de Minas Gerais e envolvendo metas de desempenho e gestão por resultados; e uma terceira, iniciada em 2007, que se caracteriza pela segunda fase do Acordo de Resultados, abarcando o pagamento do prêmio por produtividade atrelado ao desempenho dos alunos nos testes avaliativos (^{FRANCO; CALDERÓN, 2017}). ^{Augusto (2012}), por sua vez, indica que as medidas empreendidas pelo governo concentram nos professores a responsabilização pelo êxito ou pelo fracasso dos alunos nos sistemas de ALE e nas avaliações regulares das escolas. A avaliação de desempenho dos professores e a avaliação institucional das escolas são vinculadas aos resultados escolares, sendo definidos centralmente, sem a participação dos professores, os percentuais de alunos que devem ser promovidos e os índices de proficiência a serem alcançados. ^{Soares (2005}), em relação aos resultados das provas, mostra que existe grande variabilidade explicada pelas diferenças entre as turmas, razoável variabilidade explicada pelas diferenças entre as escolas, além da enorme variabilidade explicada pelas diferenças entre os alunos.

Na análise do Sistema de Avaliação da Educação do Estado do Rio de Janeiro (Saerj), ^{Mota e Mota (2020}) indicam que os meios de regulação da política tiveram efeitos indutores negativos, de acordo com os professores, contribuindo para a descontinuidade da política educacional.

^{Werle, Thum e Andrade (2009}) abordam os sistemas municipais e concluem que, embora a avaliação externa da educação básica seja uma realidade forte e presente em escolas públicas de zonas urbanas, as leis da Secretaria Municipal de Educação (SME) não expressam adesão da instância municipal ao Saeb. ^{Ghisleni e Luce (2016}) identificaram tensão entre a proposição da Secretaria Municipal de Educação de Porto Alegre de centralidade da ALE na sua condução política e pedagógica e as escolas, em que transparece uma demanda por mais clareza política, pedagógica e curricular. A avaliação, dessa forma, aparece como desempenho da escola no que interessa ao mundo externo, não como diagnóstico da aprendizagem e do ensino, das práticas pedagógicas e da gestão da escola e do sistema municipal de educação.

Categoria Sinaes, prova e indicador

Nessa categoria, foram agrupados sete estudos, tendo como objeto o Sinaes, o Exame Nacional de Desempenho dos Estudantes (Enade) e o Índice Geral de Cursos (IGC). Os focos de interesse podem ser visualizados no Quadro 4.

Ao analisar o Enade, ^{Lopes e Vendramini (2013}, 2015), Vendramini e Lopes (2016) e ^{Toffoli e Simon (2018}) utilizam métodos e modelagens estatísticas, apontando para a eficiência interna das avaliações. Em estudo do desempenho no Enade de estudantes bolsistas do Programa Universidade para Todos (Prouni), os resultados indicaram que o modelo de mensuração dos estudantes bolsistas apresenta um ajuste razoavelmente bom e permite afirmar que o desempenho do estudante durante a graduação é inferior ao do momento de seu ingresso no ensino superior (^{VENDRAMINI; LOPES, 2016}). ^{Brito (2007}), com relação à avaliação de desempenho dos estudantes de licenciaturas pelo Enade, evidencia que os melhores resultados, tanto de ingressantes quanto de concluintes, são da área de Física (questões objetivas) e Geografia (questões discursivas), e que a menor média obtida pertence à área de Pedagogia.

De Paula, Costa e Lima (2018), estudando o Sinaes, entendem que a configuração e a racionalidade do Estado avaliador na educação fazem com que os resultados da ALE sejam utilizados para a constituição de rankings entre instituições, cidades, estados e países e que também supervalorizam o ensino em detrimento da pesquisa e da extensão. ^{Bittencourt (2012}) considera que a educação brasileira tem sido objeto de um número crescente de avaliações em larga escala desde o nível básico até a pós-graduação e que, de todos os processos, aquele que se encontra mais consolidado é o Índice Geral de Cursos (IGC).

Categoria Pisa

Nessa categoria, foram agrupados nove estudos que tiveram como objeto o Pisa, cujos focos de interesse podem ser visualizados no Quadro 5.

^{Freitas e Coelho (2019}) evidenciam que a OCDE conquistou o controle do conhecimento no campo educativo por meio do discurso do futuro antecipado de movimento em direção à criação de novas cadeias de produção de valor, cujos vaticinadores são representados pelos novos “profetas” da educação neoliberal e da invenção de instrumentos poderosos de avaliação no campo educacional, a exemplo do Pisa. ^{Oliveira e Araújo (2005}), por sua vez, destacam os desafios teóricos e técnicos a serem enfrentados para a formulação de um padrão de qualidade que seja, ao mesmo tempo, compreensível à população e passível de ser exigido judicialmente.

^{Gorur (2016}) afirma que o Pisa transforma objetos ontologicamente luxuriantes em objetos ontologicamente empobrecidos por meio da padronização e simplificação. Para ^{Morris (2017}), embora a mensuração de resultados educacionais possa satisfazer desejos de impor ordem e controle sobre o mundo, ela não é uma fonte de criatividade humana e não reconhece os múltiplos e complexos objetivos da escolarização.

^{Aguiar e Ortigão (2012}) comparam resultados do Pisa de estudantes do Brasil e de Portugal, concluindo que itens envolvendo contextos científicos se mostram mais fáceis para os alunos portugueses, enquanto os que envolvem contextos da vida pessoal são mais fáceis para os brasileiros.

^{Dickel (2010}) constata que o Pisa poderia ser um aporte importante para a elaboração de objetos de estudo e como referência de análise. Para ^{Medeiros, Jaloto e Santos (2017}), as avaliações internacionais têm potencial explicativo para a análise do desempenho dos estudantes, podendo contribuir para a elaboração das políticas públicas em educação e para os planejamentos pedagógicos das instituições de ensino e dos docentes. Em consonância, ^{Araújo e Tenório (2017}) analisaram o uso dos resultados do Pisa, referindo como problemas o fato de que a sua implementação e seus objetivos se relacionavam ao interesse do país em participar de tal avaliação para ser membro da OCDE, e não o interesse efetivo de transformar o Pisa em uma avaliação. Dessa forma, o Pisa continua a ser um diagnóstico realizado para satisfazer os interesses do país e da OCDE em termos de participação e acesso às políticas da organização, sem a necessidade de seguir seus protocolos por não ser um país membro.

Contrapondo-se à positividade em relação aos resultados do Pisa, ^{Vieira (2017}) aponta que é uma avaliação global, cujo impacto dos resultados nos planos e nas práticas pedagógicas tende a conflitar com as avaliações internas de aprendizagem, pois despreza o ensino-aprendizagem e a realidade nacional e local da escola, do aluno e do professor, tendo como objetivo apenas o desenvolvimento de conhecimentos que promovam o Brasil no plano econômico.