INTRODUÇÃO

Assim como os demais cidadãos, os estudantes estão envoltos de vozes propagadas pelos meios midiáticos que valorizam os resultados obtidos nas avaliações em larga escala, conclamando a participação da sociedade por uma educação de qualidade e incentivando-os a conhecer e a fiscalizar o Índice da Educação Básica (Ideb) da escola da qual fazem parte. Diante disso, será que as escolas ou até mesmo as políticas públicas em educação questionam: o que os estudantes pensam sobre as avaliações em larga escala? Será que conhecem o objetivo da avaliação? O que os sujeitos avaliados pensam das atividades promovidas pela escola em virtude da avaliação? Será que se sentem parte integrante do processo de avaliação?

Na análise da ascensão do Estado Avaliador observa-se, no Brasil, como marco temporal a década de 1990. Nesse período, a avaliação da educação básica brasileira era inicialmente feita de forma amostral, e, embora os resultados auxiliassem no direcionamento de programas do governo, não ranqueavam as instituições de ensino. No entanto, com a reestruturação do Sistema de Avaliação da Educação Básica (Saeb), restituído por Portaria Ministerial em 2005, a avaliação em larga escala, que até então era executada por amostragem de estudantes do 5º e 9º anos, passou também a ser aplicada de forma censitária. Com a implantação da Prova Brasil (PB), e com os indicadores de evasão e repetência, o Estado disponibilizou pela primeira vez os índices por estabelecimento escolar. Os índices obtidos a partir da PB passaram a representar números que traduzem uma determinada concepção de qualidade de educação para o país. Com isso, estudos passaram a focalizar as implicações das avaliações em larga escala no contexto escolar.

O presente artigo é resultado de uma pesquisa de mestrado em educação, concluída no ano de 2017, e tem como objetivo compreender a função da PB de língua portuguesa pela ótica dos alunos do 9º ano do ensino fundamental. Embora o texto se refira a uma pesquisa de 2017, destaca-se a possibilidade de usar depoimentos de estudantes para discutir as políticas de avaliação e estimular outras pesquisas. Para esse efeito, requereram-se instrumentos de geração de dados que possibilitassem aproximar-se da relação dos sujeitos com a avaliação em larga escala, e numa abordagem qualitativa isso permitiu compreender como os sujeitos concebem a PB e quais as implicações dessa avaliação no contexto escolar.

O aporte utilizado por esta pesquisa para compreender sentidos atribuídos por estudantes do 9^o ano à PB será a teoria da enunciação do círculo de ^{Bakhtin (2003)}. Focam-se alguns conceitos-chave levantados pelo teórico que apresenta a palavra como fruto de um contexto concreto, que é polissêmica e que expressa vivências daqueles que a pronunciam. Esta pesquisa dialoga ainda com autores que têm se debruçado sobre o estudo das avaliações em larga escala, como, por exemplo, ^{Afonso (2009}, ²⁰¹²), ^{Dias Sobrinho (2009)}, M. ^{Freitas (2007)} e ^{Freitas et al. (2014)}. Os resultados indicam que, para os sujeitos investigados, a Prova Brasil tem como papel o controle das escolas, centrando-se no “ensinar certo”, atrelando a qualidade da educação aos resultados obtidos no Ideb.

A CONSOLIDAÇÃO DO SISTEMA AVALIATIVO NO BRASIL

Nesta seção, busca-se apresentar um panorama geral do histórico da avaliação em larga escala no Brasil, em que o Sistema de Avaliação da Educação Básica (Saeb) é instituído como política de Estado, permitindo o acompanhamento da aprendizagem cognitiva dos estudantes ao longo dos anos. O Saeb passa a despertar a atenção da sociedade principalmente por meio da instituição da PB e da criação do Ideb, visto que é a partir desse momento que os resultados das avaliações passaram a ser divulgados por estabelecimento escolar.

De acordo com ^{Lacruz, Américo e Carniel (2019)}, o Saeb nasce no bojo do processo de reestruturação e de redemocratização do Estado brasileiro, no qual se conferiu maior transparência às ações e aos resultados obtidos pelas instituições públicas, sendo um processo destinado a avaliar os sistemas de ensino em relação à produtividade e à eficácia, e no que se refere às condições de trabalho e de infra- estrutura escolar.

Fazendo uma retrospectiva das avaliações em larga escala no Brasil, evidencia-se que, na década de 1990, houve a intensificação de ações que orientaram as políticas educacionais do país às agendas dos organismos internacionais. No total, foram aprovados seis projetos que tinham a participação de 13 estados, tendo sido acordada uma cifra de cerca de R$1 bilhão em investimentos. Destacam-se, ainda, os projetos Educação Básica no Nordeste II (envolvendo Maranhão, Ceará, Pernambuco e Sergipe), Educação Básica no Nordeste III (compreendendo Piauí, Rio Grande do Norte, Paraíba, Alagoas e Bahia), Projeto de Melhoria da Qualidade da Educação Básica em Minas Gerais, entre outros (^{FIGUEIREDO, 2009}).

A década de 1990 ficou conhecida por ações dos governos federal, estadual e municipal voltadas para uma maior centralidade na educação básica¹ (^{SOUZA, 2009}). Um dos documentos que orientou as políticas educacionais dos países pobres do mundo foi a Conferência Mundial de Educação para Todos,² realizada em Jomtien, na Tailândia, em 1990. A conferência teve a participação dos dez países mais populosos do mundo e foi organizada pelas Nações Unidas (Organização das Na- ções Unidas - ONU), Fundo Monetário Internacional (FMI), Organização das Nações Unidas para a Educação, Ciência e Cultura (Unesco), Fundo das Nações Unidas para a Infância (Unicef), Banco Mundial (BM) e Programa das Nações Unidas para o Desenvolvimento (Pnud).

Para cumprir os compromissos firmados nessa reunião, ^{Oliveira (2006)} assinala que os países em desenvolvimento deveriam elevar a parcela de atendimento da educação básica sem, contudo, aumentar os gastos do orçamento público. Uma das ações prioritárias das nações era “[...] aperfeiçoar as suas capacidades gerenciais, analíticas e tecnológicas” (^{FREITAS, D., 2007}, p. 98) a fim de melhorar a qualidade, a eficiência e a eficácia educacional. A coleta e a análise de dados possibilitariam a execução de um plano de ação para conseguir alcançar os pontos alinhados.

A primeira avaliação sistemática da educação básica no Brasil foi oriunda de acordos econômicos e tinha o intuito de avaliar os impactos do Programa de Expansão e Melhoria da Educação no Meio Rural do Nordeste (^{BRASIL, 1980}). Tal programa teve um grande investimento financeiro, sendo 35% do montante financiado pelo BM. O instrumento utilizado foi uma avaliação com o objetivo de verificar o desempenho dos estudantes que residiam nos municípios atendidos, tendo sido contratada pelo Ministério da Educação (MEC) a Fundação Carlos Chagas para desenvolver os estudos, elaborar os projetos e implementar a avaliação do Programa.

Os dados foram coletados nos anos de 1981, 1983 e 1985, em 60 municípios de três estados, nomeadamente Pernambuco, Ceará e Piauí, em uma amostra de 600 escolas e 6 mil estudantes. ^{Werle (2011)} explicita que havia um acordo de interesses com essa avaliação. De um lado, o Banco Mundial, com a intenção de avaliar o programa desenvolvido com recursos do Banco Internacional para a Reconstrução e Desenvolvimento (Bird), e, de outro lado, o MEC, buscando experiências a fim de avaliar de forma mais ampla a educação brasileira.

Na década de 1980 a 1990, D. ^{Freitas (2007)} descreve, apoiada em estudos de ^{Fletcher e Castro (1986)} e ^{Klein e Ribeiro (1991)}, que era inapropriado tirar conclusões sobre o êxito escolar dos estudantes tomando por base estatísticas de reprovações. Para esses autores, a reprovação podia ter diferentes significados, e, como sugestão, pregou-se a aplicação de testes cognitivos, sendo a avaliação do Edurural uma referência a ser seguida. A autora refere, também, os estudos de Ribeiro (1991³ apud^{FREITAS, D., 2007}), e observa que, para esse autor, faltava um maior compromisso da sociedade, seja de empresários interessados em mão de obra qualificada, seja das famílias, com o desejo de seus filhos ocuparem um bom lugar na sociedade. Para isso, uma avaliação cognitiva permanente dos estudantes foi vista como instrumento que possibilitaria melhora da qualidade da escola, mobilizando a sociedade em prol da garantia de competências escolares.

De acordo com ^{Bonamino e Franco (1999)} e ^{Werle (2011)}, em 1988, um ano após a criação do então Sistema Nacional de Avaliação do Ensino Público de 1º Grau (Saep/MEC) foi ensaiada a primeira tentativa de uma avaliação sistemática do ensino primário. O teste piloto foi aplicado nos estados do Paraná e Rio Grande do Norte e buscava avaliar instrumentos para serem aplicados em larga escala no ano posterior. Por falta de recursos, a tentativa de uma avaliação em larga escala somente foi retomada a partir de 1990. Essa avaliação contou com a participação de uma amostra de escolas públicas da rede urbana que ofertavam a 1ª, 3ª, 5ª e 7ª séries do ensino fundamental. Os estudantes foram avaliados em língua portuguesa, matemática e ciências. A 5ª e 7ª séries também foram avaliadas em redação. Esse formato se manteve na edição de 1993 (^{BRASIL, 2011}, p. 9).

Essa avaliação resultou da influência do então ministro da Educação, Hugo Napoleão, tendo ficado ao Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) a incumbência da primeira avaliação sistemática (^{FREITAS, D., 2007}). De acordo com ^{Horta Neto (2007)}, foi, também, celebrado um convênio entre as secretarias estaduais e o MEC, que culminou na contratação da Fundação Carlos Chagas.

^{Bauer e Silva (2005)} descrevem que, no ano de 1995, houve um endosso das políticas desenvolvidas pelo Inep na reformulação do Saeb, com o intuito de alinhar as avaliações nacionais ao modelo adotado pelo BM. O Saeb, antigo Saep, embora tenha decorrido de um acordo do MEC com o BM, apresentava uma metodologia de avaliação distinta do que pregava o Bird, o que iria influenciar na mudança do sistema de avaliação do Brasil (^{BONAMINO, 2002}).

Ainda em 1995, a avaliação em larga escala sofreu uma mudança substancial, pois passou a ser aplicada somente para as turmas que se encontravam na etapa final de cada ciclo da educação básica. Além disso, a disciplina de ciências e a de redação deixaram de ser objeto da avaliação. Nesse período, destaca-se a criação da Teoria da Resposta ao Item (TRI), uma metodologia de comparação de respostas que tem como objetivo analisar a evolução e ao mesmo tempo a tendência de respostas dos estudantes ao longo dos anos. A construção de uma escala de proficiência permitiu a comparação entre as diferentes provas aplicadas, bem como entre as diferentes séries avaliadas (^{HORTA NETO, 2007}).

Em 2005, o Saeb, por meio da Portaria Ministerial n. 931, de 21 de março de 2005 (^{BRASIL, 2005}), passou a ser constituído por duas avaliações de larga escala, uma conhecida como Avaliação Nacional da Educação Básica (Aneb) e a outra como Avaliação Nacional do Rendimento Escolar (Anresc). A Aneb, realizada por amostragem das turmas finais de cada ciclo da educação básica das redes de ensino e com foco nas gestões dos sistemas educacionais, recebeu o nome de Saeb nas divulgações. A Anresc, por seu caráter universal, recebe o nome de Prova Brasil (PB). A PB era censitária, avaliava todos os estudantes que frequentavam o 5º e 9º anos do ensino fundamental. As disciplinas avaliadas, a exemplo da Aneb, eram língua portuguesa e matemática e a sua aplicação destina-se às turmas da área urbana com mais de 20 estudantes. A Aneb e a PB eram bastante semelhantes. A principal diferença entre as duas avaliações é que a Aneb tinha o objetivo de avaliar as redes de ensino, enquanto a PB avalia os resultados de forma mais ampla, pois disponibiliza no site institucional informações dos resultados em nível de escola, município, estado e Brasil (^{ANDRADE, 2011}).

Ressalta-se que no ano de 2007 o Saeb teve um valor agregado bastante alto a uma de suas avaliações. Esse incremento é fruto do pacto estabelecido na conferência que tratou da Declaração Mundial sobre Educação para Todos realizada na cidade de Jomtien, na Tailândia. Um dos itens a serem observados pelos países era a criação de instrumentos estatísticos de coleta de dados a fim de subsidiar as suas políticas educacionais. O documento que institui metas para a educação, tendo como um dos parâmetros a PB, foi o Plano de Desenvolvimento da Educação (PDE), cuja vigência foi de 2007 a 2017. A meta do PDE era melhorar substancialmente a qualidade da educação oferecida às crianças. O PDE acrescenta que,

A fim de mobilizar e impulsionar a sociedade para efetivar o PDE, foi criado o Plano de Metas que estabelece um conjunto de diretrizes para que a União, os Estados, o Distrito Federal e os Municípios, em regime de colaboração, conjuguem esforços para superar a extrema desigualdade de oportunidades existente em nosso país. O Plano tem por objetivo criar condições para que cada brasileiro tenha acesso a uma educação de qualidade e seja capaz de atuar crítica e reflexivamente no contexto em que se insere, como cidadão cônscio de seu papel num mundo cada vez mais globalizado. (^{BRASIL, 2011}, p. 4).

O objetivo do plano é verificar as redes de ensino e escolas que apresentam maiores fragilidades. Para tal, foi criado o Índice da Educação Básica (Ideb), instituído por meio do Decreto n. 6.094, de 2007 (^{BRASIL, 2007}), que estabeleceu metas para cada escola até o ano de 2021. O Ideb pretende ser o termômetro da qualidade da educação em todos os estados, municípios e escolas do Brasil, combinando dados de evasão e repetência (obtidos do Educacenso) e do desempenho cognitivo dos estudantes em língua portuguesa e matemática. O PDE descreve que o Ideb é um dos eixos de prestação de contas à sociedade, pois permite a verificação de como está a qualidade do ensino por escola. Na visão de ^{Nardi e Schneider (2015)}, o Ideb é o indicador que busca sintetizar o desenvolvimento educacional e pedagógico das redes, escolas e sistemas de ensino da educação básica. Os autores explicitam que o Ideb é o indicador de maior impacto nas redes de ensino brasileiras, por traduzir simbolicamente o quanto se avançou na educação, levando em consideração a evolução temporal dos resultados alcançados a cada biênio.

No ano de 2007, as escolas rurais começaram a fazer parte da PB. Entretanto, apenas as turmas de 5º ano eram avaliadas, e, mesmo assim, apenas aquelas que tinham pelo menos 20 estudantes. Em 2019, houve a inclusão das turmas de 9º ano das escolas rurais no sistema de avaliação, desde que tivessem o número mínimo de estudantes por turma.

No ano de 2013 foi incluída no Saeb a Avaliação Nacional da Alfabetização (ANA), instituída por meio da Portaria n. 482/2013 (^{BRASIL, 2013}). A ANA tinha o objetivo de avaliar de forma censitária os estudantes do 3º ano do ensino fundamental, verificando os níveis de alfabetização e letramento em língua portuguesa e alfabetização matemática. Com periodicidade anual, os resultados dessa avaliação eram apresentados por instituição de ensino, município e unidade federativa, sendo as informações publicadas concernentes: I) às condições de oferta; e II) aos resultados relativos aos níveis de alfabetização e letramento em língua portuguesa (leitura e produção escrita) e alfabetização em matemática (^{BRASIL, 2013}).

Recentemente, o Saeb sofreu uma nova alteração. De acordo com a Portaria n. 458, de 5 de maio de 2020 (^{BRASIL, 2020}), a ANA e a Prova Brasil passam a ser identificadas como Saeb. No escopo do Saeb, são avaliadas, além das turmas do ensino fundamental e médio, como já era na PB, as turmas da educação infantil. Dessa forma, passam a ser avaliadas pelo Saeb de forma censitária as turmas de creche, pré-escola, 2º ano, 5º ano, 9º ano e 3ª série do ensino médio. O 3º ano do fundamental, que era avaliado pela ANA, deixou de sê-lo, pelo fato de a Base Nacional Comum Curricular estabelecer o 2° ano como o fim do ciclo de alfabetização, e não mais o 3º ano.

Outra mudança substancial foi em relação ao calendário. Todas as avaliações passaram a ser aplicadas em anos ímpares e os resultados divulgados em anos pares. Assim, as avaliações passaram a ser realizadas a cada dois anos, quando são aplicadas provas de língua portuguesa e matemática, além de questionários socioeconômicos aos estudantes participantes e à comunidade escolar.

PROVA BRASIL SEGUNDO A COMPREENSÃO DOS ESTUDANTES AVALIADOS

A presente pesquisa foi realizada com seis estudantes de uma turma do 9º ano do ensino fundamental de uma escola localizada no Médio Vale do Itajaí, sendo os dados oriundos de uma pesquisa de mestrado concluída em educação, na qual foi utilizada a entrevista coletiva. A escolha dos sujeitos para a entrevista coletiva foi realizada por meio de um sorteio, em que cada estudante recebeu a mesma numeração utilizada no diário escolar dos professores.

Seis sujeitos de pesquisa foram sorteados contando com o auxílio do líder da turma. Verificou-se se havia interesse dos selecionados em dialogar sobre a PB, sendo esse o principal critério de escolha. Destaca-se que os estudantes escolheram nomes fictícios como forma de garantir o anonimato e que a pesquisa passou pelo comitê de ética, recebendo parecer positivo. A participação no sorteio e na pesquisa foi voluntária e com assinatura dos termos de consentimento livre e esclarecido e de autorização para gravação de voz e/ou imagem. Para fins de construção e registro de dados, a entrevista foi gravada e posteriormente transcrita. A entrevista coletiva foi realizada na própria escola no ano de 2016, nos meses que antecederam a aplicação da PB e no mesmo dia da aplicação da PB, em momento posterior à sua realização. No entanto, para esta pesquisa foram utilizados somente dados da entrevista gerados nos meses anteriores à aplicação da prova.

Embora não se tenha um número mínimo ou máximo para a composição de uma entrevista coletiva, definiu-se como ideal o número de seis integrantes, visto que se orientou a partir do que é estabelecido para os grupos focais, em que, de acordo com ^{Malhotra (2006)}, a maior parte dos autores define um quantitativo de 6 a 12 pessoas. O que diferencia esse tipo de instrumento de geração de dados para a entrevista coletiva é que essa tem como pressupostos teóricos a concepção dialógica de linguagem e é utilizada nas pesquisas da área de ciências humanas. Salienta-se que o grupo focal tem sido bastante aplicado em pesquisas relacionadas à área da psicologia social.

A escolha da série (9º ano do ensino fundamental) se justifica pelo fato de os dados divulgados no ano de 2013, pelo Inep, demonstrarem que a média nacional do Ideb para alunos dos anos finais do ensino fundamental é 4,2, muito aquém do previsto para o ano de 2022, quando se espera que todas as escolas alcancem o coeficiente 6,0.

Para a realização da entrevista coletiva, os seis sujeitos foram posicionados em círculo, a fim de favorecer o contato face a face, que, por sua vez, proporcionou a percepção da entonação, comunicação gestual, ironia e permitiu a compreensão do enunciado em toda a sua inteireza (^{BAKHTIN, 2004}). Dessa forma, o olhar dos sujeitos não esteve unicamente direcionado para o pesquisador, que normalmente fica no centro da sala e detém o controle do que se pronuncia, mas para todos os integrantes da entrevista, visto que o objetivo desse instrumento é que todos os participantes possam manifestar os seus posicionamentos sobre o tema em estudo, abrindo margem para discussão e construção do conhecimento. Para isso, a entrevista coletiva visa ao desvelamento de sentidos e não à imposição de voz do pesquisador, ou seja, o pesquisador apresenta o tema e as questões iniciais, cabendo ao grupo apresentar a sua relação com o objeto da pesquisa.

Diante disso, adotamos, com base em ^{Marcuschi (1986)}, a transcrição de dados como procedimento de análise, em razão de a transcrição, por meio de uma série de convenções e símbolos padrão, sinalizar informações que ocorreram durante a interação real, como pausas, truncamentos, hesitações, ênfases, alongamentos de vogais, silabação, sobreposição de falas, entre outras ocorrências.

Para compreender a função da PB por meio das vozes dos sujeitos avaliados, apresenta-se um dos excertos gerados no contexto de interação de uma entrevista coletiva, meses antes à aplicação da PB pelo Inep/MEC.

Pesquisador: Pessoal, vocês atualmente estão fazendo simulados, mas vocês sabem o objetivo da Prova Brasil nas escolas?

Sam: O estudo da escola, pra ver se estão ensinando CERTO.

Lohana: É ISSO, pra ver se estão ensinando certo os conteúdos!

Mariana: É, e pra ver se quando uma escola não está ensinando ++ todo o conteúdo!

Sam: Eu acho que é para ver o desempenho dos alunos!

Miguel: Acho também isso, né, como a gente tem bom emprego se a gente não sabe ++ as coisas?!

Sam: É uma prova aplicada no Brasil inteiro para se ver a média ++ do aprendizado!

Pesquisador: Sim, mas para quê?

Erick: Para ver o nosso aprendizado

Pesquisador: Mas o que avalia?

Talita: O estudo!

Erick: É.

Pesquisador: E que disciplina?

Todos: matemática e português. [[

Pesquisador: E o que se avalia em língua portuguesa?

Sam: A interpretação! [

Erick: Interpretação? [

Miguel: O que a gente entende, não sei!

Sam: Tipo, ++ se tu sabe fazer as coisas, a NOTA AUMENTA!

Lohana: É, e isso ajuda a escola!

Erick: Isso! Diz que ++ é boa!

Pesquisador: Sim, mas avalia 21 competências leitoras que são descritas por descritores, por exemplo, o descritor D2 se refere a uma dada competência, como ver o sentido de uma palavra. Sabiam disso?

Todos: Não! [[

Pesquisador: Para saber que a prova não é jogada solta, e que cada texto e pergunta espera que vocês tenham uma determinada competência!

Mariana: Olha, EU NÃO SABIA DISSO!

Miguel: NEM EU!

Pesquisador: Acham importante isso, saber?

Sam: Sim, assim a gente fica mais ligado!

Marina: É, né, não cai em pegadinha.

Talita: TIPO ASSIM, SABE O QUE ESTUDAR, É UMA AJUDA ALÉM DO SIMULADO!

Como se observa na entrevista, a escola utiliza a estratégia de simulados para treinar os estudantes, o que motivou o pesquisador a perguntar se os estudantes conheciam o objetivo da PB. ^{Schneider e Sartorel (2016)} trazem que, em decorrência de os resultados do Ideb serem divulgados pela mídia, acaba-se entrando na lógica competitiva, comparação entre as escolas, o que ofusca a possível contribuição pedagógica da PB e leva as escolas a buscar estratégias que permitam melhorar os resultados.

Nos dizeres dos sujeitos, a PB está relacionada aos sentidos de controle. Entre eles, sublinham-se “ensinando certo”, “todo o conteúdo”, “se a gente sabe das coisas” e “ver o desempenho”. De acordo com ^{Bonamino e Sousa (2012)}, foi com a PB que as escolas passaram a ser responsabilizadas pelos índices de qualidade, fato motivado pela publicação dos resultados que permitiram o controle social por parte da sociedade. Há nas marcas linguísticas destacadas forças centrípetas homogeneizadoras (^{BAKHTIN, 2003}) geradas pelo Estado Avaliador, as quais centralizam sentidos de responsabilização e de vigilância, apontando a escola como única responsável pelos índices das avaliações externas.

O sentido de regulação produzido pelos sujeitos pode ser analisado com base no que descreve ^{Barroso (2005)}. Para o autor, uma das funções da regulação de um determinado sistema é a possibilidade da retroalimentação e o ajustamento de desvios quando verificada alguma anormalidade. No entanto, salienta o autor, deve-se ter cuidado ao buscar implantar conceitos de sistemas cibernéticos às atividades que envolvam seres humanos. Tal motivo justifica o fato de os indivíduos não usarem as respostas automáticas do sistema, dadas a criatividade e a imprevisibilidade do caráter humano.

As marcas linguísticas “ensinando certo”, “todo o conteúdo”, “se a gente sabe das coisas” e “ver o desempenho” possuem sentidos semelhantes ao que descreve D. ^{Freitas (2007)}, ao abordar os estudos de Broadfoot (1996,⁴ 2000⁵ apud^{FREITAS, D., 2007}), em que a avaliação educacional tem servido como forma de ajustar os sistemas educacionais ao status quo, controlando a forma e o conteúdo de ensino. Esse controle é decorrente da presença do Estado Avaliador que se insere no ambiente educacional, com o intuito de auditar o ensino das escolas por meio das avaliações em larga escala. São criadas formas de regulação da educação pela sociedade, tornando o resultado um produto a ser alcançado, sendo os pais, a comunidade e os alunos os clientes a quem a escola precisa prestar contas (^{AFONSO, 2009}).

Os sujeitos, conscientes ou não, sinalizam que um órgão externo à escola dita o que está certo, embora não tenham muitas informações a respeito de quem avalia e o que se avalia. Como exemplo da falta de informação de como está estruturada a PB, tem-se o que é destacado por Talita, Sam, Erick e Miguel. Para esses sujeitos, a avaliação centra-se no “estudo”, “interpretação”, “nosso aprendizado” e “no que a gente entende”.

Os dados indicam que, embora a avaliação recaia sobre as disciplinas de língua portuguesa e matemática, há um silenciamento sobre os objetivos a que ela se propõe, o que pode condicionar a uma valorização excessiva dos índices, como se eles fossem o único indicador de qualidade (^{AFONSO, 2012}; ^{SUDBRACK; GAZZOLA, 2015}), enaltecendo mais o caráter regulador do que o potencial formativo das avaliações em larga escala.

Durante a entrevista coletiva, o pesquisador questionou sobre a estrutura da PB de língua portuguesa, procurando compreender se os sujeitos de pesquisa sabiam da existência da matriz de referência de língua portuguesa, notadamente as habilidades leitoras traduzidas por meio dos descritores. Como todos os sujeitos resumiram de forma genérica os objetivos da PB, a exemplo de avaliar a “interpretação”, foi feita uma breve descrição das habilidades leitoras presentes na matriz de referência, acentuando que essas são a base para a constituição da PB de língua portuguesa.

Todos os alunos afirmaram que nunca ouviram falar das habilidades leitoras, pelo que se surpreenderam com a estrutura da avaliação apresentada, tal como sugerem os dizeres de Marina, “EU NÃO SABIA DISSO”, e de Miguel, “NEM EU!”. Nessas afirmações, e de acordo com ^{Bakhtin (2003)}, pode-se evidenciar um certo tom valorativo, razão por que, até então, todo o conhecimento sobre a PB foi provavelmente por meio da prática de simulados.

Embora o conhecimento das habilidades não supra para os sujeitos a necessidade da existência de simulados, sentido fortemente marcado na fala de Talita “É UMA AJUDA ALÉM DO SIMULADO”, compreende-se que o conhecimento pelos estudantes das habilidades avaliadas pela PB de língua portuguesa poderá desmistificar o pensamento que possa haver sobre a avaliação, a exemplo do que explicitam Sam e Marina em “gente fica mais ligado” e “não cai em pegadinha!”, pois o aprendizado que se espera deles já está previamente posto, conhecido publicamente, indo ao encontro do que explicita Talita em “SABE O QUE ESTUDAR”.

Nesse sentido, a compreensão dos alunos, e principalmente dos professores e gestores da matriz de referência, poderá auxiliar na interpretação dos resultados divulgados, bem como no entendimento e proposição de ações com base nas dificuldades verificadas (^{SOLIGO, 2010}). Assim, considera-se que a sistemática do simulado pode passar a não ser mais tão enfatizada, diante das possibilidades pedagógicas de trabalhar com as habilidades leitoras em sala de aula.

Conquanto possa ser questionada a matriz de referência da PB de língua portuguesa e se o Ideb cumpre o papel de obtenção do termômetro da qualidade da educação, cabe assinalar a função do Estado brasileiro, determinada pela Constituição Federal de 1988 (^{BRASIL, 1988}), de oferecer uma educação de qualidade para todos. Para a efetivação desse objetivo, o indicador poderá servir como um apoio, pois, caso contrário, “[...] a garantia de um padrão de qualidade para todos os cidadãos não poderá se efetivar” (^{OLIVEIRA, 2013}, p. 96).

Concebe-se que cabe prioritariamente ao Estado o poder regulatório das políticas educacionais, que, por sua vez, são refletidas nas diferentes esferas administrativas da União, sendo ressignificadas, principalmente, no interior das escolas. Exemplo disso é o que está previsto na Lei de Diretrizes e Bases (LDB), que indica que o Estado é responsável pela garantia de um padrão mínimo de qualidade para a educação. A LDB, Lei n. 9.394 (^{BRASIL, 1996}), ainda explicita que a União, junto com os sistemas de ensino, deve assegurar o processo nacional de avaliação do rendimento escolar, visando à definição de prioridades e à melhoria da qualidade do ensino. Contudo, compreende-se nesta pesquisa que essa regulação não pode ser vista como sinônimo de controle.

A avaliação em larga escala, como sentido de controle da escola, acende constantemente nas vozes dos sujeitos de pesquisa uma qualidade por vezes tratada como produto. Compreende-se que dizeres como “ensinando certo” não resumem a função da PB e do Ideb, pois são ressonâncias de pouca ou nenhuma reflexão sobre a função das avaliações em larga escala no contexto das escolas. Compreende-se nesta pesquisa que a PB deva ser vista sob a perspectiva do diagnóstico, da possibilidade de monitoramento pelas redes de ensino e escolas dos problemas detectados na avaliação, podendo equacioná-los numa linha de tempo e no âmbito de suas competências (^{FREITAS et al., 2014}). Dessa forma, as prioridades podem ser revistas e reposicionadas com base na proposta pedagógica da escola, que decidirá as ações que tomará em decorrência dos índices obtidos na avaliação externa.

De acordo com ^{Afonso (2009)}, as avaliações em larga escala têm adentrado nas escolas com o sentido de auditoria, com uma visão produtivista. No entanto, ^{Rebelatto (2015)} aponta que já é visível certa permeabilidade, por parte do governo, com políticas engajadas na busca de qualidade social, o que pode ser considerado resistência diante do tom privatista que cerceia as políticas ligadas à área da educação. Exemplo disso foi a criação de normativas posteriores à instituição do Ideb, visando a dissociar a qualidade de uma ótica produtivista. Entre as normativas, ressalta-se o parecer CNE/CEB n. 8/2010 (^{BRASIL, 2010}), que aborda uma série de padrões mínimos para a qualidade da educação básica, destacando-se a valorização da carreira do magistério e a ampliação do financiamento para a educação.

Nesse sentido, percebe-se um delineamento nas políticas da educação em relação à definição de uma qualidade menos produtivista, buscando instituí-la como uma política de Estado e menos do governo. Dessa forma, poderá amenizar o impacto das avaliações em larga escala sobre as escolas em decorrência do resultado divulgado. A qualidade educacional poderá ser concebida a partir de uma complexidade de fatores, como infraestrutura e formação docente, sendo o resultado da PB visto como mais um instrumento para auxiliar na discussão de uma qualidade que seja compartilhada pelos atores da escola.

Erick explicita que o resultado da PB traduz a qualidade do ensino da escola, conforme se infere nas marcas linguísticas “Diz que ++ é boa”. Embora a resposta do estudante possa esboçar uma relação entre o resultado positivo da avaliação e a qualidade do ensino da escola, compreende-se que não é necessariamente uma relação de causa e efeito, pois a boa prática de ensino nem sempre é sinônimo dos resultados obtidos na avaliação em larga escala. Todavia, o resultado na avaliação pode sinalizar as escolas e redes de ensino que necessitam de um olhar específico por parte das políticas públicas.

^{Koetz (2010)} afirma que o trabalho do gestor escolar se constrói junto com o coletivo, com um olhar voltado para as dimensões política, técnica, administrativa e pedagógica. Nesses termos, concorda-se com ^{Santos (2010)}, que enfatiza a importância da participação dos alunos em conselhos de classes deliberativos, dando possibilidade de incluí-los nas discussões sobre a avaliação em larga escala, concebendo esse instrumento como possibilidade para a tomada de ação e, dessa forma, contrariando uma visão de avaliação predominantemente reguladora (^{BARROSO, 2005}; ^{FREITAS, D., 2007}).

Um ideal de qualidade, produzido por Miguel, está explícito em “como a gente vai ter um bom emprego se não sabe das coisas?!”. Os dados sinalizam que o sujeito compreende que um bom resultado nas avaliações poderá lhe possibilitar sucesso no mercado de trabalho. Outro fato é que parece haver um conteúdo comum a ser ensinado, cabendo à escola ministrá-lo por completo. O sujeito infere que, se há uma avaliação externa da escola, um conteúdo basilar deverá ser ensinado, pois somente assim é que poderá se confirmar se está ou não “ensinando certo”.

Considerando o que está expresso no documento PDE/PB (^{BRASIL, 2011}), há uma aparente semelhança com os dizeres de Miguel. No caso da língua portuguesa, o documento descreve a importância de garantir o direito ao aprendizado dos estudantes, pois as matrizes contemplam as competências mínimas para o exercício da cidadania. Dessa forma, embora ainda não se possa determinar se as competências mínimas descritas nas matrizes de referência da PB são ou não essenciais para a inserção na cidadania, e mesmo considerando que há críticas a seu possível estreitamente curricular (^{MAINARDES, 2013}), ou que o currículo é mais do que as duas disciplinas objeto da avaliação (^{OLIVEIRA, 2013}), compreende-se a necessidade de existência de um padrão mínimo de competências e habilidades para que se respeite o direito ao aprendizado dos estudantes.

O sentido de responsabilização do professor com os resultados da PB é reforçado por meio da regularidade do verbo “ensinando” presente nas falas de Sam, Lohana, Mariana e Miguel, sendo elas “ensinando CERTO” e “ensinando ++ todo o conteúdo”, e pela confirmação por meio da atitude responsiva ativa (^{BAKHTIN, 2003}) “acho também isso”. A partir dos dizeres dos sujeitos de pesquisa, compreende-se que a avaliação tem como função a averiguação da principal ação docente, tal seja, ensinar certo. No mesmo contexto, ^{Nardi e Schneider (2014}, p. 8) indicam que alguns países têm adotado o uso do termo accountability como forma de responsabilização e prestação de contas dos docentes, com base nos “[...] argumentos de ineficácia dos métodos pedagógicos e do mau uso da autonomia profissional dos docentes [...]”.

Todavia, não há como desconsiderar que o gargalo das políticas que envolvem a PB consiste nas dificuldades que os professores ainda enfrentam na interpretação dos resultados da avaliação em larga escala e, como reflexo desse problema, da forma como utilizar os resultados da avaliação na sala de aula, como ilustra ^{Garcia (2014)}. Assim, embora seja inegável que o “ensinar certo” pode também ser interpretado como o direito ao aprendizado, função que necessariamente cabe à escola, ainda falta uma melhor definição do que se entende por aprendizado e qualidade. Será por meio das matrizes de referências? São assuntos que, por não estarem consolidados como política de Estado, parecem deixar margem para a supervalorização dos números obtidos na avaliação.

Nesse sentido, não é raro que falas semelhantes às referidas pelos sujeitos em estudo possam suplantar as propostas de ensino do projeto pedagógico e de ensino-aprendizagem⁶ em virtude de a escola concentrar esforços nos resultados projetados externamente, conforme descreve ^{Afonso (2009)}. Os órgãos públicos, como a escola, passam a prestar contas à sociedade e aos governos a respeito do que ensinam a partir de parâmetros previamente definidos, sendo, desse modo, uma relação de poder em que a escola tem o dever legal de se responsabilizar por seus atos (^{VIANNA, 2005}). De acordo com ^{Lima (2001)}, embora as escolas possam se orientar com base em ditames burocráticos, sempre existirá uma margem para a autonomia pedagógica, dados as microssituações que ocorrem nos espaços escolares e os sentidos construídos no contexto histórico em que estão inseridas.

Os quatro sujeitos, ao enfatizarem o verbo “ensinar” em suas falas, apresentam sentidos que direcionam para o professor a responsabilidade do não atingimento dos índices projetados pelas políticas educacionais. Para ^{Freitas et al. (2014)}, embora o Estado deva garantir o mínimo de aprendizagem para os alunos, há que se cultivar uma qualidade de educação que não se resuma aos índices alcançados pela escola. O sentido de qualidade deve ser negociado, inserido no bojo das discussões que permeiam as políticas neoliberais, pois será por meio dessa reflexão que a escola poderá propor estratégias pedagógicas que atendam às suas especificidades, sendo dessa forma uma qualidade construída e referendada pelos atores que transitam por determinado contexto escolar.

Os sujeitos, ao utilizarem expressões como “ensinando certo”, colocam a responsabilidade nas escola e nos docentes, ao mesmo tempo que confirmam que os números obtidos nas avaliações traduzem uma educação de qualidade. No entanto, questiona-se por que os pesquisados não relacionam a qualidade da educação também a outras questões. Para o cidadão que não está no dia a dia da escola, os números, pelo seu caráter de cientificidade, podem ser um forte indicador de qualidade. Todavia, para o aluno que passa nove anos em um estabelecimento escolar, que convive com inúmeras situações implicadas na qualidade da educação, como infraestrutura, formação de professores e diversidade de culturas, parece ser um contrassenso a expressão “ensinando certo”. Há um possível sentimento de não pertencimento dos alunos pesquisados à responsabilidade da qualidade da educação e, em decorrência disso, ela não é tida como bem público, isto é, dever e responsabilidade de todos (^{DIAS SOBRINHO, 2009}).

Na mesma marca linguística “ensinando certo”, são poucos os sentidos que relacionam a função da PB com a garantia do aprendizado, que mostrem a função da PB para além do controle, como a garantia de competências e habilidades mínimas necessárias para participar ativamente no mundo permeado pela escrita. Nessas falas, também se infere que o “ensinar certo” é condição indispensável para o aprendizado, como se o ensino resultasse sempre no aprendizado dos estudantes.

O único sentido que está relacionado com o aprendizado é o explicitado por Erick em “acho que é pra ver o nosso aprendizado”. Nesse contexto, embora o sujeito apresente dúvida em sua fala, ele não responsabiliza ou culpabiliza a escola ou os docentes pelos resultados nas avaliações. Para o investigado, o foco sai da escola e recai sobre o que os estudantes “estão realmente aprendendo”.

Ainda no contexto do excerto apresentado, enfatiza-se o sentido que a materialidade linguística “ver” e “certo” desempenham no contexto da interação. Com exceção da Talita, o verbo “ver” é referenciado em todas as falas, sendo elas “pra ver se estão ensinando certo”, “pra ver se estão ensinando certo os conteúdos”, “ver desempenho dos alunos”, “ver a média ++ do aprendizado” e “ver o nosso aprendizado”. O advérbio “certo” aparece nas falas de Sam e Lohana com o sentido de “ensinando certo”. Os sujeitos, ao fazerem referência às classes morfológicas mencionadas, extrapolam o simples significado encontrado no dicionário, pois, na cadeia enunciativa, ele adentra o campo dos sentidos (^{CEREJA, 2014}).

No contexto da interação com os sujeitos, o verbo “ver” adquire o sentido de verificar, quantificar, controlar; não previstos fora de um contexto de enunciação. Isso ocorre porque, quando a palavra adentra a cadeia comunicativa dos sujeitos, ela deve ser analisada como um enunciado vivo, posto que traz consigo ideologias - sejam oficiais ou cotidianas -, ironia, expressão, emoção, entre outras especificidades presentes na interação (^{BAKHTIN, 2004}). No entanto, concorda-se com ^{Oliveira (2013)}, que expressa que o Ideb deveria ter duas facetas, uma absoluta e outra relativa. A primeira resume-se aos resultados, semelhante ao dizer de Sam de “ver o desempenho dos estudantes”. A segunda, não presente nos dizeres dos sujeitos, até porque parece ser bastante velada pelas políticas educacionais, e por sinal não é holofote nas mídias, seria o resultado ajustado ao nível socioeconômico da escola, pois pode haver um estabelecimento educacional com nível socioeconômico baixo, mas, mesmo assim, dentro de suas limitações, realizando excelentes trabalhos com os alunos. Por isso a necessidade de considerar a qualidade a partir de uma dimensão social, concebendo sujeitos e escolas em sua plenitude e não somente pelos resultados nas avaliações.

O enunciado considerado em sua inteireza permite inferir o sentido dos dizeres de Sam e Lohana com o uso do advérbio “certo”, consoante exposto para “ensinando certo”. Na cadeia comunicativa, o excerto é realçado por Sam por meio da entonação expressiva no advérbio “CERTO”. Para ^{Brait (2014)}, a avaliação e a entonação permitem ao sujeito dar a sua visão e ponto de vista pessoal sobre um deter- minado assunto.

Ao enfatizar uma dada palavra no contexto enunciativo, ela é inserida para servir aos propósitos mais imediatos dos sujeitos, podendo, dessa forma, ter a concordância ou não daquele que a recebe. No entanto, por a palavra possuir duas faces, o outro poderá discordar dos sentidos atribuídos por seu interlocutor e, com isso, outros sentidos poderão vir a se somar, modificar, discordar, entre outros (^{BAKHTIN, 2004}).

Com o olhar ainda na mesma materialidade linguística, explicita-se que a utilização de advérbios de modo, na fala ou na escrita, serve para qualificar ou modificar um verbo, representando a mesma função qualificadora que possui o adjetivo para o substantivo, atribuindo, dessa maneira, uma certa singularidade ao dito (^{BONFIM, 1988}). Desse modo, ao utilizarem o advérbio “certo”, os sujeitos o fazem com o objetivo de se apoiarem em uma determinada posição valorativa, ou seja, se as escolas estão ou não “ensinando certo”.

Uma fala reproduzida pela mídia e que retrata uma das funções da PB apresenta-se em um dos discursos dos sujeitos. No dizer “ver o desempenho dos estudantes”, Sam utiliza como contrapalavra ao seu interlocutor um discurso reportado (^{FARACO, 2009}, p. 39), isto é, “[...] a presença da palavra de outrem explícita nos enunciados”. Para ^{Faraco (2009)}, os sentidos produzidos no contexto da interação podem não ser necessariamente oriundos do diálogo face a face, mas orientados por relações dialógicas mais amplas.

A fala de Sam são ecos do que descreve o Plano de Desenvolvimento da Educação (PDE), em que o objetivo das provas é

[...] aferir a real situação do sistema educacional brasileiro a partir da avaliação de desempenho dos estudantes e fazer o levantamento de informações sobre escolas, professores e diretores. (^{BRASIL, 2011}, p. 2).

A mesma marca linguística, “ver o desempenho dos alunos”, pode ser analisada na perspectiva da ideologia oficial. Ao utilizar o discurso alheio em uma dada situação comunicativa, não apenas se o retira de seu contexto e se o insere na enunciação. O discurso do outro carrega um determinado conjunto de valores, de posição de mundo e forma de interpretar e significar determinadas situações (^{MIOTELLO, 2014}).

Quando Sam explicita argumento em consonância com os documentos oficiais, em que o desempenho do leitor é um indicador de qualidade, assemelha-se ao que discutem ^{Pacheco e Marques (2015)}, ao tratarem da concepção de educação pautada pela produtividade. Outros estudos problematizam medir a qualidade da educação somente por meio de testes cognitivos, pois, nas avaliações em larga escala, há a influência do mercado internacional sobre o Estado, podendo prevalecer, assim, princípios mercadológicos sobre o pedagógico (^{DIAS SOBRINHO, 2009}; ^{HORTA NETO, 2006}).

O próprio documento PDE/PB (^{BRASIL, 2011}) aponta as fragilidades da PB e do Ideb, devendo ser consideradas questões como formação de professores, infraestrutura, gestão escolar, entre outras. Dessa forma, ressaltam-se as palavras de ^{Freitas et al. (2014)} ao descrever o papel do coletivo da escola na busca de uma qualidade negociada, isto é, compreender os mecanismos de princípios neoliberais, como a busca da eficiência nos resultados e a comparação entre escolas, e ressignificá-los com base no contexto da escola para que a proposta pedagógica se fortaleça perante as políticas produtivistas.

A escola interpreta e ao mesmo tempo ressignifica (^{BAKHTIN, 2003}) os discursos neoliberais, influenciando, por conseguinte, os sentidos atribuídos pelos sujeitos às avaliações nacionais. E, a partir desses discursos, em que há dissonância e concordância entre as vozes sociais, o sujeito se constrói como unicamente situado em um dado contexto, passando a conceber a PB por meio desses ecos que o circundam.

CONSIDERAÇÕES FINAIS

Ao longo deste artigo, buscou-se compreender a função da PB de língua portuguesa a partir da ótica de seis estudantes do 9º ano do ensino fundamental. No diálogo com os dados da pesquisa, foi enfatizada a importância de problematizar a função da avaliação em larga escala nas escolas. Assim, se os sujeitos de um dado espaço escolar supõem que os conhecimentos mínimos cobrados nas avaliações em larga escala são essenciais, até porque o discurso oficial propagado pelas avaliações sinaliza isso, nada impede que eles sejam transformados em objetivos pedagógicos.

Mas isso será por decisão do grupo e ressignificado no contexto de outros conteúdos tão mais importantes que habilidades e competências. Concorda-se com ^{Bonamino e Sousa (2012)} e ^{Fernandes e Gremaud (2009)} que o problema das ava- liações não está tanto em ela se centrar unicamente nas disciplinas de língua portuguesa e matemática, mas no reducionismo que ocorre nessas disciplinas quando há o excessivo direcionamento para as competências e habilidades cobradas na PB.

Salienta-se que os sujeitos atribuem à avaliação sentidos como “ensinar certo”, de “verificação”; imputando a responsabilidade dos resultados somente à escola e aos docentes, e não se tornando corresponsáveis pelos resultados divulgados. O mesmo contexto é abordado por ^{Dias Sobrinho (2009)}, que afirma que as avaliações devem ser responsabilidade de todos. Para os sujeitos em estudo, há relação entre o aumento do Ideb nas escolas e a qualidade do ensino, demonstrando uma compreensão reduzida da avaliação em larga escala em face da complexidade que envolve o processo de ensino-aprendizagem.

Os dados sinalizam que a prática de simulados é aceita entre os sujeitos. Há uma ideologia do cotidiano (^{BAKHTIN, 2004}), presente nos discursos dos alunos investigados, de que, para se sair bem na avaliação, eles precisam do exercício de resoluções de provas semelhantes à PB, além do contato com situações vivenciadas no dia da PB, como, por exemplo, responder às questões individualmente.

Do exposto, compreende-se, embasados em ^{Afonso (2012)}, que a política de accountability não pode ser resumida a dados provenientes do Ideb. Há que discutir esses dados junto com uma qualidade que seja científica, pedagógica e democrática. Do contrário, tem-se uma responsabilização e uma prestação de contas que não atentam para a complexidade que envolve uma avaliação, ainda mais quando os resultados passam a orientar as políticas educacionais.

As tensões são sentidas e ressignificadas pelos alunos que participam das avaliações em larga escala. Desse modo, o sentido verticalizado de avaliação em larga escala somente mudará quando o tema for colocado em debate pelas instâncias responsáveis por planejar a educação no Brasil, quando outras pesquisas, no mesmo domínio da ciência, retratarem o perigo do entendimento de uma concepção de avaliação em larga escala enviesada, sendo o resultado concebido como sinônimo de uma educação de qualidade.

Nesse sentido, a regulação da educação deve ser a porta de entrada para a promoção do diálogo na escola e na comunidade a respeito da avaliação em larga escala, visto que as escolas avaliadas são compostas de pessoas de diferentes regionalidades e perspectivas de formação humana. Por isso, há necessidade de uma maior reflexão sobre os indicadores, bem como de cultuar um discurso pedagógico que não culpabilize docentes e gestores escolares, mas que fortaleça o papel formativo da avaliação, concebendo a educação como um direito público e, como tal, de responsabilidade de todos.

Assim, em meio aos discursos neoliberais, reforçados em grande parte pelas políticas educacionais e referendados pelos noticiários jornalísticos, qual seria a possível saída para que a sociedade e, consequentemente, professores e alunos concebam a avaliação em larga escala como um dos instrumentos para a construção de uma qualidade, que atenda aos anseios das escolas? Compreende-se que a universidade, centro de formação de professores, necessita inserir em seu currículo espaços para o diálogo e discussão crítica a respeito da avaliação educacional.

Embora o texto se refira a uma pesquisa de 2017, destaca-se a possibilidade de usar depoimentos de estudantes e os dados obtidos para discutir as políticas de avaliação e estimular outras pesquisas. Dessa forma, a concepção de qualidade privilegiada atualmente, fortemente centrada nos aspectos quantitativos, poderá ser contraposta por meio de uma qualidade de dimensão social, visto que os resultados nas avaliações externas serão discutidos e problematizados conjuntamente com outros fatores considerados indispensáveis pela escola para a garantia de uma educação de qualidade para os estudantes.