Introdução

Quando se fala em avaliação em larga escala, de antemão, poderá certamente aparecer o conceito de nota, índice, testes, ranking entre instituições educacionais, enfim, associando-a a instrumentos de medidas e esquecendo o seu propósito maior: ter um termômetro da qualidade da educação, um feedback para os gestores, comunidade e para os sistemas de ensino responsáveis por propor melhorias para a educação. Assim, com o desconhecimento desse princípio, corre-se o risco das instituições de ensino se preocuparem somente com índices, deixando de questionar e problematizar as causas que de fato levam a não atingir o que propõem as políticas públicas, podendo até mesmo, virar reféns das avaliações externas.

Desse modo, este artigo apresentará a avaliação em larga escala sobre o viés de bem público, como denominada por ^{Dias Sobrinho (2013)}, porque, desta forma, não será o gestor o único responsável por analisar e propor melhorias para os resultados das avaliações aplicadas por agentes externos, inserindo na discussão professores, estudantes e servidores administrativos – comunidade interna e externa. Embora o autor se refira ao Ensino Superior, em tese, isso se aplica às várias avaliações em larga escala considerando que fornecem subsídios para a tomada de decisões da comunidade escolar.

Presume-se neste artigo que a participação de todos na discussão da avaliação educacional, envolvendo diferentes dimensões que englobam uma instituição possa tornar os índices divulgados mais fieis a realidade educacional A nota obtida por testes avaliativos seria apenas um dos requisitos a serem avaliados. Esta não tem cor, é inodora e incompreensível frente à realidade da instituição. Serão os sujeitos com suas individualidades que darão voz às avaliações, apresentarão as dificuldades, propondo mudanças, compreendendo, com isso, a avaliação como um ato complexo. Por isso, um teste deve ser apenas um dos requisitos de análise das instituições educacionais, seja, uma escola da educação básica, ou uma instituição da educação superior.

Considerando, ainda, o papel sinalizador de uma avaliação em larga escala, ^{Souza (2013)} problematiza que não basta que os resultados cheguem à escola, ao sistema ou às redes de ensino. Na ótica dessa autora, os índices devem ser pautas das avaliações internas realizadas pelas escolas para que a comunidade possa estar a par dos desafios a serem superados e seja coautora de uma qualidade compartilhada por todos e com dimensão social. Nesse sentido, não se restringirá à ótica produtivista, mas nas “múltiplas determinações que afetam as condições de ensino e aprendizagens nas escolas […]” (^{NARDI; SCHNEIDER, 2015}, p. 30) e nesse caso serem concebidas com “status de bem público”.

Com os autores acima, os proponentes deste texto, entendem que o status de bem público implica reconhecer o envolvimento da comunidade educacional em todas as etapas do fazer pedagógico, do qual a avaliação, neste caso, em larga escala, é apenas um diagnóstico, com limitações, embora possa oferecer pistas relevantes.

Assim, para a oferta de uma educação com justeza, a participação democrática perpassa todos os níveis da educação. Nesse contexto, nosso olhar se volta para os dois principais instrumentos de avaliação da educação no Brasil. O Sistema de Avaliação da Educação Básica (Saeb), mais precisamente as avaliações que se direcionam para a avaliação censitária da Educação Básica, isto é, ANRESC/PROVA BRASIL, e o Sistema Nacional de Avaliação da Educação Superior (Sinaes), responsável pela avaliação da Educação Superior.

As avaliações em larga escala se fortaleceram como política de governo no início da década de noventa a fim de colocar as políticas em educação em sintonia com os novos conceitos herdados da administração privada, como: privatização, indicadores, eficácia, eficiência etc. Ciente dessa origem, o objetivo deste artigo é analisar os dois principais instrumentos de avaliação da educação brasileira: o Saeb e o Sinaes, com o intuito de estabelecer um paralelo entre esses sistemas, verificando a existência de princípios que assegurem às avaliações citadas o status de bem público.

Para a realização do objetivo proposto, inicialmente, será contextualizado o surgimento da avaliação em larga escala, momento histórico da origem do Saeb e do Sinaes. Após, será abordado cada sistema de avaliação separadamente, apresentando quais instrumentos são utilizados para a realização da avaliação institucional, seguido de apontamentos sobre as possibilidades de um movimento participativo, em que todos possam ser envolvidos na busca por uma educação mais democrática.

Uma breve análise sobre a gênese das avaliações em larga escala

Nesta seção delinearemos algumas discussões sobre o papel que desempenhou as avaliações em larga escala no Brasil a partir dos anos noventa, sendo o instrumento que buscou sintonizar as políticas públicas da educação na perspectiva ideológica do liberalismo econômico mundial, reforçando princípios como eficiência, produtividade, regulação, entre outros. Veremos que, inicialmente, a proposta de uma avaliação institucional das instituições de ensino caminhava a passos lentos, servindo muito mais como um instrumento com fins burocráticos, com o intuito de mapear estatisticamente diferentes setores da educação, do que um plano concreto que permitisse avaliar as políticas da educação e, a partir dos dados, buscar alternativas de melhorias.

Registramos aqui as diferentes experiências das instituições de Ensino Superior com a avaliação institucional que já conta com uma considerável história. A avaliação institucional pode ser colocada como uma condição interna e as exigências externas, impulsionadas pelo liberalismo econômico.

Segundo ^{Horta Neto (2007)}, foi longo o caminho para se levantar dados estatísticos sobre a educação brasileira até que se chegasse a um sistema de avaliação. O autor aborda que a primeira medição faz parte do Anuário Estatístico da Educação no Brasil que começou a ser realizada no ano de 1906. Nesse período, foram levantados dados sobre os níveis de ensino público e privado, sendo eles, superior, profissional, secundário e primário. Os dados forneciam informações sobre o número de escolas, docentes, estudantes, evasão, reprovação etc.

A primeira avaliação institucional aconteceu nos Estados Unidos no ano de 1930. Devido à crise que assolava o país, jovens que estavam distantes das escolas buscavam no ensino a forma de conseguir uma instrução e, por conseguinte, o emprego. ^{Vianna (2005)} aponta que Ralph Tyler foi o verdadeiro iniciador da avaliação institucional, ele coloca em debate se o conteúdo que estava sendo ensinado nas escolas era útil para a sociedade. Como resultado dessa indagação, foram selecionadas 30 escolas do estado de Ohio para que em um intervalo de oito anos desenvolvessem novas metodologias de ensino a fim de atender as ingerências que o mercado solicitava, a qual após esse período passariam por avaliações nacionais. Percebe-se que esse tipo de sistemática de avaliação seria bastante reforçado na década de 1990, por meio do Provão no Ensino Superior e do Sistema de Avaliação da Educação Básica (Saeb).

^{Horta Neto (2007)} realça ainda, que em 1961 foi aprovada a primeira Lei de Diretrizes e Bases da Educação (LDB), Lei 4.024/61 que referenciava os termos: qualidade e produtividade na educação. No artigo 96, a Lei determinava que cabiam ao Conselho Federal de Educação e aos Conselhos Estaduais de Educação desenvolverem esforços para acompanhar a educação. Aqui já reside também uma condição interna, mas com procedências externas, nem sempre muito claras para os atores, do passado e do presente. O mesmo autor reforça que o termo produtividade seria fortemente enfatizado a partir dos anos oitenta e início dos anos noventa com a reestruturação da máquina pública.

A relação entre avaliação e qualidade seria amplamente divulgada em âmbito internacional no Relatório de Coleman, de 1965. Essa foi uma avaliação que abrangeu cinco níveis de ensino nos Estados Unidos e 645 estudantes. Tinha o intuito de verificar qual era a variação dos conhecimentos adquiridos pelos estudantes. Como principal contribuição, trouxe que as principais dificuldades não estavam ligadas às causas interiores de dentro da escola, mas a aspectos socioeconômicos.

Nos anos seguintes, mais precisamente a partir da década de noventa, mudanças econômicas iriam influenciar fortemente as políticas públicas mundiais. O Estado do Bem Estar Social, sistema econômico em que o estado detinha uma grande parte de empresas públicas com o intuito de melhor servir a população, entra em crise devido ao inchamento da máquina estatal. ^{Costa (2008)} explicita que o liberalismo, em que o estado deixa muitos setores à livre concorrência, entra em cena nesse momento.

Para ^{Souza (2009)}, há uma nova língua, os termos: globalização, estado mínimo, reengenharia, sociedade do conhecimento, qualidade total, empregabilidade, dentre outros, que em conjunto configuram a chamada ideologia neoliberal passaram a fazer parte da dinâmica das instituições públicas federais. Há um conjunto de conceitos emprestados do setor privado que passam a configurar o novo modelo de gestão pública.

A reconfiguração do Estado com a ascensão do neoliberalismo favoreceu profundos questionamentos sobre os recursos aplicados à educação e às políticas sociais, propugnando por reformas. A avaliação passou a ser encarada como possibilidade de aferir resultados dos investimentos feitos na área educacional, bem como desenvolver mecanismos de controle e regulação. Os resultados na avaliação educacional foram se confirmando como uma forma de avaliar a efetividade dos gastos com a educação e como sinônimo de competitividade perante as potências mundiais (^{AFONSO, 2009}).

^{Pereira (2012)} retrata que o Estado foi reconfigurado em decorrência da influência do livre-mercado, assumindo mais o papel de regulador em vez de executor de políticas na área de Educação. Esse movimento tinha o intuito de diminuir os gastos do Setor Público. Na sequência, para que fosse dada maior responsabilização pelos serviços prestados à população, o Estado investiu em mecanismos de avaliação institucional sofisticados.

Para ^{Afonso (2009)}, no Brasil e em muitos países periféricos ao se descentralizar os serviços públicos, restando apenas a regulação do bem público prestado, deu-se ênfase à educação voltada para os resultados, esquecendo-se dos processos e do quão complexo é o ato educativo. ^{Dias Sobrinho e Brito (2008)} observam que nesse momento de instabilidade de setores públicos, com privatizações no decorrer da década de 1990, foram implementadas avaliações institucionais que dessem suporte às instituições na busca de melhorias, sem com isso desligar-se das políticas públicas promovidas em decorrência do sistema liberal.

Nisso, a educação para alguns teóricos passou a ser concebida por quase mercado, embora ainda esteja sob a chancela do Estado. Há a ascensão da competição entre as escolas e o controle dos pais com os resultados alcançados por seus filhos nas avaliações. Esses aspectos são alavancados por meio da avaliação estandartizada e por meio da sua publicitação os quais enfatizam “elementos de mercado e outras lógicas específicas do setor privado” (^{AFONSO, 2009}, p. 118).

A reconfiguração do Estado com a ascensão do neoliberalismo favoreceu profundos questionamentos sobre os recursos aplicados à educação e às políticas sociais, propugnando por reformas. A avaliação passou a ser encarada como possibilidade de aferir resultados dos investimentos feitos na área educacional, bem como desenvolver mecanismos de controle e regulação. Os resultados na avaliação educacional foram se confirmando como uma forma de avaliar a efetividade dos gastos com a educação e como sinônimo de competitividade perante as potências mundiais (^{AFONSO, 2009}).

Em meio à influência do mercado e da preocupação do Estado em avaliar as políticas públicas, a década de 1980 pode ser considerada como a que legitimou o surgimento do “Estado avaliador”. De acordo com ^{Oliveira (2011)}, Neave é considerado como um dos primeiros a utilizar o termo (NEAVE, 2001 apud ^{OLIVEIRA, 2011}, p. 55). O Estado avaliador surgiu em meio à crise do capitalismo na década de 1980 e buscou aferir a qualidade por meio de instrumentos de avaliação em larga escala. ^{Afonso (2013)} apresenta o Estado avaliador a partir de três fases e, embora em algum momento seja dado ênfase a um dos períodos, eles podem estar presentes conjuntamente a depender da política adotada por determinado país.

A primeira fase do Estado avaliador teve início nos países centrais, Estados Unidos da América e Inglaterra, por volta dos anos de 1980, e aos poucos se estendeu para vários cantos do planeta. Esse momento está relacionado à acentuação do neoliberalismo e do neoconservadorismo na administração pública, com a criação de mecanismos de responsabilização pelos resultados obtidos nas avaliações em larga escala.

No segundo estágio, o autor se refere à criação de um instrumento de avaliação em larga escala em âmbito mundial, que se concretizou com a entrada da Organização para a Cooperação e Desenvolvimento Econômico (OCDE). Trata-se do Programme for International Student Assessment (PISA), que alcançou uma aparente consensualidade acerca de sua eficácia em nível mundial, dada a sua abrangência e a possibilidade de comparação entre as nações que participam da avaliação.

A terceira fase do Estado avaliador, segundo ^{Afonso (2013)} ainda não está bem definida. No entanto, o autor descreve que estão em jogo estratégias de exacerbação e diversificação das lógicas Neoliberais, as quais enfatizam a privatização, a mercadorização e a mercantilização. Além disso, promovem a seletividade e aumentam a desigualdade, visto que visam ao alcance dos índices projetados em nível global.

Nesse contexto, documentos legais no Brasil reforçaram a lógica mercadológica, enfatizando em demasia princípios como eficiência e produtividade para a educação. O termo qualidade na educação foi pincelado pela Constituição Federal de 1988 e trouxe que a educação brasileira deveria ser ofertada com base em sete princípios, entre eles a garantia do padrão da qualidade. A atual LDB, Lei 9.394 de 1996, veio em parte promover a aplicabilidade de nossa Lei maior, estando em sintonia com a política avaliativa em âmbito nacional. Sobre a LDB, ^{Horta Neto (2007}, p. 4), enfatiza que “pela primeira vez a legislação refere-se à coleta de informações e à avaliação com o objetivo de atuar sobre a qualidade do ensino”.

As discussões que permeavam a construção desse documento, embora a LDB ainda não estivesse aprovada no ano de 1995, já estavam presentes quando da intuição do Provão do Ensino Superior, criado em 1995 através da Lei federal 9.1319 e detalhado um ano mais tarde, pelo Decreto 2.02610. Essa legislação determinou que exames escritos devessem ser aplicados anualmente, em todo o território nacional, a estudantes concluintes de cursos de graduação. Foi planejada uma expansão gradual do número de cursos sob avaliação de modo a garantir cobertura de todas as áreas. A determinação dos cursos avaliados a cada ano deveria ser divulgada por decreto. Os resultados agregados de cada curso avaliado deveriam ser encaminhados para as instituições que os tinham oferecido, mas nenhum dado sobre os resultados individuais dos estudantes deveria ser fornecido.

^{Cunha (2006}, p. 4) aborda que a publicização dos resultados do Provão do Ensino Superior “fez com que as instituições de ensino superior, os cursos, os professores e os estudantes se mobilizassem no sentido de desencadear medidas que garantissem um desempenho positivo no ‘provão”. A mesma autora acrescenta que as instituições usavam como estratégia de marketing as notas obtidas nessas avaliações. Com isso, esse tipo de avaliação influenciou as propostas pedagógicas dos cursos e instituições, porque se começou a preparar os estudantes para o Provão, disseminando a prática de simulados ou privilegiando determinados conteúdos mais recorrentes na prova o que na prática contrariava o sentido da avaliação com status de bem público.

A trajetória da avaliação na Educação Básica, a exemplo das avaliações do Ensino Superior, está marcada pela presença e fortalecimento do estado avaliador a partir da década de noventa (^{AFONSO, 2012}). Segundo ^{Werle (2011)}, a primeira avaliação sistemática da Educação Básica no Brasil foi oriunda de acordos econômicos e tinha o intuito de avaliar os impactos do Programa de Expansão e Melhoria da Educação no Meio Rural do Nordeste (Edurural). Tal programa teve um grande investimento financeiro, sendo 35% do montante financiado pelo Banco Mundial. O instrumento utilizado foi uma avaliação com o objetivo de verificar o desempenho dos estudantes que residiam nos municípios atendidos, tendo sido contratada pelo MEC a Fundação Carlos Chagas para desenvolver os estudos, elaborar os projetos e implementar a avaliação do Programa. Os dados foram coletados nos anos de 1981, 1983 e 1985, em 60 municípios de três Estados, nomeadamente, Pernambuco, Ceará e Piauí, em uma amostra de 600 escolas e 6.000 estudantes.

A primeira aplicação da ANRESC/Prova Brasil foi realizada no ano de 2005, e em 2007 foi criado o Índice de Desenvolvimento da Educação Básica (IDEB) por meio da portaria nº 047 de 2007, com metas estabelecidas para cada escola até o ano de 2022. Diferentes das avaliações anteriores em larga escala, a Prova Brasil passa a ser censitária e avalia a aprendizagem de estudantes do quinto e nono ano do Ensino Fundamental em Língua Portuguesa – com foco na leitura – e em Matemática com foco na resolução de problemas. Até essa data todas as escolas devem obter pelo menos a média seis, projetada em âmbito nacional.

^{Barroso (2005)} descreve que no novo modelo econômico o estado não se retira da educação, mas se insere como o regulador e avaliador das políticas públicas através de mecanismos de modernização tecnológica que têm o intuito de captar de forma neutra o nível de produtividade dos estudantes. Criam-se objetivos a atingir, nesse caso, os índices para cada instituição ou curso, descentraliza-se a execução das políticas e propostas pedagógicas, mas são centralizados os resultados e enfatizados através de mecanismos de avaliações externas.

Dessa forma, vemos que na década de noventa as propostas de avaliação da Educação Básica e Superior foram fortemente marcadas por políticas regulatórias, deixando de lado os atores que são avaliados e que se encontram no contexto educacional. Legislações como a LDB vêm reafirmar a importância das avaliações a fim de se buscar a qualidade da educação, dando indícios da inserção de ideologias capitalistas nas políticas públicas educacionais do País.

Nesse breve contexto do surgimento das avaliações em larga escala é visível que, tanto as políticas relacionadas à Educação Básica, como as direcionadas ao ensino Superior têm sua origem com a ascensão do liberalismo econômico, sendo a avaliação em larga escala uma das formas para avaliar a eficiência da educação. Nesse sentido, não tiveram em sua gênese o status de bem público como defende Dias Sobrinho (2009) a qual avaliação é um direito de todos e, sendo de cunho social, todos devem refletir sobre os seus resultados e sobre a tomada de decisão a fim de dirimir os eventuais problemas constatados. Nesse mesmo sentido a avaliação é conceituada por ^{Nardi e Schneider (2015}, p. 30), pois se tomadas pelo coletivo da escola e pela sociedade, podem auxiliar na reflexão e proposição de ações que visem atender a uma qualidade a partir de uma dimensão social, isto é, para além da ótica produtiva “avaliar as múltiplas determinações que afetam as condições de ensino e de aprendizagem nas escolas e não apenas as passíveis de serem aferidas por elementos objetivos ou quantificáveis […]” (^{NARDI, SCHNEIDER, 2015}. p. 30).

A seguir discutiremos os instrumentos que fazem parte do Sistema de Avaliação da Educação Básica (Saeb), mais precisamente da ANRESC também denominada Prova Brasil e do Sistema de Avaliação da Educação Superior (Sinaes).

O Sistema de Avaliação da Educação Básica

Nesta seção discutiremos especificamente o Sistema de Avaliação da Educação Básica (Saeb) após termos abordado alguns pontos que contribuíram para a formação da avaliação em larga escala no Brasil.

O Sistema de Avaliação da Educação Básica tem como objetivo

[…] avaliar a Educação Básica brasileira e contribuir para a melhoria de sua qualidade e para a universalização do acesso à escola, oferecendo subsídios concretos para a formulação, reformulação e o monitoramento das políticas públicas voltadas para a Educação Básica. Além disso, procura também oferecer dados e indicadores que possibilitem maior compreensão dos fatores que influenciam o desempenho dos alunos nas áreas e anos avaliados (^{INEP, 2011}).

Do excerto, verificamos que a avaliação em larga escala tem o objetivo de oferecer elementos para que se possa avaliar e propor melhorias para a educação. Os indicadores são os elementos concretos que balizam o que vem a ser uma educação de qualidade. O site do INEP apresenta que o Sistema de Avaliação da Educação Básica (Saeb) é composto de três avaliações em larga escala: Avaliação da Educação Básica (ANEB), Avaliação Nacional do Rendimento Escolar (ANRESC/Prova Brasil) e Avaliação Nacional da Alfabetização (ANA). A primeira avalia de forma amostral as turmas do 5º, 9º e 3º ano do Ensino Médio. A segunda, conhecida pela população como Prova Brasil, avalia de forma censitária as turmas de escolas públicas do 5º e 9º ano do Ensino Fundamental. Participam dessa avaliação as escolas que possuem, no mínimo, 20 estudantes matriculados nas séries/anos avaliados, sendo os resultados disponibilizados por escola e por ente federativo. Já a última foi incluída no Sistema de Avaliação da Educação Básica por meio da portaria 483, de 2013, e tem o objetivo de avaliar de forma censitária os estudantes do 3º ano do Ensino Fundamental, verificando os níveis de alfabetização e letramento em Língua Portuguesa e alfabetização Matemática.

As avaliações em larga escala se inserem na escola e na sociedade como uma nova forma de regulação, ou seja, além do Estado, a sociedade passa a controlar os índices da Educação Básica por meio da responsabilização da escola (^{BONAMINO; SOUSA, 2012}). Nesse caso, compreendemos a necessidade de problematizar a função das avaliações em larga escala, no caso do Brasil, a Prova Brasil, para que possamos contrapor a uma noção de qualidade forjada da educação (^{SOUSA, 2014}), e para que o número não seja uma tradução do andamento do processo pedagógico e de outras condições ímpares que envolvem diferentes contextos escolares vindo desse modo na perspectiva da discussão dos resultados de forma democrática e status de bem público. O IDEB é composto pela “taxa de rendimento escolar (aprovação) e média de desempenho nos exames padronizados aplicados pelo INEP. Os índices de aprovação são obtidos a partir do Censo Escolar, realizado anualmente pelo INEP” (^{INEP, 2011}).

Na visão de ^{Nardi e Schneider (2015)}, o IDEB é o indicador formal que busca sintetizar o desenvolvimento educacional e pedagógico das redes, escolas e sistemas de ensino da educação básica. Os autores explicitam ainda que, na atualidade, esse é o indicador de maior impacto nas redes de ensino brasileira, haja vista por traduzir simbolicamente o quanto se avançou na educação, levando em consideração a evolução temporal dos resultados alcançados a cada biênio.

Dentre as três avaliações em larga escala da Educação Básica, ^{Bonamino e Sousa (2012)} descrevem que a Prova Brasil é atualmente o principal indicador utilizado para traçar metas para a educação. O Estado espera que uma pactuação de metas entre o MEC, Secretarias Estaduais e Municipais possa aumentar a mobilização na busca de uma qualidade para a Educação. As autoras argumentam que foram avaliados mais de 3 milhões de estudantes e 4 mil escolas no primeiro ano de aplicação da Prova Brasil.

^{Fernandes e Gremaud (2009)} apresentam que a Prova Brasil aumentou o controle social e a responsabilização da Administração Pública pelos resultados alcançados. Permite que seja unido o discurso do diagnóstico, propagado pelos documentos oficiais, com o discurso da responsabilização, o que é apenas possível a partir da divulgação e publicação dos resultados em âmbito de escola.

Todavia, estudos vêm demostrando que o IDEB e até mesmo a Prova Brasil por si só são insuficientes para auxiliar na democratização do ensino, em uma qualidade que atenda os diferentes contextos, pois o que há com a Prova Brasil são testagens em larga escala (^{OLIVEIRA, 2013}). Para contribuição na melhoria da educação, compreendemos que há necessidade de posicionamentos menos passivos, mais críticos e participativos pelos atores do contexto escolar, propondo ações a partir dos resultados.

Desta forma, embasados em estudos de ^{Koetz (2010)}, reforçamos o papel da gestão democrática na escola, contrapondo-se ao modelo empresarial gerencialista em que o poder centra-se na mão do diretor e a ele cabe a busca pela eficiência, pressionando os docentes e alunos pela busca da perfomatividade. O autor descreve que a gestão democrática enfatiza o compartilhamento do poder e participação da comunidade na gestão. Essa abertura poderá colocar em pauta de discussão os resultados das avaliações em larga escala, utilizando-a como subsídio para que se permita refletir sobre as competências, temas e habilidades que precisam ser reforçadas pela proposta pedagógica da escola.

Pesquisas têm demonstrado que os resultados da Prova Brasil ao serem inseridos no contexto da escola como status de bem público, repercutem para além de sentidos relacionados à auditoria com reflexos de culpabilização e responsabilização. As pesquisadoras ^{Rios e Trevisol (2015)}, desenvolveram um estudo envolvendo 18 escolas da mesorregião Oeste de Santa Catarina. Ela tinha como objetivo analisar as ações dos gestores escolares a partir dos resultados do IDEB de 2011 e 2013. Os gestores responderam questões que versavam sobre os eixos: I – Infraestrutura escolar; II – Gestão escolar; III – Formação dos profissionais da educação básica; e IV – práticas pedagógicas. Embora as ações dos gestores estivessem predominantemente associadas aos eixos I e II, todos os eixos foram mencionados pelas escolas, o que sinaliza o potencial dos resultados da Prova Brasil quando esta serve como instrumento de reflexão e ação.

Por fim, o conceito de qualidade necessita ser negociado nas escolas (^{FREITAS, 2014}), pois mesmo que haja princípios neoliberais embebidos na Prova Brasil, esses podem ser negociados e ressignificados pela unidade escolar a fim de atender aos seus objetivos pedagógicos.

O Sistema de Avaliação da Educação Superior

No final de 2003, o governo Lula aprovou a medida provisória 147 que dispunha sobre a nova sistemática de avaliação da Educação Superior (Sinaes). Tal documento vinha acoplado de 131 páginas que descreviam como seria a avaliação da Educação Superior, pontuando as limitações que a antiga sistemática de avaliação, o Provão, apresentava. Uma delas era considerar apenas a avaliação individual dos formandos como pertencente à avaliação do curso, deixando de lado outros fatores que estão intimamente ligados com a qualidade do curso ofertado. ^{Verhine e Dantas (2009)} discorrem que o antigo sistema não colocava as instituições e os cursos como parceiros e que a forma como acontecia o Provão não o caracterizava como um sistema nacional de avaliação, pois os dados extraídos do sistema satisfaziam apenas as exigências impostas unilateralmente pelo MEC, fora da realidade das instituições e dos cursos.

Outro fato importante apontado pelo documento foi que:

As avaliações institucionais precisariam conter um elemento interno e outro externo e que deveriam fornecer análises abrangentes das dimensões, estruturas, objetivos, relações, atividades, compromissos e responsabilidade sociais, das IES e de seus cursos, nas diversas áreas de conhecimento. A proposta considerou também que os procedimentos, dados e resultados deveriam ser públicos; que a autonomia e identidade das instituições e cursos deveriam ser respeitadas, preservando-se assim a diversidade que caracteriza o setor no país; e que todos os membros da comunidade do ensino superior deveriam participar, bem como outros representantes da sociedade civil (^{VERHINE; DANTAS, 2009}, p. 11).

Assim, a instituição passaria a ser avaliada por meio de várias dimensões internas, dando voz aos sujeitos que fazem parte do processo educativo. A regulação, muito predominante no sistema de avaliação antigo, passaria a caminhar paralelamente com a avaliação formativa. O Sinaes, reconhecendo essa função do Estado (cumprida através do credenciamento e recredenciamento das Instituições de Educação Superior (IES) e a autorização, reconhecimento e renovação de reconhecimento dos cursos), buscaria promover um sistema nacional de avaliação da Educação Superior caracterizado por qualidade, autonomia e relevância social, sem, no entanto, desrespeitar a diversidade institucional.

Na sequência, ^{Verhine e Dantas (2009)} relatam que o Exame Nacional dos Estudantes foi cunhado de Enade e tinha o objetivo de avaliar os estudantes do primeiro e último ano do curso. Os cursos passaram a ser avaliados em um intervalo de três anos e os dados obtidos serviam tanto para reconhecer as competências e habilidades dos estudantes como para servir para subsidiar a regulação dos cursos. A forma de avaliação dos estudantes seria feita através do Paidéia (Processo de Avaliação Integrada do Desenvolvimento Educacional e da Inovação da Área) e consistia em um programa de testagem em uma amostra de cursos para representar as tendências de desempenho por área de conhecimento. Entretanto, a forma de operacionalização dessa avaliação era extremamente vaga e ambiciosa mostrando que os idealizadores não compreendiam a complexidade de uma avaliação em larga escala. Ao ser aprovado pela Lei 10.861/04, o Enade tornou-se um conteúdo obrigatório, a exemplo do que vinha sendo feito com o Provão.

O site institucional do INEP informa que Sinaes é formado por três componentes principais: a avaliação das instituições, dos cursos e do desempenho dos estudantes. O Sinaes avalia todos os aspectos que giram em torno dos eixos: o ensino, a pesquisa, a extensão, a responsabilidade social, o desempenho dos estudantes, a gestão da instituição, o corpo docente, as instalações e vários outros aspectos. Além disso, o Sinaes possui uma série de instrumentos complementares como: autoavaliação, avaliação externa, Enade, avaliação dos cursos de graduação e instrumento de informação (Censo e Cadastro). O Sinaes propõe uma avaliação institucional integrada por diversos instrumentos complementares.

Ainda amparado no site do Inep, a Avaliação Institucional, interna e externa, considera 10 dimensões, que são: missão e PDI; política para o ensino, a pesquisa, a pós-graduação e a extensão; responsabilidade social da IES; comunicação com a sociedade; as políticas de pessoal, as carreiras do corpo docente e técnico-administrativo; organização de gestão da IES; Infraestrutura física; planejamento de avaliação; Políticas de atendimento aos estudantes; Sustentabilidade financeira. E a avaliação dos cursos será realizada analisando-se três dimensões: organização didático-pedagógica; perfil do corpo docente; instalações físicas. Não nos ateremos especificamente a cada item de avaliação, sendo mencionados para demostrar a complexidade da avaliação institucional no ensino superior.

Do exposto, compreendemos que o Sinaes possui uma avaliação bastante abrangente, centrando-se na instituição, nos cursos e no desempenho dos estudantes no Enade. O papel do estado regulador se faz presente quando do reconhecimento dos cursos, reavaliação, ou avaliação da instituição. Entretanto, o documento em seu princípio visa integrar a função regulatória do Estado com a função formativa, enaltecida com a presença de diversos setores da instituição.

^{Verhine e Dantas (2005)} relatam que o número de conceitos adotados pelo MEC para avaliar as instituições e cursos aumentou de um para quatro desde a criação do Sinaes. No início, era divulgado apenas o conceito obtido por meio do Enade, realizado com estudantes ingressantes e concluintes. Em 2005 foi criado o Índice de Diferença de Desempenho (IDD) que tem o intuito de verificar o nível de desempenho dos estudantes ao longo do curso, pois como há uma única prova para iniciantes e concluintes, existe a possibilidade de analisar o quanto o curso agrega de conhecimento ao estudante ao final do ciclo. Em 2007 foi criado o Conceito Preliminar de Curso (CPC), que agrega o Enade e o IDD, além de outros fatores como variáveis de insumo – corpo docente, infraestrutura e organização didático-pedagógica. No ano de 2008, com a divulgação do Índice Geral de Cursos (IGC) inicia-se uma nova etapa nas avaliações em larga escala e as IES passam a ter seu IGC divulgado anualmente.

Um dos problemas levantados com a atual estrutura do Sinae, segundo ^{Dias Sobrinho (2008)}, é a demasia superioridade do Enade em detrimento de outros fatores que fazem parte da avaliação institucional ou de cursos, como: formação docente, práticas pedagógicas etc. Os índices obtidos sejam através do CPC, alcançados a cada três anos, ou do IGC, divulgado a cada ano estão novamente ranqueando as instituições, desvirtuando assim, do conceito inicial do Sinaes que era realizar uma avaliação abrangente de vários fatores.

As autoras ^{Verhine e Dantas (2005)} acrescentam que o Índice Geral de Cursos (IGC) depende fortemente da média do CPC (Conceito Preliminar de Cursos) e, em menor grau, da média dos conceitos dos programas de pós-graduação de cada IES. O CPC, por sua vez, apresenta a seguinte composição e ponderações:

Dos dados demonstrados acima, verificamos que 70% do conceito preliminar do curso são decorrentes dos dados obtidos por meio do Enade. Entretanto, pelo aqui já exposto, o Sinaes busca uma integração entre os vários instrumentos que o compõe, onde, por exemplo, temos que o resultado do Enade deverá ser levado em conta quando da avaliação externa dos cursos realizada por especialistas da área. Outro fato é que o próprio sentido da avaliação institucional interna reforça a integração entre os atores da instituição a fim de sanar as eventuais falhas, pois será uma comissão, a Comissão Permanente de Avaliação, e não um único gestor que avaliará a instituição a partir de diferentes dimensões.

Do exposto, a seguir faremos a explanação da possibilidade da participação democrática dos atores da instituição educacional, considerando o Saeb e Sinaes.

Avaliação da Educação Básica e do Ensino Superior: há indícios de status de bem público?

Nesta seção discutiremos alguns elementos que compõem o Sistema de Avaliação da Educação Superior e o Sistema de Avaliação da Educação Básica, buscando estabelecer encontros e desencontros no tocante a participação coletiva em prol de uma educação democrática e com qualidade.

Como foi visto ao longo do artigo, a década de noventa foi um momento de profundas mudanças políticas no cenário mundial, sendo a educação moldada na base de preceitos liberais, acentuando-se princípios como eficiência, produtividade, indicadores, descentralização administrativa, entre outros. Com isso, após o turbilhão de mudanças que as instituições de ensino passaram no século passado, compreendemos que os dois principais sistemas de avaliação educacional do Brasil caminharam ora para caminhos iguais, ora por caminhos divergentes.

Primeiramente, um olhar atencioso sobre esses sistemas ao longo de sua história e as mudanças que ocorreram até os dias de hoje pode ser um ponto de análise preliminar. Isso porque a educação do novo milênio não se resume à produtividade e a custos, bem como em nível de acertos nas avaliações externas. Compreendemos que uma educação de qualidade deva abranger diferentes dimensões, como: formação de professores, infraestrutura, investimento na educação, entre outros. Essa peculiaridade da avaliação foi destacada pelo INEP quando das críticas feitas ao Saeb, apontando que a avaliação deveria ser apenas um dos instrumentos para se refletir sobre a educação, sendo necessário atribuir a qualidade da educação a partir de outros elementos que por vezes não são mensuráveis, mas qualitativos.

Ao estabelecermos um olhar atento para a história dos dois principais sistemas de avaliação, percebemos que o Sinaes idealizou a avaliação como um ato complexo composto por diferentes segmentos e dimensões. Na contramão, o Saeb pouco evoluiu quando se refere à avaliação da instituição para além das notas obtidas através dos exames nacionais. Embora não possamos comparar o Provão do Ensino Superior com os testes aplicados pelo Saeb, algumas reflexões podem ser levantadas. Ambas trabalham com médias aritméticas onde os objetivos traçados condizem mais com os objetivos do MEC/INEP que o da instituição.

Do exposto concordamos com ^{Verhine e Dantas (2005)} ao explicitarem que o Provão nunca chegou a ser um sistema de avaliação nacional, sendo incapaz de fornecer indicadores que refletissem a realidade da instituição. De forma semelhante compreendemos o Saeb, pois tomam como parâmetro para a orientação das políticas públicas testes aplicados em um intervalo de tempo, mas sem se ater as principais dificuldades que enfrentam as instituições.

Outro fator negativo do antigo Provão que dialoga com a Prova Brasil, avaliação aplicada pelo Saeb, é o ranqueamento das instituições educacionais a partir da divulgação dos resultados De acordo com ^{Bonamino e Sousa (2012)}, os índices alcançados na Prova Brasil passam a ranquear as instituições em boas e más em virtude da publicização dos resultados. Embora saibamos que as instituições privadas de Educação Superior utilizam os resultados obtidos a fim de angariar mais estudantes, para as instituições públicas o simples status de estar entre as primeiras colocadas já as livram de futuras responsabilizações por parte da sociedade e do poder público.

O Sinaes orienta a avaliação das Instituições de Educação Superior, sendo a nota obtida no Enade um fator a ser considerado pelos avaliadores do MEC no momento da avaliação in loco dos cursos e instituições. Assim, avaliações internas, externas, dados do censo da Educação Superior darão um respaldo maior para as políticas públicas, pois envolverão a participação de diferentes dimensões. O grande destaque do Sinaes é avaliação da instituição como um todo, sendo a nota do Enade um dos instrumentos para captação de dados, considerando também a formação docente, projeto educacional, infraestrutura, entre outros. A avaliação de cursos superiores é composta por três dimensões e a avaliação institucional, seja interna, pelos membros da CPA, ou externa, pelos especialistas do INEP são ao todo dez. Com isso, são vários olhares que poderão contribuir para o fortalecimento da instituição.

De outro modo, no Saeb a participação dos atores acontece somente no momento que os estudantes, docentes e gestores respondem a um questionário socioeconômico, mas mesmo assim, sem o intuito de discutir a qualidade da educação ofertada. Dessa forma, alguns apontamentos podem ser levantados. De acordo com os documentos oficiais do INEP, a Prova Brasil foi criada para servir de termômetro da qualidade da educação para as instituições de ensino, sistemas de ensino e governo federal. Todavia, pontuamos que a qualidade da educação é somente verificada a posteriori, ou seja, o resultado do IDEB é divulgado e a partir disso as escolas pensam em melhorias.

Nesse sentido, algumas questões vêm à tona como: por que os diferentes sujeitos do ambiente educativo, a infraestrutura, a formação docente, não são considerados na avaliação da Educação Básica? Quando serão exteriorizadas as questões que vão além das provas? Por que não há uma comissão permanente por escola a fim de avaliar internamente a qualidade da educação? Por que especialistas em gestão pública, assim como na Educação Superior, não podem visitar as escolas em um intervalo determinado de tempo a fim de avaliar diferentes aspectos que envolvem uma instituição escolar? Não que a escola perderá a sua autonomia, mas compreendemos que muitas vezes possa faltar suporte técnico às escolas, dificultando a proposição de ações concretas. O que está acontecendo como traz ^{Bonamino e Sousa (2012)} é o investimento das escolas em simulados, deixando de lado outros fatores que em um determinado tempo poderiam influenciar na qualidade da educação. Outro fato a ser questionado é se essas ações acontecem somente em ano de Prova Brasil e se posteriormente são abandonadas.

Como não há um documento orientador para as escolas, trazendo outras dimensões a serem avaliadas, toda a preocupação das escolas se centra na Prova Brasil. Em pesquisa sobre Prova Brasil, ^{Silva (2013)} conclui que os resultados da Prova Brasil divulgados à escola são confusos e muito técnicos e, desta forma, não se tornam eficazes quando se busca uma discussão com os pares. Assim, pontuamos a necessidade da participação democrática de diferentes atores envolvidos com a Educação Básica e que a proposta inicial do Sinaes, ou seja, balizar a educação através da integração e participação de diferentes dimensões, seja também enfatizada no Saeb.

Não devemos perder de vista, entretanto, que as dimensões do Sinaes foram idealizadas pensando nas particularidades do Ensino Superior, como a indissociabilidade entre ensino, pesquisa e extensão, a integração entre regulação e perspectiva formativa. Após o Provão, é sensível a complexidade que foi dada à avaliação do Ensino Superior, enquanto o Saeb/ Prova Brasil desde a sua concepção centra-se em dados decorrentes da: reprovação, evasão e nota na Prova Brasil. Para ^{Garcia (2014)}, com a estrutura atual da Prova Brasil corremos o risco de conceber a qualidade da educação ligada à aprovação e não enfatizando o que os estudantes estão aprendendo ou até outros elementos que permeiam a qualidade da educação.

Embora haja avanços com a avaliação do Ensino Superior com a criação do Sinaes, Dias Sobrinho (2009) faz apontamentos sobre novos conceitos imbricados na avaliação do Ensino Superior. Para o autor, há necessidade de rever o conceito inicial de criação do Sinaes, pois na atualidade conceitos como o CPC e IGC estão sendo amplamente divulgados e prestigiados, além do Enade, deixando em segundo plano outros itens que também fazem parte da avaliação do Ensino Superior, seja da avaliação do curso ou da instituição. Assim, embora sejamos a favor de tornar a avaliação da Educação Básica mais completa e consequentemente um ato complexo, ressaltamos o cuidado para não fortalecer ideais que supervalorizem as provas, pois a integração entre diferentes instrumentos será o ponto de equilíbrio a fim de termos uma educação mais justa.

Desta maneira, compreendemos que a instituição de documentos orientadores por parte do Estado, ou até mesmo a alteração do Saeb contendo outras dimensões de avaliação poderão auxiliar as instituições a repensar o seu papel perante a sociedade e a refletir sobre questões que muitas vezes não são considerados quando da destinação de recursos ou quando do planejamento das instituições. O Sinaes deu exemplo que a regulação e avaliações formativas – emancipatórias – embora com objetivos diferentes podem caminhar par e passo, fortalecendo a missão institucional perante a sociedade e consequentemente suscitando a reflexão de quem somos, do que queremos ser e de como vemos a educação no Brasil.

Considerações finais

Ao longo deste artigo nos propusemos a discutir os dois principais sistemas de avaliação do Brasil, o Saeb e o Sinaes. Isso porque embora tenham se destacado como instrumentos de mediação das políticas públicas a partir dos anos noventa, tendo como motivador as políticas liberais, mudanças ocorreram posteriormente na forma de sistematização das informações coletadas para melhor orientar a busca da qualidade na educação.

Ao apresentar os dois sistemas, vimos que ainda são fortes as ideologias que pregam o ranqueamento entre as instituições, assim como a superioridade de dados quantitativos sobre os qualitativos. Ao discorrer sobre alguns pontos, verificamos que o Sinaes apresentava uma síntese de várias propostas de avaliação em sua proposta inicial, que foram bem-sucedidas no Brasil, integrando a regulação com a perspectiva formativa. Entretanto, após várias mudanças ocorridas no Sinaes, o liberalismo econômico parece reacender novamente, seja através da supervalorização do Enade, ou de outros indicadores como o IGC ou o CPC, ambos sendo utilizados como critérios de ranqueamento entre as instituições e, por conseguinte, tornando a instituição refém dos dados divulgados à sociedade. Reforça-se que o CPC é formado por diferentes insumos, tendo o Enade o conceito maior de todos.

Na Educação Básica, compreendemos que o sistema de avaliação avançou pontualmente desde sua ascensão a partir da década de noventa. Os testes em larga escala ainda são os principais instrumentos de coletas de dados, sendo que os índices de reprovação possuem pouca repercussão na qualidade da educação ofertada. Ao contrário, cria-se o mito que a aprovação dos estudantes por si só também estaria elevando a qualidade da educação ofertada.

Desse modo, acreditamos que, ao se buscar o termômetro da educação ofertada, deve-se ter como princípio que a avaliação é um ato complexo em que não pode ser resumida por meio de simples indicadores. Assim, é preciso repensar os dois sistemas para além do viés quantitativo, dando ênfase a instrumentos que captem os dizeres de diferentes atores da instituição. Desse modo, reforçamos Dias Sobrinho (2009) ao defender que as Avaliações Nacionais devem ser percebidas como status de bem público, pois assim a responsabilidade pela qualidade da educação não caberá somente aos gestores da instituição, mas a toda a sociedade. Vimos que o Sinaes buscou inicialmente esse aspecto, mas aos poucos foi retomando alguns conceitos presentes na década de noventa. Repensar os sistemas de avaliação a partir dos conceitos que pregou o Sinaes em 2003, pode servir como norte para que aspectos quantitativos não resumam a qualidade da educação, fortalecendo aspectos qualitativos que ofereçam uma educação mais justa e democrática à população.