Notas iniciais

Este texto tem por objetivo ampliar o debate no campo das políticas públicas de avaliação a partir de evidências oriundas de uma pesquisa que investigou o Programa de Avaliação da Aprendizagem Escolar (PAAE), na Rede Pública Estadual de Ensino de Minas Gerais (RPEE-MG). Originou-se da observação das práticas de professores de História do Ensino Médio na implementação do programa. Pretendeu-se analisar possíveis mudanças na prática docente provocadas pelo sistema de avaliação implantado, tomando como referência as contribuições de autores do campo da avaliação, do currículo e do trabalho docente.

Para análise do PAAE utilizou-se como procedimento metodológico a pesquisa bibliográfica, documental e a utilização de questionário estruturado buscando articular a prática docente aos documentos que apresentam os indicadores de qualidade, presentes na proposta curricular e na matriz de avaliação do programa. No levantamento realizado foram consultadas as resoluções, os ofícios e outros documentos relacionados ao PAAE e ao Currículo Básico Comum (CBC) do Ensino Médio de História, além de artigos, dissertações e informações nos sites da Secretaria Estadual de Educação (SEE-MG).

Desde a década de 1990, pesquisadores vêm destacando a expansão dos sistemas de avaliação no Brasil. Observam-se nessa vasta produção acadêmica, contradições entre o que foi idealizado nos programas e os resultados dessas políticas no campo da avaliação educacional. Entre os autores que defendem as vantagens e os benefícios das avaliações, destacam-se os seguintes argumentos: a avaliação contribui para a melhoria da qualidade da educação, favorece a organização do trabalho pedagógico da escola, aprimora as práticas docentes, padroniza os sistemas, consolida as diretrizes curriculares e institui a transparência no serviço público (^{SUARES, 2002}; ^{BROOKE, 2013}).

Por outro lado, muitos estudos destacam limites no uso dos resultados das avaliações, apresentando como argumentos críticos: a supervalorização dos testes cognitivos, os limites que os testes padronizados estariam impondo ao currículo e a autonomia docente, a associação das políticas de avaliação aos interesses neoliberais das agências internacionais em contraposição à função social da escola e ao seu papel na formação de consciências críticas (^{AFONSO, 2009}; ^{FREITAS et al., 2014}).

Sem desconsiderar esse debate, optou-se por analisar o PAAE para além das intenções do programa, dando visibilidade à prática exercida pelos professores de História no ano de 2015. A perspectiva das práticas escolares possibilita apreender as dimensões subjetivas, socioculturais e históricas presentes no processo de avaliação, que escapam às prescrições.

Apesar das especificidades das disciplinas escolares, observa-se, com a expansão dos sistemas e programas de avaliação, uma tendência de padronização nas formas de avaliar que vêm influenciando, de modo geral, a organização dos currículos (BONAMINO; SOUSA, 2012). Nesse sentido, buscou-se focalizar na presente pesquisa a disciplina de História, com a finalidade de aprofundar a análise pedagógica dos itens de teste adotados pelo PAAE.

O PAAE: alguns apontamentos históricos

O PAAE foi criado como programa estratégico do Sistema Mineiro de Avaliação da Educação Pública (SIMAVE) com o objetivo de realizar diagnósticos para entender as dimensões do sistema público de educação do Estado, tendo em vista o seu aperfeiçoamento. Nesse sentido, a função do SIMAVE seria desenvolver programas de avaliação integrados, cujos resultados se convertessem em ações nas escolas, entre os professores, no intuito de promover a melhoria do ensino (^{MINAS GERAIS, 2008}).

Entre 2006 e 2007, a metodologia do PAAE foi aplicada em 226 Escolas de Referência, de forma que os resultados positivos recomendaram a ampliação do programa para todas as 2000 escolas de Ensino Médio e, a partir de 2010, houve a institucionalização do programa em toda Rede Estadual (^{MINAS GERAIS, 2008}).

De acordo com os dados disponíveis no site da SEE-MG, entre 2006 e 2014, mais de quatro milhões de alunos realizaram as provas geradas pelo programa, incluindo todas as disciplinas escolares ofertadas nos anos finais do Ensino Fundamental e no Ensino Médio. A quantidade de provas do PAAE aplicadas nas escolas evidencia a importância atribuída pela SEE-MG às avaliações no sistema de ensino.

Nesse sentido, o PAAE se apresenta como um programa de avaliação criado para verificar as aprendizagens dos alunos nas disciplinas escolares. No Ensino Médio, além das provas de História, os professores de Arte, Biologia, Educação Física, Física, Filosofia, Geografia, Inglês, Língua Portuguesa, Matemática, Química e Sociologia também podem gerar as provas para aferir as habilidades dos alunos em suas respectivas disciplinas. Além das questões objetivas presentes nas provas, as questões discursivas avaliam as habilidades de produção de texto em Língua Portuguesa.

Em 2014, o programa previa a avaliação diagnóstica no início do ano letivo, como forma de verificar as habilidades iniciais dos estudantes e a aprendizagem anual ao final do ano, como forma de identificar a aprendizagem das habilidades desenvolvidas. Além disso, o professor podia solicitar uma prova por mês, para acompanhar o desempenho dos alunos.

O ofício n^º 06/2015, enviado pela SEE-MG aos diretores das escolas, confirmou a continuidade do programa para os anos finais do Ensino Fundamental e Médio, mas com algumas alterações. De acordo com o ofício, para um melhor aproveitamento do PAAE,

[…] A Matriz de Referência é o CBC e o professor gera a sua avaliação através da seleção do tópico e da habilidade, de acordo com o conteúdo já trabalhado com seus alunos; A prova terá no máximo 15 questões; Caso o professor queira ter acesso ao mapa de resultados e gráficos de desempenho da turma, será necessária a inserção das respostas dos alunos no sistema do PAAE (^{MINAS GERAIS, 2015}).

Em artigo sobre o ^{PAAE, Mattos, Simões e Mattos (2014)} consideram que as origens do programa estão associadas à necessidade de as escolas acompanharem o uso dos resultados das avaliações externas dos programas existentes em Minas Gerais. Constata-se que o PAAE nasce de dois pressupostos. O primeiro, assentado na visão de que um programa de avaliação da aprendizagem interno às escolas, com o foco nas propostas curriculares do estado de Minas Gerais, estaria mais próximo do professor e seria uma fonte orientadora para a implementação da proposta curricular, que em Minas Gerais está definida pelo Currículo Básico Comum (CBC). O segundo, baseado na concepção de que seria necessário um sistema estruturado, disponível para os professores, para “fazer tanto a gestão curricular quanto oferecer atendimento escolar a alunos específicos” (^{MATTOS; MATTOS; SIMÕES, 2014}, p. 3).

As autoras destacaram o potencial do PAAE como instrumento eficiente na consolidação da proposta curricular de Minas Gerais que, segundo elas, impacta a organização do trabalho docente e a melhoria da educação básica. Entretanto, para compreender os possíveis impactos desse programa de avaliação da aprendizagem escolar na organização do trabalho docente e na melhoria da educação, torna-se necessário analisá-lo também no interior das escolas para além da superfície vislumbrada por suas propostas e seus instrumentos de avaliação.

Os indicadores de aprendizagem do PAAE: entre o discurso e a prática

A análise da organização e das finalidades do PAAE, assim como do Currículo Básico Comum (CBC) de História, permitiu a constatação de que, de forma coerente com a concepção de ensino e aprendizagem preconizada no CBC, o programa se estrutura em um discurso favorável à concepção de avaliação formativa. Esta concepção busca, ao mesmo tempo, oferecer um diagnóstico das aprendizagens dos alunos e possibilitar a sua formação por meio de indicadores apresentados como habilidades do ensino de História: aspectos cognitivos de leitura, interpretação, lógica, memorização, inferências, entre outras habilidades que são utilizadas para a elaboração dos itens de teste de aprendizagem.

Para a análise da concepção de avaliação defendida pelo PAAE, considerou-se como referência o conceito de avaliação formativa utilizado por ^{Gomes (2014)}, ^{Luckesi (2011)}, ^{Esteban (2010)} e ^{Perrenoud (1999)}. Em Luckesi, a avaliação formativa ganha uma conotação política e orientadora da prática pedagógica, a serviço da autonomia do estudante, que pressupõe a aprendizagem de saberes. Para o autor, a avaliação formativa tem função diagnóstica, pois, “como diagnóstica, ela será um momento dialético de senso do estágio em que se está e de sua distância em relação à perspectiva que está colocada como ponto a ser atingido à frente” (^{LUCKESI, 2011}, p. 83).

Em ^{Perrenoud (1999)}, é formativa toda avaliação que auxilia o aluno a aprender e a se desenvolver, ou seja, que colabora para a regulação das aprendizagens e do desenvolvimento, no sentido de um projeto educativo. Na visão do autor, além da função de regulação voltada para o professor e para o aluno, a função corretiva caracteriza a função formativa, uma vez que possibilita a correção da ação pedagógica no intuito de obter melhores resultados em relação ao processo de ensino e de aprendizagem. Para ^{Esteban (2010)}, a dimensão formativa da avaliação exige uma concepção crítico-reflexiva que busca valorizar, além do aspecto cognitivo, as dimensões subjetivas, afetivas e o caráter sócio-histórico no qual se inserem as práticas pedagógicas de avaliação (^{GOMES, 2014}).

Ressalta-se que, assim como o PAAE, o CBC defende uma proposta de avaliação que, além do desempenho final dos alunos, possa diagnosticar suas dificuldades e acompanhar o percurso para sua superação. Essa proposta dialoga com o conceito de avaliação defendida por ^{Esteban (2010)} que, apesar de destacar o sentido polissêmico da avaliação da aprendizagem, define o termo como:

Um processo intencional e sistemático de coleta, análise e interpretação de informações sobre conhecimentos, capacidades, atitudes e processos cognitivos dos sujeitos, em que se estima o valor ou mérito desses processos e/ou resultados, com finalidade de produzir conhecimento para orientar a tomada de decisões relativas ao processo educacional ou a políticas educacionais (^{ESTEBAN, 2010}, p. 1).

Como se vê, diferentemente de outras avaliações externas que procuram valorizar o resultado em detrimento do processo, o PAAE se estrutura em uma concepção de avaliação formativa. Entretanto, vale ressaltar que deslocada do campo da gestão e recontextualizada nas práticas pedagógicas no interior das escolas, a avaliação adquire sentido diferente do que foi pensado (^{SANTOS, 2013}).

Com a finalidade de acompanhar a utilização do PAAE nas escolas e compreender de forma mais detalhada os instrumentos do programa, foram observadas as práticas desenvolvidas por um professor de História, do Ensino Médio, em uma escola estadual localizada no município de Contagem, Região Metropolitana de Belo Horizonte.

A escolha do professor foi embasada nas informações acerca da utilização do PAAE, fornecidas por 32 docentes que atuavam nas escolas e que colaboraram na realização da pesquisa respondendo ao questionário estruturado contendo 40 questões objetivas e uma aberta. Observou-se que, apesar da utilização das provas pela maioria dos colaboradores, há dificuldades vivenciadas pelos profissionais das escolas na implementação do PAAE, a partir das finalidades e objetivos estabelecidos pela SEE-MG. Nesse sentido, buscou-se analisar as formas de utilização do programa por um professor com o intuito de compreender as possibilidades oferecidas, assim como os desafios na operacionalização do sistema on-line do programa.

A análise dos dados do questionário utilizado nesta pesquisa, assim como os resultados de outros estudos sobre o PAAE, com destaque para ^{Bragança Junior (2011)}, ^{Barbosa (2013)}, ^{Gomide (2014)} e ^{Queiroz (2015)}, revelaram os limites do programa, uma vez que os instrumentos disponibilizados não têm sido utilizados da forma como foram planejados.

Nesse sentido, considera-se relevante a experiência desenvolvida pelo professor de História participante da pesquisa, pelo fato dessa prática representar algo recorrente nas escolas da rede estadual. Dos 32 professores de História que participaram deste estudo, 25 afirmaram fazer uso das avaliações do PAAE. Entretanto, nenhum deles se apropriou dos resultados dos alunos para consolidar as habilidades previstas. Por esse motivo, definiu-se pela observação de uma única experiência, uma vez que ela evidencia as possibilidades disponibilizadas para todos os professores da rede e ao mesmo tempo se insere no contexto de distanciamento entre as possibilidades e as práticas de uso do programa vivenciadas pela maioria dos docentes.

Entre os colaboradores, optou-se pela escolha de um professor¹ com experiência acumulada na rede, com conhecimento acerca dos objetivos e finalidades do PAAE e do CBC. Além de atuar há mais de 10 anos no Ensino Médio, o participante é professor e possui licenciatura em História. Esse colaborador possui duas pós-graduações em Educação e também já atuou na função de assessor pedagógico, com experiência na formação de professores do município de Contagem. Essa experiência adquirida na prática, mas também com estudos, demonstra o interesse do professor em atuar na educação, bem como o seu comprometimento com a docência.

Portanto, nos limites desse artigo pretende-se apresentar e analisar o uso do PAAE em História, por um professor, a fim de compreender a função adquirida pela avaliação na prática pedagógica exercida pelo docente.

A prova de História gerada no programa foi aplicada no dia 23 de novembro de 2015 em uma turma de 30 alunos do 1^º ano do Ensino Médio. Após acessar o site do PAAE, por meio de senha individual, o professor escolheu, entre as opções de links disponíveis, os eixos temáticos, os temas, os tópicos e as habilidades que correspondiam aos conteúdos que foram ensinados em sala de aula. O objetivo do professor era aferir as aprendizagens dos alunos desenvolvidas na última etapa letiva de 2015.

O Quadro 1 destaca os tópicos do CBC que foram escolhidos pelo professor para a geração da prova objetiva de História.

Após a inserção dos dados pelo professor, o programa gerou uma prova objetiva, em formato PDF, composta por 12 itens de teste de aprendizagem, com quatro alternativas de resposta em cada questão. Torna-se relevante destacar a qualidade da configuração dos textos, imagens e mapas, o que garantiu uma excelente visualização das instruções, do suporte, do enunciado e das alternativas, conforme prevê o Guia de Elaboração e Revisão de Itens e Questões de Múltipla Escolha do PAAE.

A prova foi gerada com cabeçalho já preenchido com número e nome da escola, nome da disciplina e do professor, ficando apenas os campos do nome do aluno, turma e resultado da prova a serem preenchidos. O espaço destinado ao gabarito a ser preenchido pelos alunos foi disponibilizado na primeira folha da prova, antes da primeira questão.

Após a produção da prova, o professor respondeu as 12 questões, inserindo as suas respostas no gabarito disponível no site destinado aos professores. Assim que o professor concluiu essa etapa, o sistema gerou o gabarito oficial confirmando o percentual de 100% de acerto das respostas do professor.

A prova foi aplicada em uma turma do 1^º ano do Ensino Médio, noturno, composta por 30 alunos. Segundo o professor de História, o período de duração da prova foi de 50 minutos, descontado o tempo destinado à tradicional chamada para conferência da presença dos alunos e os informes gerais sobre a prova. Ainda segundo o professor, embora alguns alunos tivessem escolhido as alternativas de respostas de maneira aleatória, demonstrando desinteresse na prova, a maioria dedicou atenção à resolução das questões.

No intuito de obter os resultados e os relatórios gerados pelo PAAE, o professor buscou inserir as respostas dos estudantes no sistema, cinco dias após a aplicação do teste. Para ter acesso aos dados, foi necessário inserir no sistema as alternativas assinaladas por cada aluno em cada uma das questões.

Para a inserção das respostas individuais de todos os 30 alunos foi necessário o tempo de 5 horas. Nessa etapa do processo, houve um problema de ordem técnica. No sistema já constava uma lista com os nomes dos alunos cadastrados na turma, o que permitiu ao professor selecionar o aluno e lançar as suas respostas. Porém, dos 30 alunos que responderam as questões, apenas 19 tinham seus nomes na lista do programa, de forma que 11 estudantes não tiveram suas respostas lançadas e, consequentemente, não tiveram o mesmo feedback que os demais. Além disso, muitos alunos presentes na lista do website já haviam abandonado a escola durante o ano de 2015. Essa informação é importante, pois evidencia que o percentual de alunos que fizeram a prova em relação ao número de alunos total da sala que aparece nos relatórios do programa destoa dos números reais do diário do professor.

Após o lançamento das respostas dos alunos, o programa gerou o relatório do Resultado da Aplicação da Prova, Geral da Turma e Individual. De acordo com o relatório, a turma teve um desempenho médio de 40,35% de acerto nas questões da prova. O relatório forneceu também, o percentual de acerto em cada uma das 12 questões da prova e a relação entre o número de alunos e as alternativas de respostas escolhidas. Essas informações possibilitaram ao professor o acesso ao desempenho dos alunos em cada uma das questões, identificando o percentual de acerto, mas também os erros comuns. Como exemplo, apresenta-se no Quadro 2 as informações sobre a questão 5 da prova aplicada pelo professor.

Como se vê, o item se apresenta de forma contextualizada no intuito de avaliar a compreensão leitora dos alunos e a capacidade de interpretação de texto relacionado à mitologia indígena. Nesse caso, percebe-se a importância dos itens não apenas para avaliar a aprendizagem dos alunos, mas também pelo seu caráter formativo, pois como instrumento de aprendizagem eles possibilitam a interação dos alunos com recursos didáticos importantes para a disciplina de História.

No quadro gerado pelo PAAE, o professor teve acesso aos acertos e aos erros dos alunos em cada um dos tópicos de conteúdos, permitindo, ainda, a comparação entre o gabarito oficial e o gabarito assinalado pelo professor. Além disso, há no mesmo quadro disponibilizado no programa o link “justificativa”, que permite ao professor o acesso às justificativas de cada uma das quatro alternativas de respostas do item, o que lhe possibilitou a visualização de informações para a correção da prova junto aos alunos.

O Gráfico 1 apresenta a última etapa da tecnologia educacional oferecida pelo PAAE, a geração de gráficos, com o percentual de acertos da turma em cada um dos itens de teste da prova.

Fonte: Gráfico Dados da pesquisa (2015).

Gráfico 1 Percentual de Acertos nos Itens da Prova de História³  

Constata-se no Gráfico 1 a relação entre o percentual de acertos nos itens e os tópicos de conteúdo contemplados. Por meio desses dados o professor pôde perceber que apenas nas questões 4, 5 e 10 (Tapuia/Tupi e A Conquista da América) o percentual de acerto dos alunos ficou acima de 60%. Nas questões 1, 8, 11 e 12, o percentual fora de 15%, evidenciando uma dificuldade dos alunos na resolução dos respectivos itens relacionados aos mesmos tópicos. Nesse caso, há evidências de que, no geral, os alunos têm baixa habilidade de interpretação de textos, uma vez que os itens nos quais o percentual de acertos foi de 15% eram contextualizados, exigindo a leitura e a interpretação sem a necessidade de memorização de conteúdos. O resultado individual dos alunos na prova confirma essa dificuldade na interpretação de textos, imagens e mapas, pois, de acordo com os resultados gerados no PAAE, a maioria acertou menos de 50% dos itens.

Implicações pedagógicas do PAAE na prática docente: algumas considerações

Este trabalho sobre as políticas públicas de avalição em Minas Gerais possibilitou conhecer a experiência de utilização do PAAE pelos professores de História e apreender algumas implicações do programa de avaliação na prática docente.

Uma primeira consideração está associada à articulação entre avaliação e currículo de História promovida pelo programa. Os 12 itens de teste presentes na prova contemplam os eixos temáticos, os temas, os tópicos e as habilidades apresentados no Quadro 1, garantindo o anunciado pelo programa no sentido de contribuir para a implementação do CBC de História. A proposta, nesse caso, é a de ensinar e avaliar a partir do currículo em curso. A análise de conteúdo dos itens da prova, dos textos, mapas e imagens utilizados como suportes, assim como dos enunciados, das alternativas e justificativas de respostas dos itens evidenciam que currículo e avaliação caminham juntos na mesma concepção de ensino.

Nesse sentido, a concepção de ensino apresentada no PAAE e no CBC é convite para o professor reformular a dinâmica da sala de aula, que demanda ser pensada como tempo e espaço para problematizar fontes, formular problemas/questões, utilizar conceitos, manipular o tempo histórico, se apropriar de conhecimentos já acumulados, interagir com fontes de informação histórica, tais como, iconográficas (mapas históricos, pinturas, fotografias), os objetos da cultura material, as fontes orais e escritas, os gráficos e as tabelas, os “lugares da memória”, etc. (^{MINAS GERAIS, 2007}).

Dessa forma, na concepção de ensino de História presente no CBC, percebe-se a importância da disciplina para alcançar os objetivos educacionais definidos pela Constituição de 1988 e pela Lei de Diretrizes e Bases da Educação Nacional – LDB 9394/1996 que visam fortalecer o exercício da cidadania e da prática democrática na sociedade brasileira. Para alcançar esses objetivos e também preparar os alunos do Ensino Médio para os desafios do mundo do trabalho no século XXI, o CBC defende a aprendizagem de conteúdos e conceitos da disciplina de História e o processo ensino-aprendizagem com vistas à aquisição de competências, habilidades e atitudes a serem desenvolvidas pelos alunos, que se constituem como indicadores de qualidade para o ensino de História em Minas Gerais.

Assim como o item apresentado no Quadro 1, os demais itens da prova se apresentam de forma contextualizada, no intuito de avaliar a habilidade do aluno em analisar fontes históricas: textos, mapas, imagens, priorizando a compreensão leitora por meio da interpretação de textos. Percebe-se a importância dos itens, não apenas para avaliar a aprendizagem dos alunos, mas também pelo seu caráter formativo, pois como instrumento de conhecimento, eles possibilitam a interação dos alunos com recursos didáticos importantes para o ensino de História.

Na concepção incorporada pelo CBC, o ensino de História ganha outra conotação e passa a ser trabalhado por meio dos procedimentos de produção do conhecimento histórico, tendo em vista que esse procedimento aumenta as chances de desenvolvimento de raciocínio histórico, compreendido como,

[…] a capacidade de identificar permanências e mudanças entre o presente/ passado e futuro, a capacidade de relacionar os acontecimentos e seus estruturantes de longa e média duração, a capacidade de identificar simultaneidade de acontecimentos no tempo, a capacidade de relacionar diferentes dimensões da vida social e seus ritmos diferenciados de mudança, a capacidade de elaborar contextos que deem significado aos fatos (^{MINAS GERAIS, 2007}, p. 44).

Coerente com essa perspectiva, a qualidade dos itens de teste presentes na prova do PAAE articula-se à concepção de ensino de História defendida no CBC, por possibilitar a interação dos alunos com documentos importantes na construção do conhecimento histórico. Influenciado pelo conceito de Zona de Desenvolvimento Proximal, proposto por ^{Vygotsky (1934/2005)}, o CBC defende um processo de ensino-aprendizagem como “um processo sócio-histórico, mediado pela cultura, em que se atribui […] ao professor o papel de impulsionar o desenvolvimento e a aprendizagem por meio das interações realizadas em sala de aula” (^{MINAS GERAIS, 2007}, p. 45).

Uma segunda consideração diz respeito à função da avaliação no ensino de História. Embora, o PAAE se assente em uma concepção de avaliação formativa, no caso analisado, a avaliação assumiu uma função tradicional, também conhecida como avaliação somativa. De acordo com ^{Alavarse e Gabrowski (2013)}, esse tipo de avaliação considera o resultado no fim do processo educativo, no intuito de verificar o aprendizado dos conteúdos e objetivos relevantes. Diferentemente da função formativa, nesse caso a avaliação não é utilizada para alterar o percurso do processo de ensino e aprendizagem, mas apenas para oferecer o feedback ao aluno informando-lhe o nível de aprendizagem adquirido.

O professor aplicou a prova ao final do mês de novembro, no período de encerramento do 4^º bimestre, no intuito de verificar se os conteúdos ensinados foram aprendidos pelos alunos. Os resultados gerados pelo PAAE deram ao professor um retorno das aprendizagens da turma e de cada um dos alunos em particular, evidenciando um baixo rendimento por parte da maioria. Entretanto, como essa foi a primeira e única vez que o professor utilizou o PAAE no ano de 2015, não houve a possibilidade de comparação em relação às habilidades dos alunos, adquiridas antes da aplicação da prova. Segundo o professor, o excesso de tarefas acumuladas ao final do ano, como fechamento e entrega de notas, conselho de classe, preparação de atividades de recuperação de estudos, entre outras, sobrecarregaram seu trabalho dificultando, inclusive, uma análise mais detalhada dos dados gerados pelo programa. Na avaliação do professor, a sobrecarga de trabalho dos professores tem prejudicado o uso da tecnologia disponibilizada pelo PAAE.

Essa constatação enfatiza a posição de ^{Santos (2013)}, segundo as quais as práticas pedagógicas no interior da escola adquirem sentidos diferentes das prescrições. De acordo com a autora,

avaliar não é intrinsecamente bom ou ruim, pois depende da orientação que a avaliação assume, o sentido que lhe é impresso, assim como depende também dos instrumentos utilizados, da forma como se realiza e do uso dado aos seus resultados (^{SANTOS, 2013}. p. 118).

No caso em análise, a avaliação, diferentemente do previsto nos documentos, adquiriu uma função tradicional, ficando restrita à verificação da aprendizagem, sem o julgamento dos resultados e a tomada de decisões no intuito de garantir as condições favoráveis às aprendizagens não adquiridas pelos alunos. Essa constatação também foi confirmada no questionário respondido pelos professores, demonstrando que, apesar de utilizar as provas do PAAE, os professores não se apropriam dos resultados no processo de avaliação dos estudantes.

A terceira e última consideração está relacionada às implicações do PAAE no trabalho docente. Para essa reflexão buscou-se inserir o programa no contexto da expansão dos sistemas de avaliação que têm influenciado as reformas educacionais em vários países, incluindo o Brasil.

Segundo ^{Brooke (2013)}, as novas políticas educacionais baseadas nos resultados dos alunos em avaliações externas são consideradas como: reflexos da chegada à esfera governamental da filosofia de accountability, entendida como uma atitude legítima de cobrança de resultados por parte do governo no cumprimento de seu papel de representante dos interesses da coletividade (^{BROOKE, 2013}, p. 121).

^{Brooke e Cunha (2011)} destacaram a utilização dos resultados das avaliações educacionais no estado de Minas Gerais, inseridos no contexto de implementação do modelo de gestão por resultados. Segundo os autores,

Inspirado nas iniciativas do Governo Federal e nas experiências internacionais, Minas Gerais foi um dos primeiros estados a incorporar o modelo de gestão por resultados e oferece um exemplo da afinidade entre os propósitos da avaliação educacional e as exigências dos novos padrões da administração pública (^{BROOKE; CUNHA, 2011}, p. 28).

Na avaliação dos autores, a criação do SIMAVE nasce do pressuposto de que metodologias eficientes capazes de revelar informações precisas sobre o desempenho dos alunos, da escola e dos agentes relacionados, possibilitariam o desenvolvimento de políticas públicas efetivas para a educação, como forma de revelar para a sociedade se os investimentos na escola estão resultando em aprendizagens significativas para os alunos. Por meio dos programas de avaliação do SIMAVE, a SEE-MG definiu os objetivos educacionais para a educação básica, “estabelecendo indicadores, entre os quais a proficiência média dos alunos de 3^º, 5^º e 9^º anos do Ensino Fundamental e 3^º ano do Ensino Médio” (^{BROOKE; CUNHA, 2011}, p. 28).

Nesse contexto, o PAAE surge com uma função estratégica, dentro de uma concepção de gestão por resultados, no intuito de contribuir para a melhoria dos resultados da escola. Constata-se que esse modelo de gestão promove modificações na identidade docente, na medida em que introduz funções, para o professor, até então inexistentes.

Em seus estudos sobre avaliação educacional na perspectiva sociológica, ^{Afonso (2009)} considera que as práticas de avaliação existentes nas escolas em cada momento histórico evidenciam formas de relação entre a escola e a sociedade. Buscando discorrer sobre os principais temas e problemas intrínsecos a uma abordagem sociológica da avaliação, o autor afirma que,

Não são, […] apenas as práticas avaliativas formais e informais e suas consequências (educacionais, éticas, políticas ou outras) que podem interessar a uma sociologia da avaliação, mas também os modelos de responsabilização que envolvem, ou não, os professores e outros atores, as escolas e outras agências privadas ou do Estado, na prestação de contas sobre os projetos, processos e resultados que prosseguem os sistemas de educação de interesse público (^{AFONSO, 2009}, p. 17).

Na avaliação do autor, os boletins da Organização para Cooperação e Desenvolvimento Econômico (OCDE) e os documentos da UNESCO evidenciam uma renovação do interesse pela avaliação que tem impulsionado as reformas em países do Ocidente, na Europa como Inglaterra, Espanha e Portugal, assim como nos Estados Unidos e em países da América Latina como o Brasil. As mudanças educacionais, nesse contexto, têm sido caracterizadas pela

(…) utilização dos testes estandardizados, a crescente dependência das agências governamentais em relação à recolha e análise de dados sobre o desempenho das escolas, a intensificação para ligar as escolas às necessidades da indústria e a alteração nas expectativas em relação à avaliação educacional, são os resultados previsíveis deste movimento da globalização (^{AFONSO, 2009}, p. 64).

Entre as razões que estariam motivando as reformas educacionais nos Estados do Ocidente, destacam-se

i) necessidade que os países têm de dispor de uma mão de obra qualificada; ii) necessidade de, num clima de austeridade orçamental, melhorar a qualidade da educação e da formação, para uma melhor utilização dos recursos; iii) nova partilha de responsabilidades entre autoridades centrais e locais na gestão das escolas (OCDE, 1991 apud^{AFONSO, 2009}, p. 64).

Nesse cenário de mudanças, é possível constatar um caráter contraditório das reformas educacionais, uma vez que a austeridade orçamentária vem acompanhada do desejo de melhoria da qualidade da educação que, segundo os favoráveis às reformas, poderia ser alcançada por meio da melhoria da eficiência e da eficácia escolar. Essa melhoria poderia ser alcançada com a racionalização do processo avaliativo responsável pela maior transparência dos resultados das escolas.

Outros autores têm destacado a avaliação em diferentes países, no contexto da globalização. Analisando as mudanças nos sistemas educacionais na década de 1990, em países como Inglaterra e Estados Unidos, ^{Ball (2002)} constatou que uma reforma na educação se alastra pelo mundo como uma epidemia política. Preocupado com as subjetividades intrínsecas nesse processo de mudança o autor buscou analisar seus efeitos na identidade do professor.

A reforma anunciada por Ball tem como ponto central o conceito de performatividade, definido como “uma tecnologia, uma cultura e um modo de regulação que se serve de críticas, comparações e exposições como meios de controle, atrito e mudança” (^{BALL, 2002}, p. 4). De acordo com o autor, a performatividade está relacionada aos desempenhos (de sujeitos e organizações) que, “servem como medidas de produtividades e rendimento, ou mostras de qualidade ou ainda momentos de promoção ou inspeção” (^{BALL, 2002}, p. 4). Nesse sentido, a performatividade estabelece o valor de um indivíduo ou organização a partir de julgamento/avaliação.

A instalação da cultura da performatividade competitiva, além do papel do professor, instaura novos elementos na organização escolar levando o profissional a assumir a responsabilidade e ao mesmo tempo se comprometer com os resultados alcançados mediante avaliações dos processos de aprendizagens. As ideias de Ball indicam uma nova visão de gestão introduzida na organização escolar responsável por mudanças na identidade do professor. A construção dessa nova identidade é forjada a partir de mecanismos externos sem autenticidade, uma vez que baseados em padrões de rendimento que colocam em segundo plano a autonomia dos professores.

Nesse sentido, as considerações indicadas por esses autores são relevantes para compreender as implicações dos programas de avaliação existentes no estado de Minas Gerais, como o SIMAVE e o PAAE, as práticas de ensino e a organização do trabalho docente.

A tecnologia educacional ofertada pelo PAAE exigiu do professor novas habilidades no ofício da docência. No processo de geração da prova e dos dados referentes ao desempenho dos alunos no teste, o professor exerceu a função técnica de operacionalizar o sistema, porém com a participação restrita na definição do currículo, uma vez que a matriz de referência da prova é definida a priori. Observa-se essa restrição, também, na elaboração da prova, uma vez que os itens de teste de aprendizagem que estão disponibilizados no banco de Itens do programa são construídos por especialistas contratados pelo Instituto Avaliar⁴. Além disso, os resultados dos testes foram fornecidos pelo programa, após a inserção das respostas dos alunos. Nesse processo, coube ao professor, além da função de operacionalizar o programa, escolher, entre as opções disponíveis, os eixos temáticos, os temas, os tópicos e as habilidades correspondentes aos conteúdos ensinados em sala de aula.

Destaca-se ainda a relação do professor com o tempo utilizado na aplicação da prova do PAAE. O processo, que exigiu o acesso para a escolha dos itens, a resolução do gabarito do professor, a impressão, a aplicação da prova, a inserção das respostas dos alunos e a produção dos relatórios do PAAE, com respectivos gráficos e a consulta às justificativas de respostas para a correção, demandou um tempo de planejamento não disponibilizado ao professor. Segundo o participante da pesquisa, foi necessário, aproximadamente, o tempo de planejamento de 4 horas para escolher os itens utilizados na prova e resolver o gabarito, mais 5 horas para inserir os dados dos alunos e gerar os relatórios. Além disso, foi necessário interromper o processo devido a quedas do acesso à internet, que, segundo o professor, impediram a operacionalização do programa.

Na avaliação do professor, a ausência de tempo disponível para o uso do PAAE prejudica a sua utilização, pois o tempo existente destinado ao planejamento é utilizado para o estudo e a preparação das aulas. As considerações do professor adquirem maior relevância diante da informação de que ele leciona em três turnos, em duas redes de educação distintas, situação vivenciada por parte dos professores da Educação Básica que, diante dos baixos salários pagos pelas redes de ensino, exercem jornadas duplas ou triplas, como no caso analisado.

Considerações finais

O objetivo desse artigo foi analisar as concepções de avaliação e de ensino-aprendizagem que norteiam o PAAE e as implicações deste programa na organização do trabalho docente.

No modelo de Gestão de Resultados, instituído em Minas Gerais, entre 2003 e 2014, o Sistema Mineiro de Avaliação buscou introduzir a lógica dos modos de regulação e de gestão educacional observado nas reformas internacionais, assim como nas políticas avaliativas desenvolvidas em âmbito nacional. Nessa lógica, avaliação, prestação de contas e responsabilização inserem mudanças nos currículos e no trabalho docente, alterando tempos e espaços escolares.

Diante dos inúmeros desafios colocados ao Ensino Médio brasileiro, torna-se relevante ampliar as pesquisas sobre a avaliação da aprendizagem como instrumento a serviço da melhoria do processo ensino-aprendizagem. Espera-se que o uso da avaliação diagnóstica e formativa pelos professores seja um caminho necessário para reverter desafios do Ensino Médio, no qual grande parte dos jovens que conseguem a sua conclusão o fazem sem adquirir as habilidades, as competências, os saberes, as aprendizagens desenvolvidas na escola. Nesse sentido, espera-se que outras pesquisas indiquem os benefícios, as vantagens, os limites e os desafios dos programas de avaliação e suas contribuições para a melhoria da qualidade da educação.

No estudo de caso analisado nesse artigo, constatou-se uma convergência entre as intenções do PAAE e a percepção do professor sobre a proposta curricular de História. O currículo foi instrumento para orientar o ensino e a avaliação possibilitou verificar as habilidades predefinidas no currículo. Entretanto, observou-se que toda a tecnologia oferecida pelo PAAE não impediu que a avaliação assumisse uma função tradicional restrita à verificação das aprendizagens. Nesse caso, houve uma distância entre o discurso e a prática, uma vez que o programa se apresenta como uma avaliação formativa de caráter diagnóstico, mas no caso em estudo, não garantiu que a avaliação exercesse essa função na escola. Apesar dessa assimetria, observou-se que as políticas de avaliação vêm promovendo mudanças nos tempos e espaços escolares com implicações nas práticas docentes.