Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
INTRODUÇÃO
As avaliações externas, aplicadas em larga escala, vêm permitindo, há cerca de trinta anos, o levantamento de informações sistemáticas, até então pouco coletadas no Brasil, sobre taxa de matrículas, número de crianças fora da escola, taxa de repetência, abandono e desempenho de alunos, turmas, escolas e sistemas de ensino. Para Souza e Oliveira (2010), as avaliações nos dão um diagnóstico educacional, frequentemente servindo para a "reiteração do que já se sabe" (p. 818). No entanto, esse processo envolve julgamento, mas também decisão e ação, podendo servir de base para gestão, planejamento e formulação de políticas que visem à melhora do fluxo e da aprendizagem dos alunos. Cremos que esse é um dos desafios atuais no campo da gestão e das políticas públicas: Usar as informações produzidas para a tomada de decisão, em prol da melhora educacional.
Pesquisas nacionais e internacionais evidenciam a resistência ou desconhecimento das possibilidades de usos dos dados produzidos, dentre outros fatores, em função de uma visão prévia negativa e até reducionista dos objetivos das avaliações externas. Entretanto, o discurso oficial das políticas vem reforçando o uso dos resultados no planejamento de ações, o que aparentemente vem promovendo maior pressão, mas também maior interesse pelo uso de dados, tanto pelos gestores dos sistemas de ensino (BROOKE & CUNHA, 2011; BAUER et al, 2015), quanto pelos gestores escolares (SILVA et al, 2013; CERDEIRA, 2015).
Observamos ainda nesse contexto, a tendência de corresponsabilizar gestores e professores pelo desempenho dos alunos nas avaliações em larga escala. Referimo-nos à lógica de "prestação de contas" (accountability), que, no âmbito educacional, visa também a estimular os profissionais da educação por meio de premiações e/ou punições pelo desempenho dos alunos nas avaliações, bem como informar aos pais e à sociedade o desempenho das escolas públicas do país, ampliando, teoricamente, seu poder de escolha (BROOKE, 2006; VELOSO; PESSÔA; HENRIQUES; GIAMBIAGI, 2009). É nesse sentido que tais mecanismos promovem pressão e ambiente de cobrança nos estabelecimentos de ensino, sendo responsáveis também pelo interesse no uso dos resultados.
Sabemos que o tipo de uso de dados mais explorado na literatura da área é denominado gaming; isso significa que, frequentemente, as avaliações e, sobretudo, as políticas de responsabilização, são acusadas de levar os profissionais a manipular resultados, segregar alunos e estreitar o currículo, por exemplo. No entanto, para ampliar o entendimento sobre esse fenômeno, efetuamos uma revisão de literatura nacional e internacional sobre apropriação e uso de dados educacionais produzidos por avaliações externas na era do accountability, originalmente feita em função da tese de doutorado que originou este artigo. As evidências encontradas em tais estudos, nos permitiram mapear tipos de usos e os contextos e fatores comumente associados a eles, dando destaque para aqueles que podem promover maior apropriação das políticas de avaliação e usos pedagógicos dos resultados por elas produzidos.
Abordamos ainda, neste artigo, a expansão de iniciativas que visam à formação de gestores e professores para o uso dos dados que vêm sendo produzidos sistematicamente, tendo em vista a hipótese de que estaríamos iniciando uma nova geração da avaliação, que prioriza o uso de dados na gestão e no planejamento pedagógico.
TRAJETÓRIA DAS AVALIAÇÕES E PRÁTICAS DE RESPONSABILIZAÇÃO
A origem das iniciativas de avaliação de escolas e sistemas de ensino e, mesmo, as práticas de responsabilização, não datam dos últimos 20 ou 30 anos, mas, sim, de séculos. Tanto na Europa quanto nos EUA, as igrejas frequentemente sustentavam escolas, doutrinando os alunos e ensinando-lhes as ideias de esforço, trabalho, mérito, recompensa e punição. Isso originou diversos rituais escolares que consistiam em exibir conhecimento, através de provas orais, recitais e discursos públicos. O desempenho nesses rituais era avaliado, definindo a reputação de alunos, professores e escolas. Bauer (2010) afirma que os registros dos primeiros testes escritos padronizados remontam ao século XIX nos EUA, mais especificamente no ano de 1845, em Boston, o que permitiu pela primeira vez as pontuações numéricas, visto que, até então, a avaliação da escola era feita por relatórios e fotografias (LAWN, 2013).
De acordo com um estudo do Grupo de Avaliação e Medidas Educacionais (GAME, 2011), há registros desde 1863, no Reino Unido, de iniciativas que condicionavam os salários dos profissionais ao desempenho dos alunos nos exames. Os testes de desempenho da época só permitiam a comparação entre alunos, sendo usados, inclusive, para seleção daqueles. Reese (2013) afirma que, já nessa época, argumentava-se que os professores treinavam seus alunos para os testes (teaching to the test), o que acabava por ocasionar o estreitamento do currículo e da autonomia docente.
Após a Segunda Guerra, o otimismo e a expansão educacional contribuíram para a consolidação dos testes padronizados de desempenho, sobretudo nos EUA (GAME, 2011). Já nessa época, organismos como a UNESCO e a OCDE passaram a subsidiar estudos e iniciativas como a criação da IEA (Associação Internacional para a Avaliação Educacional) e posteriormente do PISA (Program for International Student Assessment)1, ambos comparando o desempenho educacional entre países. Tais organismos internacionais atualmente estabelecem diretrizes e parâmetros de qualidade adotados como referência em diversos países do mundo (CURY, 2017).
Nas últimas décadas do século XX, as reformas políticas gerenciais e educacionais, retomaram as ideias de avaliação por resultados e responsabilização. Assim, num contexto de globalização, expandiu-se o paradigma da Nova Gestão Pública (New Public Managment), no qual as avaliações externas se tornaram ferramenta de regulação da educação (Idem; SANTOS, 2015). No continente americano, Chile, Panamá, Colômbia e Costa Rica tiveram suas primeiras experiências nacionais de avaliação nos anos 80. O Brasil teve o primeiro sistema nacional de avaliação, o SAEB, na década de 90, juntamente com Honduras, Argentina, México, Uruguai, Paraguai e Equador, dentre outros (BAUER, 2010).
Os sistemas de avaliação se aperfeiçoaram na fidelidade e comparabilidade dos resultados, com a adoção da Teoria de Resposta ao Item2, sendo possível parametrizar a situação das escolas e das regiões, dentro de um contexto mais amplo (SOARES, 2011). Atualmente é possível comparar o desempenho das escolas, redes de ensino e regiões com elas mesmas, mapeando suas evoluções ao longo do tempo.
SISTEMAS AVALIATIVOS DA ATUALIDADE: TERCEIRA GERAÇÃO
Bonamino e Sousa (2012) apresentam três gerações das avaliações externas. A primeira inclui sistemas como o SAEB (Sistema de Avaliação da Educação Básica), em seu formato original, que oferecia pouco impacto aos sistemas de ensino e escolas, na medida em que havia pouca divulgação de resultados. Na segunda geração, os sistemas já são capazes de ampla divulgação dos resultados para a sociedade, provocando maior impacto sobre as escolas. As autoras citam a Prova Brasil como exemplo, visto que não se limita somente ao diagnóstico da situação educacional do país, sobretudo porque o IDEB (Índice de Desenvolvimento da Educação Básica) promoveu maior divulgação dos resultados, até o nível da escola3. Por fim, estaríamos atualmente na terceira geração, com o desenvolvimento de sistemas avaliativos associados a mecanismos de responsabilização, o que implica a intensificação da divulgação dos resultados e premiações escolares em função do desempenho dos alunos. Alguns sistemas de ensino estaduais e municipais são exemplos dessa geração no Brasil, pois apresentam responsabilização de alto impacto, ao contrário da primeira e da segunda gerações, que são consideradas de baixo impacto.
No âmbito da terceira geração de avaliação ocorreram ainda duas gerações de políticas de responsabilização, conforme explicam Brooke; Cunha (2011). Na primeira, as premiações aos profissionais eram feitas somente com base nos desempenhos dos alunos, sem levar em conta o ponto de partida das escolas e seus fatores contextuais, como o nível socioeconômico. Frequentemente eram sempre as mesmas escolas que ganhavam. A segunda e atual geração, premia os profissionais considerando o cálculo de metas por escola, que levam em conta o IDEB e/ou outros índices escolares dos anos anteriores. Além do desempenho, são também consideradas taxas de reprovação e abandono, bem como a meta proporcionalmente calculada para a escola. Isso promoveu uma mudança significativa, pois escolas de baixo desempenho passaram a ter reconhecimento e ganho de prêmios, na medida em que alcançavam as metas.
O estudo de Brooke & Cunha (2011) ressalta a expansão dos sistemas estaduais de avaliação em larga escala, bem como dos usos dos resultados dessas avaliações na gestão dos sistemas de ensino. Reforçando essa tendência, a pesquisa de Bauer; Pimenta; Horta Neto e Sousa (2015) apresenta resultados semelhantes no âmbito dos municípios brasileiros. Para Silva, Gimenes e Moriconi (2013), a expansão de sistemas avaliativos estaduais e municipais, ocorreu, dentre outros fatores, pela rapidez no retorno dos resultados e pelo diagnóstico mais preciso da situação educacional, se comparados ao que o sistema nacional é capaz de produzir. Para Sousa, Pimenta e Machado (2012), os sistemas locais tendem a ter capacidade maior de monitoramento, favorecendo usos mais imediatos dos resultados pela gestão e no planejamento pedagógico.
De acordo com os estudos citados, a maioria dos estados e municípios brasileiros já contemplam algum tipo de sistema avaliativo em larga escala. Em decorrência, as políticas de responsabilização também vêm expandindo-se por aqui. Nesse contexto, as avaliações de terceira geração vêm sofrendo resistências. Brooke (2006) destaca que parte das críticas são fundamentadas no fato de que as escolas brasileiras têm pouca autonomia de gestão e carecem de condições que favoreçam um trabalho de qualidade, revelando que as próprias entidades governamentais parecem não se responsabilizar pelo desempenho dos alunos.
Embora tais políticas se enquadrem dentro de um modelo globalizado de gestão pública, os critérios e metas estipulados para corresponsabilizar os profissionais da educação variam muito entre as redes públicas de ensino e, até, dentro da mesma rede, sendo comum alterações de um ano para o outro. Destacamos que, no Brasil, não há mecanismos oficiais de punição previstos. Entre países, no entanto, essas variações são ainda maiores. Trazemos os exemplos do No Child Left Behind dos EUA e o Sistema de Medición de la Calidad de la Educación (SIMCE) do Chile. No primeiro, destacam-se os processos de intervenção escolar por agentes externos, bem como uma série de mecanismos de premiação e punição dos profissionais escolares, incluindo demissão e fechamento de escolas (RAVITCH, 2009). Já no Chile, destaca-se o sistema de voucher: O Estado oferece recursos às escolas públicas e privadas, de acordo com o número de alunos matriculados. Na disputa por mais recursos, caberia às escolas mostrar bons resultados para atrair mais alunos, visto que os pais têm liberdade de escolha (VELOSO; PESSÔA; HENRIQUES; GIAMBIAGI, 2009).
Os diferentes tipos de responsabilização adotados provocam diferentes tipos de consequências e também influenciam os usos dos resultados produzidos pelas avaliações. Contudo, tanto no Brasil quanto nos EUA e Chile, houve, nas últimas décadas, melhora dos índices de desempenho das escolas. Há evidências, para Brooke e Cunha (2011), de que o aperfeiçoamento das políticas de avaliação e responsabilização pode estimular efeitos positivos como, por exemplo, aumento do trabalho coletivo da equipe escolar em prol da melhora da aprendizagem de todos os alunos e não somente de um grupo específico, melhorando também a equidade educacional.
Entretanto, não se podem omitir os efeitos negativos mapeados, dos quais já destacamos: estreitamento do currículo; foco no prêmio; seleção dos "melhores" alunos e exclusão dos "piores"; investimento pedagógico nos "melhores alunos"; foco no treino para a prova e não na aprendizagem; fraudes, etc. Entendemos que esses efeitos se traduzem em usos equivocados dos dados produzidos pelas avaliações. Nossa hipótese é que o mau uso não é provocado somente pelos tipos de responsabilização adotados, mas por outros fatores contextuais dos sistemas de ensino e das escolas que abordaremos neste artigo. Cremos que problematizar e superar os efeitos e usos indesejados é o caminho para adentrarmos uma quarta geração de avaliação, cujo investimento seja nas práticas de gestão e no uso dos dados não para a reiteração do que já se sabe, mas para fins pedagógicos que possibilitem a melhora da aprendizagem.
FATORES QUE INFLUENCIAM A APROPRIAÇÃO E O USO DOS DADOS
Embora tenha ocorrido o aumento da demanda pelo uso dos dados, há dificuldades de interpretação e uso pedagógico, fazendo com que sejam historicamente usados como meras ferramentas administrativas, especialmente, pelos gestores das redes de ensino (LAWN, 2013). Turner e Coburn (2012) apontam que, nos EUA, as formas de uso de dados educacionais por gestores e professores variam muito entre regiões, escolas e suas respectivas redes. Já Jennings (2012) evidencia que as maiores variações estão entre os profissionais, ainda que trabalhem no mesmo local. Aparentemente, há uma ausência de orientações claras quanto às formas mais adequadas de usar os dados, ou seja, usos que possibilitem o aumento da equidade e da aprendizagem dos alunos.
Tais estudos também afirmam que as formas como esses profissionais recebem as informações e as interpretam, acabam por favorecer uma grande variação de usos. Contudo, para além de apropriações individuais, há características escolares e organizacionais dos sistemas de ensino que também favorecem variados tipos de usos. Sintetizamos esses fatores em cinco itens: 1- Impacto da política de responsabilização educacional; 2- Construção dos testes padronizados e inflação da pontuação; 3- Localização e gestão da escola; 4- Circulação de informações nas escolas e suas redes; 5- Conhecimento e formação para uso dos dados.
1. IMPACTO DA POLÍTICA DE RESPONSABILIZAÇÃO EDUCACIONAL
Diamond e Spillane (2004) realizaram uma pesquisa sobre os efeitos da responsabilização em escolas de baixo e alto desempenho dos EUA. Nos dois contextos, observaram a valorização das disciplinas de Matemática e Língua, se comparadas às demais áreas disciplinares. No Brasil, também há evidências dessa prática, conforme apontam Silva, Gimenes e Moriconi (2013). Ao pesquisar quatro redes de ensino brasileiras, observaram que as tomadas de decisão dos gestores e professores afetam o currículo e o cotidiano escolar, uma vez que as escolas aumentaram a quantidade de "dever de casa", de exercícios de matemática e de projetos de leitura. Outras disciplinas, porém, tiveram atividades reduzidas. É plausível pensar que os professores de Língua Portuguesa e Matemática sofrem maior cobrança por resultados nas escolas. Amaro (2013) aponta também que essa cobrança é ainda maior se esses professores trabalham em turmas de anos avaliados (normalmente 5º e 9º anos do Ensino Fundamental). Essas evidências levantam hipóteses de que as apropriações e usos dos dados pelos profissionais podem variar de acordo com a pressão que sofrem, a depender da disciplina e do ano em que lecionam.
Silva, Gimenes e Moriconi (2013), assim como Arcas (2009) e Jennings (2012) também evidenciam a estratégia escolar de treinar os alunos por meio de simulados e de modificar suas avaliações internas da aprendizagem, que vêm tornando-se mais parecidas com as externas. De certa forma, essas práticas associadas à hierarquização das disciplinas acabam por causar impactos no currículo. Para Diamond e Spillane (2004) a cobrança intensa por resultados pode promover esses tipos de usos, que provocam o aumento do desempenho nos testes, mas não necessariamente da aprendizagem. Isso seria mais recorrente em escolas de baixo desempenho, pois essas escolas sofrem mais pressão, sobretudo nos EUA. Sofrendo intervenção de agentes externos e ameaça de demissão, há uma preocupação maior de elevar rapidamente o desempenho; portanto, não haveria tempo hábil para planejamento de médio a longo prazo. Já nas escolas, cujo alunos demonstram desempenho satisfatório, os usos dos resultados das avaliações seriam menos superficiais, visto que ocorrem mais divulgação e discussão sobre eles e tomadas de decisão que levam à reformulação de práticas de ensino e acolhimento de alunos com dificuldades.
Os trabalhos de Almeida (2013) e Cerdeira (2015) também apontam diferenças de apropriação e usos entre profissionais de escolas de alto e baixo desempenho em redes municipais do Rio de Janeiro. Enquanto os professores e gestores das escolas de alto desempenho apresentam-se menos resistentes às avaliações e seus usos, os profissionais de escolas de baixo desempenho tendem a culpar as famílias e a sociedade em geral pelo baixo aprendizado, considerando o trabalho escolar e as avaliações externas pouco relevantes no processo de melhoria da qualidade.
Já a pesquisa de Stillman (2011) traz outros elementos para pensar o impacto da responsabilização, ao mostrar que as ações ou usos dos professores variam, em parte, conforme os gestores medeiam as políticas de alto impacto. Nas escolas em que os gestores não se mostraram corresponsáveis pelos resultados, a pressão da política chegou de forma intensa ao corpo docente. Nessas escolas, os professores trabalharam em equipe, porém não tinham uma boa relação com o gestor. Havia uma preocupação em cumprir o currículo de maneira articulada à vida cotidiana dos alunos e de estabelecer metas internas rigorosas. Nesse contexto, até houve melhora do desempenho, mas, em parte, devida à tomada de ações superficiais que aumentam a pontuação nos testes, conforme já sinalizado por Diamond e Spillane (2004).
Nas escolas em que os diretores tomaram a responsabilidade para si, protegendo o corpo docente das pressões políticas, Stillman (2011) verificou que houve certa acomodação, pois o planejamento docente foi menos coletivo e as escolhas pedagógicas se deram de maneira arbitrária, sem muita conexão entre os conteúdos exigidos e a realidade dos alunos. A autora conclui que, nas escolas onde os gestores e professores dividiam as responsabilidades e pressões das políticas de responsabilização, as relações de confiança eram mais sólidas e o trabalho mais coletivo. O desempenho das escolas melhorou a partir de mudanças de práticas pedagógicas e não em função de estratégias dirigidas a níveis de ensino, áreas curriculares e estudantes específicos.
A figura 1 explicita as conclusões da autora: Tanto a ausência de pressão, quanto a pressão intensa por resultados podem levar a uma tensão improdutiva na escola. Portanto, defende que uma pressão moderada proporciona uma tensão produtiva, mobilizando os profissionais para o usos mais eficazes dos resultados.
Fonte: Traduzido de Stillman (2011)
Figura 1 Mediação do diretor sobre a atuação e aprendizagem dos professores
Assim como Stillman (2011), Silva, Gimenes e Moriconi (2013) destacam que a introdução de avaliações externas nas escolas, ainda que não acompanhadas de políticas de responsabilização, provocam um clima de responsabilização que não era frequente antes, na medida em que alguns gestores passaram a “criar formas próprias de pressão e incentivo” (p. 61), semelhantes ao que Holme e Rangel (2012) denominaram "responsabilização interna". Isso significa a realização de um trabalho coletivo e comprometido com a aprendizagem dos alunos, preocupação com monitoramento interno e criação de metas e estratégias que visem à melhoria.
Resultados semelhantes foram encontrados por Cerdeira (2015), que comparou as percepções e ações de gestores escolares de duas redes públicas de ensino brasileiras: uma cuja política de responsabilização previa premiações salariais aos profissionais de escolas que alcançavam as metas de desempenho e outra, cujo sistema avaliativo não estabelecia metas locais de desempenho nem remuneração extra, podendo ser qualificada de baixo impacto. Os que tinham possibilidade de ganhar prêmios, afirmaram, com mais frequência, trabalhar coletivamente em prol dos alunos com dificuldades de aprendizagem, além de pensar em ações para reduzir a reprovação e a evasão, se comparados aos outros. Além disso, gestores das duas redes reconheciam que a pressão por resultados promoveu mudanças positivas no trabalho escolar, aumentando o interesse pelos dados e possível uso deles no planejamento escolar.
2. CONSTRUÇÃO DOS TESTES PADRONIZADOS E INFLAÇÃO DA PONTUAÇÃO
Para Koretz e Jennings (2010), a qualidade educacional dos EUA tem melhorado, mas não na velocidade e proporção evidenciadas nos testes. Argumentam que não é só a melhora da aprendizagem que aumenta a pontuação nos testes, mas também práticas de gaming ou estratégias superficiais como o estreitamento do currículo e o treino para a prova. Isso cria uma inflação na pontuação dos testes externos, podendo criar a ilusão de que a qualidade está melhorando rapidamente e, ainda, que as desigualdades estão diminuindo, uma vez que as escolas de baixo desempenho são as que têm os maiores ganhos de pontuação.
Ser treinado para fazer as avaliações também pode aumentar a pontuação, sem que o aluno tenha aprendido os conteúdos na mesma proporção. A formulação dos testes também pode contribuir para a inflação da pontuação, na medida que se tornam previsíveis, sendo considerados "fáceis". Testes mal formulados têm impacto direto nas políticas de responsabilização, que podem basear-se em informações equivocadas para critérios de premiação e punição dos profissionais da escola. Supovitz (2012), por exemplo, detectou problemas na formulação de perguntas e de seus distratores. Esse contexto cria obstáculos na identificação das dificuldades de aprendizagem dos alunos. O autor acredita que a imprecisão das estimativas de desempenho, aliada à pressão da política e ao pouco retorno de informações às escolas, comprometem a apropriação e uso dos dados educacionais em prol da melhoria do ensino-aprendizagem.
No Brasil, Morais (2012) também detectou imprecisões nos testes da Provinha Brasil, que, em 2010, teve duas edições com níveis de dificuldade diferentes (no início e final do ano letivo), quando o esperado era que fossem equivalentes para medir o que os alunos aprenderam durante o ano. Diante das evidências, é possível indagar até que ponto o desenho dos sistemas de avaliação em larga escala são pensados com o objetivo de, para além do monitoramento, produzir informações fidedignas aos gestores e professores, passíveis de fácil compreensão e uso pedagógico.
3. LOCALIZAÇÃO E GESTÃO DA ESCOLA
Holme e Rangel (2012) mapearam alguns fatores que influenciavam as reações dos profissionais da educação às políticas locais de avaliação e responsabilização, dos quais se destacaram a dimensão territorial e organizacional dos estabelecimentos de ensino. Os autores justificam a investigação com base na informação de que algumas escolas que atendem alunos desfavorecidos socioeconomicamente não conseguiam progredir e alcançar as metas de desempenho projetadas. A partir disso, analisaram escolas que atendiam, majoritariamente, alunos nessas condições.
Os autores observaram que as escolas de regiões geográfica e socialmente segregadas, apresentavam altas taxas de rotatividade de pessoal, o que contribuía para uma equipe escolar sempre inexperiente, com fraca liderança, pouca apropriação das regras e metas organizacionais da escola, pouco comprometimento com os resultados e, menos ainda, interesse pelo uso deles no planejamento pedagógico. Os autores classificaram-nas como escolas "altamente instáveis". Havia, no entanto, uma escola com o mesmo perfil de alunos e de localização, onde não havia muita rotatividade de professores e o gestor era antigo no cargo. Observaram que o corpo docente era composto por ex-alunos e moradores próximos, comprometidos em melhorar a educação da região. O trabalho coletivo e a boa relação com o gestor contribuíam para uma rede organizacional estruturada, trazendo resultados escolares positivos. Por fim, como já era esperado, as escolas que apresentaram um alunado de composição social de classe média, eram mais estáveis, já que se localizavam em regiões mais privilegiadas, havia pouca rotatividade e a presença de uma liderança mais consolidada.
O esquema apresentado na figura 2 resume a ideia de que a localização da escola pode estar associada ao perfil dos profissionais (liderança, formação, experiência), bem como à estabilidade ou instabilidade organizacional (apropriação das regras e metas, relações de confiança, comprometimento, etc), que, por sua vez, interferem nas percepções e reações dos profissionais, o que inclui a compreensão e o uso de dados educacionais. Holme e Rangel (2012) afirmam que, normalmente, as escolas mais estáveis apresentam o que chamam de "responsabilização interna", já explicitado no item 1, que consiste num sentimento de responsabilidade com a aprendizagem dos alunos, fazendo com que criem metas coletivas internas, aliviando as pressões externas das políticas de alto impacto.
Fonte: Traduzido de HOLME; RANGEL (2012).
Figura 2 Relação entre a geografia social e a resposta organizacional
Assim como nos EUA, as escolas brasileiras que apresentam taxas mais elevadas de rotatividade, apresentam também baixo desempenho, sendo compostas por alunos mais pobres e não-brancos (ALVES; FRANCO, 2008; BRITO; COSTA, 2010). Além disso, em geral, os professores brasileiros recém concursados e inexperientes são alocados nas escolas que "sobram" (após a escolha dos mais antigos), ou seja, escolas com o perfil mencionado em regiões de violência e vulnerabilidade social. Portanto, há todo um contexto que pode promover a instabilidade organizacional de determinadas escolas, que por sua vez, tende a aumentar a probabilidade de gaming e estratégias superficiais que elevam a pontuação nos testes, mas não necessariamente a aprendizagem dos alunos (DIAMOND; SPILLANE, 2004; STILLMAN, 2011; JENNINGS, 2012).
4. CIRCULAÇÃO DE INFORMAÇÕES NAS ESCOLAS E SUAS REDES
Alguns estudos aqui citados alertam para o desconhecimento dos profissionais das escolas sobre políticas de avaliação, o que contribui para a sensação de imposição, descrédito e resistência a elas. Nesse sentido, Daly (2012) destaca o papel fundamental dos gestores das redes de ensino e das escolas na divulgação de informações e esclarecimentos à comunidade escolar. Tanto para o autor como para Silva, Gimenes e Moriconi (2013), as pesquisas vêm apontando que o sistema de comunicação existente nas redes, ou seja, as relações e articulações dos diferentes níveis de gestão, podem promover ou limitar o acesso aos dados educacionais e, por consequência, seus usos na gestão e no planejamento pedagógico. Marsh (2012) concorda, citando a importância da colaboração "vertical" entre escolas e níveis de gestão superior, bem como a "horizontal", entre pares no âmbito escolar.
Contudo, para Daly (2012), nem sempre os gestores apresentam habilidades e liderança para promover a difusão de informações ou ainda não há disponibilidade de recursos estruturais e organizacionais importantes para a criação de um sistema eficaz de comunicação bem como de uma cultura de uso dos dados. Lembramos que Holme & Rangel (2012) destacaram a rotatividade de gestores e professores como um obstáculo para estruturação organizacional, o que prejudica a circulação de informações.
Valli, Croninger e Buese (2012) também apontam evidências de que a circulação de informações entre os diferentes níveis de gestão da rede de ensino até as escolas favorece a apropriação e uso dos dados educacionais; ressalta, porém, que as redes de ensino estão submetidas a sistemas de avaliação e políticas de responsabilização diferentes, como as nacionais e as locais. Em alguns casos, não há coerência entre elas (nível de dificuldade, metas de desempenho e critérios de premiação), o que dificulta o entendimento.
Pesquisas brasileiras também apontam que as políticas públicas chegam para ser executadas nas escolas sem as informações necessárias, dentre elas, as políticas de avaliação e responsabilização. Silva (2007) já apontava em sua pesquisa que os professores recebiam provas externas nas escolas sem nem ao menos saber do que se tratava. Assim, transitavam entre a resistência, por entenderem que havia imposição, e o descrédito, por não considerarem relevante ou pensarem que era "só mais uma prova". Cerdeira (2015) também encontrou reações semelhantes dos profissionais, concluindo que, de forma geral, pouco sabem sobre objetivos das avaliações, construção dos testes, metodologia de aplicação das provas, cálculo de metas e critérios para a premiação. Para a autora, a fraca disseminação de informações contribui para essa realidade e afeta as percepções e reações dos profissionais da escola.
Para Amaro (2013), a pressão sofrida nas escolas, não parece promover ações e estratégias que visem à difusão de informações compreensíveis. Desse modo, assim como Silva (2007) e Cerdeira (2015), observou que gestores e professores compreendiam com dificuldade as proficiências dos alunos e outros dados estatísticos. Para Silva, Gimenes e Moriconi (2013), a gestão das Secretarias de Educação e de instâncias intermediárias das redes de ensino também apresentam insegurança e dificuldades de compreensão. Esse seria um dos fatores explicativos para o fato de elas não disseminarem orientações claras e o estímulo ao uso dos dados no planejamento escolar. Os autores observaram que há pouca comunicação entre a gestão superior e as escolas antes da aplicação das provas. As relações se intensificam após a divulgação dos desempenhos, na busca por soluções imediatas e superficiais para os resultados negativos.
5. CONHECIMENTO E FORMAÇÃO PARA USO DOS DADOS
Este fator está ligado ao anterior, visto que se falta disseminação de informações nas redes de ensino e nas escolas, supomos que falte conhecimento sobre as políticas em questão. A falta de conhecimento, por sua vez, interfere nas percepções e ações dos profissionais, bem como no uso dos dados produzidos pelas avaliações externas. Desse contexto, surgiram iniciativas de capacitação chamadas de Data Literacy nos EUA (MANDINACH; GUMMER, 2013). Elas visam à formação de um conjunto de saberes e habilidades que orientem a tomada de decisão com base nos resultados escolares de desempenho. Pesquisas vêm mostrando que essas intervenções, ao promoverem o uso dos dados, podem contribuir para a melhoria educacional. Contudo, as iniciativas são relativamente recentes nos EUA e estão se ampliando.
Marsh (2012), em sua revisão de literatura, traz inúmeras pesquisas sobre o impacto das capacitações voltadas ao uso dos dados educacionais. Ela analisa que os resultados foram mais expressivos nos distritos que combinaram uma série de fatores às capacitações, tais como, alinhamento de políticas de avaliação e responsabilização local e nacional, reformulação do currículo e disseminação dos dados estatísticos (de proficiência, reprovação, etc.) de forma compreensível. Em geral, os participantes avaliam positivamente as capacitações, pois se sentem mais seguros, compreendendo melhor as possibilidades de uso das avaliações externas, inclusive para orientação de práticas pedagógicas. Supovitz (2012) chegou a resultados semelhantes, concluindo que, depois das capacitações, os profissionais demonstraram maior habilidade para solucionar problemas, detectar dificuldades dos alunos e pensar em estratégias para mudança das práticas pedagógicas com base nos dados educacionais.
Embora não tenha sido detectada uma relação de causalidade, observou-se que em algumas escolas o desempenho melhorou após as capacitações. Há evidências também de que houve redução de práticas de gaming.Marsh (2012) destaca ainda aspectos que, em alguma medida, comprometeram a análise dos efeitos das capacitações, tais como falta de estrutura e pessoal para apoio sistemático às escolas e rotatividade dos profissionais.
No Brasil também há pesquisas que mostram uma relação positiva entre conhecimento e uso dos dados de forma mais efetiva. A investigação de Fernandes et al. (2010) analisou, dentre outros aspectos, informações do Proeb/Simave (Programa de Avaliação da Educação Básica da Secretaria de Educação do Estado de Minas Gerais), concluindo que os profissionais que demonstraram maior conhecimento sobre políticas de avaliação tenderam a ser menos resistentes, promovendo mais debates e usando mais seus resultados no planejamento docente e de gestão, de forma a priorizar a formação dos alunos.
Contudo, no Brasil, há poucas ações estruturadas que visem a capacitar professores e gestores para maior compreensão e uso pedagógico dos dados produzidos por avaliações. Podemos citar o Plano de Intervenção Pedagógica (PIP), implementado pela Secretaria da Educação do Estado de Minas Gerais. De acordo com Brooke e Cunha (2011), esse programa promove a formação continuada de profissionais com base nos resultados de avaliações externas, visando à formulação de um PIP que possa melhorar o desempenho dos alunos.
Os autores destacam também iniciativas menos estruturadas em outras redes estaduais brasileiras, como a produção e divulgação de boletins e materiais informativos para as escolas, além da realização de eventos pedagógicos que ampliam a discussão sobre as avaliações. Já Bauer, Pimenta, Horta Neto e Souza (2015) mostram que a tendência se repete nas redes municipais, que vêm usando os resultados das avaliações para promoverem formação dos profissionais, ainda que faltem estruturação e normatização específica para isso.
O estudo de Rosistolato; Prado; Cerdeira; Almeida; Bengio (2017) também aborda duas políticas que promovem o uso de dados atualmente. A primeira, da gestão da Rede Estadual do Rio de Janeiro, criou a GIDE (Gestão Integrada da Escola) e prevê profissionais externos fomentando o uso de dados nas escolas, atuando junto aos gestores e professores e mediando a relação entre a escola e a Secretaria. A segunda e mais recente, implementada pela gestão da Rede Municipal do Rio de Janeiro, em 2015, refere-se ao Programa Escolas em Foco que também enviou profissionais a escolas previamente escolhidas, a fim de aumentar seus índices de desempenho a partir da interpretação e do uso dos resultados das avaliações.
TIPOS DE APROPRIAÇÃO E USO DE DADOS
O mapeamento de pesquisas apresentado trouxe alguns contextos e fatores possivelmente associados às formas de apropriação das políticas de responsabilização, de avaliação e de seus resultados. O quadro 1 sintetiza os fatores que contribuem para o que chamamos de apropriação e uso superficial ou artificial das políticas e dos dados produzidos. Essa categoria se define pelo pouco conhecimento sobre as políticas, resistência, práticas de gaming e ações que refletem preocupação com o aumento da pontuação nos testes, dentre elas, o estreitamento do currículo e o investimento desigual na aprendizagem dos alunos.
Quadro 1 : Fatores associados aos tipos de apropriação/uso dos dados e possíveis consequências
| Pouca Apropriação e Uso Superficial dos Dados Educacionais | Apropriação Efetiva e Uso Pedagógico dos Dados Educacionais | |
|---|---|---|
| Aspectos que favorecem | Políticas e objetivos desalinhados | Políticas e objetivos alinhados |
| Testes mal formulados | Testes bem fomiulados | |
| Fraca articulação entre as instâncias de gestão da rede de ensino | Forte articulação entre as instâncias de gestão da rede de ensino | |
| Liderança fraca ausente | Liderança forte presente | |
| Forte pressão ou ausência de pressão | Pressão moderada tensão produtiva | |
| Instabilidade organizacional | Estabilidade organizacional | |
| Ausência de relações de confiança | Presença de relações de confiança | |
| Alta rotatividade de profissionais | Β aixa ro ta avid ade d e pro fis sio nais | |
| Pouca circulação de informação | Muita circulação de informação | |
| Clima organizacional ruim | Clima organizacional b om | |
| Ausência de responsabilização interna | Presença de responsabilização interna | |
| Possíveis Conseqüências | Pouca divulgação e discussão sobre os resultados | Muita divulgação e discussão sobre os resultados |
| Estagnação das praticas pedagógicas | Mudanças nas praticas pedagógicas | |
| Foco no treino | Foco na aprendizagem | |
| Foco em um spipa de alunos | Foco em to dos os alunos | |
| Pouco potencial ρ ara uma cultura de uso dos dados | Muito potencial ρ ara uma cultura de uso dos dados |
Fonte: Elaboração da autora.
O quadro 1 também sintetiza os fatores comumente associados a uma apropriação efetiva e ao uso pedagógico dos dados, caracterizadas pelo amplo conhecimento, maior clareza quanto aos objetivos curriculares, maior motivação para pensar em estratégias de redução das dificuldades de aprendizagem, desinteresse e abandono dos alunos, ou seja, para usar os dados produzidos como instrumento pedagógico, de planejamento e gestão, que visem à melhora da aprendizagem dos alunos, para além do aumento da pontuação nos testes.
CONSIDERAÇÕES FINAIS
Iniciamos a apresentação deste artigo com breve revisão da trajetória das avaliações de desempenho, bem como de estratégias de responsabilização, mostrando que, apesar de serem práticas seculares, foram ressignificadas ao final do século XX, tornando-se um dos pilares das políticas educacionais do mundo globalizado, no contexto do paradigma da Nova Gestão Pública. Nessa agenda política, os sistemas avaliativos passaram por diferentes fases, produzindo informações em larga escala, pouco utilizadas para a melhoria da situação educacional diagnosticada. Com a expansão das políticas de responsabilização, encontramo-nos na terceira geração avaliativa, cuja pressão e demanda pelo uso dos resultados produzidos vem crescendo.
A partir de um levantamento de pesquisas brasileiras e internacionais, mapeamos os fatores contextuais dos sistemas de ensino e das escolas que possibilitam uma variação de usos dos dados produzidos pelas avaliações, sobretudo no contexto atual de responsabilização. A análise evidenciou o protagonismo da gestão educacional e escolar nos fatores envolvidos e categorizou inicialmente dois tipos de usos, que denominamos: usos superficiais e usos pedagógicos. As estratégias superficiais consistem basicamente em práticas de gaming, pouca divulgação de informações e estagnação de práticas docentes e de gestão.
Apesar das críticas pertinentes que acusam as políticas de avaliação e responsabilização de promoverem efeitos perversos como treinamento dos alunos e estreitamento do currículo, há indícios de que os resultados das avaliações externas podem ser usados com finalidade pedagógica, como, por exemplo, na adequação de práticas que visem à aprendizagem dos alunos e não somente uma boa pontuação nos testes; na redução de desigualdades de aprendizagem, sobretudo a partir do investimento pedagógico nos alunos que apresentam mais dificuldades, e no trabalho coletivo da equipe escolar.
Contudo, o desconhecimento, a resistência e as experiências de implementação de políticas fracassadas dificultam a compreensão do potencial pedagógico dos dados produzidos. Nesse sentido, apresentamos alguns fatores que tendem a favorecer esse potencial, tanto no âmbito da escola, quanto no da organização da rede de ensino: gestão presente e atuante; divulgação de informações; pouca rotatividade de pessoal; presença de relações de confiança e articulação entre a gestão da rede e das escolas; cobrança moderada; políticas e objetivos alinhados, desenho dos sistemas de avaliação em geral, bem como o desenho dos próprios testes, dentre outros.
Abordamos também as iniciativas recentes e experimentais de capacitação dos profissionais para o uso dos dados produzidos. Além de consistirem em ferramentas de divulgação de informações sistemáticas sobre os sistemas avaliativos, referentes aos seus objetivos e métodos, podem esclarecer dúvidas sobre construção de metas e índices, interpretação das proficiências dos alunos e auxiliar no uso pedagógico dessas informações.
Por fim, esperamos ter problematizado uma discussão que avança no debate educacional, abrindo caminhos para uma nova geração de avaliação, que, ao utilizar melhor os resultados obtidos, contribua para o aperfeiçoamento das políticas atuais, a melhora da aprendizagem e redução das desigualdades educacionais no Brasil.
