Portugués (pdf)
Articulo en XML
Traducción automática
Enviar articulo por email
Permalink
Introdução
Os programas de incentivo ao uso de dados educacionais, conhecidos pela literatura internacional como data use, surgiram no ambiente das políticas de responsabilização escolar de alta consequência, elaboradas a partir do avanço dos sistemas de avaliação em larga escala. Órgãos governamentais de diversos países passaram a incorporar a análise dos dados educacionais como parte de seus esforços para melhorar o desempenho dos estudantes (KERR, et al. 2006). As decisões baseadas em dados educacionais - data-driven decision making (DDDM) (SLAVIN, 2002) - podem se dar em diversos níveis, abrangendo desde a gestão central até as escolas. Nos programas de incentivo ao uso de dados pelas escolas - que a literatura internacional reconhece por data-literacy -, a premissa é de que conhecendo o nível de aprendizagem dos estudantes apresentados pelos resultados oferecidos por sistemas de informação padronizados, gestores e professores reavaliem suas ações e passem a adotar práticas escolares mais eficazes (SCHILDKAMP & POORTMAN, 2015).
A concepção de DDDM não é nova na área educacional, embora seja mais recente nas políticas educacionais brasileiras. A origem dessa utilização de informações produzidas pelo sistema para guiar tomadas de decisões nasce posteriormente aos movimentos de Standards-based Reform (SBR) que se espalharam pelos Estados Unidos, sobretudo a partir da política No Child Left Behind (NCLB, 2001, EUA). Ainda que não haja nenhuma definição consensual de SBR, a maior parte das discussões sobre essas reformas inclui as seguintes características: expectativas acadêmicas sobre os estudantes (o que os alunos devem saber e para o que devem estar aptos); alinhamento dos elementos-chave do sistema educacional para atender às expectativas; utilização de avalições de desempenho dos estudantes para monitorar performance; descentralização de responsabilidades para decisões relacionadas ao currículo e formação nas escolas; suporte e assistência técnica para melhorar serviços educacionais; e medidas de accountability para premiar ou sancionar escolas ou estudantes com base em medidas de desempenho (HAMILTON, et al. 2008).
Essas características das SBRs criaram um cenário de maior disponibilidade de dados e aumentaram a pressão sobre as escolas para melhorar o desempenho dos estudantes (MASSELL, 2001). Nos Estados Unidos, a política NCLB passou a requerer que os estados adotassem sistemas de responsabilização escolar (test-based accountability systems), que estabeleceram metas para os anos e as disciplinas avaliadas e passaram a divulgar os resultados de avaliações de forma agregada e desagregada (HAMILTON, et al. 2008), embora os estudos sobre as políticas de accountability não tenham estabelecido uma relação clara e direta entre essas iniciativas e o aumento do desempenho escolar dos estudantes no contexto norte-americano (HOUT & ELLIOT, 2011) e/ou mudanças de práticas escolares (DIAMOND & SPILLANE, 2004).
Ainda assim, esse contexto de aumento da pressão sobre as escolas possibilitou um crescente número de iniciativas de estímulo ao uso de dados pelos agentes escolares que vão além do estabelecimento de padrões/metas e consequências caraterísticos das políticas de accountability escolar. Por exemplo, as decisões baseadas em dados educacionais foram implementadas a partir de diferentes desenhos com foco em diversos níveis do sistema educacional. No entanto, diversos estudos discutem o potencial de iniciativas que focalizam incentivos ao uso de dados por comunidades escolares para guiar decisões no nível da escola (FELDMAN & TUNG, 2001; KEER, K., MARSH J., IKEMOTO, G., DARILEK, H., & BARNEY, H. 2006). Tais estudos têm mostrado que os professores são alvos frequentes dessas iniciativas. A expectativa é de que os docentes passem a tomar decisões de alta qualidade, o que requer que sejam baseadas não somente em sua experiência e intuição, mas também em dados. Dessa forma, os professores podem utilizar dados de avaliação para determinar necessidades de aprendizagem dos estudantes e para adaptar seu planejamento de acordo com tais necessidades. Isso levaria a um aumento do nível de aprendizado dos alunos (SCHILDKAMP, et al. 2017).
No Brasil, também observamos a ampliação dos sistemas de avaliação, tanto nacional quanto nos estados e municípios, bem como de variados usos (BONAMINO & SOUSA, 2012; BROOKE & CUNHA, 2011; SOUSA & KOSLINSKI, 2017; BAUER et al. 2015). Se os usos para bonificação de professores/responsabilização escolar estão amplamente disseminados, mesmo sem evidências de um impacto claro e consistente no desempenho das escolas e/ou práticas de atores escolares, o mesmo não ocorre com a disseminação de iniciativas/programas com foco no incentivo do data use (BROOKE & CUNHA, 2011; SOUSA & KOSLINSKI, 2017).
Nesse sentido, este artigo tem como objetivo principal definir e identificar iniciativas de incentivo ao uso pedagógico de dados educacionais no contexto internacional, apresentando diferentes desenhos utilizados e os resultados por eles esperados. A partir desse mapeamento, pretende analisar as iniciativas recentes de incentivo ao uso de dados no contexto brasileiro, que têm sido adotadas como estratégia para aumento da qualidade educacional. Buscaremos analisar quais desenhos de programas parecem mais promissores em incentivar o uso de dados por docentes e gestores das escolas públicas, para além de políticas e programas de uso já amplamente disseminados no contexto brasileiro, tais como os de accountability escolar.
O presente artigo divide-se em duas partes, além da introdução e da conclusão. A primeira aborda a definição de programas de incentivo ao data use e propõe chaves de análise para compreender as principais iniciativas e os diferentes desenhos de programas utilizados no contexto internacional. Também discute os principais efeitos esperados por esses programas e os resultados de estudos que buscaram observar tais efeitos. Na segunda parte, abordamos o contexto brasileiro, onde esse tipo de iniciativa e os estudos de impacto sobre uso de dados ainda são incipientes. Análises comparativas com o contexto internacional permitem discutir a inserção e o potencial desse tipo específico de uso de dados de avaliação externa, para melhorar a qualidade da educação no contexto brasileiro.
Iniciativas e desenhos de programas de data use no contexto internacional
Tomar decisões educacionais baseadas em dados - no termo utilizado pela literatura educacional data use ou data-driven decision making - significa utilizar vários tipos de dados, particularmente dados quantitativos produzidos por avaliações em larga escala, para informar uma variedade de decisões sobre as escolas e em salas de aula (FARIA, et al. 2012). De acordo com Marsh et al. (2006), o processo de data-driven decision making (DDDM) refere-se a professores, diretores e administradores de órgãos centrais coletarem e analisarem sistematicamente diversos tipos de dados, incluindo dados de entrada, processo e saída da escola (input-process-outcome) e dados de satisfação, para guiar decisões que ajudarão a melhorar o desempenho dos estudantes e das escolas. O termo data literacy é utilizado na área educacional para denominar o conjunto de habilidades, conhecimento e disposição em que os professores precisam estar capacitados para utilizar os dados de forma eficaz e com maturidade (MANDINACH & GUMMER, 2016).
Estudo recente realizado pelo laboratório de pesquisa norte-americano AidData levantou a discussão de que dados educacionais de alta qualidade produzidos por avaliações padronizadas são essenciais para identificar lacunas de aprendizagem existentes e traçar estratégias para reverter situações de baixo desempenho escolar. No entanto, ainda que investimentos contínuos na criação de dados e supervisão sejam necessários, o principal valor da informação não é a sua produção, é o seu uso (CUSTER et al., 2018). De acordo com esses pesquisadores, esse é um dos grandes desafios de traduzir informações em ações eficazes: aqueles que produzem os dados educacionais estão frequentemente distantes dos que tomam decisões cruciais sobre políticas educacionais, programas e investimentos.
Um dos principais usos dos dados fornecidos pelas avaliações padronizadas da educação, como forma de melhorar a qualidade e a eficácia dos sistemas educacionais em diversos contextos, foram, nas últimas décadas, os sistemas de responsabilização escolar (school accountability). Um exemplo desse tipo de política nos Estados Unidos foi o ato No Child Left Behind (NCLB, 2001) que passou a requerer que os estados estadunidenses adotassem sistemas de responsabilização de alta consequência, com o estabelecimento de metas para as escolas e divulgação de resultados das instituições. Hamilton et al. (2008) afirmam que as Standard-Based Reforms (SBR) passaram a ser adotadas em resposta às exigências trazidas pelo NCLB, embora a sua origem seja anterior (HAMILTON, et al. 2008).
Embora algumas noções do que constituem as SBRs tenham mudado ao longo do tempo, os elementos principais permaneceram, e algumas poucas novas ideias foram acrescentadas em anos mais recentes. Uma dessas ideias é a ênfase no uso das informações produzidas pelos sistemas de avaliação em larga escala para guiar tomadas de decisões pedagógicas, ou seja, gestores e professores utilizarem pedagogicamente os dados produzidos por essas avaliações.
É importante mencionar que revisões sistemáticas e meta-análises realizadas sobre os efeitos desse tipo de programa não observaram impactos significativos e/ou duradouros das políticas de responsabilização escolar sobre o desempenho das escolas ou sobre as práticas escolares, em especial no contexto norte-americano e no Reino Unido (HOUT & ELLIOT, 2011; EDUCATION ENDOWMENT FOUNDATIONS, 2016). De outro lado, alguns estudos observaram consequências não esperadas dessas políticas, como a adoção de práticas de “gaming”5 (HEILIG & DARLING-HAMMOND, 2008; DIAMOND & SPILLANE, 2004).
Nesse sentido, os programas de incentivo ao uso pedagógico dos dados vêm ganhando espaço nos sistemas educacionais como uma outra forma/possibilidade de aumentar a oferta da qualidade educacional. Tais iniciativas parecem mais promissoras, uma vez que possuem um caráter formativo.
Os programas de incentivo ao uso pedagógico de dados pelas escolas podem possuir diferentes desenhos. Os mais comumente empregados podem ser divididos em três categorias principais:
Disponibilização de relatórios pedagógicos para as escolas, com a divulgação dos resultados da escola sob a forma de boletins pedagógicos;
Formação continuada de professores e gestores;
Mecanismos de intervenção direta nas escolas, como os programas com adoção de um especialista externo.
O que estudos sobre data use têm mostrado é que embora os professores tenham acesso a vários tipos de dados, eles nem sempre sabem utilizá-los de maneira a gerar mudanças profundas na formação dos estudantes, e que falta habilidade e conhecimento para formular questões, interpretar resultados e desenvolver soluções (MADINACH & GUMMER, 2015; MARSH, BERTRAND & HUGUET, 2015). Por essa razão, os programas que incentivam o uso de dados por meio de cursos de formação continuada (Categoria 2), ou por intervenção direta (Categoria 3), com o auxílio de um especialista externo na escola, poderiam ter indício de maior sucesso do que os que disponibilizam relatórios e boletins para as escolas, os quais muitas vezes os professores não sabem como interpretar e utilizar.
É possível dizer que uma ideia principal dos estudos de data use é que o desenvolvimento de um ensino eficaz na escola é um processo contínuo, sem um começo ou um fim claro (Learning Point Associates, 2004). Dessa forma, as pesquisas sobre o uso de dados em educação trabalham com um Ciclo do Progresso Escolar (School Improvement Cycle) ou Ciclo para Decisões Baseadas em Dados (Cycle for Data-informed Decision Making). Os autores que trabalham com data use na área educacional e formuladores de políticas apresentam versões diferentes desse ciclo (LEARNING POINT ASSOCIATES, 2004; MARSH. et al. 2006; SCHILDKAMP & POORTMAN, 2015; CUSTER et al. 2018), mas apresentam pontos em comum. De um modo geral, esse ciclo para o uso de dados educacionais pelas escolas engloba um plano de ações a serem realizadas por gestores e professores para incorporar os dados educacionais ao planejamento pedagógico. Alguns tópicos como identificação do problema, coleta de dados, análise e estratégia de ação aparecem em vários estudos.
Como exemplo desse processo, na Holanda, Schildkamp e Poortman (2015) apresentaram um ciclo para a utilização de dados educacionais pelas escolas que prevê o auxílio de um agente especializado externo e que também aborda uma perspectiva colaborativa entre os agentes escolares para solucionar problemas escolares a partir dos dados. Nesse modelo, a equipe escolar tomaria medidas seguindo oito passos/etapas, que são: 1) identificar o problema que a equipe escolar deseja concentrar os seus esforços (ex: alto índice de reprovação escolar); 2) formular hipóteses sobre o que causa esse problema na escola; 3) coletar dados qualitativos e quantitativos para testar as hipóteses levantadas; 4) checar a qualidade dos dados (se são válidos e confiáveis); 5) analisar os dados coletados (essa etapa pode ser realizada junto a um profissional com capacidade técnica para análise de dados); 6) interpretação e conclusões, se as hipóteses se provarem falsas, a equipe pode formular novas hipóteses (voltar para o 2.º passo), se forem comprovadas, a equipe formula conclusões com base nos achados; 7) implementar ações com base nos dados coletados; e 8) avaliar se as ações implementadas foram eficazes para solucionar o problema.
Nos estudos realizados no Learning Point Associates (2004), em Wisconsin, nos Estados Unidos, os pesquisadores sugerem um ciclo de quatro passos, que seria: (1) planejar: desenvolver um plano de melhoria; (2) fazer: implementar o plano; (3) estudar: avaliar o impacto do plano seguindo critérios específicos; e (4) agir: ajustar as estratégias para atingir os objetivos.
Os pesquisadores desse laboratório nos Estados Unidos também elaboraram um quadro comparativo de decisões baseadas em intuições (tradicional) e o que seriam decisões baseadas em dados educacionais. De acordo com esses autores, assim seria uma escola com processo de decisões baseadas em intuições, tradições ou conveniência: uma equipe dispersa desenvolve programas; decisões orçamentárias baseadas em práticas e programas já estabelecidos; alocação docente baseada em interesses e disponibilidade; relatórios para a comunidade escolar informam sobre eventos da escola; objetivos são estabelecidos por gestores ou professores, baseando-se em privilégios ou modismos; reuniões da equipe escolar focam em operações práticas e disseminação de informações; comunicação com os pais acontecem raramente (duas vezes ao ano), em feiras ou exposições e via bilhetes; sistema de avaliação baseados em critérios de cada professor e participação; reuniões de gestão periódicas focando apenas operações práticas.
Já em escola onde ocorre um processo de decisões baseadas em dados educacionais: uma equipe focada desenvolve programas como estratégias para atingir melhorias em problemas ou necessidades já identificadas; alocação de orçamentos para programas baseados em evidências com dados educacionais; alocação docente baseada em necessidades informadas pelos dados; relatórios para comunidade escolar apresentam progresso de aprendizagem dos estudantes de forma organizada; objetivos são baseados em dados sobre problemas e possíveis explicações; reuniões de equipe escolar focam em estratégias e questões trazidas pelos dados da escola; comunicação com os pais acontece regularmente dando feedback do progresso dos alunos; sistema de avaliação baseado em critérios de desempenho comuns e associados aos estabelecidos em avaliações padronizadas; reuniões de gestão focam em mensurações do progresso dos alunos por meio de objetivos baseados em dados educacionais (LEARNING POINT ASSOCIATES, 2004).
Considerando os ciclos de ações para o uso de dados educacionais nas escolas apresentados previamente, dois desenhos de data use são muito utilizados no contexto internacional. Um deles é a prática de intervenção por Coaching (KNIGHT, 2006), que se baseia em enviar um ou mais profissionais especializados para as escolas para auxiliar professores e gestores no planejamento pedagógico com o uso de dados educacionais e outros conteúdos escolares. O propósito principal desse tipo de iniciativa é aumentar o desempenho dos alunos, melhorando a forma como os professores ensinam em sala de aula, por meio do conhecimento específico fornecido pelo especialista. Ao invés de um auxílio em um único momento, como seria um workshop, o trabalho com o especialista envolve encontros frequentes com o corpo escolar para a análise de dados educacionais da escola.
As PLCs - Professional Learning Communities - são outro tipo de desenho comum, e que difere das iniciativas por coaching, pois não envolvem necessariamente a presença de um especialista externo, baseando-se na colaboração e no intercâmbio de práticas de ensino entre as escolas (MARSH, et al. 2015). Em uma dissertação defendida recentemente nos Estados Unidos, Bennett (2017) desenvolveu um estudo quantitativo no qual buscou relacionar o envolvimento e a percepção de docentes sobre a participação em um Professional Learning Community com o desempenho dos estudantes. Os resultados desse estudo indicaram que existe uma correlação entre uma percepção positiva dos professores sobre a Professional Learning Community e o impacto desses docentes sobre o sucesso acadêmico dos estudantes.
Não são muitos os estudos já divulgados sobre impacto de políticas de data use. Os estudos que foram analisados sobre diferentes desenhos políticas de data use sugerem que as iniciativas que envolvem uma formação de docentes e gestores escolares (Categoria 2), e também aquelas que promovem uma formação por intervenção direta com especialista externo (Categoria 3), parecem produzir um efeito mais significativo sobre práticas escolares, no sentido de gerar um uso pedagógico mais efetivo dos dados educacionais, se comparadas às políticas de informação e disseminação de informações, pelo motivo de que aparentemente são mais capazes de auxiliar os professores e gestores a entender como utilizar os dados nas escolas (MADINACH & GUMMER, 2015; MARSH, BERTRAND & HUGUET, 2015; BENNETT, 2017).
A seguir, analisamos a entrada desse tipo de iniciativa de uso de dados e as principais características dos programas já desenvolvidos no contexto brasileiro.
Políticas de incentivo ao uso de dados no Brasil: principais usos e iniciativas
Na política educacional brasileira, a experiência com sistemas de avaliação em larga escala é mais recente do que em outros países, como os EUA e a Inglaterra, e em função disso, também são mais incipientes os estudos brasileiros sobre os usos de dados educacionais por órgãos externos e pelos profissionais das escolas (gestores e professores), bem como sobre o impacto de programas de incentivo ao uso de dados.
Uma das primeiras experiências com avaliação externa no Brasil, em âmbito nacional, foi a implementação do Sistema de Avaliação Nacional da Educação Básica (Saeb), em 1995. No entanto, essa avaliação possuía um caráter diagnóstico, característico de uma primeira geração de avaliação no país. A avaliação Prova Brasil6, implementada em 2005, permitiu agregar a perspectiva diagnóstica à noção de responsabilização (BONAMINO & SOUSA, 2012) e, a partir desse momento, os usos dos dados educacionais produzidos pelas avaliações passaram a embasar políticas de responsabilização - o uso de dados mais difundido entre os estados brasileiros atualmente é justamente o uso para responsabilização, como apontam os estudos de Brooke e Cunha (2011) e Silva et al. (2013) sobre o uso de dados educacionais para formular políticas de incentivos salariais, e o estudo recentemente realizado por Sousa & Koslinski (2017), que indicou que 13 estados tinham políticas de responsabilização escolar.
As políticas de responsabilização escolar, embora tenham sido adotadas por muitos estados e municípios brasileiros, foram alvo de críticas no meio acadêmico, seja por gerar uma concorrência entre as escolas e provocar mais desigualdades escolares (SETUBAL, 2010), ou por promoverem relação hierárquica entre quem cobra e quem é cobrado pelo sistema de accountability, e para os efeitos negativos dessas políticas no contexto norte-americano, que seriam reproduzidos no Brasil (FREITAS, 2013). Além dessas críticas, não baseadas em evidências, alguns estudos de impacto, utilizando desenhos quase-experimentais, apontaram que as políticas de responsabilização, com adoção de metas e bonificação aos envolvidos, tiveram um baixo impacto global, seja no desempenho dos estudantes seja nas práticas docentes ou políticas escolares (SOUSA & KOSLINSKI, 2017; CORREA, 2018).
Uma outra estratégia para melhorar a qualidade da oferta educacional tem sido incentivar o uso pedagógico dos dados educacionais. O uso de dados de avaliações para incentivar o data use nas escolas no Brasil parece ser até o momento mais modesto e menos disseminado do que as políticas de responsabilização. Brooke e Cunha (2011) apresentam indícios em sua análise de como as secretarias estaduais têm buscado auxiliar as escolas - gestores e professores - a interpretar e a utilizar os dados provenientes de avaliações em larga escala. Uma das formas de oferecer apoio pedagógico às escolas tem sido na forma de materiais informativos, como boletins pedagógicos e relatórios. Os boletins pedagógicos são mais voltados para o uso pelos docentes, trazendo informações padronizadas de resultados sobre cada escola. Já os relatórios são mais voltados para os gestores, trazendo informações mais técnicas de resultados da rede (BROOKE & CUNHA, 2011).
Os autores chamam atenção nesse estudo para o fato de que ainda que as secretarias tenham investido esforço em melhorar a qualidade dos boletins pedagógicos ao longo do tempo, a divulgação de informações não gera uma apropriação automática pelos professores. As críticas provêm de um certo atraso na entrega desses materiais, além da dificuldade de interpretação e análise dos dados pelos docentes, ainda que o material se apresente de forma didática e instrutiva. Esses relatos corroboram com os achados de pesquisas internacionais, citadas anteriormente, que também analisam por que a divulgação por boletins e relatórios para as escolas não é tão eficaz (MADINACH & GUMMER, 2015; MARSH, BERTRAND & HUGUET, 2015).
Algumas iniciativas recentes que têm sido adotadas por órgãos dos governos federais, estaduais e municipais no Brasil para disseminar informações sobre dados educacionais - plataformas de divulgação e boletins pedagógicos - (Categoria 1, abordada na sessão anterior desse artigo) e algumas políticas com desenhos de intervenção direta nas escolas (Categoria 3).
No Governo Federal, a partir da implementação da Prova Brasil, o Inep passou a disponibilizar para as escolas boletins pedagógicos com base nos resultados da Prova Brasil, com uma síntese dos resultados em Matemática e Língua Portuguesa7. Em 2015, o Inep lançou a plataforma digital Devolutivas Pedagógicas8, desenvolvida especificamente para professores e gestores, que disponibiliza itens utilizados na Prova Brasil descritos e comentados por especialistas. No site da plataforma, está enunciado que um de seus objetivos é “viabilizar a apropriação pelos professores e equipe gestora dos resultados das avaliações em larga escala” (INEP, 2015).
Com relação a exemplos de medidas de intervenção e formação de docentes e gestores que vêm sendo implementadas, a Secretaria de Estado de Educação do Rio de Janeiro (SEEduc/RJ) em 2011 lançou a Gerência Integrada da Escola (Gide), que teria como objetivo “melhorar significativamente os indicadores da educação, tendo como referência as metas do Índice de Desenvolvimento da Educação Básica (Ideb), estabelecidas pelo Ministério da Educação” (GOVERNO DO ESTADO DO RIO DE JANEIRO. SEEduc, 2011). Esse programa contou com a atuação de profissionais da secretaria dentro das escolas, que são os Agentes de Acompanhamento da Gestão Escolar (AAGEs), que tinham como função garantir o andamento da política junto aos profissionais das escolas. Um estudo recente de mestrado sobre o papel dos AAGEs no município de Duque de Caxias/RJ apontou para uma resistência dos docentes às avaliações externas. Os resultados dessa análise mostraram que papel dos AAGEs consolidar-se-ia mais como um exercício didático de apresentação das potencialidades e limites do Sistema de Avaliação de Educação do Estado do Rio de Janeiro (Saerj) e da Gide nas escolas, do que de incentivo ao uso pedagógico dos dados educacionais (BENGIO, 2016).
Uma outra experiência de política pública educacional com esse desenho de intervenção foi o Programa de Intervenção Pedagógica (PIP), da Secretaria de Educação do Estado de Minas Gerais. Esse programa foi desenvolvido a partir dos resultados do Programa de Avaliação da Alfabetização (PROALFA, 2006), que demonstrou que 31% dos alunos da rede estadual estavam chegando do 3.º ano do ensino fundamental sem saber ler palavras, quando a alfabetização já deveria estar consolidada. O objetivo geral do programa era melhorar o aprendizado dos alunos e reduzir os níveis de repetência, a partir da meta “todas as crianças lendo até os oito anos de idade” (SIMÕES, 2012). O desenho dessa política previa o monitoramento e acompanhamento por profissionais capacitados pela própria Secretaria de Educação, atuando dentro das escolas, por meio de visitas de uma equipe pedagógica para discutir e trabalhar com os docentes pontualmente lacunas observadas a partir dos resultados de avaliações externas (BROOKE & CUNHA, 2011). A atenção do PIP era voltada para o atendimento de “escolas estratégicas”, isto é, escolas com o pior desempenho nas avaliações externas. Resultados sobre os efeitos do PIP (SEE/MG) apontam para uma evolução no desempenho dos alunos do 3.º ano a partir da implementação do programa nas escolas da rede estadual (SIMÕES, 2012).
No que diz respeito às iniciativas no âmbito municipal, a SME-RJ disponibilizou o Sistema de Desempenho Escolar (Desesc)9, que é um sistema interno de lançamento dos resultados das avaliações internas e externas das escolas da rede municipal. Quem tem acesso a esse sistema é o nível central, as CREs e os gestores das escolas. Os diretores podem visualizar dados de todas as escolas, lançar notas das provas bimestrais e gerar relatórios a partir dos dados divulgados sobre a sua escola.
Além dessa iniciativa, a SME-RJ implementou em 2015 a política Projeto Escolas em Foco, que apresentou um desenho de intervenção similar ao PIP, com profissionais treinados pela própria secretaria atuando dentro das escolas. No caso do programa Escolas em Foco, a seleção das escolas que iriam compor o programa foi realizada pelo Núcleo de Informações Educacionais Estratégicas da Secretaria Municipal de Educação do Rio de Janeiro (NIEE/SME-RJ), por meio do cálculo do número de alunos vulneráveis por escola, considerando as notas da Prova Rio e das provas bimestrais nos anos de 2013 e 2014. A SME-RJ realizou a contratação e formação de especialistas externos (Professores de Acompanhamento Estratégico - PAEs) para atuar dentro das escolas, sem intervenção das Coordenadorias Regionais de Educação (CREs), para auxiliar gestores e professores a interpretar os dados educacionais disponíveis sobre o desempenho dos seus alunos. O objetivo era aumentar o desempenho acadêmico dos estudantes com gestores e professores passando a utilizar os dados em suas práticas pedagógicas.
Considerando o estudo de Brooke e Cunha (2011) e também os achados de pesquisas internacionais (MADINACH & GUMMER, 2015; MARSH, BERTRAND & HUGUET, 2015) que mencionam críticas à divulgação de informações feitas por relatórios e boletins pedagógicos (identificadas na primeira parte deste artigo como Categoria 1), podemos considerar que os desenhos de políticas de intervenção direta nas escolas para incentivo ao uso de dados educacionais (Categoria 3), como foi o caso do PIP, em Minas Gerais, e da política Escolas em Foco, no município do Rio de Janeiro, procuram atender a uma demanda de formação e suporte técnico levantada por docentes e gestores em outras análises. Isto é, além de o atendimento ser mais imediato, porque não há a necessidade de esperar que um material chegue até a escola, como é o caso dos boletins e relatórios, também é previsto um auxílio técnico para que os gestores e professores das escolas passem a interpretar e a utilizar dados educacionais.
Esse tipo de desenho de política de uso de dados educacionais, portanto, associado à formação de professores e gestores das escolas públicas (identificados neste artigo nas Categorias 2 e 3), parece ser mais promissor em relação à possibilidade de gerar mudanças de práticas escolares que influenciem o aumento do desempenho dos estudantes, do que iniciativas de disseminação de informações (Categoria 1) que, por sua vez, não parecem ter o mesmo efeito nas escolas.
Conclusão
É interessante notar que após mais de uma década de experiências de responsabilização escolar no contexto brasileiro, e frente a estudos que não mostraram tendências claras e/ou duradouras do seu impacto, tais políticas, ainda assim, proliferaram-se e se tornaram um dos principais usos dos sistemas de avaliação externa por parte dos sistemas estaduais de educação. Outros estudos precisariam ser realizados para compreender a proliferação e o uso de sistemas de avaliação externa para bonificação salarial. Os estados parecem que tomam como dado que o estabelecimento de metas e os incentivos (prêmios/punições) levariam professores a desenvolverem de forma mais eficaz seu trabalho, mesmo sem evidências que apoiem esse pressuposto (EDUCATION ENDOWMENT FONDATION, 2016). Por exemplo, estudos realizados no contexto brasileiro mostram grande desconhecimento dos atores escolares sobre os sistemas de avaliação, sobre a interpretação dos indicadores educacionais e de metas estabelecidas a partir de políticas de responsabilização (ROSISTOLATO et al., 2014), fator que limitaria o impacto esperado sobre as práticas escolares e trariam consequências não intencionadas como o “gaming”.
Já as políticas com caráter de incentivo de uso de dados para tomada de decisões com desenhos que incluem mecanismos de intervenção direta nas escolas e formação (Categoria 3) parecem mais promissores no que diz respeito a motivar práticas mais eficazes dos professores. No entanto, contamos com poucas iniciativas adotadas no contexto brasileiro e ainda menos estudos sobre a implementação e impacto desse tipo específico de iniciativa. Estudos mais aprofundados nesse sentido poderão indicar caminhos mais promissores para o uso de dados dos sistemas de avaliação educacional para alavancar a qualidade da educação no contexto brasileiro.
