INTRODUÇÃO

A política educacional brasileira dos últimos 20 anos ganhou forte atenção da sociedade e passou por uma série de intervenções no sentido de buscar a melhoria da qualidade da educação. Como exemplos dessas iniciativas, podem ser mencionados a expansão de gastos públicos (especialmente com salários de professores, através do Fundo de Manutenção e Desenvolvimento da Educação Básica e de Valorização dos Profissionais da Educação - Fundeb) e o estabelecimento das Metas do Todos Pela Educação¹ a serem perseguidas até 2022. Dos resultados alcançados na educação brasileira nos últimos anos, destacam-se a inclusão de praticamente a totalidade das crianças entre 7 e 10 anos de idade na escola e, nos anos recentes, a importante melhoria no desempenho educacional de alunos do primeiro ciclo do ensino fundamental (1º a 5º anos).²

Entretanto, essa melhora não se estendeu aos anos finais do ensino fundamental (6º a 9º anos). O que se observa nessa segunda etapa é uma grande dificuldade em se atingir as metas de desempenho e um elevado índice de evasão escolar em relação aos anos iniciais do ensino fundamental.

Como regra, a maior parte do sistema educacional brasileiro estabelece que o ensino fundamental se divide em dois ciclos, sendo o primeiro do 1º ao 5º ano e o segundo do 6º ao 9º ano. As mudanças entre ciclos são profundas, envolvendo frequentemente não apenas troca de escola, como também uma transformação pedagógica em que novas disciplinas são inseridas. As classes deixam de ter um único professor- -regente que leciona a maioria das disciplinas para ter professores especialistas, cada qual responsável por apenas um curso. Um elemento complicador dessa mudança é que ela ocorre em fase delicada do desenvolvimento dos indivíduos, o início da adolescência.

No Brasil, esse momento de passagem do modelo de um professor-regente para vários especialistas parece ter sido definido sem nenhuma evidência mais robusta de que acontece no melhor instante em termos de aprendizado. Muito provavelmente, esse timing está ligado a razões históricas. De fato, a Reforma Capanema de 1942 instituiu, no ensino secundário, um primeiro ciclo de quatro anos de duração, denominado ginasial, e um segundo ciclo de três anos. Ou seja, os atuais anos finais do ensino fundamental e o ensino médio faziam parte do ensino secundário, enquanto os atuais anos iniciais do ensino fundamental constituíam o ensino primário. Assim, os atuais anos iniciais e anos finais do ensino fundamental estavam em etapas de ensino diferentes.

Ao longo do tempo, com as conseguintes reformas do sistema educacional brasileiro, mesmo passando a pertencer à mesma etapa de ensino, manteve-se essa divisão do antigo “primário” contendo os quatro primeiros anos de escolarização e do antigo “ginásio” abrangendo os anos seguintes. Mais recentemente, em muitas unidades da federação, houve uma municipalização parcial do ensino fundamental. Assim, há casos em que as prefeituras respondem pelos anos iniciais do ensino fundamental enquanto o governo estadual responde pelos anos finais. Mesmo nos casos em que um mesmo ente federativo é responsável por todo o ensino fundamental, muitas vezes, as carreiras docentes das duas etapas do ensino fundamental são distintas. Esses fatores contribuem para a manutenção da divisão do ensino fundamental tradicionalmente estabelecida.

Essa transição no Brasil é fortemente marcada por altas taxas de evasão escolar e piora no desempenho acadêmico. Segundo dados de 2013 do Inep,³ a taxa de aprovação declina de 90,1% para 80,3% na passagem do 5º para o 6º ano, ao mesmo tempo em que a taxa de abandono sobe de 1,7% para 4,3%, sendo este último valor o maior nível que o abandono atinge em todo o ensino fundamental na rede pública de ensino. Nesse contexto, conforme explicita uma professora da rede municipal do Rio de Janeiro que participa do Projeto 6º Ano Experimental:

[...] a escolha de um ou vários professores para ensinar os diferentes conteúdos requeridos, bem como a consequente necessidade de mudança de escola, pode influenciar essa já delicada fase de desenvolvimento socioemocional da criança e afetar diretamente seu processo de aprendizado escolar. (Relato de professor do 6º Ano Experimental)

Na literatura internacional, mas especialmente nos Estados Unidos, há uma grande discussão sobre o período ideal para a transição da elementary school para a middle school. De modo geral, os resultados indicam que a incorporação do 6º ano às middle schools (ou seja, juntamente com 7º, 8º e 9º anos) tem resultados negativos para os alunos (^{BEDARD; DO, 2005}; COOK et. al., 2007; SCHWERDT; WEST, 2013). Já no Brasil, essa pauta ganhou destaque recentemente, uma vez que a Secretaria Municipal de Educação do Rio de Janeiro (SME/RJ) lançou, em 2011, uma iniciativa pioneira na rede pública que estendeu a primeira etapa do ensino fundamental em algumas escolas para os 6° anos. A essência do Projeto 6º Ano Experimental consiste na escolha de algumas escolas de ensino fundamental I (1º a 5º anos) para também atender alunos do 6º ano, com conteúdos pedagógicos (idênticos aos do restante da rede) lecionados por um único professor-regente.

Nesse sentido, o presente estudo tem como objetivo avaliar o impacto do Projeto 6º Ano Experimental sobre o aprendizado em Português e Matemática dos alunos, ao final do primeiro semestre do 6º ano. Especificamente, será avaliado como o programa afetou as notas dos alunos de escolas que aderiram ao programa em 2014. Assim, é estimado o impacto de curto prazo do projeto, isto é, para os alunos expostos ao projeto por seis meses apenas.

Além disso, o trabalho investiga os principais mecanismos da intervenção que podem ser responsáveis por um potencial ganho de proficiência. Esse é um diferencial importante do artigo, pois a grande maioria dos estudos que buscam avaliar se uma determinada política pública tem efeito não procura investigar por que a intervenção funcionou. Dito de outro modo, pouco se sabe sobre que aspectos de uma determinada política foram mais relevantes para um resultado positivo da mesma. Por exemplo, no caso do Projeto 6º Ano Experimental, a utilização de um professor regente seria positiva porque envolveu um maior tempo de contato do professor com os alunos, permitindo uma atenção específica do docente às necessidades de cada aluno? Ou é, por exemplo, o fato de o professor se sentir mais empoderado e com mais flexibilidade para lidar com os conteúdos das diferentes disciplinas?

O DESAFIO DA TRANSIÇÃO

A discussão sobre a transição escolar é antiga na literatura internacional (BEDARD; DO, 2005). Essa discussão se pauta na criação de uma estrutura intermediária entre o primeiro ciclo e o ensino médio, sendo que essa estrutura intermediária conteria características tanto do ensino médio como do primeiro ciclo. Assim, haveria uma transição mais suave entre esses dois extremos e que poderia melhorar consideravelmente o desenvolvimento do aluno (BEDARD; DO, 2005).

Nos EUA, observa-se que, no princípio, esse segundo ciclo estava organizado entre a 7ᵃ e 8ᵃ séries ou entre a 7ᵃ e 9ᵃ série. Com o passar do tempo, a 6ᵃ e a 5ᵃ séries foram sendo incorporadas no segundo ciclo. Na década de 1970, apenas 25% das escolas incorporavam a 6ᵃ série ao segundo ciclo; em 2000, essa cifra sobe para 75%. (COOK et al., 2007). Ou seja, há um processo no sentido contrário ao aqui investigado.

No entanto, há pouca documentação sobre quais justificativas os decisores se valeram para realizar essa incorporação e sobre quais os efeitos da mesma sobre o desempenho social, emocional e acadêmico dos alunos. (BARBER; OLSEN, 2004; COOK, et al. 2007). Eccles e Midgley (1989) e Eccles et al. (1993) defendem que o começo da adolescência é marcado por mudanças e desafios cognitivos, psicológicos, biológicos e sociais. Aliado a isso, a transição escolar nessa etapa implica mudanças estruturais do ambiente escolar com que os alunos se deparam, gerando situações desafiadoras para os mesmos. Por exemplo, ao trocar de escola, os alunos deixam de ser os mais velhos de uma escola de 1º a 5º ano para serem os mais novos de uma escola de 6º a 9º. Além disso, pode haver quebra do círculo de amizades, se nem todos os amigos forem para a mesma escola. Por fim, em vez de lidar somente com um professor generalista, a partir da transição, o aluno precisa se adaptar aos diferentes estilos, demandas e formas de lidar com a turma de vários professores (RYAN; SHIM; MAKARA, 2013; HANEWALD, 2013; RUDHOLP et al., 2001).

Nos Estados Unidos, pesquisas recentes sugerem que adiar essa transição pode trazer benefícios para o aprendizado, especialmente através do fortalecimento do vínculo entre professor e aluno (COOK et al., 2007; TASSONI, 2000; WENTZEL, 1998; CHRISTOPHEL, 1990) e aumentar a taxa de conclusão do ensino médio na idade correta (BEDARD; DO, 2005). Além disso, a transição precoce está relacionada a uma maior probabilidade de os alunos serem advertidos e de terem infrações persistindo ao longo dos anos (COOK et al., 2007). Outro ponto relacionado à transição é a maior probabilidade de aparecimento de casos de depressão e estresse relacionados à escola (RUDOLPH et al., 2001).

As mudanças psicológicas enfrentadas pelos alunos na passagem da infância para a pré-adolescência também são importantes nesse contexto de transição. A faixa etária de 10 a 15 anos é bastante delicada para o desenvolvimento de características de personalidade fortemente associadas ao aprendizado e que podem ser influenciadas pela mudança de ambiente escolar. Soto et al. (2011) mostram que a faixa etária entre 10 e 15 anos marca o período mais crítico no que se refere à formação de atributos como autodisciplina e ordem, mas também para comprometimento e responsabilidade. Os mesmos autores apresentam evidências semelhantes para outras dimensões de personalidade do Big Five Inventory,⁴ como amabilidade, abertura para novas ideias (para os meninos) e estabilidade emocional (para as meninas, especialmente em problemas de ansiedade e depressão). Para Eccles et al. (1993), se a escola não consegue prover um ambiente educacional adequado a esses novos adolescentes, poderá haver mudança de comportamento e de motivação nos alunos, o que levará à diminuição do desempenho escolar e ao aumento da evasão escolar.

Tendo em vista as evidências encontradas na literatura internacional, fica clara a importância de se discutir essa questão no caso brasileiro. Nesse sentido, a iniciativa da Secretaria Municipal de Educação do Rio de Janeiro (SME/RJ) com o Projeto 6º Ano Experimental fornece uma oportunidade ímpar para uma melhor compreensão dessas questões no contexto brasileiro.

Projeto 6º Ano Experimental

Em 2011 a SME/RJ criou o Projeto 6º Ano Experimental como uma tentativa de superar as deficiências na educação carioca, uma vez que as crianças no 6º ano estavam tendo um desempenho não satisfatório em termos de aprendizado em Língua Portuguesa e Matemática.

A essência do projeto consiste em incorporar o 6º ano a escolas que originalmente oferecem apenas os anos iniciais do ensino fundamental (1º ao 5º ano), passando os anos 1º ao 6º a ser disponibilizados na mesma instituição. Além disso, a regência da maior parte do tempo de aula ocorre com um único professor generalista, responsável pelas disciplinas de Língua Portuguesa, Matemática, História, Geografia e Ciências. Mais especificamente, são os próprios professores que já lecionavam nos anos iniciais que passam a ser docentes do 6º Ano Experimental. Nas escolas que receberam o projeto, foram mantidos professores especialistas nas disciplinas de Música, Artes e Educação Física.

Para garantir sua eficácia, o projeto prevê uma série de atividades formativas e de avaliação para professores, diretores e coordenadores pedagógicos. Sobre essas atividades, os diretores das escolas que ingressam (ou que entrarão) no projeto passam por um treinamento no início do ano (janeiro). Nele, são apresentados os principais pontos de atenção para a implantação do projeto, a matriz curricular e a proposta de aprimoramento de professores e coordenadores pedagógicos. Além dos diretores, no início do ano letivo, é feita uma semana de capacitação dos docentes, onde os professores generalistas (aqueles que vão lecionar as cinco disciplinas supracitadas) e os coordenadores pedagógicos passam por curso sobre sua atuação no projeto.

No caso específico dos coordenadores pedagógicos, a formação é focada em estudos sobre seu papel articulador de ações pedagógicas na escola, fortalecendo a proposta interdisciplinar. Nas primeiras edições do projeto, essa formação foi realizada por meio de palestras ministradas pela Profa. Bertha do Valle (Universidade do Estado do Rio de Janeiro − UERJ).

Já a formação dos professores generalistas é focada em: a) prática pedagógica − são abordadas orientações curriculares, planejamento, avaliação e desenvolvimento de projetos pedagógicos. Também há formação com práticas de dinâmica em sala de aula, com base no livro de Lemov (2013); b) atualização e aprofundamento nas disciplinas curriculares − os professores generalistas têm atualizações nas diferentes disciplinas com especialistas da equipe da Coordenadoria Técnica de Educação da SME/RJ. Nesses encontros, reflete-se sobre os principais conceitos da disciplina em questão e o que deve ser aprendido ao longo do 6º Ano Experimental. Essas duas vertentes de formação também ocorrem nas capacitações semanais ao longo do ano, às quartas-feiras.

Os professores especialistas (de Educação Física, Música e Inglês) que assumem as aulas nas escolas às quartasfeiras, enquanto os professores generalistas estão em formação, participam de três encontros de aprimoramento durante o ano. Nessas reuniões, os professores são orientados quanto à necessidade de realizar um trabalho articulado com o professor generalista e também se reúnem com o coordenador da sua disciplina na SME/RJ, que aborda atividades, utilizando o material específico disponível na rede municipal.

Além dessas atividades de formação dos docentes vinculados ao projeto, também ocorre um encontro da equipe responsável pelo treinamento semanal dos professores com a coordenação central da Secretaria de Educação para definir a pauta dos encontros semanais com os professores generalistas. Por fim, tanto professores como coordenadores fazem um relatório semestral do projeto, retratando as atividades efetivamente desenvolvidas, o desempenho dos alunos e turmas de cada escola, facilidades e desafios para desenvolver o projeto e sugestões de melhorias para o semestre seguinte.

Com relação ao material pedagógico, os professores do 6º Ano Experimental utilizam o mesmo das demais turmas de 6º ano (Cadernos Pedagógicos do 6º Ano e Educopédia)⁵. Os alunos do 6º Ano Experimental realizam as mesmas provas bimestrais que os demais alunos (na SME/RJ, essas provas são iguais para todos os alunos, são elaboradas pela Secretaria e aplicadas e corrigidas pelos próprios professores dos alunos nas escolas).

Como consequência de todas essas ações, o projeto exige mudanças em termos de gestão escolar e de organização do processo de formação dos docentes, voltada aos objetivos do projeto.

O projeto teve início em 2011 em 20 escolas municipais do município do Rio de Janeiro, chegando em 2014 a abranger 147 escolas. A intenção inicial era oferecer um suporte para aqueles alunos que fossem entrar no Ginásio Carioca – outro projeto da SME/RJ, que agrupa apenas os alunos de 7º a 9º anos do ensino fundamental em uma mesma escola –, razão pela qual foram selecionadas para o 6º Ano Experimental as escolas mais próximas a esses ginásios. Porém, nos anos seguintes, o critério de proximidade para a seleção de escolas para participação no projeto foi flexibilizado, como consequência da expansão do mesmo.⁶ No Gráfico 1, é possível observar a evolução temporal do número de escolas que participam do 6º Ano Experimental. Devido ao fato de as escolas terem entrado de maneira escalonada no projeto, faz-se necessário que a análise do impacto do programa leve em consideração o ano de ingresso da escola no mesmo. Nesse artigo, a análise será focada apenas nas escolas que ingressaram no projeto em 2014. A principal justificativa para essa escolha é que, no início de 2015, foi realizada uma pesquisa de campo para identificar os fatores que poderiam mediar o efeito do 6º Ano Experimental sobre o aprendizado. O foco dessa pesquisa de campo foi exatamente as escolas que haviam ingressado em 2014 no programa. Um fator adicional que justifica essa escolha de 2014 como ano a ser avaliado é que, nesse período, o programa já havia ganho escala suficiente para que pudesse ser avaliado não mais como um projeto de pequena escala e de mais fácil monitoramento pela SME, mas como um projeto já consolidado em expansão.

Gráfico 1 –  Número de escolas participantes do Projeto 6º Ano Experimental 

SELEÇÃO DE MECANISMOS MEDIADORES

A opção por esse tipo de política feita pelo município do Rio de Janeiro é incomum em nosso território. Ainda que exista uma discussão nos Estados Unidos relativa à inclusão ou não do 6º ano no primeiro ciclo do ensino básico, com formato pedagógico predominante de um professor-regente ensinandoos principais conteúdos das disciplinas, foi necessário conduzir uma série de dinâmicas com professores, diretores e gestores escolares da Secretaria Municipal de Educação do Rio de Janeiro para melhor compreensão dos mecanismos programa.

Especificamente, as dinâmicas averiguaram, do ponto de vista dos formuladores da intervenção, a intencionalidade e os mecanismos pelos quais se acreditava que tal transformação poderia produzir resultados benéficos aos alunos da rede. Também nos beneficiamos de dinâmicas com educadores da Fundação Lemann e da leitura comentada de nossas hipóteses pelo comitê de pesquisadores⁷ que acompanhou o desenvolvimento das pesquisas realizadas no âmbito do edital aberto Como garantir que todos os alunos brasileiros tenham um bom professor durante todos os dias na sala de aula, proposto pela Fundação Lemann (2014), do qual esta pesquisa foi uma das vencedoras, tendo sido agraciada com o respectivo financiamento.

Além disso, procurou-se elencar quais seriam os mecanismos mais prováveis de mediar os impactos da intervenção, chegando a um conjunto de oito explicações que seriam as mais prováveis para que se esperasse que uma intervenção desse tipo tivesse efeitos sobre o aprendizado. A partir dessas conclusões, foi construído um questionário posteriormente aplicado tanto a professores de escolas que receberam como a docentes de escolas que não receberam o 6º Ano Experimental,⁸ o que nos permitiu investigar se os mecanismos propostos eram de fato mediadores de eventual impacto encontrado da intervenção.

Os mecanismos mediadores e respectivas justificativas foram:

MÉTO DO E ESTRAT ÉGIA DE IDENTIFICAÇÃO DO IMPACTO DO PROJETO

MÉTODO

A análise consistirá em determinar o impacto que o Projeto 6º Ano Experimental teve sobre o aprendizado dos alunos nas disciplinas de Português e Matemática. Mais formalmente, será mensurado o impacto do Projeto 6º Ano Experimental por meio de um modelo de “diferenças-em-diferenças”. O princípio dessa estratégia é inicialmente obter um conjunto de escolas semelhante àquelas que receberam o projeto a ser avaliado, tanto em suas características de composição do alunado e desempenho escolar, quanto na evolução de seus resultados escolares, conforme descrito na próxima seção. Em certo momento, as escolas ditas do grupo experimental (ou tratadas) recebem o projeto, enquanto que as demais (ditas comparação ou controle) não. A partir daí, observa-se a evolução dos resultados das escolas de controle, supondo que os mesmos representariam como teria sido a evolução dos resultados das escolas de tratamento caso não tivessem sido tratadas. Desse modo, a mensuração do impacto do projeto consiste em medir a evolução da variação de notas dos alunos entre o 5o e 6o anos das escolas do grupo experimental antes e depois da intervenção e contrastá-la com a mesma evolução para o grupo de escolas de comparação, assim como representado na Figura 1.

O Projeto 6º Ano Experimental representa uma mudança na tecnologia de acúmulo do aprendizado associado à escola, na qual se espera observar um impacto positivo sobre o desempenho dos alunos nas disciplinas de Português e Matemática e, portanto, uma mudança na trajetória de aprendizado desses alunos.

Figura 1 –  Mudança esperada na trajetória do aprendizado caso a intervenção seja eficaz 

Note que uma hipótese importante para esse método ser válido é que a trajetória das notas antes da adoção da política deveria ser paralela entre tratados e controles. Nesse sentido, o método também faz a hipótese de que toda a diferença que ocorre após a adoção do projeto se deve apenas ao Projeto 6º Ano Experimental. Como estamos avaliando o efeito de curto prazo do projeto, essa hipótese é bastante plausível.

Considerando os impactos do programa obtidos no modelo de diferenças-em-diferenças, pode-se investigar mais profundamente quais foram os canais ou fatores mediadores que colaboraram positivamente para o efeito do programa, quais não colaboraram e quais colaboraram negativamente. Para encontrar os fatores mediadores para 2014, foi estimado o modelo de mediação proposto por Fairchild e Mackinnon (2009). Esse tipo de modelo tem sido utilizado para compreender os mecanismos através dos quais um determinado projeto consegue modificar a variável de interesse (FAIRCHILD; MACKINNON, 2009). Com base nos resultados desse tipo de análise, é possível realizar alterações no desenho de um projeto para que alguns canais que não tenham se mostrado efetivos passem a sê-lo (MACKINNON; DWYER, 1993).

A ideia básica do modelo é decompor o impacto total do projeto em duas partes: efeito direto e efeito indireto. Segundo Fairchild e MacKinnon (2009) e MacKinnon e Dwyer (1993), é possível encontrar esses efeitos estimando duas equações principais e uma série de equações intermediárias, dependendo do número de canais utilizados, ou seja:

Onde Y é a variável de interesse (no nosso caso, variação do desempenho escolar), T é uma variável binária que assume o valor 1 para as escolas que participam do projeto e 0 para as demais; Xi representa os possíveis canais (variáveis mediadoras) pelos quais o projeto pode ter efeito. O impacto total do projeto é representado por τ, o efeito direto é τ' (ou seja, considerando escolas com os mesmos níveis de uma variável mediadora, qual o impacto do projeto que não se deve a essa variável). Por fim, os efeitos indiretos podem ser calculados pela multiplicação βi γi. Em outras palavras, qual a parcela do impacto do projeto que se verifica por meio da variável mediadora Xi. As variáveis mediadoras aqui utilizadas foram aquelas descritas na subseção Seleção de mecanismos mediadores.

Estratégia de identificação: escolha dos grupos de controle e tratamento

Para a construção do contrafactual, comparou-se a evolução de quatro grupos de estudantes de duas coortes diferentes. A primeira coorte abrange estudantes que cursaram o 5º e o 6º anos antes da adoção do projeto (período antes), ou seja, tem- -se a variação de nota entre o 5o e o 6o anos antes do programa acontecer. A segunda coorte compreende estudantes que cursaram o 5º e o 6º anos após o início do projeto (período depois), ou seja, tem-se a variação de notas quando o programa existia (Figura 2).

Na primeira coorte (antes do programa), há dois grupos de alunos. O primeiro é formado por aqueles que frequentaram o 5º ano em escolas que viriam a ingressar futuramente no projeto (Grupo A). Dessa forma, pode-se calcular qual era a variação de nota desses alunos entre o 5o e 6o antes do programa ser implementado nessas escolas, chamado de grupo experimental ou tratamento. O segundo grupo dessa coorte é composto por alunos que cursaram o 5º ano em escolas que não receberam o 6º Ano Experimental em nenhum momento (Grupo B). Da mesma forma pode-se calcular a variação de nota para essas escolas antes da entrada das outras escolas no programa; esse é o chamado grupo de comparação ou controle.

A segunda coorte (depois do programa) também possui dois grupos de alunos. O primeiro são aqueles que cursaram o 5º e o 6º anos em escolas que receberam o 6º Ano Experimental (Grupo C). O segundo grupo dessa coorte são os alunos que cursaram o 5º e o 6º anos em escolas que não receberam o programa (Grupo D), quando o mesmo já existia. Para ambos os grupos, obtém-se a variação de nota na presença do programa (Grupo C) e a variação de nota para os que não foram beneficiados pela política (Grupo D).

Dessa maneira, pode-se analisar a diferença de notas que ocorriam antes e depois da implementação do programa tanto para o grupo controle como para o grupo tratamento para se obter o efeito do programa 6o Ano Experimental.

A figura abaixo ilustra cada um desses grupos, exemplificando com o caso das escolas que ingressaram no projeto em 2014.

Figura 2 –  Caracterização dos grupos de estudantes avaliados no estudo, de acordo com o período considerado (antes ou após o início do projeto) e a situação da escola (participante ou não do projeto em 2014) 

A princípio, seria possível comparar todas as escolas que receberam o 6º Ano Experimental com todas que não o receberam. No entanto, essa não é uma estratégia adequada e pode levar a resultados imprecisos. É necessário refinar essa escolha, encontrando escolas que eram semelhantes (Grupo B) àquelas que ingressaram no projeto antes do início do mesmo (Grupo A), em diversas dimensões (proporção de meninos, proporção de brancos, proporção de professores com nível superior, variação da nota média de português e matemática entre o 5º e o 6º anos antes da adoção do projeto, número de alunos e razão professor/aluno).¹¹

Outro aspecto que reforça a importância do refinamento acima descrito é que as escolas que ingressaram no projeto em 2014 tinham, já em 2011, menor carência de recursos, menor incidência de agressão, furtos, vandalismo e menor envolvimento com drogas do que as demais escolas da rede, de acordo com medidas de vulnerabilidade para cada escola do município do Rio de Janeiro, elaboradas a partir da Prova Brasil de 2011. A única exceção é a maior incidência de armas e gangues. Assim, de modo geral, as escolas que em 2014 aderiram ao 6º Ano Experimental, mesmo antes do projeto (2011), eram menos vulneráveis que as demais escolas da rede nessas dimensões, conforme ilustrado no Gráfico 2.

Gráfico 2 –  Vulnerabilidade média, em 2011, das escolas municipais do Rio de Janeiro, de acordo com o ano de entrada dessas escolas no Projeto 6º Ano Experimental 

Também se observou que o desempenho médio na Prova Brasil 2011 das escolas ingressantes no projeto em 2014 era mais baixo do que aquele das ingressantes em anos anteriores e do que o do restante da rede, o que justifica refinar a comparação das escolas tratadas e de controle também nessa dimensão.

RESULTADOS

Impacto do Projeto 6º Ano Experimental em 2014 e os efeitos mediadores

Os resultados obtidos por meio da estimação de um modelo de diferenças-em-diferenças podem ser verificados na Tabela 1. Como as notas foram padronizadas, o efeito deve ser interpretado em desvios-padrão.¹² Apenas para ilustrar, a evolução de notas associada a uma série adicional completa no ensino fundamental é de aproximadamente 0,28 desvio-padrão se utilizarmos a escala do Sistema de Avaliação da Educação Básica (Saeb) como referência.

O Projeto 6º Ano Experimental para as escolas que aderiram ao programa em 2014 apresentou impacto positivo e estatisticamente significante para Matemática, ou seja, dadas as condições da análise, houve aumento da proficiência em Matemática dos alunos que participam do projeto pelo período de seis meses. A Tabela 1 mostra que o impacto varia de 0,10 desvios-padrão para Português a 0,16 desvios-padrão para Matemática, sendo somente significativo para Matemática.

TABELA 1: Impacto (medido por meio da mudança no desempenho) do Projeto 6º Ano Experimental no final do primeiro semestre de 2014 

Portanto, para o caso das escolas ingressantes em 2014, o 6º Ano Experimental parece impactar mais a proficiência em Matemática do que a de Português ao final do primeiro semestre de adoção do projeto.

Para avaliar os mecanismos envolvidos no impacto do 6º Ano Experimental, foi realizada uma pesquisa de campo em 2015. Foram entrevistadas dez escolas ingressantes (escolhidas aleatoriamente entre as 22 ingressantes em 2014). Também foram selecionadas dez escolas para o grupo controle, cujos professores também foram entrevistados.¹³

A Figura 3 resume os efeitos totais, diretos e os canais identificados com a parcela do efeito a eles atribuído (efeito indireto) no caso de Matemática. As caixas superiores mostram efeitos positivos e as caixas inferiores, efeitos negativos.

O efeito total do Projeto 6º Ano Experimental para Matemática no 2º bimestre de 2014 foi de 0,16 d.p., enquanto o efeito direto foi de 0,10 d.p. Os principais canais que se destacaram (βi γi) para a melhora do desempenho em Matemática foram o clima em sala de aula (0,13 d.p), a capacitação do professor (0,12 d.p) e a autonomia pedagógica (0,10 d.p.), conforme pode ser observado na Figura 3. Assim, pode-se dizer, por exemplo, que 0,13 d.p. do efeito do projeto sobre o desempenho escolar se dá por meio da melhoria do clima em sala de aula. Já os efeitos mediadores de qualidade do professor, relação professor-aluno e empoderamento do professor não se mostraram significativos.

A pesquisa de campo realizada também possibilitou a coleta de relatos, oferecendo uma dimensão mais qualitativa aos resultados quantitativos reportados. Observa-se uma aderência grande entre os relatos e os resultados encontrados. A seguir, apresenta-se um relato da importância do clima em sala de aula criado pelo Projeto 6º Ano Experimental:

A escola se localiza em um local muito vulnerável, com tiroteios constantes. A aproximação aluno e professor transforma o ambiente de aprendizado para o bem... Devido à questão da violência, é muito difícil professor vir aqui e ficar. Para ficar, deve-se ter uma motivação a mais. Eu aprendi a ter respeito a estas crianças. (Relato de professor do 6º Ano Experimental)

Desse modo, há de se considerar essa estreita relação que transforma o ambiente escolar, como citado pela professora acima, uma vez que se estabelece a motivação necessária para ajudá-los a se desenvolver. Em outra parte do relato, a professora exalta o papel do professor generalista ao afirmar que é possível conhecer melhor os pontos fracos dos alunos por se passar mais tempo com eles.

Outro relato, também alinhado com os resultados quantitativos apresentados, aponta a importância da formação ou capacitação do professor realizada pelo Projeto 6º Ano Experimental, sendo esta um diferencial em relação às escolas do grupo comparação:

Há uma norma da SME de garantir o planejamento do 6º ano. Deveria haver isso para os demais anos, mas a prioridade é o 6º ano... No 6º Ano Experimental, o curso de formação é obrigatório; nos outros anos nem se quiser há.(Relato de professor do 6º Ano Experimental)

Em direção oposta, os mediadores autonomia administrativa, cobrança do professor e relação institucional mostram efeito significativo e negativo sobre o desempenho, contribuindo para diminuição do efeito total do projeto.

Figura 3  Efeito direto e fatores mediadores que tiveram efeitos indiretos no desempenho em Matemática no 2º bimestre de 2014 do Projeto 6º Ano Experimental (as variações no desempenho estão expressas em desvios-padrão) 

Esse resultado pode ser visto nas diversas críticas dos professores ao excesso de obrigações, relativas à dificuldade de o professor generalista lecionar a matéria de um especialista e às cobranças por mais capacitações, como pode ser visto no trecho abaixo:

O trabalho do 6ºano é complicado por termos que lecionar as disciplinas que deveriam ser ministradas por professores especialistas. Deveria haver gratificações e capacitações para isso. (Relato de professor do 6º Ano Experimental)

Observa-se que, no ciclo de uma política pública, redesenhos sistemáticos são necessários para melhorar a implementação e os impactos da política. Nesse sentido, a análise aqui proposta colabora com a determinação dos canais ou mecanismos que poderiam ser modificados e que potencialmente contribuiriam para a melhor qualidade da política. Observa-se, por exemplo, que as relações institucionais que exploram as dimensões de frequência de reuniões com a diretoria, a liberdade para cobrar qualidade do trabalho dos outros professores, a possibilidade de realizar (ou propor) curso, formação e especialização para si e para seus colegas na escola têm influência negativa. Dessa forma, o desenho do projeto pode estar gerando relações institucionais − como reuniões, formas de cobranças e piora da autonomia do diretor − que acabam influenciando negativamente o desempenho do aluno e que poderiam ser alvos de um possível redesenho. Da mesma forma, a autonomia administrativa e a cobrança do professor deveriam passar por um processo de revisão a fim de melhorar o impacto total do programa.

CONCLUSÕES

Uma discussão de política educacional importante no Brasil é a que trata do momento ideal para a transição dos anos iniciais do ensino fundamental (em que um professor generalista é responsável por lecionar várias disciplinas) para os anos finais do ensino fundamental (em que cada professor especialista leciona uma disciplina para a turma). Essa discussão tem sua importância intensificada pelo fato de que a pré-adolescência é um período crítico, no qual se passa por diversas transformações (físicas, psicológicas, sociais). Nesse sentido, a avaliação de impacto do Projeto 6º Ano Experimental, concebido e adotado pela Secretaria Municipal de Educação do Rio de Janeiro (SME/RJ), fornece elementos importantes a essa discussão. Um dos pilares desse projeto consiste em estender por mais um ano (até o 6º ano) a atividade docente de diversas disciplinas por um professor generalista. Evidências da literatura internacional mostram que políticas de natureza semelhante tiveram efeito positivo no desempenho cognitivo dos alunos.

Na análise realizada neste trabalho, encontrou-se impacto positivo do 6º Ano Experimental sobre o nível de proficiência dos alunos e o impacto foi maior em Matemática do que em Português. Esse resultado é importante, já que outras políticas possuem menos impacto em Matemática. Para as escolas que ingressaram no projeto no ano de 2014, foi encontrado impacto de 0,10 desvios-padrão para Português, apesar de não significativo, e 0,16 desvios-padrão para Matemática (significativo). A magnitude desse impacto é grande: 0,3 desvio-padrão representa o ganho de proficiência associado a um ano de aprendizado.

Um outro aspecto investigado foram os canais que poderiam gerar o impacto do projeto sobre a proficiência. Observou-se que o impacto foi mediado por mudanças que o projeto provocou nos seguintes aspectos: melhoria do clima em sala de aula, maior autonomia pedagógica dos docentes e melhor capacitação dos professores do 6º Ano Experimental.

Uma característica positiva do 6º Ano Experimental é que se trata de inovação pedagógica que não implica elevação de gastos educacionais para ser levada a cabo. Assim, esse modelo pode servir para que outras redes adotem políticas semelhantes no sentido de melhorar o aprendizado dos estudantes nessa fase crítica do ensino fundamental. Por fim, há duas limitações deste trabalho. A primeira é a não investigação dos efeitos de longo prazo do projeto. Como a maioria dos alunos egressos do 6º Ano Experimental migram para o Ginásio Carioca no ano seguinte, avaliar o impacto nas notas de 7º, 8º e 9º anos acabaria confundindo os efeitos dos dois projetos. A segunda é a análise de como o efeito do programa se comporta quando o mesmo se expande na rede de ensino.