INTRODUÇÃO

Diversos estudos realizados em diferentes contextos indicam que frequentar a pré-escola é uma medida efetiva para garantir redução na desigualdade de oportunidades educacionais, isto é, contribui para o desenvolvimento das crianças em diversas dimensões, bem como para trajetórias escolares mais amplas, especialmente de crianças vulneráveis, oriundas de famílias de baixo nível socioeconômico. Estudos longitudinais internacionais confirmam que, de maneira geral, crianças que tiveram oportunidade de frequentar programas de atendimento à primeira infância de boa qualidade apresentaram maior desenvolvimento em habilidades cognitivas e socioemocionais no curto e no médio prazo, durante sua trajetória escolar (^{PEISNER-FEINBERG et al., 2001}; ^{SYLVA et al., 2010}; ^{SAMMONS et al., 2006}; ^{TYMMS et al., 2009}; NATIONAL INSTITUTE OF CHILD HEALTH AND HUMAN DEVELOPMENT - NICHD, 2006).

Uma importante discussão da área gira em torno da definição de qualidade do atendimento na educação infantil. Há dois grandes conjuntos de fatores, descritos pela bibliografia internacional, que buscam compreender fatores escolares associados ao desenvolvimento das crianças no início da escolarização: a) estrutura do atendimento (formação dos professores, tempo de atendimento, razão adulto-criança, características do prédio frequentado, entre outros fatores); b) qualidade de processos escolares (por exemplo, interação adulto-criança, clima instrucional, práticas pedagógicas, entre outros). Estudos com desenhos mais robustos, que incluem controles de habilidades prévias e características sociodemográficas das famílias e das crianças, indicam que dimensões relacionadas à qualidade de processos escolares estão associadas, de forma moderada e/ou fraca, ao desenvolvimento cognitivo, da linguagem e socioemocional das crianças, tanto durante a pré-escola como nos seus resultados posteriores em suas trajetórias de escolarização. No entanto, as evidências que dizem respeito ao impacto da qualidade da estrutura do atendimento não são tão consistentes (^{HOWES et al., 2008}; ^{SYLVA et al., 2006}, 2010; NATIONAL INSTITUTE OF CHILD HEALTH AND HUMAN DEVELOPMENT EARLY CHILD CARE RESEARCH NETWORK - NICHD ECCRN; DUNCAN, 2003; ^{WALSTON; WEST, 2004}).

No Brasil, a educação infantil, desde a sua inserção no sistema de educação básica, proclamada na Constituição de 1988 e consolidada na Lei de Diretrizes e Bases da Educação de 1996, tem alcançado avanços consideráveis no cenário nacional. A expansão das redes de educação infantil demonstra a importância cada vez maior dada à educação de crianças pequenas. O crescimento no número de matrículas e na taxa de atendimento é evidente quando se analisam séries históricas. No caso das crianças de 0 a 3 anos, eram atendidas apenas 13,8% da população brasileira em 2001, passando para 30,4% em 2015. Já no que diz respeito à população de 4 a 5 anos, nota-se que, em 2001, 64,4% das crianças eram atendidas, alcançando 90,5% em 2015 (OBSERVATÓRIO DO PLANO NACIONAL DE EDUCAÇÃo, s.d.).

Esses percentuais, no entanto, estão ainda muito aquém da meta 1 do Plano Nacional de Educação (PNE), que prevê até 2020 que a pré-escola seja universalizada (de acordo com a Lei n. 12.796, que torna obrigatória a frequência à educação infantil a partir dos 4 anos) (BRASIL, 2013) e que 50% da população de 0 a 3 anos tenha a possibilidade de ser atendida em creches. As redes municipais, responsáveis pela educação infantil, têm encontrado muitos desafios para garantir uma maior oferta de vagas. Frequentemente, o que se tem observado é uma expansão sem planejamento que pode gerar situações de baixa qualidade dos serviços, incluindo instituições sendo mantidas de forma precária e muitas vezes prejudicial ao desenvolvimento das crianças (^{CAMPOS et al., 2011a}). No entanto, ainda contamos com poucos estudos sobre o impacto da pré-escola/educação infantil e/ou sobre o impacto da qualidade do atendimento no desenvolvimento das crianças. Mesmo esses poucos estudos não são longitudinais e, portanto, apresentam diversos limites para traçar relações causais entre a qualidade da pré-escola e a aprendizagem ou trajetória futura das crianças.

O presente trabalho pretende investigar o impacto do principal programa para a educação infantil adotado no município do Rio de Janeiro, os Espaços de Desenvolvimento Infantil (EDIs), no desenvolvimento das crianças no primeiro ano da pré-escola. O estudo é restrito a uma amostra de escolas da rede municipal do Rio de Janeiro e limita-se a observar o impacto de formas distintas de atendimento nessa rede. Os pilares do programa estão mais associados à estrutura do atendimento, uma vez que incluem: “junção de creche e pré-escola, salas de primeiros atendimentos,² biblioteca infantil e atendimento em período integral” (RIO DE JANEIRO, 2010). Para tanto, na primeira parte, o artigo discute os desenhos utilizados e os resultados encontrados por estudos internacionais que focalizam a relação da qualidade da estrutura do atendimento pré-escolar e/ou da qualidade do processo sobre o desenvolvimento das crianças e na trajetória escolar subsequente. Indica também a escassez de estudos com desenhos robustos para identificar o impacto de políticas educacionais voltadas à educação infantil no contexto brasileiro. Na segunda parte, apresenta os resultados e suas análises realizadas para observar o impacto dos EDIs no desenvolvimento cognitivo das crianças.

O artigo analisa os dados coletados na pesquisa Linha de Base Brasil: um estudo longitudinal sobre a trajetória de aprendizagem das crianças (LBB) em uma amostra probabilística representativa da rede pública municipal do Rio de Janeiro, com 46 escolas (2.716 crianças), estratificada por tipo de atendimento (regular e EDI). Os dados foram coletados durante o ano de 2017, em duas ondas, em março de 2017 (início do ano letivo) e em novembro/dezembro de 2017 (final do ano letivo). Uma análise descritiva dos dados indica uma implementação não uniforme do programa. Há EDIs que funcionam em tempo parcial e/ou em prédios antigos - sem a infraestrutura e o tempo em sala de aula considerados adequados pelas diretrizes do programa. A análise descritiva ainda sugere uma associação de mesmo sentido entre a frequência aos EDIs e o desenvolvimento das crianças em linguagem. No entanto, a análise dos resultados da utilização de modelos hierárquicos com controles relacionados às características das crianças e de suas famílias, às características das escolas, e e, especialmente, da medida do nível de desenvolvimento inicial da criança ao ingressar na pré-escola (onda 1) não indica efeito da frequência às escolas com o formato dos EDIs no desenvolvimento cognitivo das crianças, ao menos no curto prazo. O estudo detectou uma variação na implementação do programa, contudo os resultados observados são consistentes mesmo quando as análises levam em conta somente o efeito de frequentar EDIs em turmas de tempo integral (modelo criança e turma).

O DEBATE SOBRE EFEITO DA ESCOLA E EVIDÊNCIAS SOBRE EFEITOS DA QUALIDADE DO ATENDIMENTO NA EDUCAÇÃO INFANTIL

Para ^{Goldstein (1997}), em um mundo “cientificamente ideal”, o estudo de causalidade na educação seria feito a partir de experimentos randomizados, em que indivíduos (alunos, professores, diretores) e “tratamentos” (fatores escolares tais como tamanho da sala, conteúdo curricular, material didático, organização da escola, composição da escola, entre outros) seriam distribuídos de forma aleatória entre as instituições. Dessa forma, seria possível garantir desenhos de estudo com alta validade interna, evitando viés de seleção (^{CANO, 2009}; SHADISH; COOK; ^{CAMPBELL et al., 2001}; ^{MURMANE; WILLET, 2011}).³

No entanto, no mundo real, a situação comum é não se ter controle sobre a distribuição dos indivíduos, da composição das escolas e classes ou de como os professores ensinam. No tema específico, foco do presente estudo, contamos com poucas evidências robustas sobre a relação entre características da pré-escola/qualidade do atendimento e desenvolvimento das crianças provenientes de estudos experimentais, ou seja, que manipularam experimentalmente a razão criança-adulto e/ou o nível educacional e o treinamento dos professores ou cuidadores.⁴ A maioria dos estudos que tenta observar o impacto da qualidade do atendimento na educação infantil ou da característica das escolas sobre o desenvolvimento das crianças e/ou outros resultados escolares são estudos correlacionais e, portanto, sempre apresentam limites ou risco de que um viés de seleção e/ou de variáveis omitidas nos modelos estimados poderiam explicar as relações observadas (^{GOLDSTEIN, 1997}; NICHD ECCRN; DUNCAN, 2003; ^{LEE, 2004}; ^{FRANCO; BROOKE; ALVES, 2008}).

Para ^{Goldstein (1997}), os estudos em eficácia escolar buscariam desenhos/modelos satisfatórios para observar a relação entre os fatores escolares e certos desfechos/resultados. Para evitar viés de seleção e/ou realizar “comparações justas” entre as escolas, seria necessário controlar por meio de características que sabemos ter impacto sobre os resultados escolares de interesse a partir das teorias disponíveis. Por exemplo, já contamos com uma vasta gama de estudos que mostram que a entrada dos alunos (características relacionadas ao sexo, características da origem e grupos étnicos, por exemplo) e a habilidade/desempenho inicial diferem entre escolas por causa de diversos fatores e, portanto, para evitar viés de seleção, seria necessário medir tais dimensões de forma acurada/precisa no âmbito individual (^{FITZ-GIBBON, 1996}; ^{GOLDSTEIN, 1997}; ^{LEE, 2004}). Assim, a bibliografia sobre eficácia escolar propõe algumas condições mínimas para fazer inferência satisfatória sobre o impacto de fatores escolares na aprendizagem e outros resultados escolares. A primeira condição está relacionada ao desenho do estudo. É importante que a pesquisa seja longitudinal, com duas ou mais medidas sobre os mesmos indivíduos ao longo do tempo.⁵ Isso é fundamental para controlar diferenças preexistentes entre os alunos e estudos com desenho transversal, pois não seriam capazes de levar em conta ou fazer ajustes para a entrada dos alunos, por exemplo⁶ (FITZ-GIBBON, 1996; GOLDSTEIN, 1997). A segunda condição seria o uso de um modelo de regressão multinível permitindo investigar a “eficácia diferencial” das escolas e/ou professores. Isto é, o modelo deve levar em conta que alunos estão agrupados em certas escolas e classes e, por esse motivo, são submetidos a influências específicas daquela escola ou classe/turma. Por fim, Goldstein (1997) ainda sugere que haja replicação no tempo e espaço⁷ e que o pesquisador apresente uma teoria plausível para explicar os resultados obtidos.

^{Vendell (2004}), em sua revisão bibliográfica sobre os efeitos das diferentes formas e qualidade de atendimento à primeira infância sobre o desenvolvimento e a trajetória escolar das crianças, indica como os estudos nas últimas décadas se aproximaram das condições mínimas já descritas. Os primeiros estudos correlacionais, realizados na década de 1980, para evitar o viés de seleção, controlaram resultados por algumas características demográficas das crianças e de suas famílias. Estudos mais recentes incorporaram um número mais amplo de covariáveis e outros, para minimizar o risco associado a variáveis omitidas ou não medidas, passaram a utilizar medidas da performance anterior das crianças como controle ou modelos que estimam os ganhos (delta).

Nesse sentido, NICHD ECCRN e Duncan (2003) realizaram um exercício metodológico para ilustrar os limites de estudos correlacionais, em especial o risco do viés de seleção. O estudo utiliza dados do estudo longitudinal do National Institute of Child Health and Human Development (NICHD) Study of Early Child Care,⁸ realizado nos Estados Unidos. O objetivo do exercício realizado por NICHD ECCRN e Duncan (2003) foi observar o impacto da qualidade do atendimento escolar⁹ à primeira infância no desempenho cognitivo e de linguagem das crianças aos 24 e aos 54 meses de idade a partir de diversos modelos, para ilustrar como a ausência de controles adequados poderia gerar estimativas exageradas ou parâmetros superestimados.

Os modelos de regressão para estimar os escores cognitivo e de linguagem das crianças aos 54 meses utilizaram, primeiro, somente variáveis relacionadas ao tipo, qualidade e quantidade do atendimento à primeira infância. Depois adicionavam gradativamente covariáveis relacionadas às características das crianças e de suas famílias. Os resultados mostram uma diminuição dos coeficientes estimados para a qualidade do atendimento com a inserção de alguns controles relacionados às crianças e às características e ambiente familiar. No entanto, os últimos modelos, com acréscimo de controles mais extensivos sobre as famílias, não parecem alterar mais os coeficientes da qualidade do atendimento obtidos. O mesmo exercício de estimação de vários modelos é realizado utilizando uma variável de controle dos resultados das crianças aos 24 meses e, posteriormente, utilizando como variável dependente os ganhos das crianças entre 24 e 54 meses. Nos modelos que utilizam controle do desempenho prévio e características das famílias, os coeficientes diminuem ainda mais, comparados com os modelos sem esse controle. Já nos modelos de ganhos (delta) entre os 24 e 54 meses, com a inserção de controles da família, os coeficientes estimados para a qualidade do atendimento diminuem ainda mais e deixam de ser estatisticamente significativos (NICHD ECCRN; DUNCAN, 2003).

Estudos mais recentes, com desenhos longitudinais, amostras amplas, baixa mortalidade amostral, controles de características das crianças e das famílias e/ou que utilizam modelos multinível, focalizam os efeitos do tipo do estabelecimento de atendimento (público ou privado e outras variações no tipo da oferta), da qualidade da estrutura (formação do professor, jornada do atendimento, razão adulto-criança, por exemplo) e dos processos em sala (interações, clima instrucional e práticas pedagógicas, entre outros¹⁰) sobre o desenvolvimento das crianças em diversas dimensões.

No que diz respeito à qualidade do processo de atendimento, os resultados de diversos estudos parecem convergentes. Por exemplo, a análise dos resultados obtidos com dados coletados pelo projeto Effective PreSchool and Primary Education (EPPE)¹¹, no Reino Unido, observaram impactos pequenos (effect sizes de 0,11 até 0,20), mas estatisticamente significativos da qualidade do atendimento à pré-escola¹² sobre o progresso cognitivo e sociocomportamental das crianças (^{SYLVA et al., 2010}; SYLVA et al., 2006). Os modelos utilizaram controles de pré-teste (desempenho ou escores da habilidade das crianças na entrada da pré-escola), características das crianças, das famílias e do ambiente de aprendizagem na família. Além disso, o estudo observou impactos duradouros, principalmente em relação a frequentar uma pré-escola de alta qualidade, observados nos resultados das crianças na educação primária (^{SAMMONS, 2006}; SYLVA et al., 2010).

De forma similar, Peisner-Feinberg et al. (2001) observaram associação de mesmo sentido, porém pequena (effect sizes de 0,03 até 0,18), entre a qualidade do processo de atendimento da pré-escola¹³ e o desenvolvimento em linguagem, leitura e matemática das crianças¹⁴ e associação de mesmo sentido moderada para sociabilidade e atenção. Os estudos realizados dentro do projeto NICHD observaram que a qualidade do atendimento à primeira infância estava associada, de forma modesta (effect size de 0,10 a 0,11), aos resultados acadêmicos e de linguagem das crianças aos 54 meses (NICHD, 2006). Ambos os estudos utilizaram diversos controles relacionados às características das crianças e das famílias. O estudo de ^{Howes et al. (2008}) observou a associação entre o desenvolvimento das crianças em habilidades de linguagem, alfabetização, matemática e sociocomportamentais no curto prazo, durante a pré-escola (programas pré-Kindergarten) e a qualidade dos processos de sala/classe e da estrutura das escolas.¹⁵ O estudo estimou modelos hierárquicos que utilizaram não somente uma variável de controle do pré-teste, como também os que utilizavam ganhos cognitivos das crianças no curto prazo como variável dependente. Ainda, foram considerados diversos controles relacionados às crianças e suas famílias, e a análise dos resultados obtidos revelou ganhos em linguagem, leitura e sociocomportamentais maiores em programas com maior qualidade de processo. Os autores observaram resultados similares na análise de ganhos e uso de pré-teste como covariável,¹⁶ no entanto, os coeficientes/parâmetros obtidos nos modelos de ganhos traziam estimativas menores (effect sizes de 0,06 a 0,13) ou mais conservadoras para os efeitos da qualidade da pré-escola sobre linguagem e leitura se comparados com modelos que utilizam o desempenho prévio como covariável (effect sizes de 0,06 a 0,19). A mesma tendência foi observada na utilização de modelos que estimaram o progresso nas habilidades em matemática e sociocomportamentais das crianças.

Se os resultados de estudos com desenhos robustos sobre a relação entre qualidade do processo do atendimento à primeira infância (por exemplo: interação adulto-criança, clima instrucional, práticas pedagógicas, entre outros), medida a partir de diversos instrumentos de observação, e o desenvolvimento cognitivo em linguagem, matemática e sociocomportamental das crianças parecem ser convergentes, a mesma tendência não é observada em estudos que focalizam a qualidade da estrutura do atendimento (formação dos professores, tempo de atendimento, razão adulto-criança, características do prédio frequentado, entre outros fatores). Por exemplo, no que diz respeito à quantidade do atendimento, os resultados dos estudos realizados por NICHD (2006) revelaram impacto contrário ao que seria esperado no comportamento das crianças que recebiam mais horas de atendimento pré-escolar. Já estudos realizados no Reino Unido dentro do projeto EPPE não observaram impacto da frequência em tempo integral (^{SYLVA et al., 2010}), e estudo realizado nos Estados Unidos com crianças na Kindergarten (crianças de 5 anos), o Early Childhood Longitudinal Study Class, observou maior progresso em linguagem e matemática para crianças que frequentavam programas em tempo integral, se comparadas com crianças que frequentavam em período parcial (^{WALSTON; WEST, 2004}).

No que diz respeito à formação de professores, o projeto EPPE observou que o atendimento pré-escolar com pessoal mais qualificado apresentava maior qualidade de processo e que, nesses estabelecimentos, as crianças alcançavam maior progresso (^{SYLVA et al., 2010}). Já o estudo de ^{Howes et al. (2008}) observou correlações positivas e estatisticamente significativas entre qualificação de professores e o período de atendimento e o desenvolvimento das crianças em linguagem e leitura. No entanto, ao introduzir covariáveis relacionadas às características das crianças e à qualidade do processo, essas variáveis relacionadas à qualidade da estrutura do atendimento perderam significância estatística.

No Brasil, a discussão sobre avaliação e metas para educação infantil gira em torno do acesso e da qualidade da estrutura do atendimento. O Plano Nacional de Educação prevê metas de acesso à creche e à pré-escola, já mencionadas. No que diz respeito à avaliação, a primeira proposta trazida pelo Sistema Nacional de Avaliação da Educação Básica¹⁷ (Sinaeb) para a Avaliação Nacional da Educação Infantil (Anei) focalizava as condições de oferta incluindo “infraestrutura física, o quadro de pessoal, as condições de gestão, os recursos pedagógicos, a situação de acessibilidade, entre outros indicadores contextuais relevantes” (BRASIL, 2016). A proposta de avaliação da educação infantil no novo Sistema de Avaliação da Educação Básica (Saeb) ainda está em elaboração. No entanto, as informações divulgadas indicam que a avaliação não incluirá resultados medidos com base em testes cognitivos e os dados serão coletados por meio de questionários aplicados aos professores, diretores e dirigentes (BRASIL, 2018). Considerando a limitação da coleta de dados via questionários (^{FRANCO et al., 2003}), a avaliação da educação infantil em discussão provavelmente não será capaz de captar ou medir de forma adequada ou acurada processos em sala e/ou relacionados ao desenvolvimento das crianças. Enfim, mesmo com recente ampliação do acesso e da discussão sobre os parâmetros para a avaliação da educação infantil, o impacto da qualidade do atendimento sobre o desenvolvimento das crianças não tem sido estudado de forma sistemática.

Alguns poucos estudos focalizam o tema sobre possíveis efeitos da creche e/ou da pré-escola sobre resultados e trajetórias escolares. Por exemplo, estudo de ^{Damiani et al. (2011}) observou que crianças que frequentam a pré-escola tendem a ter trajetórias escolares mais longas. ^{Campos et al. (2011b}) investigou, em três capitais brasileiras, a relação da qualidade do processo da pré-escola (medido pela escala Ecers-R) no resultado de aprendizagem de Língua Portuguesa de crianças no segundo ano do ensino fundamental (medido pela Provinha Brasil). Os dados indicaram que crianças que frequentaram instituições com boa qualidade de processo tiveram um melhor desempenho no teste do que crianças que não frequentaram a pré-escola ou que o fizeram em instituições com níveis insatisfatórios de qualidade (^{CAMPOS et al., 2011b}). No entanto, o estudo descrito não apresentava um desenho longitudinal. O estudo utilizou um modelo hierárquico cruzado para estimar o desempenho das crianças na Provinha Brasil, utilizando poucos controles relacionados às características das famílias e das escolas frequentadas no ensino fundamental e, mais relevante, sem controle do desenvolvimento prévio das crianças. As análises realizadas apresentavam limitações para evitar viés de seleção e, além disso, a validade interna também foi afetada pela perda amostral elevada.

DESENHO DO ESTUDO E DADOS COLETADOS

No presente estudo nos interessava, inicialmente, investigar o impacto de um programa voltado para a educação infantil implementado gradativamente a partir de 2010 pela rede municipal de educação do Rio de Janeiro: os EDIs. A implementação do programa teve implicações no que diz respeito à diferenciação da qualidade da estrutura do atendimento à educação infantil, uma vez que os EDIs teriam as seguintes características que os distinguiram das escolas regulares de atendimento à educação infantil: “junção de creche e pré-escola, salas de primeiros atendimentos, biblioteca infantil e atendimento em período integral” (RIO DE JANEIRO, 2010). Novas escolas foram construídas com uma arquitetura específica e espaços adequados para o atendimento dessa etapa da educação básica.

A questão principal do estudo é observar o impacto de frequentar os EDIs (em oposição à frequência em escolas regulares) sobre o desenvolvimento cognitivo das crianças no primeiro ano da pré-escola. Ressaltamos que, como a amostra do estudo somente inclui escolas públicas municipais e alunos regularmente matriculados, o presente estudo limita-se a verificar o impacto da frequência a diferentes tipos de atendimento na rede pública. Isto é, não permite a comparação entre atendimento em estabelecimentos públicos e privados ou observar o efeito de quem frequentou ou não a pré-escola.¹⁸ Para tratar da questão de estudo enunciada, estimamos diversos modelos de regressão hierárquicos que incluem gradativamente variáveis relacionadas à frequência aos EDIs, às características das crianças e da origem de suas famílias e à medida de desenvolvimento cognitivo das crianças no início da pré-escola.

Para tanto, foram utilizados dados coletados pela pesquisa Linha de Base Brasil (LBB), um estudo longitudinal de larga escala sobre os efeitos da pré-escola e do primeiro ano do ensino fundamental, que pretende seguir crianças dos 4 aos 7 anos. O estudo selecionou uma amostra probabilística aleatória de 46 escolas (em torno de 2.700 crianças) da rede municipal do Rio de Janeiro, estratificadas por tipo de oferta e Coordenadoria Regional de Educação.¹⁹ Especificamente na rede pública municipal do Rio de Janeiro, o estudo levou em consideração dois tipos de escolas: a) EDIs - principal política pública para educação infantil na cidade; b) escolas regulares que oferecem somente educação infantil ou que oferecem turmas de pré-escola e de ensino fundamental.

A Figura 1 apresenta as diferentes etapas de coleta de dados. Chamamos atenção para as duas ondas no primeiro ano de coleta em 2017, aos 4/5 anos de idade, no início e final do ano letivo. Essas duas coletas já foram realizadas em março e novembro/dezembro de 2017.

Em cada onda foram coletados dados do desenvolvimento cognitivo das crianças, coordenação motora fina e global. A coleta de dados cognitivos utilizou o Performance Indicators in Primary Schools (Pips), uma ferramenta acurada e testada por 20 anos no Reino Unido e outros países.²⁰ Sua pretensão é criar uma medida de base (baseline) no momento inicial do processo de escolarização obrigatória para monitorar o desenvolvimento das crianças.²¹ O Pips é composto pelas seguintes dimensões: a) Escrita; b) Vocabulário; c) Ideias sobre leitura - avalia conceitos sobre diferentes impressos; c) Consciência fonológica; d) Identificação de letras; e) Reconhecimento de palavras e leitura; f) Ideias sobre matemática; g) Contagem e números; h) Adição e subtração sem símbolos; i) Identificação de formas; j) Identificação de números. Os escores de linguagem e matemática foram estimados a partir dos itens do teste cognitivo do Pips utilizando medidas de Rasch (^{BOONE, 2006}; ^{BOND; FOX, 2015}), a partir do software Winstep. Neste artigo, retiramos os itens de leitura de frases no momento do cálculo do aprendizado porque um número muito pequeno (mais ou menos 1% da amostra) de crianças no primeiro ano da pré-escola é exposto a essa seção do teste.

A aplicação do teste é individual e o tempo de duração varia entre 10 e 20 minutos. O teste foi aplicado no Brasil utilizando um caderno de aplicação (com imagens e textos que ficam posicionados na frente da criança) e um aplicativo do teste que roda em um tablet e orienta o pesquisador sobre os itens a serem apresentados. O aplicativo é ajustado de forma que erros e acertos são considerados para continuar com a aplicação, no caso de acertos consecutivos, ou interromper o procedimento, quando a criança demonstra desconhecer determinado conteúdo. Cada sessão do teste apresenta itens com dificuldade crescente, o que possibilita um teste com duração mínima desejável, sem deixar a criança entediada com perguntas muitos simples ou muito difíceis (^{TYMMS; MERREL; JONES, 2004}).

A Tabela 1 mostra o número inicial da amostra de criança na onda 1 do estudo, a mobilidade dos anos durante o primeiro ano do estudo longitudinal e a perda amostral entre as ondas 1 e 2 (início e final de 2017).

É possível observar que mais ou menos 4% das crianças não foram encontradas no Sistema de Gestão Acadêmico (SGA). Esse sistema permite constatar toda a trajetória das crianças nas escolas públicas municipais e nossa equipe tem acesso a essa informação. Essas crianças mudaram de cidade ou migraram para a rede privada de ensino. São situações difíceis porque não há informação no SGA sobre a nova escola das crianças. No entanto, a maior perda que tivemos foi de crianças que migraram para outras escolas da Secretaria Municipal de Educação do Município do Rio de Janeiro (SME-RJ), que não faziam parte das escolas da amostra ou ainda crianças que permaneceram nas mesmas escolas, mas faltam às aulas de forma recorrente. Observamos que 90,1% das crianças que participaram da 1ª onda ainda estavam matriculadas nas escolas da amostra do estudo. No entanto, somente 82,4% do mesmo total participou da 2ª onda. Nossa equipe fazia múltiplas visitas à mesma escola e mesmo assim tinha dificuldade de encontrar algumas crianças. O absenteísmo discente não era um foco inicial do estudo, mas chamou a atenção dos pesquisadores e demandou ajustes nas estratégias de coleta de dados. A perda reportada no estudo (17,5%) é considerada de baixa a moderada.

Além do instrumento cognitivo do Pips, o estudo também coletou dados contextuais das crianças (questionário com pais/responsáveis)²² e das escolas. Os questionários foram aplicados para aproximadamente 62% dos responsáveis das crianças da amostra. Para minimizar a perda de casos, os dados faltantes foram complementados com dados fornecidos pelo SGA da Secretaria Municipal de Educação. Assim sendo, nos modelos hierárquicos estimados foram utilizadas somente variáveis presentes nas duas bases de dados com o objetivo de minimizar os dados faltantes e maximizar o número total de crianças.

Ao iniciar a análise descritiva sobre a distribuição de turmas e crianças entre as escolas da amostra, observamos uma variação da implementação do programa, se considerarmos os pilares apresentados por documentos da Secretaria Municipal de Educação. Por exemplo, se de um lado nem todas as turmas dos EDIs eram em tempo integral, algumas escolas regulares (não EDIs) também ofereciam turmas em tempo integral. Além disso, nem todos os EDIs funcionavam em prédios novos, construídos para atender especificamente à educação infantil.

Essa variação nos levou a realizar outras análises que incluíam não somente observar o impacto de frequentar uma escola do programa, como também observar o impacto de frequentar um EDI que seguisse, de fato, os pilares anunciados pelo programa (tempo integral e/ou prédio novo). Além disso, é interessante notar que temos somente 19 escolas que são EDIs, no entanto, essas escolas oferecem mais turmas de pré-escola se comparadas com as escolas regulares. Por fim, observamos uma oferta diferenciada dentro de um mesmo EDI: turmas em tempo integral e outras em período parcial.

ANÁLISES, RESULTADOS E DISCUSSÃO

O Quadro 1 apresenta a descrição das variáveis utilizadas nas análises e as fontes de dados utilizadas, e o Quadro 2 mostra as estatísticas descritivas das variáveis.

O Quadro 3 indica uma pequena diferença no perfil das crianças que frequentam EDIs e as que frequentam escolas regulares. Observa-se uma maior proporção de crianças cujos pais têm ao menos ensino médio completo nas EDIs (60%) se comparadas com as que frequentam escolas regulares (53%), e uma maior proporção de crianças não brancas nas escolas regulares (66%) se comparada com aquelas que frequentam os EDIs (62%). O ponto de partida em linguagem das crianças que frequentam os EDIs também é ligeiramente mais alto. Um padrão similar, um pouco mais acentuado, foi observado quando comparamos crianças que frequentam EDIs em turmas de tempo integral e as demais crianças que frequentam as outras escolas/turmas da amostra.

Uma primeira preocupação do estudo foi compreender o padrão da mortalidade amostral. A Tabela 3 apresenta as medidas de linguagem e de matemática para as crianças que participaram apenas da onda 1 e para aquelas que participaram das duas ondas de coleta de dados. A média e o desvio-padrão foram calculados sempre com as medidas da onda 1, com o objetivo de observar se o grupo que participou das duas ondas é parecido com o grupo para o qual somente foi possível coletar dados da onda 1.

Os dados sugerem que há uma diferença, estatisticamente significativa, entre os dois grupos com um padrão que indica que o grupo que participa das duas ondas apresenta na média um ponto de partida superior. Uma possível explicação é que perdemos ao longo da pesquisa crianças que faltam mais à escola e, portanto, com menor probabilidade de participar das duas ondas da pesquisa. A análise descritiva inicial não permite descartar o risco de viés na mortalidade amostral do estudo.

Uma outra fonte de perda amostral na pesquisa foi a dificuldade para encontrar os responsáveis na escola. Muitas crianças vão para a escola de condução privada ou com o irmão mais velho. Conseguimos aplicar o questionário a 62% dos responsáveis e utilizamos os dados disponíveis no SGA para completar parte das informações faltantes para variáveis-chave sobre características da família. A Tabela 4 apresenta a média e o desvio-padrão para os dados da onda 1 comparando as crianças com e sem informação sobre a escolaridade dos pais. Uma análise preliminar dos dados sugere que a perda novamente apresenta um padrão. As crianças que não possuem informação para escolaridade dos pais no estudo apresentam um ponto de partida (onda 1) inferior. Os dados sugerem que a perda de informação sobre as características das famílias provavelmente não é aleatória e pode afetar as estimativas dos modelos hierárquicos. Entretanto, a diferença de médias observada não é estatisticamente significativa.

Realizamos, inicialmente, a análise descritiva do progresso em linguagem e em matemática das crianças que frequentavam a pré-escola em EDIs e em escolas regulares da rede. Também realizamos a análise descritiva, considerando as variações observadas na implementação do programa (os EDIs ofereciam tanto turmas em tempo integral como em tempo parcial e algumas funcionavam em prédios novos e outras em prédios antigos, adaptados ou não para receber o programa). Em seguida, para realizar a análise inferencial, foram aplicados aos dados modelos hierárquicos de regressão linear estimando o desenvolvimento das crianças na onda 2, inserindo, gradativamente, controles relacionados à frequência das crianças aos EDIs, características da composição das escolas/turmas, características das crianças e da origem da família, e medida do desenvolvimento das crianças na onda 1 (entrada na pré-escola).

Como observamos nos gráficos anteriores, as crianças que frequentaram EDIs parecem ter feito um progresso ligeiramente maior em linguagem do que aquelas que frequentavam pré-escolas regulares (Gráfico 2). No entanto, o progresso em matemática parece ser similar, com pequena vantagem para crianças que frequentam as escolas regulares (Gráfico 1). Os Gráficos 3 e 4 também apresentam análises por escola e sugerem que crianças que frequentaram pré-escolas nos prédios novos apresentaram, na média, desenvolvimento um pouco menor para linguagem e matemática, comparado com seus pares que frequentaram pré-escolas municipais nos prédios antigos.

Os Gráficos 5 e 6 apresentam análises no nível da turma discriminando o tipo de oferta para crianças que frequentarem uma turma em um EDI em tempo integral, comparado com os demais tipos de oferta: EDI em tempo parcial, pré-escola regular em tempo integral e pré-escola regular em tempo parcial. A ideia aqui é observar se há efeito em frequentar uma pré-escola que cumpre os principais requisitos da política.

A partir das tendências observadas nos gráficos, modelos de regressão hierárquica linear de dois níveis foram utilizados para estimar somente a medida de linguagem das crianças na onda 2 (novembro/dezembro de 2017), para verificar se o impacto dos EDIs é observado mesmo depois de incluir controles relacionados à composição do alunado, características das crianças e das famílias e do desenvolvimento das crianças em linguagem na onda 1. O primeiro nível se refere às crianças e o segundo nível às escolas.

Cinco modelos foram estimados com as seguintes especificações:

Modelo 1: LING2ti=π0i+eti (nível 1 - criança)

π0i=β00+β01*(EDIi)+r0i (nível 2 - escola)

No primeiro modelo somente inserimos a variável indicando se a escola era um EDI ou uma escola regular.

Modelo 2: LING2ti=π0i+etiπ0i=β00+β01*(EDIi)+β02*(Propaltaescolaridadei)+β03*(Propnãobrancoi)+β04*(Proppobrezai)+r0i

No segundo modelo, foram acrescentadas no nível 2 (escola) variáveis relacionadas à proporção de crianças cujos pais tinham ensino médio ou superior completo, proporção de crianças não brancas e proporção de crianças em situação de pobreza (que fazem parte de algum programa de transferência de renda).

Modelo 3: LING2ti=π0i+π1i*(Necessidadesespeciaisti)+π2i*(Sexoti)+π3i*(Pobrezati)+π4i*(Altaescolaridadei)+π5i*(Nãobrancoti)+π6i*(Idadeti)+etiπ0i=β00+β01*(EDIi)+β02*(Propaltaescolaridadei)+β03*(Propnãobrancoi)+β04*(Proppobrezai)+r0iπ1i=β10π2i=β20π3i=β30π4i=β40π5i=β50π6i=β60

No modelo 3, foram acrescentadas variáveis relacionadas à criança (se a criança tem necessidades especiais, sexo, cor e idade) e características de suas famílias (se pais possuem ensino médio e/ou superior completo e se fazem parte de programa de transferência de renda).

O modelo 4 acrescenta no nível 1 controle relacionado ao nível de desenvolvimento da criança na onda 1 (Ling 1) e o modelo 5 é equivalente ao modelo 4. No entanto, no nível 1 não há controles para a cor da criança e a escolaridade dos pais. Esse modelo mais enxuto foi estimado uma vez que a inserção das duas variáveis implicava uma perda de 428 crianças (aproximadamente 20% da amostra).

A Tabela 5 apresenta os resultados dos parâmetros obtidos com os diferentes modelos em tamanho dos efeitos (effect sizes). Effect sizes são formas simples de relatar diferenças entre dois grupos, em vez de simplesmente discutir a significância estatística. Existe um extenso debate de como interpretar os tamanhos dos efeitos (^{HATTIE, 2009}; ^{HIGGINS; KOKOTSAKY; COE, 2012}). Optamos por utilizar a classificação presente em ^{Higgins, Kokotsaky e Coe (2012}): (i) effect sizes até 0,18 são considerados pequenos; (ii) de 0,19 até 0,44 moderados; (iii) de 0,45 a 0,62 altos; e (iv) maiores que 0,70 são muito altos.²⁴ Os effect sizes foram calculados de acordo com a metodologia desenvolvida por ^{Tymms (2004}) e Tymms, Merrell e Handerson (1997).²⁵

Os coeficientes estimados para a frequência aos EDIs na Tabela 5 são positivos (effect size de 0,113 no modelo 4).²⁶ Entretanto, os valores não são estatisticamente significativos para a amostra de 46 escolas do estudo.

O primeiro ponto que chama a atenção é que apenas 5,2% da variância é explicada no nível 2 do modelo, o que sugere que no final do primeiro ano da pré-escola a maior parte das diferenças observadas deve ser explicada no nível 1 (criança) do modelo. Esses resultados serão explorados com mais profundidade em outro estudo que analisa o impacto global de frequentar a pré-escola na rede pública municipal utilizando um desenho de descontinuidade da regressão.

O modelo 3 apresenta resultados comumente reportados em pesquisa educacional no Brasil e no exterior, com o intuito de identificar fatores associados ao desenvolvimento das crianças. Há, no entanto, uma limitação importante no modelo, a saber: a ausência de medida inicial sobre o desenvolvimento da criança. A comparação dos coeficientes do modelo 3 e 4 destaca exatamente a importância do uso de desenhos longitudinais para estimar o efeito de políticas e programas educacionais. A introdução da linha de base (linguagem onda 1) altera de forma importante tanto o poder explicativo do modelo (a proporção da variância explicada no nível 1 aumenta em 339%) quanto os coeficientes das demais covariáveis. Todas perdem poder explicativo e algumas como sexo e pobreza deixam de ser estatisticamente significativas.

Chama atenção também o grande impacto da idade no modelo. Mesmo controlando pela medida de base (onda 1), a idade apresenta um effect size de 0,297. Esse resultado pode ser explicado pelo chamado efeito maturação, que em crianças pequenas tende a ser maior. Esse é um resultado pouco debatido e explorado tanto por acadêmicos quanto por diretores, coordenadores pedagógicos e professores que atuam nas escolas. Nosso estudo sugere que o mês de nascimento da criança é uma variável-chave para estimar seu ponto de partida e chegada no percurso do primeiro ano da pré-escola. Essa informação deveria ser levada em consideração pelos professores da educação infantil e também nos anos iniciais do ensino fundamental na tomada de decisão sobre as crianças que precisam de atenção especial ou até mesmo quando estão em dúvida sobre reprovação (aqui de forma mais específica no ensino fundamental).

A próxima tabela apresenta os modelos hierárquicos com dois níveis, porém nesse momento o primeiro nível se refere às crianças e o segundo nível, às turmas. Esse segundo conjunto de análises permite discriminar melhor um possível efeito da política, identificando a criança que está em um EDI em turma de tempo integral (formato estipulado nos documentos da SME-RJ). Esse modelo apresenta outra vantagem, que é o número de unidades de análise (turmas) no segundo nível - total de 116.

A proporção da variância explicada no nível 2 (turma) é de 7,4. Maior do que o observado na Tabela 5, mas ainda pequeno se comparado com outros estudos que analisam o efeito da escola e do professor no aprendizado das crianças. O modelo 1 apresenta apenas uma variável no nível 2, frequência em a EDI, e indica uma diferença entre as médias dos dois grupos: crianças que frequentam turmas em tempo integral em um EDI e as que frequentam EDIs em turmas que não são em tempo integral ou escolas regulares (effect size de 0,16). A pergunta é se essa diferença irá permanecer à medida que introduzimos variáveis de controle. Em linhas gerais, os resultados são consistentes com o apresentado na análise da Tabela 5 (modelo hierárquico criança e escola). A introdução de covariáveis faz com que os coeficientes referentes à frequência aos EDIs em uma turma de tempo integral diminuam e se tornem estatisticamente não significativos. Por exemplo, no modelo 4, o coeficiente referente à frequência a EDI (turma em tempo integral) permanece positivo (effect size de 0,08), porém não é estatisticamente significativo.

As análises apresentadas neste estudo explicam aproximadamente 50% da variação no nível 1 e 2. Esses são valores maiores do que habitualmente se observa em estudos sobre eficácia escolar no Brasil. O uso de uma medida robusta no âmbito individual e o desenho longitudinal aumentam muito a nossa capacidade de explicar a variância e aumentam nossa confiança de que os resultados apresentados não superestimam o efeito do programa avaliado. Modelos com erro de especificação ou medidas de proficiência com muitos erros podem gerar resultados pouco consistentes e tendem a inflar o efeito das covariáveis presentes nos modelos.

LIMITES E CONSIDERAÇÕES FINAIS

O presente artigo apresentou análises preliminares de um estudo longitudinal em andamento na rede pública municipal da cidade do Rio de Janeiro. O desenho permite estimar o impacto de diferentes programas voltados para o desenvolvimento de crianças entre 4 e 7 anos. O estudo traz uma contribuição inédita para o campo da eficácia escolar no contexto brasileiro ao incluir nas análises realizadas, além dos controles relacionados às características das crianças e suas famílias (modelos mais comumente observados em estudos de eficácia escolar no Brasil, que utilizam dados transversais provenientes dos sistemas de avaliação educacional), medidas sobre o desenvolvimento das crianças ao longo do percurso na pré-escola.

Os resultados apresentados no artigo sugerem que não há um efeito claro da principal política para educação infantil na rede pública municipal da cidade do Rio de Janeiro no desenvolvimento cognitivo das crianças, ao menos no curto prazo. Essa ausência de efeito observada poderia ser decorrente de problemas na implementação do programa. Houve um aumento importante do número de EDIs na rede pública municipal desde 2010. Entretanto, parte dos novos EDIs funciona em prédios antigos, sem as adaptações inicialmente estipuladas por documentos do programa e com turmas em turno parcial. No entanto, no modelo criança-turma, as análises consideraram somente turmas que estariam mais próximas da implementação completa e, mesmo assim, não observamos um efeito do programa.

Ademais, os Gráficos 1, 2, 5 e 6 sugerem que o ponto de partida das crianças que frequentam os EDIs ou os EDIs em turmas de tempo integral é mais alto. A oferta mais qualificada a princípio está sendo oferecida para crianças com nível de desenvolvimento inicial maior. Há diversas hipóteses para esse resultado. É possível pensar em um processo de autosseleção das famílias ou ainda em um trabalho diferenciado das creches que funcionam nos EDIs.

Há, no entanto, alguns pontos que merecem destaque. O coeficiente obtido para frequência aos EDIs no modelo com todos os controles (Tabela 5, modelo 4) é equivalente a 0,113 (effect size). Mesmo não sendo estatisticamente significante, um efeito desse tamanho é considerado pequeno mas pedagogicamente relevante (^{HIGGINS; KOKOTSAKY; COE, 2012}). Tal fato nos leva a crer que com uma amostra de escolas mais ampla talvez observássemos um efeito pequeno, não desprezível em termos pedagógico, e estatisticamente significante.

Além disso, é preciso reforçar que analisamos dados do primeiro ano na pré-escola e o estudo continua coletando dados sobre o desenvolvimento das crianças. É possível que nas próximas ondas de coletas de dados os resultados se alterem. O sleeper effect, fenômeno de observação tardia do efeito de programas de educação infantil, documentado em diferentes estudos também não pode ser descartado (^{ANDERSSON, 1989}; ^{PEISNER-FEINBERG et al., 2001}).

O presente estudo não explorou em suas análises o impacto de pré-escolas que também oferecem creche e o efeito de ter frequentado ou não a creche. Essa última ausência justifica-se pela limitação dos dados disponíveis. Atualmente, para obter a informação de frequência à creche, contamos com dados do SGA da Secretaria, que permite identificar somente quem frequentou creche na rede municipal do Rio de Janeiro, e não permite identificar crianças que frequentaram na rede privada ou em outras redes. No momento, ainda estamos coletando dados a partir do questionário dos pais, o que permitirá obter uma informação mais precisa sobre frequência na creche para análises futuras.

Há ainda limitações do estudo longitudinal. A mortalidade amostral e outros problemas que geram perda de informação são sempre uma ameaça para esse tipo de desenho e devem ser analisados de forma cuidadosa. Análises descritivas preliminares sugerem que a perda no estudo não é aleatória e pode alterar os resultados reportados. Estudos subsequentes irão analisar em profundidade a perda amostral e analisar seus possíveis efeitos nos resultados reportados. Cabe ressaltar, no entanto, que 17% de perda é considerada baixa a moderada se comparada à maior parte dos estudos no campo educacional.

Ainda assim os resultados preliminares do estudo longitudinal reforçam a premência de não limitarmos o debate sobre a qualidade na educação infantil aos insumos escolares. Prédios novos, ampliação do tempo das crianças na escola e investimento em novos equipamentos são demandas justas das famílias e profissionais que trabalham nas escolas e a presença de uma estrutura básica de atendimento ainda não é a realidade de muitas redes. No entanto, a oferta em prédios novos e adaptados e a jornada ampliada parecem não garantir maior aprendizado das crianças, ao menos no contexto da rede estudada. Os resultados reportados corroboram os principais achados de estudos internacionais com desenho robusto sobre o impacto de programas focados na infraestrutura e no tempo na escola. O presente estudo ainda está em andamento e os próximos passos incluem a coleta de informações sobre os processos pedagógicos dentro de sala e as interações entre professores e crianças. Essas informações em breve serão incorporadas no modelo e podem iluminar outros aspectos relacionados aos processos escolares que nos ajudem a explicar fatores que impulsionam o aprendizado das crianças.

Por fim, o estudo apresenta medidas diretas sobre o desenvolvimento das crianças. No Brasil e em outros países há resistência sobre esse tipo de estratégia. Os argumentos contrários relatam o risco de as crianças serem rotuladas ou ainda de que os testes sejam indutores de currículo (uma mudança, nesse caso, negativa). Aqui há uma consideração fundamental: não se deve confundir o dado com o seu uso posterior. Diversas áreas de intervenção fazem essa distinção com clareza e não se furtam a realizar avaliações de impacto sobre os diferentes programas. Em especial, tal temor não deveria ser uma barreira para a expansão de estudos longitudinais ou com outros desenhos robustos, que buscam estimar os efeitos de programas voltados para a educação infantil e que possam subsidiar as políticas futuras para promover a qualidade dessa etapa no contexto brasileiro.