SciELO - Scientific Electronic Library Online

 
vol.15Políticas de inclusión de personas deficientes en la Universidad Federal de Viçosa/MG: el discurso y su práctica en la visión de sus agentes ejecutoresProgresión continua en el área pedagógica: retos para la gestión escolar en una escuela pública de la red municipal de Santa Maria/RS índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Compartir


Jornal de Políticas Educacionais

versión On-line ISSN 1981-1969

J. Pol. Educ-s vol.15  Curitiba  2021  Epub 06-Sep-2021

https://doi.org/10.5380/jpe.v15i0.77511 

Artigos

Proposta de um modelo lógico na avaliação do Programa Conta pra Mim

Proposal of a logic model in the evaluation of the Conta pra Mim Program

Modelo lógico propuesto en la evaluación del Programa Conta pra Mim

José Roberto Abreu de Carvalho Junior1 
http://orcid.org/0000-0002-6016-3667

Suely de Fátima Ramos Silveira2 
http://orcid.org/0000-0002-1303-7190

1Doutorando em Administração - Universidade Federal de Viçosa (UFV), atua no Instituto Federal do Espírito Santo - IFes. Viçosa, MG, Brasil. E-mail: jose.r.carvalho@ufv.br

2Doutora em Economia Aplicada pela ESALq/Universidade de São Paulo (USP). Professora do Programa de Pós-Graduação em Administração da Universidade Federal de Viçosa (UFV). Viçosa, MG, Brasil. E-mail: sramos@ufv.br


Resumo

O Programa Conta pra Mim faz parte da Política Nacional de Alfabetização e tem por finalidade a superação da situação de vulnerabilidade social através da alfabetização. Ele se apoia em evidências da literacia familiar como facilitadora da aprendizagem e da alfabetização de crianças a partir da interação entre pais e filhos durante a leitura dialogada. Pelo seu caráter recente, pouco se sabe sobre o Programa Conta pra Mim e como ele alcançará as camadas menos favorecidas da população brasileira. Diante dessa lacuna, o objetivo do artigo foi fazer uma avaliação do Programa e oferecer um modelo lógico que possa auxiliar práticas na sua gestão e desenvolvimento. Por meio de uma análise documental, os resultados encontrados sugerem que a configuração atual do Programa Conta pra Mim atende mais aos contextos de vida das classes mais escolarizadas da população, já habituadas à leitura. O Programa parece não contemplar a complexa realidade das famílias menos favorecidas, intelectual e economicamente, justamente o público-alvo que mais necessita de intervenções sociais.

Palavras-chave: Modelo lógico; Programa Conta pra Mim; Teoria do Programa; Avaliação; Avaliação de Políticas Públicas

Abstract

The Conta pra Mim Program is part of the National Literacy Policy and aims to overcome the situation of social vulnerability through literacy. It relies on evidence of family literacy as a facilitator of children's learning and literacy through the interaction between parents and children during dialogue reading. Due to its recent character, little is known about the Conta pra Mim Program and how it will reach the least favored strata of the Brazilian population. In view of this gap, the objective of the article was to make an evaluation of the Program and offer a logical model that can assist practitioners in its management and development. Through a documentary analysis, the results found suggest that the current configuration of the Conta pra Mim Program is more suited to the life contexts of the more educated classes of the population, already used to reading. The Program does not seem to contemplate the complex reality of less favored families, intellectually and economically, precisely the target audience that most needs social interventions.

Keywords: Logic model; Conta pra Mim Program; Program Theory; Evaluation; Evaluation of Public Policies

Resumen

El Programa Conta pra Mim forma parte de la Política Nacional de Alfabetización y tiene como objetivo superar la situación de vulnerabilidad social a través de la alfabetización. Se basa en la evidencia de la alfabetización familiar como facilitadora del aprendizaje y la alfabetización de los niños a través de la interacción entre padres e hijos durante la lectura de diálogo. Por su carácter reciente, poco se sabe sobre el Programa Conta pra Mim y cómo llegará a los estratos más desfavorecidos de la población brasileña. Ante esta brecha, el objetivo del artículo fue hacer una evaluación del Programa y ofrecer un modelo lógico que pueda ayudar a los profesionales en su gestión y desarrollo. A través de un análisis documental, los resultados encontrados sugieren que la configuración actual del Programa Conta pra Mim se adapta más a los contextos de vida de las clases más educadas de la población, ya acostumbrada a la lectura. El Programa no parece contemplar la compleja realidad de las familias menos favorecidas, intelectual y económicamente, precisamente el público objetivo que más necesita intervenciones sociales.

Palabras clave: Modelo lógico; Programa Conta pra Mim; Teoría del Programa; Evaluación; Evaluación de Políticas Públicas

1 Introdução

A avaliação de políticas e programas públicos é fundamental para verificar a efetividade da atuação do Estado, aperfeiçoar suas intervenções e melhor responder aos anseios sociais. Programas públicos são elaborados para intervirem em uma realidade com o intuito de produzirem resultados benéficos para uma população-alvo. Eles buscam produzir uma cadeia de resultados imediatos ligados entre si que levam a resultados intermediários que, por sua vez, produzem resultados de mudança no longo prazo (ROSSI; LIPSEY; FREEMAN, 2004).

No Brasil, programas educacionais são elaborados para tentar solucionar os problemas crônicos e estruturais que a educação pública apresenta. A educação opera em ambientes complexos e complicados, onde programas necessitam da coordenação e envolvimento de diferentes atores para a sua realização (MARKLESS; STREATFIELD, 2017; ROGERS, 2008). Um programa educacional recentemente lançado pelo Governo Federal é o Programa Conta pra Mim.

O Programa Conta pra Mim foi lançado em dezembro de 2019 e faz parte da Política Nacional de Alfabetização (PNA). Trata-se de um programa que busca incentivar a leitura de pais para seus filhos, crianças de 0 a 6 anos de idade. Ele foca na literacia familiar, uma metodologia de técnicas que compreende a interação verbal, visual e escrita de pais durante a leitura para seus filhos. O Programa afirma se apoiar em evidências científicas de que o estímulo às crianças por meio da literacia familiar facilita a sua aprendizagem e alfabetização (BRASIL, 2019). Pode-se dizer que os resultados esperados no longo prazo com o Programa Conta pra Mim compreendem a alfabetização como instrumento de superação de vulnerabilidade social e a elevação do desempenho social e escolar do Brasil.

No entanto, questões-chave em um processo de avaliação ainda não estão claramente respondidas pelo Programa Conta pra Mim: como estimular o hábito da leitura de pais não leitores? Como as classes menos favorecidas terão acesso aos recursos do Programa? Como os resultados serão monitorados? Qual problema o Programa pretende solucionar?

Isso não é surpreendente, pois a literatura de avaliação frequentemente aponta que existe um hiato entre a proposta de programas e o que eles de fato alcançam em termos de resultados na prática (GERVAIS et al., 2015; MARKLESS; STREATFIELD, 2017; WEISS, 1998). Ao melhor de nosso conhecimento, até agora, nenhum trabalho realizou uma avaliação do Programa Conta pra Mim. Diante dessa lacuna, o objetivo do artigo é fazer uma avaliação e propor um modelo lógico para esse programa. Avaliações contribuem para escolhas mais inteligentes e para a melhoria de programas (WEISS, 1998). Modelos lógicos são ferramentas ideais para o propósito de guiar as práticas e estruturar o processo necessário para que as atividades e os impactos do programa sejam visualizados e alcançados (JULIAN, 1997; MCLAUGHLIN; JORDAN, 1999; SAVAYA; WAYSMAN, 2005).

O artigo se insere no âmbito das preocupações atuais com os resultados da PNA (AMARANTE; MOREIRA, 2019) e atende ao pedido de Parente, Parente e Hernandes (2020) para se realizarem mais estudos de avaliação no campo da educação. Desejamos mostrar o potencial do modelo lógico para atingir as finalidades do Programa Conta pra Mim (JULIAN, 1997) mesmo se tendo consciência de que não existe uma única maneira de representá-lo (MCLAUGHLIN; JORDAN, 1999). Assim, o artigo é um primeiro passo na avaliação do Programa Conta pra Mim e pode se configurar como um meio para futuras pesquisas sobre esse programa, especialmente aquelas com foco na avaliação dos seus resultados.

A produção de maior conhecimento sobre o Programa Conta pra Mim pode fortalecer o campo da literatura de avaliação de políticas e programas educacionais brasileiros. A contribuição social do artigo reside em uma preocupação com a real possibilidade da população menos favorecida economicamente não se beneficiar do Programa, justamente o público mais necessitado de intervenções sociais. Assume-se que programas devem ser sensíveis às necessidades de seus stakeholders (CHEN, 2004) e que a carga de falhas de programas sociais é sempre mais pesada para a população mais pobre e para os grupos minoritários (MERTENS, 2003). O artigo pode contribuir para a reflexão de gestores do Programa Conta pra Mim, em particular, e de gestores de programas públicos, em geral. Quando bem feitos, programas podem produzir muitos benefícios através da definição de objetivos realísticos (FUNNELL; ROGERS, 2011). Colaborações entre a academia e a comunidade de práticos podem produzir decisões mais sábias, maior conhecimento e melhor qualificação no campo da avaliação (HAWKINS et al., 2020).

2 Avaliação e Teoria do Programa

A teoria do programa é uma explicação sobre como uma intervenção (programa, política) contribui para uma cadeia causal de resultados intermediários que, por sua vez, levam aos resultados finais observados ou pretendidos (FUNNELL; ROGERS, 2011; PATTON, 2015; WEISS, 1998). A teoria do programa é fruto de uma combinação da teoria da mudança (visualização de resultados esperados a partir da intervenção) com a teoria da ação (implementação propriamente dita da intervenção) (PATTON, 2015; WEISS, 1998). Para se avaliar um programa, deve-se saber exatamente como ele espera produzir uma mudança desejada (WEISS, 1998).

Um dos maiores desafios encarados por gestores públicos é sair do plano das ideias do programa para a sua concretização através das atividades (WEISS, 1998). Desse modo, a teoria do programa nem sempre é bem feita (FUNNELL; ROGERS, 2011). É por esse motivo que Patton (2015) alerta que a ideia de processo importa e os meios para implementação de um programa são o seu aspecto central. Se houver falhas na teoria do programa ou se as atividades não forem bem operacionalizadas, os benefícios sociais pretendidos com o programa não serão alcançados (ROSSI; LIPSEY; FREEMAN, 2004). Desse modo, uma limitada efetividade de programas pode ser fruto não do programa em si, mas sim de uma pobre e ilusória conceitualização do programa (FUNNELL; ROGERS, 2011; HARTING; VAN ASSEMA, 2011).

É fundamental formular um programa de maneira pensativa e estratégica de modo que ele se ajuste às reais situações em que irá operar (FUNNELL; ROGERS, 2011). Uma avaliação prévia do programa pode ajudar a direcionar os recursos e as atividades necessárias para a sua execução (PATTON, 2015; WEISS, 1998). Os recursos devem ser suficientes para realizar as atividades planejadas que, por sua vez, devem ser condizentes com a população-alvo do programa (SAVAYA; WAYSMAN, 2005). Programas devem ser elaborados com um plano plausível e viável para aumentar as probabilidades de se melhorarem as condições sociais almejadas (ROSSI; LIPSEY; FREEMAN, 2004).

A intervenção deve fornecer detalhes específicos para avaliação da sua viabilidade e funcionamento (PATTON, 2015). Uma boa elaboração de programas deve contemplar perguntas como: “qual é a natureza e o escopo do problema? Quais resultados o programa pretende alcançar? Onde ele está localizado? Quem é o seu público-alvo? Quais são as atividades necessárias? Quais suportes são fornecidos aos participantes? Quais recursos são necessários?” (HAWKINS et al., 2020; ROSSI; LIPSEY; FREEMAN, 2004; SAVAYA; WAYSMAN, 2005). Apesar dessas recomendações, poucos são os programas que têm descrições detalhadas que especificam claramente seus componentes e objetivos (GERVAIS et al., 2015; HARTING; VAN ASSEMA, 2011). De acordo com Gervais et al (2015), além de dificultar a avaliação, esse não detalhamento contribui negativamente para o desenvolvimento, a implementação e a administração do programa. Uma das alternativas disponíveis para facilitar o entendimento e a gestão de programas é que eles sejam representados através de uma figura, convencionalmente denominada modelo lógico (HAWKINS et al., 2020).

2.1 O uso de modelos lógicos para representação de um programa

Modelos lógicos servem de base para se contar uma história convincente do desempenho esperado do programa (MCLAUGHLIN; JORDAN, 1999). São instrumentos desenhados para serem simples, didáticos, que ajudam práticos a explicar e apresentar a essência da teoria do programa (MCLAUGHLIN; JORDAN, 1999; SAVAYA; WAYSMAN, 2005). Eles são mais acessíveis aos gestores do programa em termos de tempo, compreensão e custo (GERVAIS et al., 2015).

Modelos lógicos permitem identificar a lógica e a viabilidade de um programa e são úteis para determinar as chances de um programa funcionar com os recursos dados e de alcançar os resultados esperados (SAVAYA; WAYSMAN, 2005). Hawkins et al (2020) destacam que quando o público-alvo de um programa são populações vulneráveis, os recursos para garantir suas necessidades imediatas podem e devem ser especificados no modelo lógico. Informação sobre as reais necessidades do cliente é um recurso essencial para o bom funcionamento do programa (MCLAUGHLIN; JORDAN, 1999). A figura 1 é um exemplo comum para a construção de modelos lógicos.

Fonte: Savaya e Waysman (2005).

Figura 1 Elementos de um modelo lógico 

Pela figura 1, percebe-se que modelos lógicos são pensados para serem do tipo “se, então” em uma maneira lógica (SAVAYA; WAYSMAN, 2005), isto é, representam uma cadeia causal de passos e acontecimentos interligados entre si (MCLAUGHLIN; JORDAN, 1999; WEISS, 1998). Eles apresentam uma sequência esperada de etapas que começam com os recursos do programa e terminam com os resultados do cliente (ROSSI; LIPSEY; FREEMAN, 2004). Parte da literatura entende que modelos lógicos de programas que atuam em ambientes complexos e complicados devem ser adequados a essas realidades (HANSEN; VEDUNG, 2010; ROGERS, 2008).

Complexidade significa dizer que relacionamentos não são necessariamente lineares e que há múltiplas perspectivas para se compreender um sistema dinâmico que produz mudanças imprevisíveis, como é o setor de educação, por exemplo (MARKLESS; STREATFIELD, 2017). Considerar a complexidade a partir do uso de modelos lógicos enriquecerá o processo de avaliação (PATTON, 2015). Com essa constatação, Rogers (2008) acredita que modelos lógicos simples são úteis para contextos simples de atuação; já para ambientes complexos e complicados, o ideal é construir modelos lógicos que considerem múltiplas causas contribuindo positiva ou negativamente para um mesmo resultado (MARKLESS; STREATFIELD, 2017).

Modelos lógicos também permitem melhorar o programa, pois fornecem as bases para: identificar projetos que são críticos para a realização das metas; verificar redundâncias; declarar a consistência entre os links causais; e determinar a plausibilidade dos elementos do programa (MCLAUGHLIN; JORDAN, 1999). Modelos lógicos ajudam a pensar o programa durante todo o seu ciclo de vida (SAVAYA; WAYSMAN, 2005). Cassiolato e Gueresi (2010) entendem que um modelo lógico deve fazer uma explicação de qual problema o programa busca resolver e identificar quais são as suas referências básicas, isto é, os objetivos, o público-alvo e os beneficiários pretendidos.

A proposição de modelos lógicos para auxiliarem os práticos na gestão de seus programas tem sido comum e crescente na literatura (GERVAIS et al., 2015). Exemplos de proposições de modelos lógicos para programas variam desde programas nos setores de saúde e assistência social aos de treinamento em simulações de desastres ambientais, como terremotos e tsunamis (EBENSO et al., 2019; GERVAIS et al., 2015; HANSEN; VEDUNG, 2010; HARTING; VAN ASSEMA, 2011; JOHNSON et al., 2016; KNEALE; THOMAS; HARRIS, 2015; MILLS; LAWTON; SHEARD, 2019). A ideia comum a essas proposições é a de que modelos lógicos se inserem na perspectiva de avaliações governamentais serem baseadas em sólidas evidências, que por sua vez, levam a uma melhoria de processos e resultados de um programa em andamento (HAWKINS et al., 2020; MARK, 2015).

Modelos lógicos poderiam incorporar um sistema de monitoramento contínuo e de avaliação periódica dos resultados para verificar o desempenho do programa e, eventualmente, ajustar a intervenção de modo que se alcancem os objetivos previamente planejados (MORRA-IMAS; RIST, 2009). Comparado a outras ferramentas, um modelo lógico é o de uso mais simples e fácil para conceitualização de um programa (SAVAYA; WAYSMAN, 2005). É tomando por base essas recomendações da literatura que oferecemos um modelo lógico para o Programa Conta pra Mim. A seguir, apresentamos a metodologia utilizada nesse artigo.

3 Metodologia

Esse artigo foca exclusivamente no Programa Conta pra Mim. Em virtude da natureza qualitativa da pesquisa e das informações disponíveis até o momento sobre o Programa Conta pra Mim, utilizamos o método documental para coleta e análise dos dados. Esse método não é sem precedentes na literatura, pois é comum que modelos lógicos de programas sejam construídos a partir de uma análise documental (EBENSO et al., 2019; GERVAIS et al., 2015; HARTING; VAN ASSEMA, 2011; JOHNSON et al., 2016).

Coletamos os dados do Programa Conta pra Mim em seu próprio site e em matérias veiculadas pela imprensa . Procuramos por material secundário sobre o Programa (artigos científicos, teses e dissertações) nas bases de dados Google Acadêmico, Scielo, Spell, Scopus e Web of Sciense, mas não encontramos nenhum resultado. Assim, os dados se configuram como fontes primárias.

No site do programa, há um documento em formato PDF, que serve como um guia para as famílias praticarem a literacia familiar, uma mini-biblioteca com 40 livros de fábulas infantis, ambos disponíveis para download e uma série de vídeos hospedados na plataforma Youtube, com orientações sobre as práticas da literacia familiar, além de fábulas contadas e músicas infantis em arquivos de áudio. As notícias da imprensa se concentram em divulgar o lançamento do programa, ocorrido em dezembro de 2019, e trazem informações adicionais como depoimentos de autoridades do Ministério da Educação (MEC) e sobre como o Programa se insere na Política Nacional de Alfabetização.

Realizamos uma leitura detalhada desses documentos e uma visualização dos vídeos do Programa Conta pra Mim tendo por base as orientações da literatura de teoria do programa e de modelos lógicos. Adotamos como guia para coleta e análise dos dados o modelo lógico apresentado na figura 1, de Savaya e Waysman (2005). Assim, nos concentramos em identificar o público-alvo, os recursos, as atividades, as saídas, os resultados iniciais, intermediários e de longo prazo esperados e apresentados na documentação do Programa Conta pra Mim. Seguindo o alerta da literatura de avaliação de que os meios são os aspectos-chave para a implementação bem sucedida de programas (PATTON, 2015), apresentamos o que pode ser caracterizado como a operacionalização do Programa Conta pra Mim.

Seguimos também a recomendação feita por Cassiolato e Gueresi (2010) para tentar identificar qual problema o Programa Conta pra Mim busca resolver e quais são os seus objetivos. Por fim, propusemos um modelo lógico para o Programa Conta pra Mim, que conjuga o modelo apresentado por Savaya e Waysman (2005) (figura 1) com a recomendação de um sistema de monitoramento contínuo e avaliação de resultados feita por Morra-Imas e Rist (2009).

4 Resultados

É mencionado no guia de orientação do Programa Conta pra Mim que ele foi construído se apoiando em evidências científicas de que as práticas de literacia familiar contribuem para a boa alfabetização de crianças e que impactam positivamente na capacidade cognitiva ao longo de sua vida. Foi possível identificar a seguinte estrutura de elementos presentes no Programa Conta pra Mim:

Problema e objetivos: O programa apresenta dados de pesquisas conduzidas nos Estados Unidos que apontaram grandes diferenças no nível quantitativo e qualitativo de interação verbal entre crianças de famílias ricas (alto nível) e famílias pobres (baixo nível). Isso impacta positiva ou negativamente no conhecimento de palavras, na aprendizagem e no desempenho escolar dessas crianças. O programa fala em estimular a literacia familiar em famílias pobres para poder mudar essa realidade e romper com o ciclo de pobreza, mas não menciona claramente qual é o problema e como ele está configurado no contexto brasileiro. O objetivo é a promoção ampla das práticas de literacia familiar.

Público-alvo: o programa não define o seu público-alvo, ou seja, ele é voltado tanto para famílias ricas como para famílias pobres.

Recursos: existentes - material de orientação para pais praticarem a literacia familiar com seus filhos (crianças de 0 a 6 anos de idade), 40 livros de histórias infantis que apresentam desenhos para colorir, ambos em formato PDF e disponíveis para download, e vídeos hospedados na internet disponibilizados no site do programa; em agosto de 2020, foi estabelecida uma parceria do Programa Conta pra Mim com o Programa Criança Feliz, na qual os profissionais desse último programa distribuirão às famílias em situação de vulnerabilidade social os materiais para a prática da literacia familiar; previstos - capacitação dos profissionais do Programa Criança Feliz acerca das metodologias de literacia familiar para orientação aos pais; espaços “Cantinhos Conta pra Mim” - existe a previsão para 2020 de criação de espaços em creches, pré-escolas, museus e bibliotecas, voltados para o treinamento de pais para a prática da literacia familiar ministrado por professores capacitados para essa atividade; é mencionado que esses espaços serão voltados para famílias de baixa renda, beneficiárias do Programa Bolsa-Família; a adesão a esses espaços é voluntária para Estados e Municípios; é mencionado que haverá nesses espaços a distribuição de “kits de literacia” que conterão livros infantis, caderno de desenho, giz de cera e guia de orientações.

Atividades: constante interação entre pais e filhos (não necessariamente pais, podendo ser outros membros da família da criança como avô, avó, etc.) por meio de: 1 - Interação verbal ( aumentar a quantidade e a qualidade dos diálogos com a criança; 2 - Leitura dialogada ( interagir com a criança durante a leitura em voz alta; 3 - Narração de histórias ( interagir com a criança durante a narração de histórias; 4 - Contatos com a escrita ( familiarizar as crianças com a escrita; 5 - Atividades diversas ( jogar, brincar, cantar, tocar instrumentos musicais, interpretar, dançar, passear, viajar; 6 - Motivação ( aumentar a motivação das crianças em relação à leitura e à escrita.

Saídas: experiências de interação diversas no seio familiar.

Resultados iniciais: aproximação de pais e filhos; estreitamento de relações de afeto e amizade no seio familiar; literacia familiar como facilitadora da alfabetização.

Resultados intermediários: elevação da qualidade da aprendizagem; filhos se tornam leitores hábeis e entusiasmados; promoção da cidadania por meio da aprendizagem; maior envolvimento dos pais com a vida escolar dos filhos; contribuição para o alcance das metas do Plano Nacional de Educação (PNE).

Resultados de longo prazo: alfabetização como instrumento de superação de vulnerabilidade social através da literacia familiar.

Indicadores de base e definição de metas: o programa não apresenta dados atuais sobre os indicadores de alfabetização no Brasil nem estipula metas que se desejam alcançar a partir da intervenção do programa. Por consequência, não indica como será o acompanhamento dos resultados do programa.

Operacionalização do Programa : o foco do material disponível é trazer sugestões sobre como pais devem realizar as atividades de literacia familiar. Uma das sugestões é que os pais devem continuamente estimular a ampliação do vocabulário de seus filhos. Durante a interação e narração de frases, por exemplo, sugere-se aos pais alterarem a frase “O policial entrou rapidamente no carro” para “O policial entrou apressadamente” no carro. Em uma situação hipotética de narração de histórias, se filhos questionarem o que é um castelo, sugere-se aos pais procurarem por fotos de castelo na internet e mostrá-las aos seus filhos. Nos vídeos de orientação, pais devem elaborar frases mais longas complexas utilizando linguagem gramatical correta. Sugere-se que, ao saírem de casa, pais levem livros para ler com seus filhos. Sugere-se que pais deem livros de presente para seus filhos. Quando pais estiverem lendo uma história sobre casas feitas de doces, recomenda-se a eles selecionar bombons e caramelos para tornar a história “mais real”. Um representante do MEC afirma que as práticas de literacia familiar são acessíveis a todas as pessoas e que não há necessidade de pais saberem ler e escrever para praticarem as atividades do Programa com seus filhos.

5 Discussão

Os resultados sugerem que o Programa Conta pra Mim, ao afirmar apoiar-se em evidências científicas positivas da literacia familiar, parece querer melhorar a alfabetização e o processo de aprendizagem de crianças brasileiras. Consequentemente, ele poderia impactar positivamente na qualidade de vida das famílias. Se for bem operacionalizado, o Programa Conta pra Mim tem grande potencial para atingir os seus objetivos produzindo resultados benéficos para a população (FUNNELL; ROGERS, 2011; ROSSI; LIPSEY; FREEMAN, 2004). No entanto, alguns resultados devem ser interpretados com cautela.

A categoria “Problema e objetivos” apresenta informações de pesquisas do contexto norte-americano. Para sair do senso comum e produzir informações mais confiáveis, seria aconselhável que o Programa definisse o problema se concentrando em dados sobre alfabetização, aprendizagem e ensino referentes ao contexto brasileiro. Os problemas brasileiros podem demandar soluções mais complexas, uma vez que há evidências de diagnósticos equivocados da escolarização quando estes transferem a responsabilidade do desempenho escolar para alunos, pais ou professores e não para o Estado (FERRARO, 2018). Por isso mesmo, a definição clara do problema ajudaria os gestores do programa a pensarem o que é necessário combater e quem é o público-alvo, os objetivos e os beneficiários pretendidos pelo programa (CASSIOLATO; GUERESI, 2010).

Definir o público-alvo, colocando-o no meio da cadeia lógica, ajuda os funcionários e stakeholders do programa a pensarem melhor sobre quais grupos da população o programa pretende servir (MCLAUGHLIN; JORDAN, 1999). No caso de populações vulneráveis, por exemplo, é imprescindível que suas necessidades imediatas sejam atendidas e garantidas pelo programa (HAWKINS et al., 2020; SAVAYA; WAYSMAN, 2005). A categoria “Recursos”, entretanto, mostrou que o material disponível para execução das atividades do Programa, até o momento, se restringe basicamente a conteúdos de acesso via internet. Embora tenha havido uma tendência de melhoria nos últimos anos, 46 milhões de brasileiros ainda não têm acesso à internet em suas casas (IBGE, 2020). Entre os moradores da zona rural, o índice de pessoas sem acesso à internet é de 53,5% e entre os da zona urbana, 20,6%. Assim, os resultados sugerem que, na configuração atual, uma grande parcela da população brasileira pode ficar excluída e não se beneficiar do conteúdo do Programa Conta pra Mim.

Uma possível explicação para esse resultado é a constatação do Programa Conta pra Mim não dizer claramente quem é o seu público-alvo. Mesmo com a declaração de que haverá a distribuição de “kits de literacia” para famílias vulneráveis, não há garantias de que isso irá se concretizar. Sobretudo por conta do caráter de adesão voluntária entre Estados e Municípios dos espaços “Cantinhos Conta pra Mim” em escolas e creches, que são instituições que já carecem de profissionais e de infraestruturas adequadas mesmo para as suas atividades básicas. Nesse caso, mais importante do que o planejamento em si é pensar a implementação das ações (JICK, 2001).

Um aspecto central para o sucesso do programa (PATTON, 2015; WEISS, 1998), mas cujos resultados encontrados sugerem preocupação, diz respeito às suas atividades. Embora o Programa Conta pra Mim afirme ser muito simples de ser executado, as atividades previstas parecem demandar uma alta capacidade cognitiva dos pais. Especialmente as atividades-chave do Programa, que são aquelas relacionadas à leitura, escrita e a fala dos pais para os seus filhos. Dados da pesquisa Retratos da Leitura no Brasil de 2015 mostram que 44% da população brasileira é considerada não leitora, isto é, não leu nenhum livro inteiro ou pelo menos partes de um livro, nos últimos 3 meses (INSTITUTO PRÓ-LIVRO, 2016). Ainda de acordo com a referida pesquisa, apenas 13% dos indivíduos das classes D/E têm o hábito de comprar livros contra 63% daqueles da classe A. A pesquisa conclui que quanto maior a escolaridade e a renda, maior é o hábito de leitura.

Assim, apesar do Programa Conta pra Mim declarar que haverá capacitação dos pais para a realização das atividades, parece ser improvável que pais não leitores adquiram o hábito da leitura no curto prazo. Os gestores do Programa parecem ter uma abordagem intuitiva ao invés de analítica para o desenvolvimento do Programa (WEISS, 1998). Além da questão do hábito da leitura, é importante destacar também o acesso ao livro, material essencial para as atividades do Programa. O acesso aos livros pode ser mais difícil para as classes sociais menos favorecidas economicamente, uma vez que suas necessidades básicas emergenciais são outras, como alimento e moradia, por exemplo. Essa é uma realidade complexa e complicada e, por isso mesmo, exige traçar objetivos realísticos para a execução do Programa (FUNNELL; ROGERS, 2011; MARKLESS; STREATFIELD, 2017; ROGERS, 2008).

Desse modo, a forte desigualdade socioeconômica brasileira pode impactar de maneira desproporcional no acesso ao Programa Conta pra Mim. Em 2018, aproximadamente 40% da população brasileira não possuía nenhum rendimento e entre os trabalhadores com menores rendimentos, metade recebia, em média, R$ 754,00 mensais, enquanto que 1% entre aqueles com maiores rendimentos, ganhava 36,1 vezes mais (IBGE, 2018). Os resultados encontrados sugerem que o Programa parece ser mais acessível às classes abastadas e escolarizadas. Essas evidências podem acentuar ainda mais as diferenças já existentes no desempenho escolar de alunos de famílias ricas e alunos de famílias pobres. Consequentemente, podem comprometer o objetivo de superação da situação de pobreza e de vulnerabilidade social através da boa alfabetização (ROSSI; LIPSEY; FREEMAN, 2004).

Sobre as categorias relacionadas aos resultados esperados pelo Programa Conta pra Mim, é importante destacar que o Programa não os define claramente, confiando apenas na literacia familiar como facilitadora da aprendizagem e da alfabetização. Os resultados encontrados sugerem que não se sabe claramente quais são as pretensões do Programa (WEISS, 1998). Sem a definição clara de indicadores dos resultados que o Programa pretende alcançar, será difícil mensurar se ele está sendo efetivo ou não em atingir os seus objetivos (MORRA-IMAS; RIST, 2009). Uma vez que o Programa Conta pra Mim declara se basear em evidências científicas sobre a literacia familiar parece contraditório não reservar atenção detalhada aos resultados esperados. A avaliação qualitativa do Programa, por exemplo, permitiria identificar e validar as práticas efetivas realizadas (PATTON, 2015).

Seria recomendável ao Programa Conta pra Mim, portanto, apresentar detalhadamente os indicadores atuais de base, os indicadores futuros que se espera alcançar, qual e como seria o sistema de monitoramento desses resultados (MORRA-IMAS; RIST, 2009). Isso fortaleceria não só a gestão do programa em si como também atenderia às crescentes exigências por transparência e accountabilty nas práticas governamentais, classificadas como insatisfatórias no Brasil (BAIRRAL; SILVA; ALVES, 2015). Entretanto, os resultados encontrados sugerem que essa recomendação parece não ter sido atendida. Uma possível explicação é que gestores de programas frequentemente se veem diante de barreiras comuns como despesas, carência de expertise de avaliação e medo de seus programas produzirem resultados sem efeito algum (HAWKINS et al., 2020). Entretanto, as chances de o Programa não agregar valor nos seus objetivos aumentam quando a teoria do programa é mal formulada (FUNNELL; ROGERS, 2011).

Percebe-se que o cenário de atuação do Programa Conta pra Mim pode ser simples para as famílias acostumadas com o hábito da leitura e, assim, é provável que o Programa atinja suas finalidades, uma vez que o Programa estaria adequado às suas respectivas realidades (MCLAUGHLIN; JORDAN, 1999; PATTON, 2015). Entretanto, o Programa parece complexo (ROGERS, 2008; WEISS, 1998) para os contextos das classes sociais menos favorecidas economicamente, cuja probabilidade é de que os pais sejam menos escolarizados e, portanto, tenham menos hábitos de leitura e menor acesso a livros. Tratar o Programa Conta pra Mim como simples é unificar os vários grupos de possíveis beneficiários desconsiderando as particularidades e especificidades de seus contextos de vida (HANSEN; VEDUNG, 2010). Uma alternativa para se trabalhar com essa complexidade que o Programa Conta pra Mim apresenta poderia ser através da inclusão dos interessados na construção e avaliação do Programa (HANSEN; VEDUNG, 2010; MERTENS, 2003; ROGERS, 2008). Conhecer as situações das famílias, especialmente aquelas mais vulneráveis, parece ser um caminho promissor uma vez que o Programa nasce para atender aos seus stakeholders (CHEN, 2004).

Assim, uma boa teoria do programa deve ser estabelecida considerando a realidade tal qual ela é e não algo ilusório (WEISS, 1998). É importante que se tenha claro qual problema o Programa Conta pra Mim pretende solucionar (CASSIOLATO; GUERESI, 2010). Entendemos que o problema que o Programa Conta pra Mim poderia solucionar diz respeito aos resultados insatisfatórios e desiguais da alfabetização brasileira, especialmente de crianças da rede pública de ensino e oriundas das classes menos favorecidas da população (CASTRO, 2009). Por isso, a atuação do Estado parece ser primordial e não secundária para se oferecerem melhores condições na busca por uma diminuição da desigualdade nos processos de alfabetização (FERRARO, 2011). Diante dos resultados encontrados, propõe-se na figura 2 um modelo lógico para o Programa Conta pra Mim.

Fonte: Elaborada pelos autores.

Figura 2 Proposta de um modelo lógico para o Programa Conta pra Mim 

Essa proposta tem a finalidade de contribuir para o desenho e a gestão do Programa Conta pra Mim. Os elementos do modelo lógico aqui elencados foram construídos com base nos resultados encontrados e no que a literatura de avaliação e de teoria do programa recomendam. Trata-se, portanto, de uma proposta que conjuga elementos já presentes no Programa Conta pra Mim (por exemplo, as práticas de literacia familiar na categoria “Atividades”) com outros sugeridos nesse artigo (por exemplo, a definição de público-alvo do programa e de indicadores na categoria “Situação: público-alvo e necessidades”). Essa proposta não tem a pretensão de ser a única representação do Programa (SAVAYA; WAYSMAN, 2005). Entretanto, esse modelo lógico parece plausível para o seu aperfeiçoamento de modo que se aumentem as chances do Programa Conta pra Mim ser mais assertivo nas suas intervenções (EBENSO et al., 2019; GERVAIS et al., 2015; HARTING; VAN ASSEMA, 2011; JOHNSON et al., 2016).

6 Considerações finais

Fizemos uma avaliação do Programa Conta pra Mim e, diante dos resultados encontrados, oferecemos uma proposta de modelo lógico para auxiliar os práticos na sua gestão e desenvolvimento. Percebemos que se o Programa Conta pra Mim for bem operacionalizado terá grande potencial para contribuir positivamente para facilitar a aprendizagem e alfabetização de crianças brasileiras através da prática da literacia familiar. Mas na maneira em que está configurado, ele parece atender apenas às realidades de famílias mais escolarizadas da população, cujos pais tendem a ser leitores habituais e com maior disponibilidade para a compra de livros e outros recursos para a realização das atividades do Programa. Uma grande parcela da população, menos favorecida intelectual e economicamente, pode se encontrar à margem do Programa, não alcançando os benefícios por ele esperados.

Uma limitação do artigo diz respeito à unidade de análise ter sido apenas a documentação disponível sobre o Programa. Ainda que seja comum na literatura (EBENSO et al., 2019; GERVAIS et al., 2015; HARTING; VAN ASSEMA, 2011; JOHNSON et al., 2016) e não necessariamente represente um problema para o processo de investigação, dados provenientes de outras fontes poderiam enriquecer o processo de análise. Como se trata de uma avaliação inicial de um programa recém-lançado na área da educação, julgamos e esperamos que resultados adicionais sobre o Programa naturalmente surjam com o passar do tempo.

Assim, pesquisas futuras poderão avaliar os resultados e os impactos do Programa Conta pra Mim nas famílias brasileiras, principalmente aquelas pertencentes aos menores estratos sociais. Entrevistas com essas famílias, buscando conhecer suas necessidades e opiniões sobre o Programa, parecem ser um método promissor e adequado para futuras investigações. Essas famílias são, provavelmente, o público-alvo mais necessitado e que mais se beneficiaria do Programa Conta pra Mim.

Referências

AMARANTE, L.; MOREIRA, J. A. S. Políticas curriculares para alfabetização: questões e dilemas a partir da BNCC. Jornal de Políticas Educacionais, v. 13, n. 42, p. 1-23, 2019. [ Links ]

BAIRRAL, M. A. C.; SILVA, A. H. C.; ALVES, F. J. S. Transparência no setor público: uma análise dos relatórios de gestão anuais de entidades públicas federais no ano de 2010. Revista de Administração Pública, v. 49, n. 3, p. 643-675, 2015. [ Links ]

BRASIL. Conta pra Mim: guia de literacia familiar. Brasília: MEC, SEALF, 2019. Disponível em: http://alfabetizacao.mec.gov.br/index.php?option=com_content&view=article&id=25:programa-conta-pra-mim&catid=18:para-pais-e-responsaveis. Acesso em 31 jul. 2020. [ Links ]

CASSIOLATO, M.; GUERESI, S. Como elaborar modelo lógico: roteiro para formular programas e organizar avaliação. Nota Técnica. Instituto de Pesquisa Econômica Aplicada - Ipea. Brasília: Ipea, 2010. [ Links ]

CASTRO, J. A. Evolução e desigualdade na educação brasileira. Educação & Sociedade, v. 30, n. 108, p. 673-697, 2009. [ Links ]

CHEN, H.-T. Practical program evaluation: assessing and improving planning, implementation, and effectiveness. Thousand Oaks: SAGE Publications, 2004. [ Links ]

EBENSO, B. et al. Dealing with context in logic model development: reflections from a realist evaluation of a community health worker programme in Nigeria. Evaluation and Program Planning, v. 73, p. 97-110, 2019. [ Links ]

FERRARO, A. R. A trajetória das taxas de alfabetização no Brasil nas décadas de 1990 e 2000. Educação & Sociedade, v. 32, n. 117, p. 989-1013, 2011. [ Links ]

FERRARO, A. R. Diagnósticos da escolarização básica: um confronto de perspectivas. Ensaio: Avaliação e Políticas Públicas em Educação, v. 26, n. 99, p. 316-346, 2018. [ Links ]

FUNNELL, S. C.; ROGERS, P. J. Purposeful program theory: effective use of theories of change and logic models. San Francisco: John Wiley & Sons, 2011. [ Links ]

GERVAIS, C. et al. The Father Friendly Initiative within families: using a logic model to develop program theory for a father support program. Evaluation and Program Planning, v. 52, p. 133-141, 2015. [ Links ]

HANSEN, M. B.; VEDUNG, E. Theory-based stakeholder evaluation. American Journal of Evaluation, v. 31, n. 3, p. 295-313, 2010. [ Links ]

HARTING, J.; VAN ASSEMA, P. Exploring the conceptualization of program theories in dutch community programs: a multiple case study. Health Promotion International, v. 26, n. 1, p. 23-36, 2011. [ Links ]

HAWKINS, A. J. et al. Best practices in family life education program evaluation. Family Relations, v. 69, n. 3, p. 479-496, 2020. [ Links ]

IBGE, Instituto Brasileiro de Geografia e Estatística. Pesquisa Nacional por Amostra de Domicílios Contínua (PNAD Contínua) 2018. Rio de Janeiro: IBGE, 2018. [ Links ]

IBGE, Instituto Brasileiro de Geografia e Estatística. Pesquisa Nacional por Amostra de Domicílios Contínua - Tecnologia da Informação e Comunicação (PNAD Contínua TIC) 2018. Rio de Janeiro: IBGE, 2020. [ Links ]

INSTITUTO PRÓ-LIVRO. Retratos da leitura no Brasil - 2015 - 4a edição. 2016. Disponível em: http://prolivro2-org-br.umbler.net/pesquisas-retratos-da-leitura/sobre-a-pesquisa-2/. Acesso em: 24 ago. 2020. [ Links ]

JICK, T. D. Vision is 10%, implementation the rest. Business Strategy Review, v. 12, n. 4, p. 36-38, 2001. [ Links ]

JOHNSON, V. A. et al. Improving the impact and implementation of disaster education: programs for children through theory-based evaluation. Risk Analysis, v. 36, n. 11, p. 2120-2135, 2016. [ Links ]

JULIAN, D. A. The utilization of the logic model as a system level planning and evaluation device. Evaluation and Program Planning, v. 20, n. 3, p. 251-257, 1997. [ Links ]

KNEALE, D.; THOMAS, J.; HARRIS, K. Developing and optimising the use of logic models in systematic reviews: exploring practice and good practice in the use of programme theory in reviews. PLoS ONE, v. 10, n. 11, p. 1-26, 2015. [ Links ]

MARK, M. M. Credible and actionable evidence: a framework, overview, and suggestions for future practice and research. In: DONALDSON, S. I.; CHRISTIE, C. A.; MARK, M. M. (org.). Credible and actionable evidence: the foundation for rigorous and influential evaluations. 2. ed. Thousand Oaks: SAGE Publications, 2015. [ Links ]

MARKLESS, S.; STREATFIELD, D. How can you tell if it’s working? Recent developments in impact evaluation and their implications for information literacy practice. Journal of Information Literacy, v. 11, n. 1, p. 106-119, 2017. [ Links ]

MCLAUGHLIN, J. A.; JORDAN, G. B. Logic models: a tool for telling your program’s performance story. Evaluation and Program Planning, v. 22, n. 1, p. 65-72, 1999. [ Links ]

MERTENS, D. M. The inclusive view of evaluation: visions for the new millennium. In: DONALDSON, S. I.; SCRIVEN, M. (org.). Evaluating social programs and problems: visions for the new millennium. Mahwah: Lawrence Erlbaum Associates, 2003. [ Links ]

MILLS, T.; LAWTON, R.; SHEARD, L. Advancing complexity science in healthcare research: the logic of logic models. BMC Medical Research Methodology, v. 19, n. 1, p. 1-11, 2019. [ Links ]

MORRA-IMAS, L. G.; RIST, R. C. The road to results: designing and conducting effective development evaluations. Washington DC: The World Bank, 2009. [ Links ]

PARENTE, C. M. D.; PARENTE, J. M.; HERNANDES, E. D. K. Avaliação de impacto na educação básica. Jornal de Políticas Educacionais, v. 14, n. 16, p. 1-20, 2020. [ Links ]

PATTON, M. Q. Qualitative research & evaluation methods: integrating theory and practice. 4. ed. Thousand Oaks: SAGE Publications, 2015. [ Links ]

ROGERS, P. J. Using programme theory to evaluate complicated and complex aspects of interventions. Evaluation, v. 14, n. 1, p. 29-48, 2008. [ Links ]

ROSSI, P. H.; LIPSEY, M. W.; FREEMAN, H. E. Evaluation: a systematic approach. 7. ed. Thousand Oaks: SAGE Publications, 2004. [ Links ]

SAVAYA, R.; WAYSMAN, M. The logic model: a tool for incorporating theory in development and evaluation of programs. Administration in Social Work, v. 29, n. 2, p. 85-103, 2005. [ Links ]

WEISS, C. H. Evaluation: methods for studying programs and policies. 2. ed. Upper Saddle River: Pearson College Division, 1998. [ Links ]

Recebido: Novembro de 2020; Aceito: Janeiro de 2021; Publicado: Março de 2021

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution NonCommercial No Derivative, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que sem fins comerciais, sem alterações e que o trabalho original seja corretamente citado