Estudos em Avaliação Educacional

AVALIAÇÃO DE PROJETOS, PROGRAMAS E POLÍTICAS EDUCACIONAIS

“HOW ‘GOOD’ IS GOOD ENOUGH?” - DEFINING EVALUATIVE WORTH AND MERIT CRITERIA

ABSTRACT This text discusses concepts associated with the notion of value and the action of valuing in program evaluation, considering the need to make judgments about the quality of a policy, program, project or social action that is inherent to it. It seeks to contribute to foment the discussion about valuation in the evaluation of social programs. To that end, it reviews the US and Brazilian literature in order to identify how valuation questions have been theoretically proposed and made explicit in evaluative research. Reports and articles on program evaluation with a focus on education are examined. It concludes, based on this bibliographical analysis, that the discussion about the attribution of value has seldom been conducted in the national literature in an explicit way, which reinforces the need for improving it.

RESUMEN Este texto busca discutir conceptos asociados a la noción de valor y a la acción de valorar en la evaluación de programas, teniendo en cuenta la necesidad de juzgar acerca de la calidad de una política, programa, proyecto o acción social que le es inherente. Se busca contribuir a fomentar la discusión acerca de la práctica de valoración en las evaluaciones de programas sociales. Para ello, se hace una revisión de la literatura estadunidense y brasileña, a fin de identificar cómo las cuestiones de valoración han sido propuestas teóricamente y explicitadas en investigaciones de evaluación. Se examinan, de forma exploratoria, informes de evaluación y artículos sobre evaluaciones de programas, con enfoque en el área educativa. Se concluye, en base al análisis bibliográfico realizado, que la discusión sobre la atribución de valor se realiza raras veces en la literatura nacional e internacional de forma explícita, lo que resalta la necesidad de su perfeccionamiento.

RESUMO Este texto procura discutir conceitos associados à noção de valor e à ação de valorar na avaliação de programas, tendo em vista a necessidade de fazer julgamentos acerca da qualidade de uma política, programa, projeto ou ação social que lhe é inerente. Busca-se contribuir para fomentar a discussão a respeito da prática de valoração nas avaliações de programas sociais. Para isso, é feita uma revisão das literaturas estadunidense e brasileira, a fim de identificar como as questões de valoração têm sido propostas teoricamente e explicitadas em pesquisas avaliativas. São examinados, de forma exploratória, relatórios de avaliação e artigos sobre avaliações de programas, com foco na área educacional. Conclui-se, com base na análise bibliográfica realizada, que a discussão sobre a atribuição de valor raramente tem sido feita na literatura nacional de forma explícita, ressaltando-se a necessidade de seu aprimoramento.

EFFECTS OF BOLSA FAMÍLIA ON EDUCATIONAL INEQUALITIES FACED BY ITS BENEFICIARIES

ABSTRACT Programa Bolsa Família has multiple connections with education, and possibly reduces the numerous dimensions of educational inequality faced by its beneficiaries. Based on the idea that the right to education presupposes the guarantee of something common and thus equal for all, this study adopted the conception of educational inequality ofMarcel Crahay (2002), who defines three dimensions of educational equality: access, treatment and knowledge. It analyzed how the program aims to reduce and has effects on the reduction of the numerous dimensions of educational inequality drawing on a literature review. It concludes that the main effects of Programa Bolsa Família are on the dimension of access, even though it has potential and incipient effects on the dimension of treatment and learning, mainly through sectorial integration.

RESUMEN El Programa Bolsa Família posee múltiples conexiones con el tema educativo, tal vez por reducir el sinnúmero de dimensiones de la desigualdad educacional enfrentadas por sus beneficiarios. Partiendo de la idea de que el derecho a la educación presupone la garantía de algo común y, por lo tanto, igual para todos, se adoptó la concepción de desigualdad educativa deMarcel Crahay (2002), que define tres dimensiones necesarias de igualdad educacional: acceso, tratamiento y conocimiento. Se analizó el modo en que el programa busca y ocasiona efectos en la reducción de las diversas dimensiones de la desigualdad educativa a partir de una revisión de literatura de las producciones académicas del área. Se concluye que los principales efectos del Bolsa Família se refieren a la dimensión del acceso, aunque tenga efectos potenciales e incipientes sobre la dimensión del tratamiento y del aprendizaje, sobre todo vía integración sectorial.

RESUMO O Programa Bolsa Família tem múltiplas conexões com a questão educacional, possivelmente reduzindo as inúmeras dimensões da desigualdade educacional enfrentadas por seus beneficiários. Partindo-se da ideia de que o direito à educação pressupõe a garantia de algo comum e, portanto, igual para todos, adotou-se a concepção de desigualdade educacional deMarcel Crahay (2002), que define três dimensões necessárias de igualdade educacional: acesso, tratamento e conhecimento. Analisou-se como o programa busca e tem efeitos na redução das inúmeras dimensões da desigualdade educacional a partir de uma revisão de literatura das produções acadêmicas da área. Conclui-se que os principais efeitos do Bolsa Família são sobre a dimensão do acesso, ainda que ele tenha efeitos potenciais e incipientes sobre a dimensão do tratamento e do aprendizado, principalmente via integração setorial.

CONTRIBUTIONS FROM THEORY-DRIVEN EVALUATION TO THE EVALUATION OF PIBID

ABSTRACT The present article aims to discuss the process of formulation and implementation of the Institutional Teacher Initiation Scholarship Program (Pibid) using the theoretical-methodological framework of Theory-Driven Evaluation (TDE), which proposes to evaluate a program based on its defining theory. The Pibid is a Federal Government program that aims to improve initial teacher education by introducing teacher licensure students into public schools’ daily activities since their early stages in college. In order to outline the program’s action and change models as suggested by TDE, we used qualitative methodology and conducted a discussion of data based on content analysis. The action model demonstrates the articulation between partner institutions and the program’s actors, who are mobilized by incentive instruments, which resulted in an effective change model. We found that Pibid acts on the right determinants, thus causing significant change in the initial teacher education process. Our analysis of the program’s model shows that Pibid affects positively the initial teacher education process.

RESUMEN El presente artículo tiene el objetivo de discutir el proceso de formulación e implementación del Programa Institucional de Becas de Iniciación a la Docencia (Pibid), a partir del marco teórico-metodológico de la Theory-Driven Evaluation (TDE). El Pibid tiene el propósito de calificar la formación inicial de profesores desde su inserción en el cotidiano de las escuelas de la red pública. Para construir el modelo de acción y de cambio sugerido por este enfoque se utilizó metodología cualitativa y los datos se discutieron en base al análisis de contenido. Este modelo de acción evidencia la articulación entre las instituciones asociadas y los actores, movilizados por instrumentos de incentivo y valorización, que resulta en un modelo eficaz de cambio. Se verificó que el Pibid actúa sobre los determinantes correctos, resultando en cambios significativos en el proceso de formación inicial de profesores. El análisis del modelo muestra que el Pibid interfiere positivamente en el proceso de formación inicial docente.

RESUMO O presente artigo tem como objetivo discutir o processo de formulação e implementação do Programa Institucional de Bolsas de Iniciação à Docência (Pibid), a partir do arcabouço teórico-metodológico da Theory-Driven Evaluation (TDE). O Pibid tem como propósito qualificar a formação inicial de professores a partir da inserção do licenciando no cotidiano das escolas da rede pública. Para a construção do modelo de ação e de mudança sugeridos por essa abordagem, foi utilizada metodologia qualitativa e os dados foram discutidos com base na análise de conteúdo. O seu modelo de ação evidencia a articulação entre as instituições parceiras e os atores, mobilizados por instrumentos de incentivo e valorização, que resulta em um modelo de mudança eficaz. Verificou-se que o Pibid atua sobre os determinantes corretos, resultando em mudanças significativas no processo de formação inicial de professores. A análise do modelo mostra que o Pibid interfere positivamente no processo de formação inicial docente.

EVALUATION OF PIBID BY RECENTLY GRADUATED STUDENTS IN TEACHING: A CASE STUDY

RESUMO Este artigo apresenta os resultados de uma pesquisa qualitativa que objetivou avaliar o Programa Institucional de Bolsa de Iniciação à Docência (Pibid), desenvolvido em uma universidade pública estadual paranaense, com egressos de licenciaturas que participaram do programa por um período igual ou superior a um ano letivo, no período de 2010 a 2015. O referencial teórico fundamenta-se na avaliação de programas educacionais. A participação no Pibid, segundo os egressos, contribuiu significativamente para a aprendizagem da docência, a formação inicial e a atuação docente. A pesquisa indica que a avaliação de programas educacionais centrada nos participantes egressos é necessária para a análise das contribuições e das fragilidades, bem como para o aprimoramento do programa, embora seja desafiadora.

RESUMEN Este artículo presenta los resultados de una investigación cualitativa cuyo objetivo fue el de evaluar el Programa Institucional de Bolsa de Iniciação à Docência [Programa Institucional de Beca de Iniciación a la Docencia] (Pibid), desarrollado en una universidad pública provincial de Paraná, con egresados de licenciaturas que participaron en el programa por un periodo igual o superior a un año lectivo, del 2010 al 2015. El referente teórico se fundamenta en la evaluación de programas educativos. La participación en el Pibid, según los egresados, contribuyó significativamente para el aprendizaje de la docencia, la formación inicial y la actuación docente. La investigación indica que la evaluación de programas educativos centrada en los participantes egresados es necesaria para el análisis de las contribuciones y las fragilidades, así como para el perfeccionamiento del programa, aunque represente un desafío.

ABSTRACT This paper presents the results of qualitative research that aimed to evaluate the Programa Institucional de Bolsa de Iniciação à Docência [Teaching Initiation Scholarship Institutional Program] (Pibid), developed at a public university in the state of Paraná, Brazil, from 2010 to 2015. The study was conducted with recently graduated students who participated in the program for a period equal to or greater than one academic year. The theoretical framework is based on the evaluation of educational programs. Participation in Pibid, according to the recently graduated students, contributed significantly to learning how to teach, initial education and teaching performance. The study points out that the evaluation of educational programs focused on recently graduated students is necessary, although challenging, for the analysis of strengths and weaknesses as well as for the improvement of the program.

PROJECT EVALUATION AND EVALUATIVE THINKING: REPORTING AN EXPERIENCE

RESUMO A principal finalidade deste artigo é jogar luz ao potencial pedagógico das avaliações de projetos e programas sociais e educacionais para o desenvolvimento do pensar avaliativo das organizações e de suas equipes. Apresentam-se o relato sobre o percurso avaliativo de uma organização da sociedade civil do campo educacional e a análise das aprendizagens geradas pelo processo avaliativo de um de seus projetos, baseados em percepções reflexivas e autoavaliativas dos profissionais envolvidos obtidas por meio de entrevistas semidirigidas individuais e coletivas. Observou-se que o processo avaliativo, realizado de maneira interativa e dialógica, pôde contribuir para a ampliação da consciência crítica sobre o projeto, favorecendo o desenvolvimento do raciocínio avaliativo dos participantes, orientando-os para o pensar e o saber-fazer avaliativo crítico, autônomo e emancipatório. Conclui-se que a potência pedagógica das avaliações de projetos para a construção de um pensamento avaliativo nas organizações é ampla, mas ainda timidamente explorada.

RESUMEN La principal finalidad de este artículo es aclarar el potencial pedagógico de las evaluaciones de proyectos y programas sociales y educativos para desarrollar el pensar evaluativo de las organizaciones y sus equipos. Se presentan el relato sobre el recorrido evaluativo de una organización de la sociedad civil del campo educacional y el análisis de los aprendizajes generados por el proceso evaluativo de uno de sus proyectos, basados en percepciones reflexivas y autoevaluativas de los profesionales involucrados, que se obtuvieron por medio de entrevistas semidirigidas individuales y colectivas. Se observó que el proceso evaluativo, realizado de manera interactiva y dialógica, pudo contribuir para ampliar la consciencia crítica sobre el proyecto, favoreciendo el desarrollo del razonamiento evaluativo de los participantes, orientándolos al pensar y al saber hacer evaluativo crítico, autónomo y emancipatorio. Se concluye que la potencia pedagógica de las evaluaciones de proyectos para construir un pensamiento evaluativo en las organizaciones es amplia, pero todavía tímidamente explorada.

ABSTRACT The main purpose of this article is to throw light on the pedagogical potential of educational programs’ evaluations with the intention of building capacity of evaluative thinking in social organizations and their teams. It presents the path of a civil society organization in the educational field and the analysis of the learnings generated by the process of evaluating one of its projects. It was based on the reflective and self-evaluative perceptions of the professionals involved and obtained using data collection from semi-structured individual and collective interviews. The evaluation process, which was conducted in an interactive and dialogical way, contributed to the expansion of the critical consciousness about the project, favoring the development of the evaluative reasoning of the participants, guiding them to thinking evaluation critically, autonomously and actively. In conclusion, the pedagogical potential of project evaluations, for the construction of an evaluative thinking in organizations, is broad but still little explored.

CONTINUOUS EVALUATION OF HIGHER EDUCATION PROGRAMS

RESUMO O objetivo deste artigo é discutir o conceito de avaliação continuada a partir da experiência avaliativa de um programa de educação superior de uma universidade pública, que é ao mesmo tempo uma ação afirmativa, um curso de educação geral e uma nova forma de acesso aos cursos de graduação. Avaliação continuada representa uma inovação em termos conceituais e metodológicos na área de políticas públicas ao propor um processo que acompanha toda a existência de uma política. A análise da avaliação do programa de educação geral traz contribuições de duas naturezas: a) a compreensão de como construir um sistema de avaliação continuada; b) a operacionalização de tal sistema, evidenciando tanto a geração de insumos de forma contínua para a tomada de decisões quanto os desafios que vêm sendo enfrentados para que essa integração entre avaliação e tomada de decisões continue ocorrendo.

RESUMEN El objetivo de este artículo es discutir el concepto de evaluación continuada a partir de la experiencia evaluativa de un programa de educación superior de una universidad pública, que es a la vez una acción afirmativa, un curso de educación general y una nueva forma de acceso a los cursos de graduación. La evaluación continuada representa una innovación en términos conceptuales y metodológicos en el área de políticas públicas al proponer un proceso que acompaña toda la existencia de una política. El análisis de la evaluación del programa de educación general contribuye con aportes de dos naturalezas distintas: a) la comprensión de cómo construir un sistema de evaluación continuada; b) la ejecución de tal sistema, que pone de manifiesto tanto la generación de insumos de forma continua para la toma de decisiones, como los desafíos que se enfrentan para que dicha integración entre evaluación y toma de decisiones siga ocurriendo.

ABSTRACT This paper discusses the concept of continuous evaluation, based on the evaluation experience of a higher education program from a public university. The program is not only an affirmative action, it is also a general education program and a new admission way to the undergraduate courses. Continuous evaluation represents innovation in conceptual and methodological terms, in the public policy area, as it proposes a process based on a policy. The analysis of the general education program provides two main contributions: a) the understanding of how to set up a continuous evaluation system; b) the management of the system. This highlights the continuous generation of subsidies for decision-making as well as the challenges that are being faced, which guarantee that the integration between evaluation and decision-making will continue to occur.

DEBATE ON THE DEMOCRATIZATION OF ACCESS TO HIGHER EDUCATION: EVALUATION OF PROUNI

RESUMO Partindo da constatação de que a oferta de vagas na educação superior é sobretudo privada, este trabalho pretende identificar os perfis dos bolsistas beneficiados pelo Programa Universidade para Todos (ProUni), considerando três cursos: Pedagogia, Medicina e Direito. Para tanto, o recurso foi o da avaliação de políticas, tal como formulado no campo de políticas públicas. Foram analisados os microdados do questionário socioeducacional aplicado por ocasião da realização do Exame Nacional de Desempenho dos Estudantes (Enade), no período entre 2008 e 2013. Os dados permitem concluir que o ProUni é bem- -sucedido quanto às metas estabelecidas, garantindo a inserção de jovens pobres, oriundos principalmente da escola pública. Contudo, os dados também possibilitam afirmar que o programa é limitado quanto ao seu escopo, pois as diferenças identificadas entre os bolsistas dos três cursos analisados sugerem que há uma reprodução das desigualdades educacionais.

RESUMEN Partiendo de la constatación de que la oferta de plazas en la educación superior es sobre todo privada, este trabajo pretende identificar los perfiles de los becarios beneficiados por el Programa Universidad para Todos (ProUni), considerando tres cursos: Pedagogía, Medicina y Derecho. Para ello, se utilizó el recurso de la evaluación de políticas, tal como formulado en el campo de políticas públicas. Se analizaron los microdatos del cuestionario socioeducativo aplicado durante la realización del Exame Nacional de Desempenho dos Estudantes (Enade), en el periodo abarcado entre 2008 y 2013. Los datos permiten concluir que ProUni es exitoso en lo que concierne a las metas establecidas, asegurando la inserción de jóvenes pobres provenientes por encima de todo de la escuela pública. Sin embargo, los datos también permiten afirmar que el programa es limitado en lo que se refiere a su alcance, ya que las diferencias identificadas entre los becarios de los tres cursos analizados sugieren que hay una reproducción de las desigualdades educacionales.

ABSTRACT Based on the fact that the majority of vacancies in higher education is mainly in private schools in Brazil, this study aims to identify the profiles of the beneficiaries of the program University for All (ProUni). It considers three courses: Pedagogy, Medicine and Law. The research resource used was the evaluation of policies established in the field of public policies. The microdata collected, using the socio-educational questionnaire during the application of Enade between 2008 and 2013, were analyzed. These data allow us to conclude that ProUni has been successful in terms of its established goals of ensuring the access of poor young people coming from public schools, to higher education. However, the data also allow us to affirm that the program is limited in scope, since the differences identified among the benefitted students in the different courses suggest that there is a reiteration of the educational inequalities.

EVALUATION OF GOVERNMENTAL PROGRAMS: CIÊNCIA SEM FRONTEIRAS IN FOCUS

RESUMO Este artigo trata da avaliação de um expressivo programa do governo federal: Ciência sem Fronteiras. A avaliação de políticas e programas públicos tem sido apontada pela literatura como capaz de subsidiar a formulação de intervenções governamentais e o controle de sua execução. Essa experiência recente de internacionalização do ensino superior no Brasil, manifestada pelo referido programa, apesar de apresentar benefícios potenciais, também aponta deficiências que precisam ser solucionadas. Os resultados deste estudo, que não podem, obviamente, ser generalizados para todas as bolsas já distribuídas no Brasil, mostraram processos bem-sucedidos do Programa Ciência sem Fronteiras, assim como algumas falhas pontuais. Mesmo apresentando limitantes típicos de estudos de abordagem qualitativa, como o reduzido grau de reprodutibilidade, a presente pesquisa estimula a reflexão com respeito aos programas públicos de internacionalização do ensino superior no Brasil e o aprofundamento do tema.

RESUMEN Este artículo trata de la evaluación de un expresivo programa del gobierno federal: Ciência sem Fronteiras. La evaluación de políticas y programas públicos ha sido señalada por la literatura como capaz de subsidiar la formulación de intervenciones gubernamentales y el control de su ejecución. Dicha reciente experiencia de internacionalización de la educación superior en Brasil, manifestada por el mencionado programa, a pesar de presentar beneficios potenciales también pone de manifiesto deficiencias que deben solucionarse. Los resultados de este estudio, que por supuesto no se pueden generalizar para todas las becas ya distribuidas en Brasil, mostraron procesos exitosos del Programa Ciência sem Fronteiras, así como algunas fallas puntuales. Aunque presenten limitaciones típicas de estudios de abordaje cualitativo, como el reducido grado de reproductibilidad, la presente investigación estimula la reflexión en lo que se refiere a los programas públicos de internacionalización de la educación superior en Brasil y la profundización del tema.

ABSTRACT This paper deals with an important program of the Brazilian federal government. The evaluation of public policies and programs has been identified in the literature as capable of developing governmental interventions and controlling their implementation. This recent experience of the internationalization of higher education in Brazil, demonstrated by the program described herein, despite presenting potential benefits, also points out deficiencies that need to be resolved. The results of this study, which obviously cannot be generalized to all benefits already distributed in Brazil, have shown the successful processes, as well as occasional failures, of the Programa Ciência sem Fronteiras [Science without Borders Program]. Although presenting typical limitations of qualitative studies, such as the reduced degree of reproducibility, this study stimulates the reflection and need for further studies on internationalization of higher education public programs in Brazil.

TEN YEARS OF THE PROINFÂNCIA: EFFECTS OF A PUBLIC POLICY OF INDUCTION

RESUMO O presente estudo é um recorte de uma pesquisa mais ampla que analisa o Programa Nacional de Reestruturação e Aparelhagem da Rede Escolar Pública de Educação Infantil no estado do Rio de Janeiro, com foco nos efeitos desse programa federal em uma de suas metas, a de garantir o acesso à creche e à pré-escola com a construção de novos estabelecimentos a partir de projetos-padrão. Utilizaram-se o sistema de monitoramento de obras do Fundo Nacional de Desenvolvimento da Educação, para identificar as obras concluídas, e o Censo Escolar do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, a fim de comparar as condições da rede antes e após dez anos de lançamento do programa. Observou-se que a creche foi a maior beneficiada por esse atendimento, além de os dados sugerirem possíveis méritos na indução de um padrão mínimo de referência de qualidade. Entretanto, o programa não foi sempre determinante para a expansão da rede de educação infantil.

RESUMEN El presente estudio es un recorte de un estudio más amplio que analiza el Programa Nacional de Reestructuración y Equipos de la Red Escolar Pública de Educación Infantil en el estado de Rio de Janeiro, con enfoque en los efectos de este programa federal en una de sus metas, la de garantizar el acceso a guardería y pre-escuela con la construcción de nuevos establecimientos a partir de proyectos estándar. Se utilizaron el sistema de monitoreo de obras del Fondo Nacional de Desarrollo de la Educación para identificar las obras concluidas, y el Censo Escolar del Instituto Nacional de Estudios y Pesquisas Educacionales Anísio Teixeira, con el propósito de comparar las condiciones de la red antes y después de diez años de lanzamiento del programa. Se observó que la guardería fue más beneficiada por esta atención, además de que los datos sugieren posibles méritos en la inducción de un estándar mínimo de referencia de calidad. Sin embargo, no siempre el programa fue determinante para la expansión de la red de educación infantil.

ABSTRACT The present study is a piece of a wider study that analyzes the Programa Nacional de Reestruturação e Aparelhagem da Rede Escolar Pública de Educação Infantil [National Restructuring and Equipping Program of the Early Childhood Public School Network] of the State of Rio de Janeiro. It focuses on the effects of this federal program in one of its goals, which is to ensure access to nursery school and preschool with the construction of new facilities based on standard projects. The monitoring system of the National Education Development Fund was used to identify the projects completed. The School Census from the Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [Anísio Teixeira National Institute of Educacional Studies and Research] was used to compare the conditions of the network before and ten years after the program was implemented. Daycares were the greatest beneficiaries of this service, and the data suggest possible merits in establishing a reference for a minimum quality standard. However, the program was not always a determining factor in the expansion of the network of early childhood education.

IMPACT OF CHILD DEVELOPMENT CENTERS IN THE FIRST YEAR OF PRESCHOOL

ABSTRACT The paper analyzes the impact of the main program for early childhood education adopted by Rio de Janeiro public municipal system since 2010 on children’s development at preschool. It discusses the methodological design and results of international research and indicates the scarcity of studies with robust designs in the Brazilian context. A random sample of 46 schools (2.716 children) collected in two waves: at the beginning and end of 2017, from the study “Baseline Brazil (BLB)”, was used in the statistical treatment of data. The descriptive analysis of data suggests an association in the same direction between attendance to the program and development in language. However, analysis using hierarchical models including controlling variables do not indicate a statistically significant effect of attending the program for cognitive development in the short run.

RESUMEN El artículo analiza el impacto del principal programa para la educación infantil adoptado por la red municipal de la ciudad de Río de Janeiro desde 2010 para el desarrollo cognitivo de los niños preescolares. Discute el diseño metodológico, los resultados de investigaciones internacionales y la escasez de estudios con diseños robustos en el contexto brasileño. Una muestra aleatoria de 46 escuelas (2.716 niños) en dos olas: inicio y fines de 2017, que pertenece al estudio Linha de Base Brasil (LBB), se utilizó en el tratamiento estadístico de datos. El análisis descriptivo de dichos datos sugiere una asociación de mismo sentido entre la participación en el programa y el desarrollo en lenguaje. Sin embargo, análisis con múltiples variaciones que utilizan modelos jerárquicos con diversos controles no indican un efecto del programa en el desarrollo cognitivo a corto plazo.

RESUMO O artigo analisa o impacto do principal programa para a educação infantil, adotado pela rede municipal da cidade do Rio de Janeiro a partir de 2010, no desenvolvimento cognitivo das crianças da pré-escola. Discute o desenho metodológico, os resultados de pesquisas internacionais e a escassez de estudos com desenhos robustos no contexto brasileiro. Uma amostra aleatória de 46 escolas (2.716 crianças), em duas ondas: início e final de 2017, pertencente ao estudo Linha de Base Brasil (LBB), foi empregada no tratamento estatístico de dados. A análise descritiva dos dados sugere uma associação de mesmo sentido entre a frequência ao programa e o desenvolvimento em linguagem. No entanto, análises multivariadas utilizando modelos hierárquicos com diversos controles não indicam um efeito do programa no desenvolvimento cognitivo no curto prazo.

TRENDS AND CHALLENGES IN PROGRAM EVALUATION: AN INTERVIEW WITH CHRIS CORYN

ABSTRACT In this interview, Chris Coryn, Director of the Interdisciplinary PhD in Evaluation (IDPE) Program, Professor of Evaluation at Western Michigan University (WMU) and executive editor of the Journal of MultiDisciplinary Evaluation, explains key concepts and characteristics of program evaluation, a dimension of evaluation that is still unexplored in the educational area in Brazil. The researcher comments on some of the current challenges in the field of program evaluation, highlighting methodological tendencies and ethical issues in professional practice. He also discusses knowledge, competences and skills that should be considered in the training of the professional evaluator. Coryn criticizes current evaluative approaches that disconnect program evaluation from values and valuing, which, in his view, are distinctive elements of program evaluation.

RESUMEN En esta entrevista Chris Coryn, director del Programa de Doctorado Interdisciplinario en Evaluación, profesor de Evaluación en la Western Michigan University y editor ejecutivo del Journal of Multidisciplinary Evaluation, explica conceptos y características esenciales de la evaluación de programas, dimensión de la evaluación todavía poco explorada en el área educacional en Brasil. El investigador comenta algunos de los actuales desafíos del campo de la evaluación de programas, destacando tendencias metodológicas y temas éticos recurrentes en la práctica evaluativa profesional; discute conocimientos, habilidades y competencias que habría que considerar en la formación del evaluador profesional; y critica abordajes evaluativos actuales que desconectan la evaluación de programas de atribución de valor y de la discusión sobre valores y valoración que, en su opinión, son sus elementos distintivos.

RESUMO Nesta entrevista, Chris Coryn, diretor do Programa de Doutorado Interdisciplinar em Avaliação, professor de Avaliação na Western Michigan University e editor-executivo do Journal of MultiDisciplinary Evaluation, explica conceitos e características essenciais da avaliação de programas, dimensão da avaliação ainda pouco explorada na área educacional no Brasil. O pesquisador comenta sobre alguns dos desafios atuais do campo da avaliação de programas, destacando tendências metodológicas e questões éticas recorrentes na prática avaliativa profissional; discute conhecimentos, habilidades e competências que deveriam ser consideradas na formação do avaliador profissional; e critica abordagens avaliativas atuais que desconectam a avaliação de programas da atribuição de valor e da discussão sobre valores e valoração que, a seu ver, são seus elementos distintivos.