Estudos em Avaliação Educacional

Avaliações externas e qualidade na educação básica: articulações e tendências

Neste artigo aborda-se a implantação de sistemas municipais de avaliação em quatro municípios paulistas. São destacados elementos da avaliação de sistema que evidenciam sua articulação com a valorização da qualidade do ensino em diferentes concepções. Os resultados obtidos pelas redes que compõem o escopo do estudo e os contornos de seus sistemas próprios de avaliação são realçados para demonstrar possíveis incrementos na qualidade do ensino. Por fim, conclui-se que a avaliação externa, concebida como um processo amplo que envolve escolhas técnicas, políticas e ideológicas, é um importante instrumento para o acompanhamento de alunos e escolas e a tomada de decisões. Porém, além de se enfatizar a necessidade de novos estudos em face das tendências constatadas, recomenda-se cautela para afastar eventuais efeitos negativos, como transferência de responsabilidades e comprometimento da qualidade de seus próprios resultados.

En este artículo, se aborda la implementación de sistemas municipales de evaluación en cuatro municipios del Estado San Pablo. Se destacan elementos de la evaluación del sistema que demuestran su relación con la valoración de la calidad de la enseñanza en diferentes concepciones. Los resultados obtenidos por las redes que integran el ámbito del estudio y los contornos de sus propios sistemas de evaluación son destacados para demostrar posibles mejoras en la calidad de la educación. Finalmente se concluyó que la evaluación externa, concebida como un proceso amplio que involucra decisiones técnicas, políticas e ideológicas, es una herramienta importante para el seguimiento de los alumnos y las escuelas, y para la toma de decisiones. Sin embargo, dadas las tendencias observadas, además de hacer hincapié en la necesidad de nuevos estudios, se recomienda una cierta cautela para alejar posibles efectos negativos como la transferencia de responsabilidades y el comprometimiento de la calidad de sus propios resultados.

In this article, deals with the deployment of municipal assessment in four municipalities of São Paulo State. Are highlighted elements of the evaluation system to show its relationship to the quality of teaching in different designs. The results obtained by those systems that make up the scope of the study and the contours of their own evaluation systems are highlighted to demonstrate connections with quality of education. Finally, we conclude that the external evaluation, conceived as a complex process that involves technical choices, political and ideological, is an important tool for tracking students, schools and decision making. However, in addition to emphasizing the need for further studies in view of the trends observed, it is necessary to protect itself to ward off possible negative effects such as transfer of responsibilities and compromising the quality of their own results.

Avaliação externa da escola: repercussões, tensões e possibilidades

O artigo discute as repercussões e as tensões geradas pelas avaliações externas em escolas municipais da Baixada Fluminense - RJ. A pesquisa se concentra na problemática do acesso, análise e compreensão dos resultados do Índice de Desenvolvimento da Educação, bem como de seus impactos nos sistemas e nas escolas. As análises preliminares, coletadas por entrevistas, apontam para a identificação de impactos na organização escolar e no trabalho pedagógico docente com características neotecnicistas, gerencialistas e reguladoras, o que é visto como preocupante. Apesar de nossa análise crítica, as avaliações externas também podem se revestir de possibilidades ancoradas no conceito de qualidade negociada.

El artículo analiza las repercusiones y las tensiones generadas por las evaluaciones externas en las escuelas municipales de la Baixada Fluminense, Rio de Janeiro. La investigación se centra en la cuestión del acceso y en el análisis y la comprensión de los resultados del Índice de Desenvolvimento da Educação, así como de su impacto en los sistemas y en las escuelas. Los análisis preliminares, recogidos a través de entrevistas, apuntan a la identificación de impactos en la organización escolar y en el trabajo pedagógico docente con características neotecnicistas, de gestión y regulación, aspectos vistos con preocupación. A pesar de nuestro análisis crítico, las evaluaciones externas también pueden revelar posibilidades basadas en el concepto de calidad negociada.

This article discusses the repercussions and tensions generated by external assessments of public schools in the Baixada Fluminense - RJ. The study focuses on the issue of access, analysis and understanding of the results of the Índice de Desenvolvimento da Educação (Education Development Index), as well as the impact on the systems and schools. A preliminary analysis based on interviews points to the identification of impacts on school organization and teacher pedagogical work with neotechnicist, managerial and regulatory characteristics, which causes concern. In spite of our critical analysis, external assessment can also be seen as possibilities rooted in the concept of negotiated quality.

Teoria da resposta ao item: uma análise crítica dos pressupostos epistemológicos

O artigo procura desvelar concepções e valores envolvidos no ato de avaliar e sua interface com a ideia de medida, tomando como referência alguns estudos disponíveis na literatura educacional sobre a Teoria da Resposta ao Item, a fim de verificar suas potencialidades e limites. Investigou-se a Teoria da Resposta ao Item sob o prisma de três relevantes pressupostos epistemológicos do modelo: unidimensionalidade, independência local e qualidade e adequação dos itens. Algumas questões podem ser levantadas com base nesta análise dos postulados: Como garantir a unidimensionalidade quando todo comportamento humano é altamente complexo e multideterminado?; E elaborar questões de provas totalmente independentes?; É possível construir e manter um banco de itens calibrados e adequados?. Esses são importantes desafios para a concretização da teoria e a confiabilidade.

El artículo pretende mostrar concepciones y valores implicados en el acto de la evaluación y su interfaz con la idea de medida, tomando como referencia algunos estudios disponibles en la literatura educativa sobre la Teoría de la Respuesta al Ítem, con el fin de verificar sus potencialidades y sus límites. Se investigó la Teoría de la Respuesta al Ítem a partir de tres presupuestos epistemológicos relevantes del modelo: la unidimensionalidad, la independencia local y la calidad y adecuación de los ítems. El análisis de estos postulados permite plantear algunas preguntas: ¿Cómo garantizar la unidimensionalidad cuando todo comportamiento humano es altamente complejo y multideterminado? ¿Cómo elaborar preguntas de pruebas totalmente independientes? ¿Es posible construir y mantener una base de ítems ajustados y adecuados? Estos son importantes desafíos -que no siempre se presentan como infalibles- para la concreción de la teoría y la confiabilidad de su metodología.

This article seeks to reveal concepts and values involved in the act of evaluating and its interface with the idea of measurement. It also addresses some studies on the Item Response Theory (IRT) in the literature in order to assess its potential and limits. IRT was investigated from the perspective of three important epistemological assumptions of the model: unidimensionality, local independence, and quality and appropriateness of items. How can unidimensionality be maintained if all human behavior is highly complex and multidimensional?; How can one prepare test items which are totally independent?; Is it possible to create and maintain a database with calibrated and adequate items?. These are important challenges for the theory and the reliability of the methodology, which are not always infallible.

Uma escala para medir a infraestrutura escolar

Promover a educação requer a garantia de um ambiente com condições para que a aprendizagem possa ocorrer. É importante proporcionar um ambiente físico, aqui denominado infraestrutura escolar, que estimule e viabilize o aprendizado, além de favorecer as interações humanas. Este artigo apresenta uma escala de infraestrutura escolar que foi construída utilizando como ferramenta a Teoria de Resposta ao Item e baseando-se em informações referentes às escolas obtidas no Censo Escolar da Educação Básica 2011. Foram estabelecidas quatro categorias: Elementar, Básica, Adequada e Avançada. Com base na escala, foi feita uma análise comparativa da infraestrutura escolar por região do país e por dependência administrativa. Acreditamos que os resultados obtidos podem ser úteis para orientar as políticas públicas de educação e para fundamentar estudos futuros sobre o impacto das condições materiais das escolas na qualidade do ensino.

Promover la educación requiere garantizar un ambiente con condiciones para que ocurra el aprendizaje. Es importante proporcionar un ambiente físico, denominado aquí infraestructura escolar, que estimule o viabilice el aprendizaje, además de promover las interacciones humanas. Este artículo presenta una escala de infraestructura escolar que se construyó utilizando como herramienta la Teoría de Respuesta al Ítem y teniendo como base las informaciones referentes a las escuelas, recolectadas no Censo de la Educación Escolar Básica de 2011. Se establecieron cuatro categorías: Elemental, Básica, Adecuada y Avanzada. Basándose en la escala, se ha efectuado uno análisis comparativo da infraestructura escolar por región y por dependencia administrativa. Creemos que los resultados obtenidos pueden ser útiles para orientar las políticas públicas de educación y para fundamentar estudios futuros sobre el impacto de las condiciones materiales de las escuelas en la calidad de la enseñanza.

To promote education requires ensuring an environment with conditions for learning to occur. It is important to provide a physical environment, here called the school infrastructure, or to make it possible to stimulate learning, besides providing human interactions. In this context, this paper aims to investigate the quality of the infrastructure of Brazilian schools. To that end, we developed a scale of school infrastructure, built using the Item Response Theory and based on data from the School Census of Basic Education 2011. From the scale, four categories were established for the infrastructure of schools: Elementary, Basic, Appropriate and Advanced. This paper makes a comparative analysis between the school infrastructure by region and administrative dependence. The results presented here also allow future studies about the impact of material conditions of schools on student learning.

Análise dos resultados do pré-teste da Provinha Brasil de Matemática

Nesse trabalho, apresentamos uma análise do rendimento de alunos de segundo ano de escolaridade na resolução de problemas de estrutura aditiva com base nos resultados da pré-testagem dos itens que comporão a Provinha Brasil de Matemática. Foram aplicados 192 itens a 12 mil alunos de diferentes unidades da Federação. Realizamos a análise considerando algumas variáveis presentes nos problemas, tais como o tipo de contexto, a presença ou não de imagens, a magnitude dos números envolvidos e a localização dos dados no problema. Os resultados mostram que, em função da estrutura do problema, a alteração dessas variáveis provoca diferenças no índice de sucesso dos alunos.

En este trabajo presentamos un análisis del rendimiento de los alumnos del segundo año de la escuela primaria en la resolución de resolver los problemas de estructura aditiva, basada en los resultados de la pre-evaluación previa de los ítems que componen la Provinha Brasil de Matemática. Se aplicaron de 192 ítems a 12 mil alumnos de diferentes escuelas de Brasil. Realizamos el análisis considerando algunas de las variables presentes en los problemas, tales como el tipo de contexto, la presencia o ausencia de imágenes, la magnitud de los números implicados y la ubicación de los datos en el problema. Los resultados muestran que dependiendo de la estructura del problema, la alteración de esas variables produce diferencias en el índice de éxito de los alumnos.

This study presents an analysis of student performance in the second year of elementary school trying to solve problems in additive structure. The analysis is based on the results collected from the pre-test of the items that will make up the Provinha Brasil de Matemática (Brazilian Math test). A total of 192 items were submitted to 12 thousand students from different units of the Federation. The analysis took into consideration some of the variables from those items, such as type of context, the presence or absence of images, the magnitude of the numbers involved, and the location of the data in the problem. The results show that, depending on the structure of the problem, changing these variables brings about differences in the success rate of students.

Bullying escolar e sua percepção pelos alunos: um estudo do Saresp

A violência é um problema endêmico no Brasil, em suas mais distintas formas. Nas escolas, essa realidade não é diferente, sendo o bullying uma das expressões de violência que mais têm chamado a atenção nos últimos anos. Este artigo descreve e analisa a frequência e a intensidade de ocorrência de práticas de bullying em escolas do ensino básico do Estado de São Paulo e explora, por meio de modelos de regressão logística, a associação entre o bullying e as características contextuais e o desempenho acadêmico dos alunos. Para isso, utiliza dados do questionário de fatores contextuais e dos testes de Língua Portuguesa e Matemática aplicados aos alunos na edição de 2009 do Sistema de Avaliação de Rendimento do Estado de São Paulo. O trabalho aponta a existência de um número considerável de vítimas de práticas intensas de bullying no Estado de São Paulo e identifica um conjunto de características dos alunos, que estão fortemente associadas a uma maior vulnerabilidade a essas práticas.

La violencia en sus más variadas formas es un problema endémico em Brasil. En las escuelas, esta realidad no es diferente, siendo el bullying una de las expresiones de violencia que viene llamando más la atención en los últimos años. Este artículo describe y analiza la frecuencia y la intensidad de acontecimientos de prácticas de bullying en escuelas de enseñanza básica del Estado de San Pablo e investiga por medio de modelos de regresión logística la asociación entre el bullying y las características contextuales y de desempeño académico de los alumnos. Para ello, utiliza datos del cuestionario de factores contextuales y de las pruebas de Lengua Portuguesa y Matemática aplicadas a los alumnos en la edición 2009 del Sistema de Avaliação de Rendimento do Estado de São Paulo. El trabajo registra la existencia de un número considerable de víctimas de prácticas intensas de bullying en el Estado de San Pablo e identifica un conjunto de características de los alumnos fuertemente asociadas a una mayor vulnerabilidad ante esas prácticas.

Violence in its various forms is an endemic problem in Brazil. This reality is not different in schools, where bullying is one of the practices that have attracted most attention in recent years. This paper describes and analyses the frequency and the intensity of bullying practices in basic education schools in the State of São Paulo, and explores, through logistic regression modeling, the association between bullying and pupil academic performance and contextual characteristics. The data used in this study have been collected from the student background questionnaire and from the Portuguese and Mathematics tests of the 2009 edition of the São Paulo State System of Performance Evaluation. The conclusions reveal the existence of a considerable number of intense bullying victims in the State of São Paulo and identify a set of student characteristics strongly associated with a greater vulnerability to these practices.

Os gêneros discursivos no Saeb e na Prova Brasil de 2007

Objetivou-se neste trabalho mapear os gêneros discursivos que constituíram o teste do 5º ano do Saeb e da Prova Brasil, de 2007, para analisar se o privilégio de determinados gêneros discursivos em detrimento de outros pode contribuir para a reprodução e manutenção de relações assimétricas de poder. Assim, para tratar dos conceitos de gênero discursivo e análise do discurso crítica, postulados básicos que orientam este trabalho, foram utilizadas as reflexões de Bakhtin, Marcuschi, Fairclough, Resende e Ramalho e Thompson. Para a coleta e análise dos dados, foi adotada a abordagem qualitativa recorrendo-se à análise documental. Os resultados da pesquisa mostraram que os gêneros mais recorrentes foram o conto e a história em quadrinhos, que pertencem a um mesmo domínio discursivo, o ficcional. Desta forma, ao priorizar alguns gêneros essa avaliação pode contribuir para que concepções hegemônicas sejam reproduzidas e mantidas, à medida que legitima determinados gêneros e, consequentemente, os discursos produzidos por eles.

Este trabajo tuvo por objetivo mapear los géneros discursivos que integraron la prueba de 5º año del Saeb y de la Prova Brasil 2007, para analizar si el privilegio dado a determinados géneros discursivos en detrimento de otros, puede contribuir a la reproducción y mantenimiento de relaciones asimétricas de poder. Así, para tratar los conceptos de género discursivo y análisis crítico del discurso, postulados teóricos que orientam este trabajo -, fueron utilizadas las reflecciones de Bakhtin, Marcuschi, Fairclough, Resende e Ramalho e Thompson. Para a compilación y análisis de los dados, fue adoptado el abordaje qualitativa usando también la análisis documental. Los resultados de la búsqueda revelaron que los géneros más recorrientes en la edición de 2007 fueron el cuento y los tebeos que pertenencian a un mismo dominio discursivo, la ficción. De esta manera, al elegir algunos géneros esa evaluación puede contribuir para que concepciones hegemónicas sean reproduzidas y mantenidas, a la medida que legitima determinados géneros y, consecuentemente, los discursos produzidos por ellos.

The aim of this paper is to map the discursive genres that constituted the 5th grade 2007 tests from Saeb and Prova Brasil (Brazilian Test), in order to analyze if the privileged use of some discursive genres over others contributed to the reproduction and the maintenance of asymmetrical power relations. So as to deal with the concepts of discourse genre and critical discourse analysis, the bases that guide this work, we use the reflections by Bakhtin, Marcuschi, Fairclough, Resende and Ramalho and Thompson. To compile and analyze the data, we opted for a qualitative approach, using a documental analysis too. The results showed that the most recurrent genres in the 2007 edition were short stories and cartoons, which belong to the same discursive domain, fiction. Thus, by giving priority to some genres, this evaluation can contribute to maintain and to reproduce hegemonic conceptions, as it legitimates some genres and, consequently, the discourses produced by them.

Avaliação no ensino superior: concepções múltiplas de estudantes brasileiros

Os objetivos dessa pesquisa foram: 1) analisar as concepções de avaliação dos alunos do ensino superior; 2) adaptar e validar o questionário Students Conceptions of Assessment (SCoA); 3) investigar as definições de avaliação dos alunos; 4) analisar como as concepções de avaliação predizem as definições de avaliação dos alunos; 5) analisar diferenças nas concepções de avaliação dos alunos pertencentes a uma Instituição de Ensino Superior pública e a uma privada. Utilizamos a teoria da aprendizagem autorregulada e métodos quantitativos e qualitativos.

Los objetivos de esta investigación fueron: 1) analizar las concepciones de evaluación de alumnos de Enseñanza Superior; 2) adaptar y validar el cuestionario Students Conceptions of Assessment (SCoA); 3) investigar las definiciones de evaluación de los alumnos; 4) analizar cómo las concepciones de evaluación predicen las definiciones de evaluación de los alumnos; 5) analizar diferencias en las concepciones sobre evaluación de alumnos que pertenecen a una Institución de Enseñanza Superior pública y a otra privada. Utilizamos la teoría de autorregulación del aprendizaje y métodos cuantitativos y cualitativos.

The goals of this study were to 1) overview Brazilian university students conceptions of assessment; 2) adapt and validate the Students Conceptions of Assessment (SCoA) inventory; 3) establish the underlying dimensions shaping students definitions of assessment; 4) analyze how conceptions of assessment predicted students definitions of assessment; and 5) investigate differences between students at public and private universities. We used the theory of self-regulated learning and quantitative and qualitative methods.

Avaliação da aprendizagem no curso de nutrição

O estudo objetivou investigar as concepções de avaliação da aprendizagem da forma como são percebidas por alunos e professores do curso de Nutrição de uma universidade pública do Paraná, bem como outras questões importantes referentes às práticas avaliativas. O estudo foi realizado por meio de questionários aplicados a professores e alunos, e as respostas foram agrupadas para a análise. Os resultados revelaram que a concepção de avaliação da aprendizagem para grande parte de alunos e professores foi semelhante e caracteriza-se como um instrumento para verificar o que o aluno assimilou. A prova foi o instrumento avaliativo relatado como o mais utilizado por todos os professores pesquisados, sendo geralmente associado a outros instrumentos avaliativos. Assim, enfatizam-se a necessidade e a importância de se repensar constantemente o significado da avaliação da aprendizagem, além da necessidade de capacitar continuamente professores e gestores do ensino superior, para que a avaliação realmente contribua para construção do conhecimento.

El presente estudio investigó cómo alumnos y profesores de un curso de nutrición en una universidad pública de Paraná perciben las concepciones de evaluación del aprendizaje. También se investigaron otras cuestiones importantes referentes a las prácticas de evaluación. El estudio se realizó a través de cuestionarios a profesores y alumnos y las respuestas fueron agrupadas para el análisis. Los resultados revelaron que la concepción de evaluación del aprendizaje fue similar para la mayoría de los alumnos y de los profesores, que la caracterizan como un instrumento para verificar lo que el alumno ha asimilado. Para los profesores encuestados, la prueba fue el instrumento de evaluación más utilizado, siendo asociada, generalmente, a otros instrumentos de evaluación. Así, se hace hincapié en la necesidad y la importancia de repensar constantemente el significado de la evaluación del aprendizaje, además de la necesidad de capacitar continuamente a profesores y gestores de la enseñanza superior para que la evaluación realmente contribuya en la construcción del conocimiento.

This study aimed at investigating the learning evaluation conceptions as they are perceived by students and lecturers at the Nutrition Course of a public university in the state of Paraná, as well as other important issues relating to evaluation practices. The study was conducted through questionnaires submitted to teachers and students, and the answers were grouped for analysis. The results revealed that the concept of learning evaluation was similar for most students and lecturers, and is characterized as a tool to verify what the student has assimilated. A test was the evaluation tool mostly used by all teachers, usually associated with other evaluative tools. Thus, we emphasize the need and importance constantly the meaning of learning evaluation in addition to continuously training higher education level teachers and administrators, so learning evaluation will effectively contribute to knowledge building.

O corpo técnico- -administrativo na autoavaliação institucional

O trabalho apresenta um recorte do processo de autoavaliação institucional de uma universidade confessional e comunitária que teve como sujeitos os membros do corpo técnico-administrativo. O objetivo é valorizar esse segmento, promovendo o conhecimento sobre ele e destacando o entrelaçamento entre as dimensões pedagógica e política da autoavaliação institucional. Aqui são resumidos os procedimentos metodológicos adotados e os resultados da consulta de caráter quanti-qualitativo que teve a participação voluntária de 79% dos funcionários técnico-administrativos. Na avaliação realizada, os funcionários mostraram compreender a natureza de seu local de trabalho, mas privilegiaram itens relativos à carreira, gestão e clima organizacionais.

Este trabajo presenta el recorte de un proceso realizado en el ámbito de autoevaluación institucional de una universidad confesional y comunitaria, cuyos sujetos forman parte del cuerpo técnico- -administrativo. Tiene como objetivo valorar ese segmento, promoviendo su conocimiento y destacando la interrelación entre las dimensiones pedagógica y política de la autoevaluación institucional. Resume los procedimientos metodológicos utilizados y los resultados de una consulta de carácter cuantitativo y cualitativo realizada voluntariamente por el 79% del personal técnico-administrativo de la universidad. En la evaluación realizada, los empleados demostraron comprender la naturaleza de su lugar de trabajo, pero privilegiaron aspectos relacionados con la carrera, con la gestión y con el clima organizativos.

This study presents part of a process carried out under the scope of institutional self-assessment at a confessional and community university, which had the institutions technical and administrative staff as its subject. The goal was to value this segment, promoting knowledge about it and highlighting the interconnection between the pedagogical and political dimensions of an institutional self assessment. It summarizes the methodological procedures used and the quantitative and qualitative nature of results attained by the survey, which involved 79% of the universitys technical and administrative staff and whose participation was voluntary. In the assessment, the staff showed an understanding of the nature of their workplace, but favored items related to career, management, and organizational atmosphere.

Efeito-professor em um curso técnico em segurança pública

O objetivo deste artigo é apresentar os resultados de uma pesquisa sobre o efeito-professorÐ no desempenho acadêmico de alunos do Curso Técnico em Segurança Pública da Polícia Militar de Minas Gerais, cujo alvo é formar soldados, ou seja, os profissionais que se encontram na base da atuação policial. Os dados foram organizados segundo as notas dos alunos nas diferentes disciplinas, por turma. Foram agrupadas as turmas com o mesmo professor para a mesma disciplina. Comparadas posteriormente, foi possível evidenciar o efeito-professor analisando-se o coeficiente de variação da média e do desvio-padrão das notas finais das turmas para cada disciplina. Com base na identificação de disciplinas com maior coeficiente de variação, partiu-se para a análise de regressão linear múltipla, o que nos permitiu a verificação direta da existência do efeito-professor, sendo possível saber qual deles teria feito diferença no desempenho de seus alunos.

El objetivo de este trabajo es presentar los resultados de una encuesta sobre el efecto-profesor en el rendimiento académico de los alumnos del Curso Técnico en Seguridad Pública de la Policía Militar de Minas Gerais cuya finalidad es formar soldados, es decir, los profesionales que se encuentran en la base de la actuación policial. Los datos para la organización fueron las notas de los alumnos en las diferentes asignaturas, por grupos reunidos con el mismo profesor para la misma asignatura. La comparación posterior permitió observar el efecto-profesor, analizando el coeficiente promedio de variación y el desvío estándar de las notas finales de los grupos en cada asignatura. Con base en la identificación de las asignaturas con mayor coeficiente de variación, se realizó el análisis de regresión lineal múltiple, lo que permitió la verificación directa de la existencia del efecto-profesor, siendo posible saber cuál habría producido una diferencia en el desempeño de sus estudiantes.

The aim of this paper is to present the results of a research on the teacher-effect on the academic performance of students at a technical course in Public Security from the Military Police of the state of Minas Gerais. The goal of the course is to train soldiers, i.e., the professionals who are at the basis of police action. The data were organized according to the scores students obtained in different disciplines, per class. Classes with the same teacher for the same discipline were grouped together. When later compared, it was possible to observe teacher-effect analyzing the coefficient of variation of the mean and the standard deviation of the final scores of the classes for each discipline. Based on the identification of disciplines with a higher coefficient of variation, we decided to analyze multiple linear regression, which allowed us to verify directly the existence of the teacher-effect, so that it was possible to know which of them would have made a difference in student performance.

Multicurso matemática: avaliação e aprimoramento

A investigação sobre aprendizagem tem incorporado medidas relacionadas com programas educacionais, gestão escolar e formação de professores, incluídas parcerias entre gestores públicos e instituições não governamentais, como é o caso do Programa Multicurso Matemática da Fundação Roberto Marinho. Para conhecer a contribuição do Programa, contou-se com avaliação externa que compreendeu: diagnóstico inicial, processo e resultados. Desenvolveu-se uma aná- lise a partir de observações dos atores envolvidos, questionários contextuais e verificação da proficiência dos alunos em Matemática. A proficiência foi estimada utilizando-se a Teoria de Resposta ao Item Paramétrica, compatibilizando escalas com o Sistema de Avaliação da Educação Básica. Observou-se progresso nas médias de proficiência, mudanças nas perspectivas metodológicas dos professores, na dinâmica de planejamento e na reflexão sobre práticas escolares.

La investigación sobre el aprendizaje ha incorporado medidas relacionadas con programas educativos, gestión escolar y formación de profesores, que incluyen alianzas entre gestores públicos e instituciones no gubernamentales, como es el caso del Programa Multicurso Matemática de la Fundación Roberto Marinho. Para conocer la contribución del mismo, una empresa externa realizó una evaluación que constó de tres fases: diagnóstico inicial, proceso y resultados. Se desarrolló un análisis partiendo de la observación de las personas involucradas, de cuestionarios contextuales y de la verificación de la competencia de los alumnos de Matemática. El nivel de competencia fue estimado utilizando la Teoría de la Respuesta al Ítem Paramétrico, compatibilizando escalas con el Sistema de Evaluación de la Educación Básica. Se observó un progreso en los promedios de competencia, cambios en las perspectivas metodológicas de los profesores, en la dinámica de planificación y en la reflexión sobre prácticas escolares.

Studies involving learning have incorporated some measures related to educational programs, school management and teacher training. The establishment of partnerships between public administrators and non-governmental institutions has been fruitful, giving rise to programs like the Multicurso Matemática of the Roberto Marinho Foundation. To assess the programs contribution, an external company was appointed to evaluate the results. The assessment had three stages: initial diagnosis, process and outcome. The analysis was based on observations of the agents involved, as well as contextual questionnaires, assessing student proficiency in mathematics. The level of proficiency was estimated using the Parametric Item Response Theory, harmonizing scales with the Basic Education Assessment System. Results showed an improvement in the proficiency averages, changes in teachers methodological perspectives and planning dynamics and reflections on teaching practices.