Estudos em Avaliação Educacional

Editorial

I know what I have to do: the conquest of self-regulation

A aprendizagem autorregulada vem sendo bastante estudada no campo da Psicologia da Educação, uma vez que permite aos alunos planejar, dirigir, monitorar e avaliar suas aprendizagens. No entanto, em muitas escolas, essas possibilidades não são conquistadas pelos estudantes, com graves prejuízos para a solução de problemas e, portanto, para o próprio pensar. De uma perspectiva vygotskiana, o presente artigo analisa um caso real -descrito pelos autores de acordo com sua ótica (mas referendado por alguns alunos) - e busca mostrar que é possível ensinar os alunos a se autorregularem. O estudo salienta, entretanto, que só se alcançará o sucesso dessa aprendizagem mediante a construção de relações de confiança na sala de aula e do entendimento do erro como parte inerente do aprender.

El aprendizaje autorregulado ha sido bastante estudiado en el campo de la Psicología de la Educación, una vez que permite que los alumnos planifiquen, dirijan, monitoreen y evalúen sus aprendizajes. Sin embargo, en muchas escuelas tales posibilidades no son conquistadas por los estudiantes, con graves daños para la solución de problemas y, por lo tanto, para el propio pensar. Desde una perspectiva vygotskiana, el presente artículo analiza un caso real -que se describe desde el punto de vista de los autores- e intenta mostrar que es posible enseñar a los alumnos a autorregularse. Sin embargo, el estudio subraya que solo se alcanzará el éxito de tal aprendizaje mediante la construcción de relaciones de confianza en el aula y del entendimiento del error como parte inherente del aprender.

Self-regulated learning has been studied extensively in the field of Educational Psychology, since it allows the students to plan, direct, monitor and evaluate their learning. Notwithstanding, in many schools, these possibilities are not mastered by the students, leading to serious damage to the development of problem-solving skills, and hence, to reasoning itself. From a Vygotskian perspective, the present article analyzes a real case - described by the authors from their own perspective (but endorsed by some students) - and seeks to show that it is possible to teach self-regulation to students. The study highlights, however, that the path to achieve success in learning involves building trust relationships within the classroom and the understanding of error as an inherent part of learning.

Learning evaluation in schools organized in cycles: teachers' concepts

Neste artigo, são apresentados os resultados de uma pesquisa que objetivou investigar as concepções de professores que atuam em escolas públicas de uma rede municipal organizada em ciclos acerca da avaliação da aprendizagem. A implantação do ciclo de aprendizagem no sistema de ensino definiu a progressão automática e a implantação da avaliação formativa para a aprendizagem dos alunos. Os depoimentos dos professores coletados nas entrevistas foram analisados segundo a metodologia do Discurso do Sujeito Coletivo e os principais achados da pesquisa evidenciam que a nova concepção de educação, organização escolar e avaliação, (re)construída ao longo de mais uma década, contribui para os professores compreenderem a avaliação da aprendizagem de outra perspectiva, com processos avaliativos mais formativos e inclusivos, na tentativa de superação da concepção de avaliação classificatória e excludente, tão impregnada atualmente nos sistemas educacionais.

En este artículo se presentan los resultados de un estudio que tuvo el objetivo de investigar las concepciones de evaluación del aprendizaje de profesores que actúan en escuelas públicas de una red municipal organizada en ciclos. La implantación del ciclo de aprendizaje en el sistema de enseñanza definió la progresión automática y la implementación de la evaluación formativa para el aprendizaje de los alumnos. Los testimonios de los profesores recogidos en las entrevistas fueron analizados según la metodología del Discurso del Sujeto Colectivo y los principales hallazgos de la investigación ponen de manifiesto que la nueva concepción de la educación, organización escolar y evaluación, (re)construida a lo largo de más de una década, contribuye para que los docentes comprendan la evaluación del aprendizaje desde otra perspectiva, con procesos evaluativos más formativos e inclusivos, con el intento de superar la concepción de evaluación clasificatoria y excluyente, en la actualidad tan impregnada en los sistemas educacionales.

This article presents the results of a survey that aimed to investigate concepts of learning evaluation made by teachers who work in public schools organized in cycles, within a municipal network. Implementation of the learning cycle in the educational system set the automatic progression and implementation of formative assessment for students' learning. Teachers' testimonies collected in interviews were analyzed according to Collective Subject Discourse methodology. The main findings of the survey show that the new concept of education, school organization and evaluation, (re)constructed for over a decade, contributed to teachers' understanding of learning evaluation from a different perspective through evaluative processes that are more formative and inclusive, in an attempt to overcome the qualifying and exclusive assessment design currently so impregnated in educational systems.

Legislated versus performed: analysis of the training tasks of the pedagogical coordinator

O objetivo deste texto é analisar as atribuições formativas do coordenador pedagógico (CP), segundo a legislação, na relação com a percepção de profissionais que atuam em quatro escolas públicas - duas estaduais e duas municipais - do estado de São Paulo. Utilizam-se, como referencial teórico, os conceitos de Placco, Almeida e Souza (2011) e Roldão (2015), no que concerne à sustentação dos conceitos de formação e coordenação pedagógica. Os procedimentos adotados para a sistematização das ideias aqui expostas foram análise documental das leis e recortes de dados de pesquisa, contemplando questionários e entrevistas, realizada em 2010/2011 pelas autoras do texto. A análise do prescrito e do executado no cotidiano das escolas revelou que os coordenadores colocam como prioridade a dimensão formativa, mas, ao relacionarem as atividades que realizam no seu cotidiano, tal prioridade não acontece.

El objetivo de este texto es analizar las atribuciones formativas del coordinador pedagógico (CP), según la legislación, en la relación con la percepción de profesionales que actúan en cuatro escuelas públicas -dos estaduales y dos municipale - del estado de São Paulo. Como referente teórico se utilizan los conceptos de Placco, Almeida y Souza (2012) y Roldão (2015), en lo que concierne a la sustentación de los conceptos de formación y coordinación pedagógica. Los procedimientos adoptados para la sistematización de las ideas aquí expuestas fueron el análisis documental de las leyes y recortes de datos de investigación, contemplando cuestionarios y entrevistas; ella fue realizada en 2010/2011 por las autoras del texto. El análisis de lo prescripto y lo ejecutado en el cotidiano de las escuelas reveló que los coordinadores presentan como prioridad la dimensión formativa, pero cuando relacionan las actividades que realizan en su día a día, tal prioridad no se aplica.

The aim of this text is to analyze the training tasks of the pedagogical coordinator (PC), according to legislation, in relation to the perception of professionals in four public schools - two state and two city schools - in the state of São Paulo. The concepts of Placco, Almeida and Souza (2012) and Roldão (2015) are used as the theoretical references, to support the concepts of training and pedagogical coordination. The procedures adopted for the systematization of the ideas expressed here were documental analysis of the laws and research data extracts, based on questionnaires and interviews conducted in 2010/2011 by the authors of the present text. The analysis of the prescribed and the performed in the daily life of the schools revealed that the coordinators gave priority to the training dimension but, in relation to the activities they performed daily, such prioritization did not occur.

School climate and respectful coexistence in educational institutions

Os problemas de convivência, muitas vezes traduzidos como indisciplina ou violência, aparecem como uma das maiores dificuldades enfrentadas pelas escolas. Considerando que há uma correspondência entre a qualidade do clima escolar e das relações interpessoais, esta pesquisa teve como objetivos a construção e testagem de instrumentos para avaliar o clima escolar em alunos, docentes e gestores, assim como elaborar e desenvolver em duas escolas públicas de ensino fundamental II um projeto de intervenção objetivando a melhoria da convivência. Após o diagnóstico do clima dessas escolas, desenvolveu-se uma intervenção constituída por: inserção de uma disciplina semanal na grade horária dos alunos; implantação de procedimentos para mediação de conflitos; propostas de protagonismo juvenil; e formação continuada dos profissionais da escola. Este estudo apresenta subsídios teóricos e práticos que favorecem a melhoria da qualidade do clima escolar e possibilita às escolas planejarem a convivência.

Los problemas de convivencia, muchas veces traducidos como indisciplina o violencia, aparecen como una de las mayores dificultades enfrentadas por las escuelas. Considerando que hay una correspondencia entre la calidad del clima escolar y las relaciones interpersonales, esta investigación tuvo como objetivos la construcción y el testeo de instrumentos para evaluar el clima escolar entre alumnos, docentes y gestores, así como el de elaborar y desarrollar en dos escuelas públicas de educación básica II un proyecto de intervención dirigido a mejorar la convivencia. Después del diagnóstico del clima de dichas escuelas se llevó a cabo una intervención constituida por: inserción de una asignatura semanal en la carga horaria de los alumnos; implantación de procedimientos para la mediación de conflictos; propuestas de protagonismo juvenil y formación continuada de los profesionales de la escuela. Este estudio presenta subsidios teóricos y prácticos que favorecen la mejora de la calidad del clima escolar y posibilita las escuelas a planificar la convivencia.

Coexistence problems, often translated as violence and lack of discipline, are some of the greatest difficulties faced by schools. This study aimed at the construction and testing of instruments to assess school climate for students, teachers and administrators, considering a correspondence between school climate and quality of interpersonal relationships. It also aimed to prepare and develop, in two public middle schools, an intervention project aimed at improving the coexistence. Following the diagnosis of these schools' climate, an intervention was developed comprising: inclusion of a weekly subject in students' schedules; implementation of conflict mediation procedures; proposals of youth involvement and continued school staff training. This study presents theoretical and practical foundations to support improvement of the quality of the school climate and enables schools to plan for coexistence.

Effects of the Plano de Desenvolvimento da Escola results

O Plano de Desenvolvimento da Escola (PDE-Escola) é um instrumento de planejamento para escolas que recebem capacitação técnica e apoio financeiro do Ministério da Educação (MEC) para elaborar um plano de melhoria nas dimensões de gestão, relação com a comunidade, projeto político-pedagógico e infraestrutura. A fim de avaliar se o PDE-Escola tem efeito no desempenho acadêmico das escolas, foram utilizados dados administrativos e da Prova Brasil entre os anos de 2005 a 2012 e a estimação de modelos fixo, no nível da escola e por ano. Foram construídos três grupos: a) escola se encontra realizando o PDE-Escola sem recursos financeiros; b) escola se encontra realizando o PDE-Escola com recursos financeiros; e c) escola deixou de receber recursos financeiros do PDE-Escola. Os resultados apontam que o PDE-Escola só tem efeito quando associado ao repasse de recursos. Os resultados foram bastante heterogêneos entre os estados brasileiros, o que sugere que o desenho e o contexto da implementação do programa importam.

El Plano de Desenvolvimento da Escola (PDE-Escola) [Plan de Desarrollo de la Escuela] es un instrumento de planificación para escuelas que reciben capacitación técnica y apoyo financiero del Ministerio de Educación (MEC) para elaborar un plan de mejora en las dimensiones de gestión, relación con la comunidad, proyecto político-pedagógico e infraestructura. A fin de evaluar si el PDE-Escola tiene efectos en el desempeño académico de las escuelas se utilizaron datos administrativos y de la Prova Brasil entre los años de 2005 a 2012 y la estimación de modelos fijos en el nivel de la escuela y por año. Se construyeron tres grupos: a) la escuela se encuentra realizando el PDE-Escola sin recursos financieros; b) la escuela se encuentra realizando el PDE-Escola con recursos financieros; y c) la escuela dejó de recibir recursos financieros del PDE-Escola. Los resultados señalan que el PDE-Escola sólo tiene efecto cuando está asociado al repaso de recursos. Los resultados fueron bastante heterogéneos entre los estados brasileños, lo que sugiere que el diseño y el contexto de la implementación del programa importan.

The Plano de Desenvolvimento da Escola (PDE-Escola) School Development Plan is a planning tool for schools that receive technical training and financial support from the Ministry of Education (MEC) to develop an improvement plan for management, relationship with the community, pedagogical political projects and infrastructure. Administrative and Prova Brasil (2005 to 2012) data, as well as fixed models estimation on school level per year, were used to assess whether the PDE-Escola has an effect on academic performance. The schools were separated into three groups: a) schools carrying out the PDE-Escola without financial resources; b) schools carrying out the PDE-Escola with financial resources; and c) schools that stopped receiving financial resources from the PDE-Escola. The results show that the PDE-Escola is effective only when associated with the transfer of resources. The results were quite heterogeneous among Brazilian states, which suggests that the design and implementation context of the program matters.

Saerjinho: disputed meanings of evaluation

O objetivo deste artigo é explorar as ambivalências forjadas no processo de produção de significados sobre o Saerjinho - avaliação oficial que compõe o Sistema de Avaliação da Educação do Estado do Rio de Janeiro - por parte da Secretaria de Estado de Educação do Rio de Janeiro, do Centro de Políticas Públicas e Avaliação da Educação e de docentes da rede. A abordagem de informações e documentos oficiais sobre a referida avaliação e de entrevistas com professores se inscreve em uma postura epistêmica discursiva que opera na pauta pós-fundacional que permite entender o processo de significação como um ato político. A análise apontou que há disputas entre os três agentes destacados para a produção de sentidos sobre o Saerjinho, e que os significantes avaliação interna, avaliação externa e avaliação diagnóstica têm suas fronteiras borradas de acordo com os interesses políticos envolvidos.

El objetivo de este artículo es explorar las ambivalencias forjadas en el proceso de producción de significados sobre el Saerjinho - evaluación oficial que conforma el Sistema de Evaluación de la Educación del Estado de Rio de Janeiro - por parte de la Secretaría de Estado de Educación de Rio de Janeiro, del Centro de Políticas Públicas y Evaluación de la Educación y de docentes de la red. El abordaje de informaciones y documentos oficiales sobre la referida evaluación y de entrevistas con profesores se inserta en una postura epistémica discursiva que opera en la pauta post-fundacional que permite entender el proceso de significación como un acto político. El análisis señaló que hay disputas entre los tres agentes destacados para la producción de sentidos sobre el Saerjinho, y que las fronteras de los significantes evaluación interna, evaluación externa y evaluación diagnóstica pierden su claridad en función de los intereses políticos implicados.

This articles aims at exploring the ambivalences created in the process of producing meanings about Saerjinho - the official evaluation comprising the Educational Evaluation System of Rio Janeiro - by the State Department of Education of Rio de Janeiro, from the Center for Public Policy and Evaluation of Education, and of teachers in the system. The approach to information and official documents on the referred evaluation and interviews with teachers is inscribed within an epistemological discursive approach operating within the post-foundational framework which leads to understanding of the process of assigning meaning as a political act. The analysis showed that there are disputes among the three agents chosen for the production of meaning about Saerjinho, and that the terms internal evaluation, external evaluation and diagnostic evaluation have their borders blurred according the political interests involved.

Unfolding the reports of evaluations on a large scale

A partir dos relatórios das avaliações em larga escala realizadas, ao longo de seis anos, por um sistema de ensino da rede privada, analisaram-se o desempenho dos alunos em Geometria e o modo como os professores identificavam e representavam as dificuldades dos estudantes. Foram entrevistados 24 professores do 5º ano do ensino fundamental, de 18 unidades escolares do estado de São Paulo. O estudo foi elaborado sob o aporte teórico da Teoria das Representações Sociais, do modelo van Hiele e dos critérios de avaliação propostos pelo Programme for International Student Assessment de 2003 e 2012. Os resultados evidenciam uma representação de impossibilidade de aprendizagem dos alunos do 5º ano, resultando no deslocamento do objetivo do ensino, que, reduzido à sua aplicação prática e ao contexto imediato do aluno, não favorecia o desenvolvimento das habilidades de representar e operar teoricamente sobre o cotidiano.

A partir de los informes de las evaluaciones en larga escala realizadas a lo largo de seis años por un sistema de enseñanza de la red privada, se analizaron el desempeño de los alumnos en Geometría y el modo en el que los profesores identificaban y representaban las dificultades de los estudiantes. Se entrevistaron 24 docentes del 5º año de la educación básica de 18 unidades escolares del estado de São Paulo. El estudio fue elaborado con el aporte teórico de la Teoría de las Representaciones Sociales, del modelo van Hiele y de los criterios de evaluación propuestos por el Programme for International Student Assessment de 2003 y 2012. Los resultados ponen de manifiesto una representación de imposibilidad de aprendizaje de los alumnos del 5º año, lo que resultó en el desplazamiento del objetivo de la enseñanza que, reducido a su aplicación práctica y al contexto inmediato del aluno, no favorecía el desarrollo de las habilidades de representar y operar teóricamente sobre el cotidiano.

Based on reports conducted over a six-year period of evaluations on a large scale, carried out by a private educational system, students' performance in Geometry as well as the way teachers identified and represented their difficulties were analyzed. Twenty-four fifth grade teachers, from 18 schools in the state of São Paulo, were interviewed. The study was developed based on the Theory of Social Representations of the van Hiele model and the evaluation criteria proposed the Programme for International Student Assessment of 2003 and 2012. The results showed a representation of the impossibility of fifth grade students to learn, resulting in the displacement of the aim of instruction which, reduced to its practical application and the immediate context of the student, did not support the development of skills to represent and theoretically deal with everyday life.

External evaluation and public schools: elements of democratic school management

A Prova Brasil, além de estimar o desempenho dos alunos por meio de provas padronizadas, coleta dados para possibilitar estudos de fatores associados ao desempenho dos alunos utilizando questionários contextuais. O objetivo deste artigo é explorar elementos de gestão escolar democrática nas respostas de diretores da rede pública de Guarulhos (SP) no questionário da Prova Brasil de 2011. Foram respondidos 227 questionários com 212 questões de múltipla escolha, 165 por diretores das escolas estaduais e 62 por diretores das escolas municipais. Os conceitos participação, autonomia e acesso e permanência foram cotejados com as respostas dos diretores às questões que se aproximavam dessas temáticas. As informações obtidas e analisadas possibilitam compreender formas e contornos de práticas de gestão democrática, ou ausência delas, em alguns casos, no cotidiano das escolas estaduais e municipais estudadas.

La Prova Brasil, además de estimar el desempeño de los alumnos por medio de pruebas estandarizadas y recogida de datos para posibilitar estudios de factores asociados al desempeño de los alumnos, también utiliza cuestionarios contextuales. El objetivo de este artículo es explorar elementos de gestión escolar democrática en las respuestas de directores de la red pública de Guarulhos (SP) en el cuestionario de la Prova Brasil de 2011. Se respondieron 227 cuestionarios con 212 preguntas de múltiple elección, 165 por directores de las escuelas estaduales y 62 por directores de las escuelas municipales. Los conceptos participación, autonomía y acceso y permanencia fueron cotejados con las respuestas de los directores a las preguntas que se acercaban a estas temáticas. Las informaciones obtenidas y analizadas posibilitan comprender formas y contornos de prácticas de gestión democrática, o su ausencia en algunos casos, en el día a día de las escuelas estaduales y municipales estudiadas.

The Prova Brasil, in addition to assess student performance by means of standardized tests, collects data to enable studies of factors associated with student performance using contextual questionnaires. The aim of this article is to explore elements of democratic school management in the responses of directors from the public schools in Guarulhos (SP) in the questionnaire from the 2011 Prova Brasil. There were responses to 227 questionnaires, with 212 multiple-choice questions, from 165 directors of state schools and 62 directors of city schools. The concepts of participation, autonomy and access and permanence were compared to the responses of the directors to questions approaching these themes. The information obtained and analyzed made it possible to understand the forms and contours of democratic management practices or, in some cases, lack thereof, in the daily life of the state and city schools studied.

Growth curve for Mathematics via Item Response Theory

Neste trabalho são propostos modelos para acompanhar a evolução do desempenho educacional médio em Matemática de um grupo de indivíduos avaliados ao longo do tempo no contexto da Teoria da Resposta ao Item, possibilitando a estimação de habilidades médias em períodos não avaliados. Foram avaliadas as curvas de crescimento linear, quadrática, logística e Gompertz. A característica longitudinal induz uma dependência entre as habilidades nos vários tempos de avaliação, sendo propostas algumas estruturas de covariância para modelar essa dependência. Os parâmetros dos itens foram considerados conhecidos de uma calibração prévia. Realizou-se uma aplicação em dados provenientes do Plano de Desenvolvimento da Escola (PDE-Escola/MEC). Verificou-se que a curva de crescimento logística, associada à estrutura de correlação AR(1), ajustou-se melhor aos dados, com uma altíssima correlação entre as habilidades estimadas, e que o maior ganho em habilidade ocorre até o final do 6º ano escolar.

En este trabajo se proponen modelos para acompañar la evolución del desempeño educacional medio en Matemáticas de un grupo de individuos evaluados a lo largo del tiempo usando la Teoría de la Respuesta al Ítem, a fin de posibilitar la estimación de habilidades medias en periodos no evaluados. Se evaluaron las curvas de crecimiento lineal, cuadrática, logística y Gompertz. La característica longitudinal induce uma dependencia entre las habilidades en los varios tiempos de evaluación, proponiéndose algunas estructuras de covariancia para modelar dicha dependencia. Los parâmetros de los ítems fueron considerados conocidos de una calibración prévia. Se realizo una aplicación en datos provenientes del Plano de Desenvolvimento da Escola (PDE-Escola/MEC) [Plan de Desarrollo de la Escuela]. Se verificó que la curva de crecimiento logística, asociado a la estructura de correlación AR(1), se ajustó mejor a los datos, com una altísima correlación entre las habilidades estimadas, y que la mayor ganancia en habilidad ocurre hasta fines del 6º año escolar.

This study proposes models to follow the evolution of average educational performance of a group of individuals in Mathematics. They were evaluated over time using Item Response Theory, enabling estimation of average skills in periods not evaluated and improving the interpretation of scales. The linear, quadratic, logistic and Gompertz growth curves were evaluated. The longitudinal feature leads to interdependence among skills at the various evaluation times, with the proposal of some covariance structures to model this dependence. The parameters of the items were known from a prior calibration. Real data from the Plano de Desenvolvimento da Escola (PDE-Escola/MEC) [School Development Plan] of the Ministry of Education were used. It was found that the logistic growth curve, associated with the correlation structure AR(1), fit better to data, with a very high correlation between the estimated skills and that the greatest gain in skill occurs by the end of the 6th school year.