Estudos em Avaliação Educacional

Assessment for learning: building a reality

O trabalho apresenta a análise das práticas avaliativas do Certificado em Ensino de Língua Inglesa para Adultos (Celta), com o objetivo de compreendê-las como conjunto de ações compromissadas com a avaliação formativa, confrontando-as com as proposições teóricas. Utiliza a abordagem qualitativa como metodologia para o desenvolvimento da pesquisa, sendo o relato de experiência a tipologia adotada. Analisa as práticas formativas sob a luz do referencial teórico e, a partir deste, por fim, aponta aprendizagens e tece sugestões/contribuições significativas relativamente às possibilidades e à viabilidade de exercer a avaliação formativa em sala de aula, evidenciando as conseqüências positivas de sua aplicação para a aprendizagem do aluno.

Este artículo presenta un análisis de las prácticas de evaluación del Certificado en Enseñanza de Inglés para Adultos (CELTA). Con el objetivo de comprenderlas como un conjunto de acciones comprometidas con la evaluación formativa, serán comparadas con las proposiciones teóricas. Como metodología para el desarrollo de la investigación se utiliza un enfoque cualitativo y la tipología adoptada es el informe de la experiencia. Se analizan las prácticas educativas en base al marco teórico y a partir del mismo se señalan aprendizajes y se tejen sugerencias y contribuciones significativas sobre las posibilidades y la viabilidad de realizar una evaluación formativa en el aula, al hacer hincapié en las consecuencias positivas de su aplicación en el aprendizaje del estudiante.

This paper presents the analysis of CELTA (Certificate in English Language Teaching to Adults) assessment practices in order to understand them as a set of actions committed to formative assessment, comparing them to theoretical propositions. It makes use of a qualitative approach as a methodology to develop the research, while resorting to experience reports as the typology adopted. It analyses its formative practices from a theoretical perspective and draws significant learning possibilities and contributions/suggestions about the feasibility of formative assessment in the classroom, highlighting the positive consequences its application may have on student learning.

Tests: evaluative instruments to regulate teaching and learning

Este artigo tem por objetivo analisar as possibilidades das provas serem implementadas na perspectiva de uma avaliação formativa. Visando não só a coletar dados, mas também a buscar alternativas que pudessem colaborar, a pesquisa focou a reconstrução da prova tanto no discurso docente como na prática pedagógica. A pesquisa foi realizada com educadores atuantes nos anos finais do ensino fundamental e médio. Com esses professores foram aplicados questionários, realizadas entrevistas, observação participante e oficinas pedagógicas. Os resultados apontaram que a falta de conhecimento e de orientações ao professor contribuem para que a prova, na quase totalidade das vezes, continue sendo utilizada como instrumento burocrático e das si fica tório. Esta nova perspectiva contribui para diminuir o fracasso escolar, uma vez que, se o professor utilizar a prova como ferramenta formativa, o aluno poderá superar obstáculos, aperfeiçoar seu percurso e construir sua aprendizagem de forma mais significativa.

Este artículo tiene como objetivo analizar la posibilidad de que las pruebas sean implementadas desde una perspectiva de evaluación formativa. Con el objetivo de no sólo recoger datos, sino también buscar alternativas que puedan colaborar, la investigación se centró en la reconstrucción de la prueba tanto en el discurso docente como en la práctica pedagógica. La investigación fue realizada con educadores que trabajan en los últimos anos de la enseñanza primaria y secundaria. Los profesores respondieron cuestionarios y realizaron entrevistas, observaciones participativas y talleres pedagógicos. Los resultados mostraron que la falta de conocimiento y de orientación al profesor contribuyen a que la prueba, la mayoría de las veces, siga siendo utilizada como instrumento burocrático y clasificatorio. Esta nueva perspectiva ayuda a disminuir el fracaso escolar, ya que, si el profesor utiliza la prueba como una herramienta formativa, el alumno podrá superar obstáculos, perfeccionar su trayecto y construir su aprendizaje de un modo más significativo.

This article aims to examine the possibility of tests being implemented in the context of formative assessment. Aiming not only to collect data but also to look for viable alternatives, the research focused on the reconstruction of tests both in the teaching discourse and in the classroom. The survey was conducted with educators working in the final years of elementary and high school. These teachers were interviewed, answered questionnaires, and were submitted to observation and teaching workshops. The results showed that lack of knowledge and briefing to the teacher contribute for tests, in almost all cases, to continue to be used as a bureaucratic and classification instrument. The new approach proposed helps to reduce school failure, for, if the teacher uses the test as a training tool, students can overcome obstacles, improve their development and build their learning in a more meaningful way.

Written tests as tools to assess the learning of Science students

Identificar os sentidos que os professores e seus alunos de Ciências atribuem à prova escrita; avaliar a estrutura das provas e verificar as relações com os fundamentos teóricos de uma avaliação formativa; sugerir indicadores para a elaboração de uma prova escrita para a aprendizagem de Ciências que atenda as diretrizes de uma avaliação formativa foram os objetivos desta investigação. Para tal, realizaram-se entrevistas com alunos e professores de Ciências, de escolas estaduais de Blumenau - SC, e uma análise das provas por eles realizadas. Dentre as conclusões, destacamos que para os investigados a prova tem função apenas diagnóstica, e os alunos não a concebem como um indicativo para avaliar a sua própria aprendizagem. Na análise das provas, a ênfase é na avaliação apenas dos conteúdos conceituais e as questões são elaboradas, a fim de verificar a apreensão de fatos e não de conceitos. A compreensão dos sentidos dos professores e alunos investigados nos permite refletir sobre a avaliação nas aulas de Ciências e evidencia que ainda existe um vasto campo para a pesquisa e para as práticas de formação de professores.

Los objetivos de esta investigación fueron identificar los sentidos que los profesores y sus alumnos de Ciencia atribuyen a la prueba escrita; evaluar la estructura de las pruebas y verificar las relaciones con los fundamentos teóricos de una evaluación formativa y sugerir indicadores para la elaboración de una prueba escrita para un aprendizaje de Ciencias que responda a las directrices de una evaluación formativa. Para esto, se realizaron entrevistas con alumnos y profesores de Ciencias, en Blumenau, en escuelas que dependen del gobierno del estado de Santa Catarina y se realizó un análisis de las pruebas llevadas a cabo. De las conclusiones, destacamos que para los investigados las pruebas tienen una función únicamente de diagnóstico y los alumnos no la conciben como un indicativo que evalúa sus aprendizajes. En el análisis de las pruebas, el énfasis está en la evaluación tan solo de los contenidos conceptuales y los ítems son elaborados con la finalidad de verificar la aprehensión de hechos y no de conceptos. La comprensión de los sentidos de los profesores y alumnos investigados nos permite reflexionar sobre la evaluación en las clases de Ciencias y pone en evidencia que todavía existe un vasto campo para la investigación y para las prácticas de formación de profesores.

The aims of this study were to identify the ways teachers and Science students view written tests, to evaluate the content of Science tests and to examine their relationship with the theoretical foundations of formative assessment, as well as to suggest pointers to prepare a written test for the learning of Science that complies with the guidelines of formative assessment. To this end, interviews were carried out with students and Science teachers from state schools in Blumenau, in the state of Santa Catarina, and tests taken by them were analyzed. Among the findings, we highlight that, for the students investigated, the tests have only a diagnostic function as the students do not conceive them as indicators to assess their own learning. By analyzing the tests, we find that the emphasis is on evaluating only the conceptual contents and that the questions are designed to verify the apprehension of facts, not of concepts. Understanding the sense of teachers and students investigated allows us to reflect on the evaluation in Science classes and shows that there is still a vast area for research and for the practices of teacher training.

Assessment of physical education learning: "autopoietic" writing

No âmbito da Educação Física, a avaliação assume diferentes faces visando atender às demandas apresentadas pelos variados currículos existentes. Ora é concebida como dispositivo para identificar as aprendizagens obtidas, ora é vista como atividade pedagógica que facilita a reorganização da ação didática. Neste estudo, baseamo-nos nas recomendações de Martins (1999), Lankshear e Knobel (2008) e Alves-Mazzotti (1999), para descrever os procedimentos avaliativos assumidos pelo currículo cultural do componente e desvelar as concepções docentes acerca da sua função. Para tanto, entrevistamos professores de Educação Física e coletamos a documentação proveniente das suas práticas avaliativas. Após o confronto do material recolhido com o arsenal teórico produzido pelos Estudos Culturais e pelo multiculturalismo crítico, foi possível observar que a avaliação no currículo cultural da Educação Física distancia-se do viés classificatório e excludente que caracteriza as propostas convencionais fundadas nos pressupostos psicobiológicos, assemelha-se, pois, a uma produção escrita com estrutura provisória e em processo constante de reorganização, o que nos permite aventar sua dimensão autopoiética.

En el contexto de la Educación Física, la evaluación adquiere diferentes formatos para satisfacer las demandas provenientes de los diversos currículos existentes. A veces se la concibe como un dispositivo para identificar los aprendizajes adquiridos, otras, es vista como una actividad pedagógica que facilita la reorganización de la acción didáctica. En este estudio nos basamos en las recomendaciones de Martins (1999), Lankshear y Knobel (2008) y Alves-Mazzotti (1999), para describir los procedimientos de evaluación que caracterizan el currículo cultural del componente y para revelar las concepciones que los docentes tienen acerca de su función. Para tal fin, entrevistamos profesores de Educación Física y recogimos la documentación de sus prácticas de evaluación. Después de confrontar el material recogido con el arsenal teórico producido por los Estudios Culturales y el multiculturalismo crítico, se observó que la evaluación en el currículo cultural de Educación Física se aleja de la tendencia de clasificación y exclusión que caracteriza las propuestas convencionales basadas en presupuestos psicobiológicos y se asemeja, de este modo, a una producción escrita con estructura provisoria y en proceso constante de reorganización, lo que nos permite pensar su dimensión autopoiética.

In the context of Physical Education, assessment takes on different facets to meet the demands of various existing curricula. Sometimes it is conceived as a tool to identify learning acquisition, at other times as a pedagogical activity which facilitates the reorganization of pedagogic actions. This study relies on the recommendations by Martins (1999), Lankshear and Knobel (2008) and Alves-Mazzotti (1999), to describe the evaluation process undertaken by the cultural curriculum of the subject in order to reveal teachers' conceptions in relation to their role. To this end, we interviewed Physical Education teachers and collected data from their evaluation practices. After confronting the material collected with the theoretical background produced by Cultural Studies and by critical multiculturalism, we observed that assessment in the cultural curriculum of Physical Education moves away from the classification and exclusion bias that characterizes conventional proposals based on psychobiological presuppositions. Therefore, it is similar to a written production with a tentative structure and in a constant process of reorganization, which allows us to propose a certain "autopoietic" dimension.

Assessment in the learning of art: paths followed

A concepção de avaliação pode favorecer seu exercício em perspectiva classificatória ou formativa, revelando a concepção avaliativa de quem a desempenha. Desvelar esse cenário orientou a delimitação do objetivo geral do presente estudo: mapear e compreender as concepções avaliativas dos professores de Arte. A pesquisa, de abordagem qualitativa, na modalidade estudo de caso, foi realizada na rede pública do município de Assis/SP, e contou com a participação de seis professoras de Arte. Os procedimentos de coleta utilizados foram: análise documental, questionários e entrevistas. Os dados foram analisados à luz da análise de conteúdo clássica. O estudo permitiu constatar, em termos de avaliação da aprendizagem em Arte, a existência de um hibridismo dos modelos pedagógicos. A mescla revela-se em concepções e práticas avaliativas que oscilam da classificação estratificante ao laissez faire descomprometido com o devir. Entretanto, alguns pontos de luz se enunciam quando se verifica também a presença de uma concepção formativa, compreendida como aquela que contribui para a superação das dificuldades. Ampliar as possibilidades de exercitar uma avaliação formativa pressupõe tempos e espaços de formação promotores de reflexão - não de mero acúmulo de informações.

La concepción de evaluación puede favorecer su ejercicio desde una perspectiva clasificatoria o formativa, mostrando asÍ la concepción evaluativa de quien la desempeña. Revelar este escenario nos permitió delimitar el objetivo general de este estudio: mapear y comprender las concepciones evaluadoras de los profesores de arte. La investigación, de abordaje cualitativo, en forma de estudios de caso, se llevó a cabo en la red pública de la ciudad de Assis/SP, y contó con la participación de seis profesores de arte. Los procedimientos de recolección fueron el análisis de documentos, cuestionarios y entrevistas. Los datos fueron estudiados en base al análisis de contenido clásico. EI estudio permitió constatar, en términos de evaluación del aprendizaje en arte, la existencia de un híbrido de modelos pedagógicos. La mezcla se pone de manifiesto en concepciones y prácticas de evaluación que van de la clasificación estratificante a un "laissez faire" sin compromiso con el devenir. Sin embargo, se enuncian algunos puntos positivos cuando se verifica también la presencia de una concepción formativa, entendida como aquella que ayuda a superar las dificultades. Ampliar las posibilidades de ejercitar una evaluación formativa requiere de tiempo y espacio para una formación reflexiva que no sea una mera acumulación de información.

The concept of assessment can be used in a training or classificatory perspective, revealing the evaluative conception of those who carry it out. Unveiling this scenery led to the construction of the overall goal of this study: to map and understand Art teachers' evaluative conceptions. The research uses a qualitative approach, based on case studies, and was conducted in public schools in the city of Assis in the state of São Paulo, with the participation of six Art teachers. The data collection procedures used were: document analysis, questionnaires and interviews. The data were analyzed based on classical content analysis. The study found, in terms of learning assessment in Art, the existence of hybrid pedagogical models. The mixture is revealed in evaluation practices and concepts ranging from a stratifying classification to an uncommitted "laissez faire" with the future. However, some light can be seen when one realizes that a formative conception is also present, a conception understood as one that contributes to overcome difficulties. To expand the possibilities of carrying out a formative assessment requires time and space for training which promote reflection - not just sheer accumulation of information.

Analysis of entrance examination 2009-I of UFLA using the IRT

Este trabalho teve como objetivo analisar as questões de múltipla escolha do vestibular 2009-I da Universidade Federal de Lavras (UFLA) por meio da TRI e utilizando a inferência bayesiana, a fim de identificar quais propriedades dos itens o classificam como melhor ou pior, com vistas a orientar novas provas. Verificou-se que os itens mais difíceis tendem a ser mais discriminativos e informativos para selecionar os candidatos mais hábeis. As provas de Inglês, Biologia, Física, Matemática e Química foram as mais difíceis e apresentaram maior poder de discriminação. Em geral o vestibular não apresentou itens com alta chance de acerto casual. Alguns itens tiveram suas estimativas analisadas em maior detalhe e revelam aspectos de planejamento que podem melhorar a qualidade desse tipo de prova.

Este trabajo tuvo como objetivo analizar las preguntas de selección múltiple del examen de ingreso 2009-I de la Universidad Federal de Lavras (UFLA) por medio de la teoría de respuesta al ítem (TRI) y utilizando la inferencia bayesiana, con el fin de identificar qué propiedades de los ítems lo clasifican como mejor o peor y con el objetivo de orientar nuevas propuestas. Se verificó que los Ítems más difíciles tienden a ser más discriminatorios e informativos para seleccionar a los candidatos más hábiles. Las pruebas de inglés, biología, física, matemática y química fueron las más difíciles y presentaron mayor poder de discriminación. En general, la prueba de ingreso no presentó ítems con alta chance de acierto casual. EI análisis más detallado de las estimativas de algunos ítems reveló aspectos del planeamiento que pueden mejorar la calidad de ese tipo de prueba.

This study aimed to analyze the multiple-choice questions of the 2009-I entrance examination ("vestibular") of the Federal University of Lavras (UFLA) by using IRT and Bayesian inference in order to identify which properties of the items qualify as better or worse, in order to inform new exams. It was found that the most difficult items tend to be more discriminative and more informative to select the most skilled candidates. Tests of English, Biology, Physics, Mathematics and Chemistry were the most difficult and had the highest discrimination power. Overall, this "vestibular" did not show that guessing would ensure a high probability of success. Some items estimates were analyzed in detail to unveil planning properties which could be used to enhance the quality of this kind of exam.

Learning and the teacher-student relationship at the university: two sides of the same coin

Este artigo apresenta parte dos resultados de uma pesquisa destinada a conhecer as representações sobre a relação professor-aluno no processo formativo, na universidade, de estudantes do último ano do Curso de Pedagogia de uma instituição pública da Bahia que já atuam como professores. Aborda uma reflexão teórica sobre a aprendizagem e a relação professor-aluno. A investigação, de natureza qualitativa com base nas representações sociais, adotou como estratégia de coleta dos dados o memorial e a entrevista aberta. O tratamento dos dados, firmado na análise de conteúdo, tipo temática (Bardin, 2000), permitiu constatar que as representações dos participantes sobre a relação entre professores e estudantes contemplam, de um lado, um discurso idealizado acerca do papel do professor, como mediador da aprendizagem e da participação ativa e comprometida do estudante, e, de outro, práticas estudantis baseadas na heteronomia, no medo de se expor e ser repreendido pelo professor. Essa significação construída durante as vivências escolares foi reforçada pelas práticas vivenciadas na universidade que se distanciaram pouco das experiências anteriores e, dessa forma, não contribuíram, efetivamente, para a ressignificação de tais representações.

Este artículo presenta parte de los resultados de una investigación destinada a conocer las representaciones sobre la relación profesor-alumno en el proceso formativo, en la universidad, de estudiantes del último ano del curso de Pedagogía de una institución pública de Bahia que ya actúan como profesores. Aborda una reflexión teórica sobre el aprendizaje y la relación profesor-alumno. La investigación, de naturaleza cualitativa con base en las relaciones sociales, adoptó como estrategia de recolección de datos el memorial y la entrevista abierta. La forma de tratar los datos, vinculada al análisis de contenido de tipo temática (Bardin, 2000), permitió constatar que las representaciones de los participantes sobre la relación entre profesores y estudiantes contemplan, de un lado, un discurso idealizado acerca del papel del profesor, como mediador del aprendizaje y de la participación activa y comprometida del estudiante, y del otro, prácticas estudiantiles basadas en una condición de heterónomo, en el miedo a exponerse y ser reprendido por el profesor. Esa significación construida durante las vivencias escolares fue reforzada por las prácticas vivenciadas en la universidad que se distanciaron poco de las experiencias anteriores y, de esta forma, no contribuyeron efectivamente para la resignificación de tales representaciones.

This article presents part of the results of a survey aimed at unveiling the representations involving the teacher-student relationship in the training process at the University, by senior students in the Pedagogy course of a public institution in the state of Bahia, students who are already working as teachers. It discusses a theoretical reflection on learning and the teacher-student relationship. The qualitative research was based on social representations, and adopted portfolios and open interviews as strategies for data collection. The processing of the data, based on content analysis, thematic type (Bardin, 2000), revealed that the participants' representations of the relationship between teachers and students include, on the one hand, an idealized discourse about the role of the teacher as a mediator of learning, and an active and committed participation of the student, and, on the other hand, student practices based on heteronomy, in fear of exposing themselves and being reprimanded by the teacher. This signification built along school life was reinforced by practices experienced at the University that were not to a far from previous experiences and thus did not contribute effectively to resignifying such representations.

Analysis of students' written production in one question related to arithmetic

Este artigo apresenta uma análise das produções escritas de alunos paranaenses que participaram da aferição do Pisa/2006 na resolução de uma das questões de Matemática relacionadas à Aritmética, realizada sob a luz da avaliação como prática de investigação e das orientações da Análise de Conteúdo. Mediante a análise das estratégias, dos procedimentos utilizados e da forma como os estudantes lidaram com as técnicas operatórias das operações aritméticas, buscou-se identificar indícios do pensamento aritmético e aspectos da matematização horizontal presentes nos seus registros escritos.

Este artículo presenta un análisis de las producciones escritas de los estudiantes del Estado de Paraná que participaron de la evaluación del PISA/2006, en la forma de resolver uno de los ítems de Matemática relacionado con la aritmética. El análisis se desarrolló en el marco de la evaluación como práctica de investigación y de las orientaciones del Análisis de Contenido. A través del análisis de las estrategias, de los procedimientos utilizados y de cómo los estudiantes trataron de resolver las técnicas operatorias de las operaciones aritméticas, se buscó identificar algún indicio del pensamiento aritmético y aspectos de la matematización horizontal presentes en los registros escritos.

This article presents an analysis of the written production by students from the state of Paraná who took part in the PISA/2006 assessment of the resolution related to one of the Mathematics questions involving Arithmetic. This was carried out based on assessment as an investigation practice and on the guidelines for Content Analysis. By examining the strategies and procedures used and how students dealt with the techniques of arithmetic operations, we tried to identify evidence of arithmetical thought and aspects of horizontal mathematization present in their written registers.

Team work: two experiences in different contexts

Este artigo tem o objetivo de mostrar como as diversas ações desenvolvidas no grupo de apoio, por meio de duas experiências apresentadas por diretoras de escolas, propiciam um movimento de construção e reconstrução conjunta, colaborativa e reflexiva, permitindo, dessa forma, um novo olhar para a formação de professores em serviço, bem como para mudanças e transformações das práticas em cenário escolar. Para tanto, a formação de dois grupos de apoio é apresentada, sendo uma em uma escola pública e outra em uma escola particular. Nesses grupos, são vivenciadas discussões, sobre as ações pedagógicas desenvolvidas na escola, mediadas pela linguagem e outras ferramentas culturais construídas socialmente no ambiente escolar, que podem propiciar uma transformação nos sentidos e significados atribuídos à educação escolar, para que promovam uma melhoria na qualidade de ensino, de fato e não somente de direito.

Este artículo pretende mostrar cómo las diferentes acciones desarrolladas en un grupo de apoyo, a través de dos experiencias presentadas por directoras de escuelas, proporcionan un movimiento de construcción y reconstrucción conjunta, colaboradora y reflexiva, lo que permite una nueva mirada para la formación de los maestros en servicio, así como para cambios y transformaciones de las prácticas en un entorno escolar. Para tal fin, se presenta la formación de dos grupos de apoyo, uno en una escuela pública y otro en una escuela privada. En esos grupos se practican discusiones sobre las acciones pedagógicas desarrolladas en la escuela, mediadas por el lenguaje y otras herramientas culturales construidas socialmente en el ambiente escolar. Acciones todas que pueden propiciar una transformación en los sentidos y significados atribuidos a la educación escolar, para promover, de hecho, una mejora en la calidad de la educación.

This article aims at showing how different actions, developed in group work and presented through experiences of two school directors, give way to a collective, collaborative and reflexive movement of construction and re-construction, allowing for a new look at teacher's in-service training, as well as at changing practices and transformations in schools. For that purpose, the formation of two groups is shown: one in a public school and the other in a private school. In these groups discussions were held about the instructional actions in the school, mediated by language and other socially constructed cultural tools, which can lead to transformations in the senses and meanings given to school education, so that they may eventually offer better teaching quality, not only as a right, but mainly as reality.