Estudos em Avaliação Educacional

pt

O sistema nacional de avaliação: Características, dispositivos legais e resultados

RESUMO No presente trabalho, objetiva-se, num primeiro momento, compreender e apresentar as características e peculiaridades do sistema de avaliação nacional brasileiro. Num segundo momento, a finalidade é refletir acerca da funcionalidade do sistema e de seus dispositivos legais e técnicos na busca pela mensuração da qualidade do ensino no país. E, num terceiro momento, serão apresentados dados do Saeb, de taxas de aprovação e do Ideb para tecermos algumas reflexões, ainda que preliminares, acerca de seus resultados em 2005 e 2007. Percebese a construção de um sistema avaliativo complexo com informações relevantes a respeito do desempenho estudantil e do contexto intra e extraescolares. Entretanto, deve haver parcimônia na utilização de seus resultados, pois podemos utilizá-los tanto como norteadores no aprimoramento das políticas educacionais rumo à universalização da qualidade do ensino como incorrer numa simplificação do significado da qualidade de ensino, vertendo para uma lógica meritocrática e, consequentemente, competitiva entre as unidades e redes de ensino.

RESUMEN EI presente trabajo, tiene como objetivo, en primer lugar, comprender y presentar las características y peculiaridades del sistema de evaluación nacional brasileno y en segundo lugar, reflexionar acerca de la funcionalidad del sistema y de sus dispositivos legales y técnicos para intentar medir la calidad de la ensenanza en el país. Por último, se presentan datos del Sistema de Evaluación de la Educación Básica (Saeb), de las tas as de aprobación y del Ideb para realizar algunas reflexiones preliminares sobre los resultados obtenidos en 2005 y 2007. Se percibe la construcción de un sistema complejo de evaluación con informaciones relevantes sobre el desempeno estudiantil y el contexto intra y extraescolar. Sin embargo, debe tomarse con cautela la aplicación de los resultados, ya que pueden ser utilizados tanto como orientadores en el perfeccionamiento de las políticas educativas rumbo a la universalización de la calidad de la ensenanza, como en una simplificación del significado de la calidad de ensenanza, conduciéndonos a una lógica meritocrática y, consecuentemente, competitiva entre las unidades y las redes de ensenanza.

ABSTRACT This paper initially aims to understand and to present the characteristics and peculiarities of Brazil's national evaluation system. Next, the objective is to reflect about the functionality of the system and its legal and technical provisions to measure the teaching quality in the country. Finally, it will present data from Saeb (Basic Education Evaluation System), rates of student approval, and from Ideb (Index of Basic Education Development) to offer some reflections, though preliminary, about their results in 2005 and 2007. One is able to notice the construction of a complex evaluation system with important information about student performance and intra and extra-school context However, these results must be used with care, because we can use them to guide the improvement of educational policies towards the universalization of teaching quality, but aIso to incur a simplification of the meaning of teaching quality, drifting towards a meritocratic and, consequently, competitive logic between the units and the teaching networks.

Nível socioeconômico e cor/raça em pesquisas sobre efeito- escola

RESUMO O texto apresenta uma proposta para a desagregação do índice de nível socioeconômico utilizado nas investigações sobre efeito-escola e escolas eficazes em quatro dimensões: capital econômico, capital cultural, capital social de convivência e capital social de intervenção, com o uso de novas técnicas, entre elas a técnica GOM. Propõe também a introdução, nos modelos hierárquicos utilizados nestas pesquisas, das variáveis de interação entre a cor/raça e os recursos familiares dos alunos.

RESUMEN El texto presenta una propuesta para la desagregación del índice de nivel socioeconómico utilizado en las investigaciones sobre el efecto-escuela y escuelas eficaces a partir de la contemplación de cuatro dimensiones: capital económico, capital cultural, capital social de convivencia y capital social de intervención; con el uso de nuevas técnicas, entre ellas la técnica GOM. Se propone también la introducción, en los modelos jerárquicos utilizados en estas investigaciones, de variables de interacción entre el color/raza y los recursos familiares de los alumnos.

ABSTRACT This paper presents a proposaI to breakdown the socioeconomic status index used in studies on school effects and effective schools into four dimensions: economic capital, cultural capital, relational social capital and intervention social capital with the use of new techniques, including the GOM technique. It also presents a proposal to introduce, in the hierarchical models used in these studies, the variables of interaction between color/race and the student's family resources.

Saresp e progressão continuada: Implicações na avaliação escolar

Resumo Este artigo apresenta dados de pesquisa cujo objetivo foi identificar implicações do Saresp e da progressão continuada na avaliação escolar. Para tanto, foi feito estudo de caráter qualitativo, por meio da aplicação de questionários e da realização de entrevistas com professores coordenadores de escolas estaduais paulistas. Concluiu- se que ambas as medidas influenciam nas práticas avaliativas desenvolvidas na escola, mas enquanto há certa rejeição à progressão continuada, o que compromete o desenvolvimento da avaliação formativa, a aceitação do Saresp revela a tendência de reiteração de concepções tradicionais, evidenciando a importância crescente da avaliação externa no trabalho escolar

Resumen Este artículo presenta los datos de una investigación cuyo objetivo fue la identificación de las implicaciones del Sistema de Evaluación del Rendimento Escolar del Estado de San Pablo (Saresp) y de la progresión continuada en la evaluación escolar. Para tal fin, se hizo un estúdio de carácter cualitativo por medio de la aplicación de cuestionarios y de la realización de entrevistas com profesores coordinadores de escuelas que dependen del gobierno del Estado de San Pablo. Se concluyó que ambas medidas influyen las prácticas de evaluación desarrolladas en la escuela, pero mientras hay un cierto rechazo a la progresión continuada, lo que compromete el desarrollo de la evaluación formativa, la aceptación del Saresp revela la tendecia de una reiteración de concepciones tradicionales, evidenciando la importancia creciente de la evaluación externa en el trabajo escolar.

Abstract This article presents data of a research aimed at identifying the implications of Saresp (Evaluation System of Learning Achievement in the State of São Paulo) and of continued progression in school evaluation. To that end, we conducted a qualitative study through questionnaires and interviews with faculty coordinators of São Paulo state schools. The conclusion was that both measures influence evaluation practices developed at school, but while there is some opposition to continued progression, which hinders the development of formative assessment, the acceptance of Saresp reveals a tendency to reiterate traditional concepts, highlighting the growing importance of external evaluation in school work.

No espelho da avaliação externa: o ensino público municipal de Aracaju

Com a instituição da Prova Brasil em 2005, os municípios brasileiros passam a dispor de dados específicos de suas redes de ensino no contexto da avaliação externa nacional. Considerando que os resultados da Prova Brasil são utilizados para o cálculo do Índice de Desenvolvimento da Educação Básica (Ideb), este artigo realiza uma análise comparativa dos resultados obtidos pela rede municipal de Aracaju na Prova Brasil e no Ideb em 2005 e 2007. O presente estudo conclui que a ausência de avaliação externa pode induzir as redes de ensino a leituras equivocadas sobre a melhoria da qualidade da educação, quando tomam como base somente a elevação das taxas de aprovação

AI instituirse la Prueba Brasil en 2005, se ponen a disposición de los municipios brasileños los datos específicos de sus redes de enseñanza a través de esta evaluación externa nacional. Considerando que los resultados de la Prueba Brasil se utilizan para calcular el Índice de Desarrollo de la Educación Básica (Ideb), este artículo realiza un análisis comparativo de los resultados obtenidos por la red municipal de Aracaju en la Prueba Brasil y en el Ideb de 2005 y 2007. El presente estudio concluye que la ausencia de una evaluación externa puede inducir a las redes de enseñanza a lecturas equivocadas con relación a las mejoras en la calidad de la enseñanza, cuando se toma como base solamente el aumento de las tas as de aprobación.

With the institution of Prova Brasil (Brazil Test) in 2005, municipalities now have specific data of their educational systems in the context of national externaI assessment. Considering that the results of the Prova Brasil are used to calculate the Index of Basic Education Development (Ideb), this paper makes a comparative analysis of the results obtained by Aracaju's municipal schools in the Prova Brasil and in the Ideb in 2005 and 2007. 1he study concludes that the absence of externaI evaluation may lead school systems to misinterpret the improvement in the quality of education, if they rely only on the increasing rates of approval.

A avaliação em geometria espacial feita pelo Simave

Com base em pressupostos teóricos da Psicologia da Educação Matemática, este trabalho tem como objetivos: (a) analisar as questões de matemática relativas à geometria espacial, do 9° ano do ensino fundamental e do 3° ano do ensino médio, das provas Proeb/Simave realizadas em 2006, 2007 e 2008, quanto à forma de apresentação das informações, à estrutura conceitual requerida, ao nível de formação conceitual em geometria e às habilidades espaciais necessárias; e (b) analisar o desempenho dos alunos nessas questões. Verificou-se que a maioria delas exigia nível elementar de formação conceitual, a habilidade requerida (planificação) era de pouca complexidade, e os problemas exigiam poucas relações. A porcentagem de acertos em geometria espacial ficou em torno de 41%, desempenho considerado pouco satisfatório. Espera-se que sejam desencadeadas ações que possam melhorar o rendimento em geometria espacial e revistos alguns descritores das Matrizes de Referência relativos a Espaço e Forma e Grandezas e Medidas.

En base a supuestos teóricos de la psicología de la educación matemática, este trabajo tiene como objetivos: (a) analizar las cuestiones de matemática relativas a geometría espacial de las pruebas Proeb/Simave realizadas en 2006, 2007 Y 2008, aplicadas en el9° afio de la ensefianza fundamental y en el 3° ano de la ensenanza media. Se analiza la forma de presentación de la información, la estructura conceptual requerida, el nivel de formación conceptual en geometría y las habilidades espaciales necesarias; y (b) analizar el desempeno de los alumnos en estas cuestiones. Se verificó que la mayoría de los temas exigía un nivel elemental de formación conceptual; la habilidad requerida (planificación) era de poca complejidad y los problemas exigían pocas relaciones. EI porcentaje de acierto en las cuestiones de geometría espacial fue de alrededor del 41%, un desempeno considerado poco satisfactorio. Se espera que se desencadenen acciones que puedan mejorar el rendimiento en geometría espacial, y que se revean algunos descriptores de las Matrices de Referencia relativos a Espacio y Forma y a Medidas.

This paper is based on theoretical assumptions of the psychology of mathematics teaching, and it has the following objectives: (a) to analyze mathematical questions related to spatial geometry, from the 9th grade of elementary school and 3rd grade of middle school, of the Proeb/Simave tests given in 2006, 2007 and 2008, concerning the way information is presented, the required conceptual structure, the level of conceptual formation in geometry, and the spatial abilities needed; and (b) to analyze the students' performance in these questions. It was observed that most questions required an elementary level of conceptual formation; the required ability (turning into a plane) was of low complexity and the problems demanded few relations. The percentage of correct answers in spatial geometry was around 41 %, a performance that is not considered very satisfactory. It is hoped that steps will be taken to improve the results in spatial geometry, and that some descriptors of Reference Matrixes related to Space and Form and Magnitudes and Measures will be revised.

Dados longitudinais em educação: um componente essencial da abordagem de valor agregado no que se refere à avaliação de desempenho escolar

Quem quer ser professor? Atratividade, seleção e formação docente no Brasil

Neste trabalho, buscou-se identificar os problemas que o Brasil encontra para selecionar e contratar bons professores. Há poucos incentivos financeiros para os melhores alunos do ensino médio se tornarem docentes. Além disso, o Brasil atrai indivíduos com baixo rendimento acadêmico e com perfil socioeconômico mais baixo para cursos de formação de professores. Um estudo empírico buscou analisar a qualidade da formação inicial oferecida a esses futuros professores, utilizando os dados do Enade. Ele revelou que os cursos de Pedagogia das instituições públicas são, na média, melhores que os das instituições privadas, mesmo. Este estudo, financiado pela Fundação Lemann e pelo Instituto Futuro Brasil (lFB), foi apresentado no· seminário O Professor visto como um profissional: captação, formação e retenção de talentos realizado no Insper (antigo IBMEC), em julho de 2008. quando levamos em consideração o contexto socioeconômico dos alunos desses cursos. No entanto, essa vantagem desaparece quando se considera a experiência prévia na docência. Entre os graduados de Pedagogia que já deram aulas ou já são professores - dois terços dos alunos - não se observam diferenças significativas no resultado Enade entre os alunos de instituições públicas e privadas.

En este trabajo se buscó identificar los problemas que Brasil encuentra para seleccionar y contratar buenos profesores. Hay pocos incentivos financieros para que los mejores alumnos de la enseñanza media se conviertan en docentes. Además, en Brasil, los cursos de formación de profesores atraen personas con bajo rendimiento académico y con un perfil socioeconómico más bajo. Un estudio empírico intentó analizar la calidad de la formación inicial ofrecida a los futuros profesores utilizando los datos del Enade. El estudio reveló que los cursos de pedagogía de las instituciones públicas son, en promedio, mejores que los de instituciones privadas, incluso cuando se tuvo en cuenta el contexto socioeconómico de los alumnos de esos cursos. Sin embargo, esa ventaja desaparece cuando se considera la experiencia previa en la docencia. No se observan diferencias significativas en el resultado del Enade entre los alumnos de instituciones públicas y privadas, graduados en pedagogía que ya han dado clases o que ya son profesores -dos tercios de los alumnos.

In this study we sought to identify Brazil's problems in selecting and hiring good teachers. There are few financial incentives for the best high school students to become teachers. In addition, Brazil's teacher training courses attract individuals with a low academic performance and lower socioeconomic status. An empirical study attempted to examine the quality of training provided to these future teachers using data from Enade. It revealed that Pedagogy courses in public institutions are, on average, better than those at private institutions, even when taking into account the socioeconomic background of students in these courses. However, this advantage disappears when one considers previous teaching experience. Among Pedagogy graduates who have taught classes or are already teachers - two thirds of the students - no significant differences were observed in the Enade results between students from public and private institutions.

O conhecimento do professor em avaliação educacional e a proficiência do aluno

Este artigo se propõe a mostrar a associação existente entre o desempenho dos alunos nos testes de proficiência aplicados pelo Proeb/Simave - Sistema Mineiro de Avaliação Escolar - e o conhecimento que os professores têm sobre o tema da avaliação em larga escala. Foi constatado que, mesmo controlados os efeitos das características socioeconômicas dos alunos, da escola e das variáveis referentes à motivação do professor e ao clima escolar, o conhecimento do docente sobre avaliação em larga escala associa-se a um maior desempenho dos alunos.

Este artículo se propone mostrar la asociación existente entre el desempeño de los alumnos en las evaluaciones aplicadas por el Proeb/Simave -Sistema de Evaluación Escolar de! Estado de Minas, y el conocimiento que los profesores tienen sobre el tema de la evaluación en gran escala. Se constató que incluso controlando los efectos de las características socioeconómicas de los alumnos, de la escuela y de las variables que se refieren a la motivación del profesor y al ambiente escolar, el conocimiento del profesor sobre la evaluación en gran escala se asocia a un mayor desempeño de los alumnos.

This paper aims to show the association between student performance, as measured by the Brazilian Proeb/Simave pronciency tests, and knowledge that teachers have about this large scale evaluation system. It was found that, even after controlling for socioeconomic characteristics of students and for school variables related to teacher motivation and school atmosphere, teachers' knowledge about large scale assessments is associated with students' higher performance.

O sentido da pesquisa na formação inicial de professores: políticas e práticas do curso de pedagogia

O artigo trata de um estudo em desenvolvimento sobre a pesquisa como conteúdo curricular dos cursos de formação de professores para a educação básica no Brasil, em especial os de pedagogia, no contexto das políticas governamentais e das reformas educacionais iniciadas na década de 1990. O trabalho aponta algumas características socioeconômicas e culturais dos estudantes que almejam se tornar professores do ensino fundamental no país e discute a introdução da pesquisa nos currículos de pedagogia, contrastando o modo como ela é apresentada nos documentos oficiais com as concepções sustentadas pelos autores de referência deste tema. O texto apresenta dados qualitativos obtidos em discussões realizadas num grupo focal com estudantes concluintes do curso de pedagogia a respeito da experiência de envolvimento com a pesquisa no contexto de elaboração do Trabalho de Conclusão de Curso. A autora conclui com algumas reflexões acerca da necessidade de levar em consideração tanto os aspectos subjetivos como as características socioculturais dos alunos na análise a respeito da importância (ou não) da pesquisa nos cursos de formação inicial de professores.

EI artículo presenta y discute un estudio en desarrollo sobre la investigación como contenido curricular de los cursos de formación de maestros para la educación básica en Brasil, en especial los de pedagogía, en el contexto de las políticas gubernamentales y de las reformas educativas iniciadas en la década de 1990. El trabajo señala algunas características socioeconómicas y culturales de los estudiantes que aspiran a convertirse en maestros de educación básica en el país y discute la introducción de la investigación como contenido curricular de los cursos de pedagogía. Se contrasta la manera en la cual la investigación es presentada en los documentos oficiales con los conceptos discutidos por los autores de referencia en este tema. El texto presenta datos cualitativos obtenidos en las discusiones realizadas en un focal group con estudiantes que están terminando el curso de pedagogía con respecto a la experiencia de participar en investigaciones para la elaboración del trabajo de fin de curso. La autora finaliza con algunas reflexiones acerca de la necesidad de tener en cuenta tanto los aspectos subjetivos como las características socioculturales de los estudiantes en el análisis sobre la importancia (o no) de la investigación como contenido de los cursos de formación inicial de maestros.

This article presents and discusses an ongoing study on research as an item of curriculum content in teacher training courses for basic education in Brazil, in particular Pedagogy courses, in the context of governmental policies for teacher education and of Brazilian educational reforms which began in the 1990s. It points out some socioeconomic and cultural characteristics of the students who are aiming to become elementary school teachers in this country. The text also discusses the introduction of research as part of the Pedagogy curriculum, contrasting the way it is presented in official documents with the main concepts supported by the academic authors who have been investigating this topic. The article presents and discusses qualitative data obtained in a focus group with Pedagogy undergraduate students about their involvement in activities linked to the preparation of their final paper (TCC). The author concludes with some thoughts on the need to take into account both subjective and students' socio-cultural aspects analyzing whether research is important (or not) in teacher training courses.

Avaliação da produção escrita e desenvolvimento de sequências didáticas

Numa perspectiva teórica discursiva da linguagem, o presente estudo buscou analisar se e como professores do ensino fundamental utilizam a avaliação como ponto de partida para a escolha de conteúdos e metodologias na organização de sequências didáticas. O corpus da pesquisa foram aulas acompanhadas numa classe da 8a série do ensino fundamental de uma escola da rede municipal de ensino do Recife (PE). Registros descritivos das aulas de Língua Portuguesa foram utilizados para a coleta de dados. Os resultados mostraram que a professora observada não planeja suas aulas com base nas dificuldades dos alunos e, portanto, não faz da avaliação um processo reorientador da prática pedagógica e promotor da aprendizagem.

Desde una perspectiva teórico discursiva del lenguaje, el presente estudio buscó analizar si los profesores de la enseñanza fundamental utilizan la evaluación como punto de partida para la selección de contenidos y metodologías en la organización de secuencias didácticas y cómo lo hacen. El corpus de la investigación fue el seguimiento de clases en un grupo del 9° ano de la enseñanza fundamental de una escuela municipal de Recife (PE). Para la recolección de datos se utilizaron registros descriptivos de las clases de Lengua Portuguesa. Los resultados mostraron que la profesora observada no planificaba sus clases en base a las dificultades de los alumnos y, por lo tanto, no hacía de la evaluación un proceso reorientador de la práctica pedagógica y promotora del aprendizaje.

By making use of a discursive and theoretical perspective of language, this paper sets out to analyze if and how primary school teachers undertake the process of pedagogical assessment in order to choose the contents and methodologies to organize didactic sequences. The corpus of this research focused on a primary school class (8th grade) in the city of Recife, Pernambuco. Descriptive records of the Portuguese classes were used to collect the data. The results showed that the lady teacher observed does not plan her classes based on her pupils' difficulties and therefore does not turn assessment into a process for re-orienting her pedagogical practice and for promoting learning.