Estudos em Avaliação Educacional

Education management and Ideb results: a case study in ten municipalities in the State of Ceará

O artigo analisa o comportamento do Ideb das séries iniciais e finais do ensino fundamental em 10 municípios cearenses que compõem a amostra do projeto associado ao Observatório da Educação "Bons resultados no Ideb: estudo exploratório de fatores explicativos" (Capes/lnep/Secad). O pressuposto de análise consiste em observar até que ponto a gestão municipal tem uma visão sistêmica para a sua rede educacional, atuando na melhoria do desempenho dos alunos nas duas etapas do ensino fundamental. Para tanto, trabalha com dados quantitativos obtidos em bases de dados nacionais e em dados qualitativos provenientes de pesquisa de campo. Constatou-se que o fortalecimento da dimensão pedagógica criou condições para o aperfeiçoamento da instrução ministrada, no entanto perceberam-se também mudanças no conteúdo ensinado, com a redução do currículo e a supervalorização das matrizes da Prova Brasil. O comportamento dos resultados do Ideb nas séries finais se apresenta significativamente diferente dos alcançados nas séries iniciais, o que leva a indagar se, de fato, a gestão municipal está desenvolvendo iniciativas que atinjam todo o sistema ou se o esforço está concentrado apenas séries iniciais.

Este artículo analiza el comportamiento del Ideb en los grados iniciales y finales de la enseñanza fundamental en diez municipios cearenses que componen la muestra del proyecto asociado al Observatorio de la Educación "Buenos resultados en el Ideb: un estudio que explora los factores explicativos" (Capes/Inep/Secad). El presupuesto de análisis consiste en observar hasta qué punto la gestión municipal tiene una visión sistémica para la red educativa que actúa en la mejora del desempeño de los alumnos en las dos etapas de la enseñanza fundamental. Para tal fin, se trabaja con datos cualitativos obtenidos en bancos de datos nacionales y con datos cualitativos provenientes de investigación de campo. Se constató que el fortalecimiento de la dimensión pedagógica creó condiciones para el perfeccionamiento de la instrucción impartida. Sin embargo, también se percibieron cambios en el contenido ensenado, con la reducción del currículo y la supervalorización de las matrices de la Prueba Brasil. El comportamiento de los resultados del Ideb en los grados finales se muestra significativamente diferente de los alcanzados en los grados iniciales, lo que lleva a indagar si, de hecho, la gestión municipal está desarrollando iniciativas que alcancen a todo el sistema o si el esfuerzo está concentrado apenas en los grados iniciales.

This article analyzes the behavior of Ideb in the initial and final grades of primary education in ten municipalities of the state of Ceará which make up the sample of the project associated with the Observatory for Education "Good Ideb results: an exploratory study of explanatory factors" (Capes/INEP/Secad). 1he assumption for the analysis consists in observing to what extent the municipal administration has a systemic view of its educational network, working on improving student performance in the two stages of elementary school. To this end, it uses quantitative data obtained from national databases and qualitative data from field research. It was found that the strengthening of the pedagogical dimension created conditions for the improvement of instruction, but it also depicted changes in the content taught, with a reduction of the curriculum and an excessive emphasis of the matrix of the Brazil Exam. The results of Ideb in the final grades were significantly different from those in the early grades, which makes one wonder if, in fact, the municipal government is developing initiatives to reach the entire system or if the effort is focused solely on the early grades.

A program for institutional evaluation in basic education in Paraná: from production to implementation of the policy in school

O presente trabalho analisa como as políticas educacionais referentes à tecnologia pedagógica - avaliação institucional- têm-se configurado no interior das escolas públicas estaduais, a partir do Programa de Avaliação Institucional da Educação Básica do Paraná - 2004/06. Fundamenta-se na abordagem do ciclo de políticas públicas de Stephen Ball e seus colaboradores, na metodologia do discurso do sujeito coletivo - DSC de Lefevre, Lefevre (2005). Os objetivos da pesquisa centraram-se na análise das concepções de avaliação institucional que permeiam os documentos políticos da Secretaria Estadual de Educação, na percepção da representação das equipes de gestão das escolas em relação às políticas educacionais e no modo como elas são vivenciadas e implementadas no cotidiano escolar. A pesquisa revelou a prática de avaliação institucional que foi desenvolvida nas escolas públicas, enquanto espaço mesossociológico de implementação de programas e políticas educacionais, evidenciando o que acontece quando uma política educacional encontra a escola, ou seja, quando ela é interpretada, implementada e/ou recriada.

El presente trabajo analiza cómo las políticas educativas referentes a la tecnología pedagógica - evaluación institucional - se han configurado en el interior de las escuelas públicas provinciales, a partir del Programa de Avaliação Institucional do Estado do Paraná - 2004/06. Se fundamenta en el abordaje del ciclo de políticas públicas de Stephen Ball y colaboradores y en la metodología del discurso del sujeto colectivo - DSC de Lefevre, Lefreve (2005). Los objetivos de la investigación se centran en el análisis de las concepciones de evaluación institucional que permean los documentos políticos de la Secretaría Provincial de Educación, en la percepción de la representación de los equipos de gestión de las escuelas en relación con las políticas educativas y en cómo estas son vivenciadas e implementadas en el cotidiano de la escuela. La investigación reveló la práctica de evaluación institucional que fue desarrollada en las escuelas públicas, en cuanto espacio intermediario (entre el aula y el sistema de enseñanza) de implementación de programas y políticas educativas, poniendo en evidencia lo que ocurre cuando una política educativa encuentra la escuela, o sea, cu ando es interpretada, implementada y/o recreada.

This article analyzes how educational policies related to educational technology - institutional assessment - have been put into practice in public state schools after the implementation of the Institutional Program of Assessment of Basic Education in the state of Paraná from 2004 to 2006. It also analyzes how the educational policy has been interpreted and implemented in public state schools in a town in Paraná. 1he study was based on the cycles of public policies proposed by Stephen Ball and his followers and on the collective subject discourse methodology - CSD by Lefevre, Lefevre (2005). 1he aims of the research focused on the analysis of the conceptions of institutional assessment present in the official documents of the State Department of Education, on the perception of representation of school management teams in relation to educational policies and on the way they were put into practice in the school routine. 1he research revealed the practice of institutional assessment developed in the public schools routine as a mesosociological space to implement programs and educational policies highlighting what happens when an educational policy is interpreted, implemented and/or recreated in schools.

An analysis of school community problems and solutions proposed by them based on the Indique index

O artigo sistematiza e analisa problemas detectados e soluções propostas por escolas com base no uso dos Indicadores da Qualidade na Educação, instrumento participativo de avaliação e planejamento. Foram analisados 103 planos de ação de unidades escolares de quatro estados brasileiros. Como conclusão, afirma-se que comunidades escolares têm conhecimentos a serem mobilizados para a solução de parte de seus problemas e que há questões para as quais há menos conhecimento consolidado sobre as melhores formas de solucioná-las, como as que dizem respeito à participação dos pais na vida escolar dos seus filhos e das formas mais adequadas de melhorar a aprendizagem.

EI artículo sistematiza y analiza problemas detectados y soluciones propuestas por las escuelas con base en el uso de Indicadores da Qualidade na Educação, instrumento participativo de evaluación y planificación. Se analizaron 103 planes de acción de escuelas de cuatro estados brasileños. Como conclusión, se afirma que las comunidades escolares tienen conocimientos que pueden movilizar para resolver algunos de sus problemas y que hay cuestiones para las que existen menos conocimientos consolidados sobre las mejores maneras de solucionarías, tales como las que se refieren a la participación de los padres en la vida escolar de sus hijos y a las formas más adecuadas de mejorar el aprendizaje.

This article explores and analyzes problems and solutions proposed by schools based on the use of the Indicators of Educational Quality, a planning and assessment tool. We analyzed 103 action plans of schools in four Brazilian states. We concluded that school communities have the knowledge to solve some of their problems, but that there are issues for which there is less consolidated knowledge about the best ways to address them, such as those related to the participation of parents in their children's school life and the best ways to improve their learning.

A proposal for performance indicators in higher education in Brazil

Este artigo propõe indicadores em nível de sistema para avaliar o desempenho da educação superior brasileira tendo em vista o desenvolvimento social e o crescimento econômico do país. Inicialmente, são apresentados alguns dos principais sistemas de indicadores internacionais de avaliação da educação superior, tais como os da Unesco e da OCDE. A seguir, é realizada uma análise do contexto socioeconômico brasileiro com base em índices utilizados em nível mundial, tais como IDH, GINI, PIB e taxas de atendimento educacionais. Por fim, se desenvolve uma proposta de sistema de indicadores estruturados de forma a avaliar o desempenho da educação superior em relação à desigualdade social, carência de capital humano qualificado, falta de qualidade educacional e atraso tecnológico, ainda presentes no contexto nacional atual.

Este artículo propone un sistema de indicadores para evaluar el desempeño de la educación superior brasileña, teniendo en cuenta el desarrollo social y el crecimiento económico del país. Inicialmente se presentan algunos de los principales sistemas de indicadores internacionales de evaluación de la educación superior, tales como los de la UNESCO y los de la OCDE. A continuación, se realiza un análisis del contexto socioeconómico brasileño con base en índices utilizados a nivel mundial, tales como IDH, GINI, PBI Y tasas de atención educativa. Finalmente, se propone un sistema de indicadores estructurados para evaluar el desempeño de la educación superior con relación a la desigualdad social, a la falta de capital humano cualificado y calidad educativa y al atraso tecnológico, aún presentes en el contexto nacional actual.

This paper puts forward system-level indicators to evaluate the performance of Brazil's higher education system taking into consideration the country's social development and economic growth. Initially, we present some of the major systems of international indicators for assessing higher education systems, such as UNESCO's and OECD's. Next, an analysis of Brazil's socioeconomic context is carried out based on indices used worldwide, such as HDI, GINI, GDP and school enrollment rates. Finally, a proposal is developed for a structured system of indicators to assess the performance of the higher education system in relation to social inequality, lack of skilled human capital, lack of educational quality and technological backwardness, still present in our national context.

The legitimization of mathematical knowledge through national examination

Este artigo apresenta uma análise dos conteúdos listados pelo Inep, no período de 1998 a 2005, em particular os conteúdos gerais e específicos ao curso de Licenciatura em Matemática, vistos como uma das estratégias de governo elaboradas pelo MEC e seus pares para avaliar os cursos de graduação por meio de exames nacionais. Tem como objetivo verificar não só suas regularidades e descontinuidades como também os efeitos que desejam produzir na eleição dos conteúdos que devem fazer parte da grade curricular dos cursos de Licenciatura Plena em Matemática. Pela análise desses conteúdos, vistos como fragmentos que constituem o conhecimento necessário do futuro professor de Matemática, legitimado não apenas pelas Diretrizes Curriculares Nacionais como também pelas Diretrizes do exame, será possível trazer à tona um padrão de normalidade para formar o professor de Matemática ideal que está cada vez mais influenciado pelo contexto produzido pelas tecnologias de informação e comunicação e pelas discussões atuais presentes no âmbito da Educação Matemática.

Este artículo presenta un análisis de los contenidos listados por el INEP, durante el período que va de 1998 a 2005, en particular, los contenidos generales y específicos de la Licenciatura en Matemática, vistos como una de las estrategias de gobierno elaboradas por el MEC y sus pares para evaluar los cursos de graduación a través de exámenes nacionales. Tiene como objetivo verificar no sólo las regularidades y discontinuidades sino también los efectos que desean producir en la elección de los contenidos que deben formar parte del currículo de los cursos de Licenciatura en Matemática. Por e! análisis de los contenidos, vistos corno fragmentos que constituyen el conocimiento necesario del futuro profesor de Matemática, legitimado no sólo por las Directrices Curriculares sino además por las directrices de! examen, será posible dar visibilidad a una estandarización de lo que es normal para formar al profesor ideal de Matemática que está cada vez más influenciado por e! contexto producido por las tecnologías de información y comunicación y por las discusiones actuales presentes en e! ámbito de la Enseñanza de la matemática.

This article presents an analysis of contents listed by INEP, during for 1998-2005 period, especially the specific and general contents of the Undergraduate Mathematics Course which are seen like one of the government's strategies created by MEC (Ministry of Education and Culture) and its partners, in order to evaluate undergraduate courses through national exams. This intends to check not only its regularities and discontinuities but also its effects on the selection of contents to be part of the student's syllabus in the complete Undergraduate Mathematics Course. Through an analysis of these contents, which are taken as fragments that constitute the necessary knowledge of the future Mathematics teacher and which are legitimated not only by the National Curricular Guidelines but also by the guidelines of the exam, it will be possible to come up with a standard of normalization to produce the ideal Mathematics teacher, who is increasingly influenced by information and communication technologies and by the present discussions in the context of Mathematics Education.

Infant education and educational longevity: data from a longitudinal study

O trabalho discute a relação entre longevidade escolar (definida como conclusão do Ensino Fundamental e do Ensino Básico - Fundamental + Médio) e freqüência à creche e pré-escola, em uma amostra inicial de 1.076 integrantes de um estudo longitudinal, iniciado na década de 1980. Os sujeitos desse estudo frequentaram a Educação Infantil antes da promulgação da Lei de Diretrizes e Bases da Educação Nacional, de 1996, que promoveu a integração dessa etapa educacional ao Ensino Básico. Análises estatísticas indicaram que a freqüência à creche não apresentou associação com a longevidade escolar no Ensino Fundamental ou no Ensino Básico, ao contrário da freqüência à pré-escola. Mesmo controlando o efeito da renda familiar, da escolaridade materna, do sexo e do grupo étnico da criança, os sujeitos que freqüentaram a pré-escola apresentaram 1,88 vezes mais chance de longevidade escolar no Fundamental e 1,66% no Básico, do que aqueles que não frequentaram a Educação Infantil. Embora os dados disponíveis não sejam capazes de explicar as diferenças entre os efeitos da creche e da pré-escola sobre a longevidade escolar, pode-se pensar que tal diferença seja devida à cultura, primordialmente assistencial, que caracterizava as creches/maternais, na cidade, à época em que os sujeitos as frequentaram. Esse caráter contrastava com o das pré-escolas, em que o desenvolvimento de atividades pedagógicas era, provavelmente, mais freqüente.

El trabajo discute la relación entre longevidad escolar (definida como la finalización de la Enseñanza Fundamental y Básica - Fundamental + Secundaria) y la asistencia a la guardería y jardín de infantes en una muestra inicial de 1.076 integrantes de un estudio longitudinal iniciado en la década de 1980. Los sujetos de este estudio concurrieron a la Escuela Infantil antes de la promulgación de la Ley de Directrices y Bases de la Educación Nacional, de 1996, que promovió la integración de esta etapa educativa a la Enseñanza Básica. El análisis estadístico indicó que asistir a la guardería no se asoció con la longevidad escolar en la Enseñanza Fundamental o en la Básica, al contrario de la asistencia al jardín de infantes. Incluso controlando el efecto de la renta familiar, de la escolaridad materna, del sexo y del grupo étnico del niño, los que asistieron al jardín de infantes presentaron un 1,88% veces más de chance de longevidad escolar en la enseñanza fundamental y un 1,66% en la Básica, si se compara con aquellos que no asistieron a la Educación Infantil. Aunque los datos disponibles no sean capaces de explicar las diferencias entre los efectos de la guardería y del preescolar sobre la longevidad escolar, se puede pensar que tal diferencia se debe a la cultura, principalmente asistencial, que caracterizaba las guarderías de la ciudad, cuando los sujetos las frecuentaban. Este carácter contrasta con el de los jardines, en los que el desarrollo de actividades pedagógicas era, probablemente, más frecuente.

This paper discusses the relationship between educational longevity (defined as completion of Primary and Basic Education - Primary + Secondary) and attendance at nursery schools and preschools, in an initial sample of 1,076 members of a longitudinal study, which began in the 1980s. The subjects of this study attended nurseries and/or preschools before the promulgation of the National Education Guidelines and Bases Act (Lei de Diretrizes e Bases da Educação Nacional), in 1996, responsible for the integration of Infant Education to the Basic Educational System. Statistical analyses indicated that nursery attendance was not associated with longevity neither in Primary nor in Basic Education, unlike pre-school attendance. Even controlling the effect of family income, maternal education, the child's sex and ethnicity, the subjects who attended pre-school had 1.88 times greater chance of longevity in Primary Education and 1.66% in Basic Education, than those who did not attend Infant Education. Although available data is not capable of providing an explanation for the differences between the effects of nurseries and preschools on educational longevity, it seems plausible to think that the observed difference is primarily due to the child care culture that characterized nursery schools in the city, at the time the subjects attended them. Such a culture contrasted with that of pre-schools, where educational activities were, probably, more frequento.

Use of formative evaluation in implementing problematization as a method of active teaching-learning

O objetivo deste trabalho é realizar uma reflexão sobre a implantação de metodologia ativa de ensino-aprendizagem da problematização e o uso da avaliação formativa nesse processo. A problematização vem sendo utilizada como estratégia de ensino visando à formação de profissionais mais críticos, reflexivos, capazes de trabalhar em equipe e de aprender juntos. Nesse processo, a avaliação torna-se parte constituinte na construção do próprio conhecimento e requer habilidades e posturas diferenciadas de professores e de estudantes. Neste estudo, foram analisados qualitativamente os instrumentos de avaliação preenchidos pelos estudantes que destacaram as principais fragilidades e fortalezas do processo. Foi possível verificar os seguintes aspectos: 1) A compreensão do que é uma avaliação formativa; 2) O papel do professor no processo de avaliação; 3) A avaliação como momento de aprendizagem; 4) Os mitos e os medos sobre este tipo de avaliação. Conclui-se que, apesar dos grandes desafios ainda existentes, incluindo a incipiente capacitação dos docentes, esse modelo de educação está em consonância com o perfil do egresso das escolas médicas, preconizado pelas Diretrizes. Curriculares Nacionais.

El objetivo de esta investigación es hacer una reflexión sobre la implementación de la metodología activa de enseñanza y aprendizaje de la problematización y el uso de la evaluación formativa en este proceso. La problematización viene siendo utilizada como estrategia de enseñanza dirigida a la formación de profesionales más críticos y reflexivos, capaces de trabajar en equipo y de aprender juntos. En este proceso, la evaluación se convierte en un componente de la construcción del propio conocimiento y requiere habilidades y posturas diferenciadas de docentes y estudiantes. En este estudio, se analizaron cualitativamente los instrumentos de evaluación completados por los estudiantes que señalaron las principales debilidades y fortalezas del proceso. Se pudo comprobar lo siguiente: 1) La comprensión de lo que es una evaluación formativa; 2) El papel del profesor en el proceso de evaluación; 3) La evaluación como un momento de aprendizaje; 4) Los mitos y temores sobre este tipo de evaluación. Se concluyó que a pesar de los grandes desafíos existentes, que incluyen la incipiente capacitación de los docentes, este modelo educativo es coherente con el perfil de los graduados de las escuelas de medicina, según lo recomendado por las Directrices Curriculares Nacionales.

The aim of this paper is to reflect on the implementation of an active teaching and learning methodology of problematization and the use of an educational evaluation of the process. Problematization has been used as a teaching strategy in order to form more critical and reflective professionals, who are capable of teamwork and learning together. In this process, evaluation becomes an essential part in the acquisition of knowledge itself and requires different skills and approaches from teachers and students. This study analyzes qualitatively the tools of evaluation that students filled out highlighting the positive and negative aspects of the process. It was possible to check the following aspects: 1) Understanding what educational evaluation is; 2) The role of the teacher in the evaluation process; 3) Evaluation itself as a learning moment; 4) The myths and fears about this kind of evaluation. In conclusion, one sees that, even though there are still great challenges, including the preparation of teachers, this model of education is in line with the profile of a medical school graduate, which the National Curriculum Guidelines recommend.

Formative assessment: reflections on the concept for the 1999-2009 period

O artigo apresenta e discute os resultados de uma pesquisa realizada em artigos publicados na revista Estudos em Avaliação Educacional, da Fundação Carlos Chagas, no período de 1999 a 2009, com o objetivo de compreender com que freqüência e de que formas tem sido abordado o conceito de avaliação formativa na literatura científica. Utilizando o descritor "avaliação da aprendizagem" foram selecionados 33 artigos para leitura integral, sendo que, destes, 20 tratavam da avaliação formativa. Através da análise desses 20 artigos foi possível identificar que 5 assumem uma definição clara do termo e 15 somente apresentam características do que está sendo entendido por avaliação formativa. Buscou-se problematizar os resultados à luz de concepções sobre a avaliação formativa, destacando-se a necessidade de reflexões profundas sobre o conceito de avaliação formativa, enfrentando sua diversidade e complexidade.

Este artículo presenta y discute los resultados de una investigación realizada en artículos publicados en la revista Estudos em Avaliação Educacional, de la Fundación Carlos Chagas, entre 1999 y 2009, con el objetivo de comprender con qué frecuencia y de qué maneras ha sido abordado en la literatura científica el concepto de evaluación formativa. Utilizando el descriptor "evaluación del aprendizaje" se seleccionaron 33 artículos para una lectura completa, siendo que de estos, 20 trataban la evaluación formativa. A través del análisis de estos 20 artículos se identificó que cinco de ellos asumen una definición clara del término, y sólo 15 presentan características de lo que se entiende por evaluación formativa. Se ha buscado problematizar los resultados a la luz de concepciones sobre la evaluación formativa, destacándose la necesidad de una reflexión profunda sobre este concepto, enfrentando así su diversidad y complejidad.

This paper presents and discusses the results of a survey of articles published in Estudos em Avaliação Educacional (Studies in Educational Evaluation), by the Carlos Chagas Foundation, between 1999 and 2009, in order to understand how often and in which ways the concept of formative assessment has been discussed in the scientific literature. Using "assessment of learning" for the query, 33 articles were selected for full reading, and of these, 20 dealt with formative assessment. An analysis of these 20 articles showed that 5 of them assume a clear definition of the term and 15 only mention characteristics of what is being understood by formative assessment. We have tried to problematize the results in light of ideas about formative assessment, highlighting the need for a deep reflection on the concept, in face of its diversity and complexity.

Tutoring focused on reading: an alternative for students with reading and writing difficulties

O trabalho com alunos que apresentam dificuldades nas aprendizagens iniciais de leitura e escrita requer uma atuação do professor, tanto no âmbito da sala de aula como fora dela, criando oportunidades extras de aprendizagem. O presente estudo mostra as possibilidades advindas do envolvimento de um professor-pesquisador na modalidade de ensino tutoria individual. O objetivo do presente estudo foi avaliar os efeitos de um programa de tutoria individual sobre as habilidades de leitura e escrita de alunos com dificuldades de aprendizagem. Os participantes foram quatro alunos de uma escola municipal. As atividades desenvolvidas na tutoria foram: releitura de livros familiares, identificação de letras, composição de histórias, reconstrução de histórias e leitura de novos livros. Dois participantes tiveram avanços substanciais e passaram a atender satisfatoriamente as exigências de sala de aula. Os outros dois alunos tiveram várias habilidades aprimoradas, apesar de não lerem e escreverem com fluência.

El trabajo con alumnos que presentan dificultades en los aprendizajes iniciales de lectura y escritura requiere una actuación del profesor, tanto en el ámbito del aula como fuera de ella, que cree oportunidades extras de aprendizaje. El presente estudio muestra las posibilidades provenientes del trabajo de un profesor-investigador en la modalidad de enseñanza con tutoría individual. EI objetivo del presente estudio fue evaluar los efectos de un programa de tutoría individual sobre las habilidades de lectura y escritura de alumnos con dificultades de aprendizaje. Los participantes fueron cuatro alumnos de una escuela municipal. Las actividades desarrolladas en la tutoría fueron: relectura de libros familiares, identificación de letras, composición de historias, reconstrucción de historias y lectura de nuevos libros. Dos participantes tuvieron progresos importantes y comenzaron a responder satisfactoriamente a las exigencias del aula. Los otos dos alumnos perfeccionaron varias habilidades, a pesar de no leer ni escribir fluentemente.

The work with children who have difficulty in learning how to read and write requires teacher's attention inside and outside the classroom, by increasing their learning opportunities. The present paper shows the possibilities arising from the involvement of a teacher-researcher in a one-on-one tutoring program addressed to overcome such difficulties. The main objective of this study was to assess the effects of an individual tutoring program on the reading and writing skills of a group of students with learning difficulties. The group consisted of four participants from a public school. The activities developed during the tutoring program were: re-reading of familiar stories, identification of single letters, making up of stories by the children, cutting up and reassembling a story, introducing and reading a new book. Two of the students showed a significant improvement in their reading and writing skills with a performance equivalent to the class average, thus enabling them to keep up with their classmates. The reading and writing skills of the other two children also showed significant improvement, although they could not read and write fluently.

Pesquisa em eficácia escolar: origem e trajetórias