Estudos em Avaliação Educacional

A narrativa instrumental da qualidade na educação

Com base na análise conceitual de usos aparentemente consensuais do termo "qualidade" no campo da educação, o presente trabalho discute a validade do que se denomina aqui narrativa instrumental da qualidade em educação. Essa narrativa se assenta na definição de qualidade restrita a determinados resultados obtidos pelos alunos, quanto ao seu rendimento cognitivo, em avaliações de larga escala, e na utilidade e eficiência que porventura tenham esses resultados, em termos estritamente econômicos. Os pressupostos dessa narrativa instrumental se fundam em fins extrínsecos à própria educação escolar, relegando-a à condição de um simples meio para a satisfação de necessidades antes criadas por uma sociedade de consumo do que legitimamente estabelecidas por uma discussão de caráter eminentemente público e político. É como se o valor da escola pudesse ser estimado pela riqueza ou pelo status social que proporciona aos indivíduos ou pelo desenvolvimento econômico que pode acarretar à sociedade, notadamente desigual em relação aos indivíduos e grupos que a compõem. Desse modo, a formação escolar se vê reduzida a atender a certos interesses socialmente valorizados, supostamente capazes de viabilizar as condições para se obterem mais e melhores resultados, alimentando um fluxo sem sentido.

Basado en un análisis conceptual de usos aparentemente consensuados del término 'calidad' en el campo de la educación, el presente trabajo discute la validez de lo que se denomina aquí narrativa instrumental de la calidad en educación. Esta narrativa se asienta en la definición de calidad restringida a determinados resultados obtenidos por los alumnos, en cuanto a su rendimiento cognitivo, en evaluaciones de gran escala y en la utilidad y eficiencia que por ventura tengan esos resultados en términos estrictamente económicos. Los presupuestos de esta narrativa instrumental se fundan en fines extrínsecos a la propria educación escolar, relegándola a la condición de un simple medio para la satisfacción de necesidades creadas por una sociedad de consumo y no legítimamente establecidas por una discusión de carácter eminentemente público y político. Es como si el valor de la escuela pudiese ser estimado por la riqueza o por el status social que proporciona a los individuos o por el desarrollo económico que puede acarrear a la sociedad, claramente desigual en relación a los individuos y grupos que la componen. De este modo, la formación escolar se ve reducida a atender ciertos intereses socialmente valorizados, supuestamente capaces de viabilizar las condiciones para obtener más y mejores resultados, alimentando un flujo sin sentido.

From a conceptual analysis of the apparently consensual use of the word "quality" in the field of education, this paper discusses the validity of what is here called instrumental narrative in education quality. This narrative is based on the definition of quality restricted to certain results achieved by students in terms of their cognitive performance in large-scale evaluations and the usefulness that these results might have in strictly economic terms. The assumptions of such a narrative are based on utilitarian purposes extrinsic to the school education, relegating it to the condition of a simple means for the satisfaction of needs created by a society of consumption rather than needs legitimately established by a discussion of public and political character. It is as if the value of the school could be estimated by the wealth or social status that it gives individuals or the economic development it can provide society with, quite unequal in relation to individuals and groups. Accordingly, school can be seen as solely concerned with socially valued interests, supposedly capable of creating conditions to obtain more and better results, thus fostering a senseless stream of events.

Avaliação da aprendizagem e política educacional: desafios para uma nova agenda

Este trabalho analisa os resultados do Saeb no decênio 1995-2005, período correspondente a seis aplicações desse exame nacional. A análise objetivou discutir os significados que os indicadores produzidos pelo Saeb permitem extrair sobre a aprendizagem discente no ensino brasileiro, bem como suas implicações na definição de uma agenda política que vise a assegurar o direito à educação, compreendido como o direito de aprender. A reflexão parte do desempenho escolar cearense, analisando-o à luz da situação do Nordeste e do Brasil no período assinalado. Os indicadores revelam que é incipiente a aprendizagem discente na educação básica pública. O Ceará tem envidado esforços com a finalidade de melhorar a qualidade do ensino alinhado à orientação do MEC, fazendo-se necessário o delineamento de caminhos próprios. A reflexão destaca que a melhoria do ensino está para além do esforço individualizado e abnegado dos docentes, ressaltando o repensar dos rumos da agenda educativa para os próximos anos como um passo ainda necessário para que o direito à educação não seja um privilégio de poucos.

El trabajo analiza los resultados del SAEB en el decenio 1995/2005, período en el que se aplicó seis veces este examen. El análisis tuvo como objetivo discutir los significados que los indicadores producidos por el SAEB permiten extraer sobre el aprendizaje de los alumnos en la enseñanza brasileña, así como sus implicaciones en la definición de una agenda política quepretenda asegurar el derecho a la educación, comprendido como el derecho de aprender. La reflexión parte del desempeño escolar cearense, analizándolo a la luz de la situación no sólo del Noreste sino de todo Brasil, en el período señalado. Los indicadores revelan que es incipiente el aprendizaje de los alumnos en la educación básica pública. Ceará ha realizado esfuerzos con el fin de mejorar la calidad de la enseñanza, siguiendo las orientaciones del Ministerio de Educación y Cultura (MEC), haciéndose necesario el delineamiento de caminos propios. La reflexión destaca que la mejora de la enseñanza está más allá del esfuerzo individualizado y abnegado de los docentes, resaltando el repensar de los rumbos de la agenda educativa para los próximos años como un paso aún necesario para que el derecho a la educación no sea un privilegio de pocos.

This paper analyzes the results of the SAEB national exam during the 1995-2005 period, when six exams were applied. The analysis aims at discussing the conclusions that the SAEB indicators allow to draw about students learning process in the Brazilian educational system, as well as its implications in defining a political agenda to assure the right to education, here understood as the right to learn. The reflection is based on the school results in the State of Ceará, analyzing them in the light of the situation found not only in the Northeast of Brazil, but also all over Brazil, during that period. The indicators reveal that the learning process is weak in the States Basic Education system. The State of Ceará has made efforts to improve the quality of its education under the orientation of the Ministry of Education and Culture (MEC), while at the same time highlighting the need to create its own means. The reflection shows that improvement in education lies beyond the individual and abnegate effort of teachers, making clear the need to re-think the aims of the education agenda for the next years as a step to avoid that the right to education be the privilege of a few.

Uma análise da relação entre os conceitos Enade e IDD

A criação do Indicador de Diferença de Desempenho (IDD) pode ser considerada a principal inovação do Exame Nacional de Desempenho dos Estudantes (ENADE) em relação ao antecessor Exame Nacional de Cursos, mais conhecido como "Provão". O IDD visa a responder a críticas que apontavam para o favorecimento de instituições públicas na obtenção de conceitos mais elevados, influenciados pelo nível de entrada dos alunos, supostamente mais elevado em razão das dificuldades de ingresso. Este artigo propõe-se a examinar especificamente os dois conceitos derivados do ENADE - o próprio conceito Enade e o IDD - e a relação entre eles. Para embasar a discussão, uma análise estatística dos resultados encontrados na avaliação trienal 2004-2006 é apresentada.

La creación del Indicador de Diferencia de Desempeño (IDD) puede ser considerada la principal innovación del Examen Nacional de Desempeño de los Estudiantes (ENADE) en relación al anterior Examen Nacional de Cursos, más conocido como "Provão". El IDD busca responder a críticas que señalaban el beneficio de instituciones públicas en la obtención de conceptos más elevados, influenciados por el nivel de ingreso de los alumnos, supuestamente más elevado debido a las dificultades de dicho ingreso. Este artículo se propone examinar específicamente los dos conceptos derivados del ENADE - el propio concepto Enade y el IDD - y la relación entre ellos. Para dar soporte a la discusión, se presenta también un análisis estadístico de los resultados obtenidos en la evaluación trienal (2004-2006).

The Gap Performance Index (IDD) could be considered the main innovation of the National Exam of Students' Performance (ENADE) related to the National Exam of Courses, known as "Provão". IDD aims to respond to criticisms which pointed to results that favored public institutions in obtaining higher evaluations, influenced by their students' entry level, supposedly higher because access conditions are more difficult. This paper specifically examines both concepts derived from ENADE - the ENADE concept itself and the IDD concept - focusing on their relationship. In order to support the discussion, a statistical analysis of the results from the years 2004-2006 is presented.

Análise multinível aplicada aos dados do NELS:88

Na Psicologia e áreas afins, está aumentando a consciência de que o pressuposto da independência das observações da regressão tradicional nem sempre é refletido pela realidade. O objetivo deste artigo é ilustrar a análise multinível, uma alternativa à regressão tradicional, usando um banco de dados de acesso público: o NELS:88 (National Educational Longitudinal Study). NELS:88 é uma pesquisa conduzida pelo Ministério da Educação dos Estados Unidos com o propósito de identificar o efeito de variáveis socioeconômicas e escolares sobre o desempenho educacional. O banco contém dados de 21.580 alunos da oitava série do ensino fundamental, provenientes de 1.003 escolas. Nessa pesquisa, foi aplicado um teste de Matemática, acompanhado por um questionário sobre características socioeconômicas e culturais dos alunos. Pode-se concluir que o banco de dados NELS:88 é muito adequado para ilustrar, de forma prática, como funciona uma análise multinível.

En Psicología y en áreas afines está aumentando la conciencia de que la realidad no siempre refleja el presupuesto de la independencia de las observaciones de la regresión tradicional.El objetivo de este artículo es ilustrar el análisis multinivel, una alternativa a la regresión tradicional, usando un banco de datos de acceso público, NELS:88 (National Educational Longitudinal Study). El NELS:88 es una investigación conducida por el Ministerio de Educación de los Estados Unidos con el propósito de identificar el efecto de variables socioeconómicas y escolares sobre el desempeño educativo. El banco contiene datos de 21.580 alumnos de la octava serie de la educación fundamental, provenientes de 1.003 escuelas. En la investigación se aplicó un test de Matemática, acompañado de un cuestionario sobre características socioeconómicas y culturales de los alumnos. Se puede concluir que el banco de datos NELS:88 es muy adecuado para ilustrar, de forma práctica, como funciona el análisis multinivel.

In Psychology and related fields there is growing awareness that the independent observations derived traditional regression analysis are not always reflected in reality. The objective of this article is to illustrate multilevel analysis, an alternative to traditional regression analysis, using a dataset of public access, NELS:88. (National Educational Longitudinal Study). NELS:88 is conducted by the Ministry of Education of the United States of America and was designed to identify the effect of socio-economic and school variables on educational performance. The dataset contains data of 21,580 eighth grade students of elementary school distributed amongst 1,003 schools. In the NELS:88 study a mathematics test was administered together with a questionnaire about socio-economic and cultural characteristics of the students. It can be concluded that the NELS:88 dataset serves very well to illustrate in a practical way how a multilevel analysis is carried out.

Posturas docentes em cursos de formação de professores em serviço: é possível transformá-las no curto prazo?

O presente artigo tem por objetivo analisar e discutir o processo de mudanças em posturas docentes em alunos-professores que participaram de um programa de formação pedagógica superior durante o exercício do magistério. O estudo envolveu 1131 alunos-professores (inclusive de educação infantil) que participaram do PEC-Município 2ª edição, sempre que eles forneceram todas as informações necessárias às análises aqui empreendidas. Dois instrumentos foram empregados para coletar os dados: simulações que envolviam três posturas docentes e um questionário que buscava caracterizar os alunos-participantes, por meio de uma série de questões fechadas. A coleta deu-se em duas etapas: no início do curso (junho de 2006) e ao seu final (dezembro de 2007). Os dados de entrada e saída foram comparados, mostrando que 75% dos alunos-professores obtiveram avanços significativos em relação aos aspectos estudados. Os principais fatores que interferiram nos resultados foram o ponto de partida (grupo ou clusters formados no pré-teste), a atuação profissional e o pólo (universidade) a que os participantes estavam vinculados. Mudanças de postura ocorreram, sobretudo no grupo que se mostrou inicialmente mais despreparado e com perfis docentes bem distantes dos pretendidos pelo PEC-Município 2ª edição. Essa alteração substancial de cenário deveu-se, em parte, ao patamar de entrada desses participantes, que enfrentavam em suas rotinas de trabalho condições efetivamente menos favoráveis do que os demais, mostrando a importância da eqüidade nos programas de capacitação, notadamente quando se esperam mudanças não apenas de ordem cognitiva, mas também na forma de sentir e agir.

El presente artículo tiene como objetivo analizar y discutir el proceso de cambios en las actitudes docentes de alumnos-profesores que participaron de un programa de formación pedagógica superior durante el ejercicio del magisterio. El estudio comprendió 1131 alumnos-profesores (inclusive de educación infantil) que participaron del PEC-Municipio 2ª edición, siempre que ellos suministraran todas las informaciones necesarias para los análisis emprendidos. Se emplearon dos instrumentos para la recolección de datos: simulaciones que incluían tres posturas docentes y un cuestionario que buscaba caracterizar a los alumnos-participantes, por medio de una serie de preguntas cerradas. La recolección se dio en dos etapas: al inicio del curso (junio de 2006) y al final (diciembre de 2007). Se compararon los datos iniciales y finales, mostrando que 75% de los alumnos-profesores lograron significativos avances en relación a los aspectos estudiados. Los principales factores que interfirieron en los resultados observados fueron el punto de partida (grupo o "clusters" formado en el pre test), la actuación profesional y el polo (universidad) al que estaban vinculados los participantes. Los cambios de actitud ocurrieron sobretodo en el grupo que inicialmente se mostró menos preparado y con perfiles docentes bien distantes de los pretendidos por el PEC-Municipio 2ª edición. Esa alteración substancial del escenario se debió, en parte, al punto de partida de esos participantes, que enfrentaban en sus rutinas de trabajo condiciones efectivamente menos favorables que las de los demás, mostrando la importancia de la equidad en los programas de capacitación, especialmente cuando se esperan cambios no sólo de orden cognitivo, sino también en la forma de sentir y actuar.

This article will analyze and discuss the process of change in teachers' attitudes by teacher-students in a higher education course during their period teaching. The study involved 1,131 teacher-students (including child education teachers) who took part in the 2nd edition of the PEC-Municipality (PEC-Município), as long as they provided all the information necessary for the analyses carried out in this paper. Two tools were used to collect the data: simulations which involved three teaching attitudes and a questionnaire to characterize the student-participants by means of a series of closed questions. The data was collected in two stages: at the beginning of the course (June 2006) and at the end (December 2007). The initial and final data were compared and showed that 75% of the teacher-students achieved significant progress concerning the aspects under study. The main factors that interfered in the results were the starting point (group or clusters in the pre-test), their professional experience and the institution (university) to which they were linked. Changes in attitude occurred mainly in the group that was less prepared at the start and whose profile was at quite a distance from what was aimed at by the PEC-Municipality 2nd edition. This substantial change was partly due to the initial level of these participants, who faced much less favorable conditions in their routine work than the remainder of the group, demonstrating how important equality is for continuing education programs, mainly when not only cognitive changes are expected, but also changes in their ways of feeling and acting.

Prestígio escolar e composição de turmas: explorando a hierarquia em redes escolares

No Brasil, há uma evidente hierarquia entre o alunado das redes escolares do ensino básico. Normalmente, as escolas privadas tendem a acolher alunos de melhor nível socioeconômico, ocupando as redes estaduais e municipais, sucessivamente, posições inferiores em uma escala de recursos econômicos de seus públicos. Entretanto, também existe forte hierarquização no interior das redes públicas e das instituições escolares. Essas hierarquias correspondem a um complexo sistema de produção e alimentação de desigualdades que no âmbito escolar, das oportunidades e da inserção a posteriori na estrutura ocupacional, desenha um esboço da marcante desigualdade social brasileira. O objetivo deste artigo é apresentar e descrever achados de uma pesquisa que explorou esse pouco conhecido universo das diferenças intra e entre escolas, para além dos aspectos relativos ao desempenho do alunado, enfatizando dimensões culturais e referentes à trajetória escolar pregressa. A pesquisa utilizou diversos instrumentos de coleta de informações, mas este texto apresenta parte dos resultados extraídos de um survey com cerca de 2500 alunos de vinte escolas do Rio de Janeiro. Os resultados indicam não só a óbvia diferenciação socioeconômica do alunado, mas também a presença de elementos culturais relevantes e de um presumível efeito da experiência de escolarização sobre perspectivas e atitudes dos alunos.

En Brasil existe una evidente jerarquía entre el alumnado de las redes escolares de la enseñanza básica. Normalmente, las escuelas privadas tienden a acoger alumnos de un nivel socioeconómico mejor. Las redes estaduales y municipales ocupan, sucesivamente, posiciones inferiores en una escala de recursos económicos de su público. Sin embargo, también existe una fuerte jerarquía en el interior de las redes públicas y de las instituciones escolares. Estas jerarquías corresponden a un complejo sistema de producción y alimentación de las desigualdades que en el ámbito escolar, de las oportunidades y de la inserción a posteriori en la estructura ocupacional, diseña un esbozo de la marcada desigualdad social brasileña. El objetivo de este artículo es presentar y describir descubrimientos de una investigación que indagó sobre ese universo poco conocido de las diferencias intra y entre escuelas, más allá de los aspectos relativos al desempeño del alumnado, enfatizando dimensiones culturales y referentes a la trayectoria escolar anterior. La investigación utilizó diversos instrumentos de recolección de datos, pero este texto presenta una parte de los resultados extraídos de un survey con cerca de 2.500 alumnos de veinte escuelas de Rio de Janeiro. Los mismos muestran no sólo la obvia diferencia socioeconómica de los alumnos, sino también la presencia de elementos culturales relevantes y de un presumible efecto de la experiencia de escolarización, sobre las perspectivas y actitudes de los alumnos.

There is a clear hierarchy among students of the basic education school networks in Brazil. Normally, private schools tend to accommodate students who are socioeconomically better off, while state and municipal networks stand in lower positions on the scale of their students' economic resources. However, there is also a clear hierarchy within public networks and within school institutions. These hierarchies are a complex system of producing and fostering inequality which, in the realm of school opportunities and future insertion into an occupational structure, draws a picture of striking Brazilian social inequality. This paper will present and describe findings of a survey that explored this little-known universe of differences within and between schools, beyond matters relating to the performance of students, emphasizing cultural dimensions relating to their previous school life. The survey used different instruments for collecting information, but this text presents part of the results from a survey of about 2,500 students from twenty schools in Rio de Janeiro. The results indicate not only the obvious socioeconomic difference between students, but also the presence of cultural elements and of an apparent effect that learning experience may have on students' perspectives and attitudes.