Estudos em Avaliação Educacional

Editorial

Education policy, cross -national tests of Pupil achievement, and the pursuit of world Class schooling: a critical analysis

Resumo: As políticas educacionais no mundo todo estão cada vez mais dirigidas por um desejo de emular as “melhores práticas” de países que têm bom resultado em exames internacionais de desempenho de alunos, tais como o Programme for International Student Assessment (PISA) e o Trends in International Mathematics and Science Study (TIMSS). Este artigo traz uma análise crítica de como essa forma aplicada de educação comparada opera, a lógica e os pressupostos nos quais ela se baseia, e os atores essenciais envolvidos.

Abstract: Educational policy around the world is increasingly driven by a desire to emulate the “best practices” of nations that have performed well on cross national tests of pupil achievement such as Programme for International Student Assessment (PISA) and Trends in International Mathematics and Science Study (TIMMS). This article provides a critical analysis of how this applied form of comparative education operates; the logic and assumptions on which it is based and the key actors involved.

Resumen: Las políticas educacionales en todo el mundo están cada vez más dirigidas por un deseo de emular las “mejores prácticas” de países que obtienen buenos resultados en tests internacionales de desempeño de alumnos, como el Programme for International Student Assessment (PISA) y Trends in International Mathematics and Science Study (TIMSS). Este artículo contiene un análisis crítico de cómo opera esa forma aplicada de educación comparada, la lógica y los presupuestos en los que se basa, y los actores esenciales implicados.

Brazilian results in pisa and its (mis)uses

Resumo: O objetivo desta pesquisa consistiu em analisar como foram utilizados os resultados do Programa Internacional de Avaliação de Estudantes (PISA) no contexto educacional brasileiro. A revisão de literatura permitiu apontar a avaliação como um fator fundamental para a qualificação da educação, elaborar um panorama das pesquisas sobre o PISA no Brasil, além de propiciar discussões sobre a necessidade do uso dos resultados das avaliações em larga escala. A partir da análise documental e de entrevistas semiestruturadas, foi possível não apenas apresentar um estudo sobre o uso dos resultados do PISA no país, mas também estabelecer categorias de usos como o Uso Indevido ou Não Uso, apresentando as possibilidades e dificuldades dessa utilização e o papel dos gestores nesse processo.

Resumen: El objetivo de este estudio consistió en analizar cómo se utilizaron los resultados del Programa Internacional de Evaluación de Estudiantes (PISA) en el marco educacional brasileño. La revisión de literatura permitió que la evaluación se considerase como un factor fundamental para la cualificación de la educación y se elaborase un panorama de las investigaciones sobre PISA en Brasil, además de propiciar discusiones sobre la necesidad del uso de los resultados de las evaluaciones en gran escala. A partir del análisis documental y de entrevistas semiestructuradas, se hizo posible no solo presentar un estudio sobre el uso de los resultados de PISA en el país, sino también establecer categorías de usos, como el Uso Indebido o No Uso, presentando las posibilidades y dificultades de dicha utilización y el papel de los gestores en este proceso.

Abstract: The objective of this study was to analyze how the results of the Program for International Student Assessment (PISA) were used in the Brazilian educational context. The literature review showed that assessment is a fundamental factor for the qualification of education, for elaborating an overview of the PISA studies in Brazil, as well as for promoting discussions about the need to use the results of evaluations on a large scale. Based on the documentary analysis and semi-structured interviews, it was possible not only to present a study on the use of the PISA results in the country but also to establish categories of uses, such as Improper Usage or Lack of Usage, showing the possibilities and difficulties of such use and the administrators’ role in this process.

Indiscipline in PISA: between intra- and extra-school factors

RESUMO: São objetivos deste trabalho: analisar o fenômeno da indisciplina escolar por meio dos dados do PISA 2012; aplicar um modelo de regressão linear multinível tendo o clima disciplinar como variável dependente; e identificar fatores explicativos intra e extraescolares associados à indisciplina. A contribuição mais significativa deste trabalho é apontar que a indisciplina parece ser mais dependente de fatores intra do que extraescolares. Variáveis clássicas como nível socioeconômico, tipo de escola e gênero não apresentaram poder explicativo sobre a indisciplina, o que tenciona a tese de que o fenômeno se associaria diretamente à origem social dos estudantes. A proporção de repetentes da escola se mostrou o fator de maior impacto na indisciplina.

RESUMEN: Son los siguientes los objetivos de este trabajo: analizar el fenómeno de la indisciplina escolar por medio de los datos del PISA 2012; aplicar un modelo de regresión lineal multinivel con el clima disciplinar como variable dependiente; e identificar factores explicativos intra y extraescolares asociados a la indisciplina. La contribución más significativa de este trabajo es la de señalar que la indisciplina parece ser más dependiente de factores intra que extraescolares. Variables clásicas como el nivel socioeconómico, el tipo de escuela y el género no presentaron poder explicativo sobre la indisciplina, lo que proyecta la tesis de que el fenómeno se asociaría directamente al origen social de los estudiantes. La proporción de repetidores de la escuela se mostró el factor de mayor impacto en la indisciplina.

ABSTRACT: This study aims to analyze the phenomenon of school indiscipline using data from PISA 2012; to apply a multilevel linear regression model considering the disciplinary climate as the dependent variable and to identify explanatory intra- and extra-school factors associated with indiscipline. The most significant contribution of this paper is to point out that the indiscipline issue seems to be more dependent on intrathan extra-school factors. Classical variables such as socioeconomic status, type of school and gender had no explanatory power over indiscipline, problematizing the idea that the phenomenon is directly associated to students’ social background. The school proportion of repeaters proved to be the factor of greatest impact on indiscipline.

Opportunity to Learn the Content of Mathematics in Pisa 2012

Resumo: O Programa Internacional de Avaliação de Estudantes (Pisa) 2012 avaliou, por meio do questionário do estudante, a Oportunidade de Aprendizagem de Conteúdo, definida como a exposição dos estudantes ao conteúdo de uma determinada área do conhecimento na escola - nesse caso, especificamente a área de Matemática. Com base nos resultados dos questionários, foram gerados três índices que, neste artigo, foram relacionados com o desempenho dos estudantes de um grupo de países no teste cognitivo de Matemática. O estudo sugere que há uma relação entre dois desses índices e as médias do teste de Matemática, sendo essa relação fraca para o terceiro índice. Esses resultados podem iluminar aspectos nem sempre conhecidos sobre a exposição a tarefas e conceitos matemáticos em sala de aula.

Resumen: El Programa Internacional de Evaluación de Estudiantes (Pisa) 2012 evaluó, por medio del cuestionario del estudiante, la Oportunidad de Aprendizaje de Contenido, definida como la exposición de los estudiantes al contenido de una determinada área del conocimiento en la escuela -en dicho caso específico, el área de Matemáticas. En base a los resultados de los cuestionarios se generaron tres índices que, en este artículo, se relacionaron con el desempeño de los estudiantes de un grupo de países en la prueba cognitiva de Matemáticas. El estudio sugiere que hay una relación entre dos de estos índices y los promedios de la prueba de Matemáticas, pero tal relación es muy baja en lo que concierne al tercer índice. Dichos resultados pueden iluminar aspectos no siempre conocidos sobre la exposición a tareas y conceptos matemáticos en el aula.

Abstract: The Programme for International Student Assessment (Pisa) 2012 used student-level questionnaires to evaluate the Opportunity to Learn Content defined as students’ exposure to subject content in school - in this case, specifically in the area of Mathematics. Based on the results of the questionnaires, three indexes related to students’ performance in a group of countries were generated. The study suggests that there is a relationship between two of the indexes and the mean scores in the Mathematics test, but this relationship is weak for the third index. These results can elucidate aspects about exposure to mathematical tasks and concepts in the classroom which are not always well known.

Opportunities to learn mathematics in Brazil, Chile and the United States

RESUMO: Este trabalho utiliza dados do Programme for International Student Assessment (PISA) 2012 do Brasil, Chile e Estados Unidos para analisar a oportunidade de os alunos de diferentes níveis socioeconômicos em aprender matemática, medida pela exposição a conceitos e problemas dessa disciplina. Os alunos brasileiros apresentam grandes desvantagens em relação aos demais na cobertura curricular e mesmo os alunos mais ricos apresentam baixa probabilidade de exposição curricular frente aos seus colegas dos outros países. Além disso, a probabilidade de nunca terem sido expostos a conceitos e problemas matemáticos aumenta à medida que os conceitos ficam mais complexos, assim como cresce a desigualdade entre os mais pobres e os mais ricos. Portanto, não só observamos grandes desigualdades entre ricos e pobres em suas oportunidades de aprender matemática, mas também baixa exposição curricular dos alunos brasileiros de modo geral.

RESUMEN: Este trabajo utiliza datos del Programme for International Student Assessment (PISA) 2012 de Brasil, Chile y Estados Unidos para analizar la oportunidad de que alumnos de distintos niveles socioeconómicos aprendan matemáticas, medida por la exposición a conceptos y problemas de tal disciplina. Los alumnos brasileños presentan grandes desventajas en relación a los demás en la cobertura curricular e incluso los alumnos más ricos presentan baja probabilidad de exposición curricular con relación a sus colegas de los demás países. Por otra parte, la probabilidad de que nunca hayan sido expuestos a conceptos y problemas matemáticos aumenta a medida que los conceptos se hacen más complejos, así como crece la desigualdad entre los más pobres y los más ricos. Por lo tanto, no solo observamos grandes desigualdades entre ricos y pobres en sus oportunidades de aprender matemáticas, sino también una baja exposición curricular de los alumnos brasileños en general.

ABSTRACT: This paper uses data from the Program for International Student Assessment (PISA) 2012 of Brazil, Chile and the United States to analyze the opportunity of students from different socioeconomic backgrounds to learn Mathematics, assessed by the exposure to concepts and problems of this discipline. The Brazilian students present major disadvantages compared to the others in terms of curriculum coverage and even the richest students have a low probability of curriculum exposure compared with their peers from other countries. In addition, the likelihood of never having been exposed to mathematical concepts and problems increases as the concepts become more complex, and as inequality increases between the poorest and the richest. Therefore, not only do we observe large inequalities between rich and poor regarding their opportunities to learn Mathematics, but also a low curriculum exposure of Brazilian students as a whole.

Chords and dissonances of scientific literacy propos ed by PISA 2015

Resumo: A nossa proposta é investigar a existência ou não de sintonia entre o conceito acadêmico de letramento científico e aquele previsto nos documentos do Programme for International Student Assessment (PISA) e nas normas educacionais. A despeito de toda complexidade e polissemia conceitual existente em torno do conceito de alfabetização/letramento científico, desenvolvemos uma análise teórico-comparativa desse conceito na forma como é concebido pelos especialistas, em comparação com o conceito de letramento científico previsto na base avaliativa do PISA 2015, considerando também a previsão normatizada pelas políticas públicas educacionais. Ao final, identificamos menos acordes e, por variados motivos, mais dissonâncias, que podem servir como contributo para uma reflexão sobre a validade e relevância do PISA enquanto instrumento de avaliação, bem como sobre o tipo de aprendizagem a ser assegurada pelo nosso sistema educacional.

Resumen: Nuestra propuesta es investigar la existencia o no de sintonía entre el concepto académico de letramento científico y el previsto en los documentos del Programme for International Student Assessment (PISA) y en las normas educacionales. A pesar de toda la complejidad y polisemia conceptual existentes en torno al concepto de alfabetización/letramento científico, desarrollamos un análisis teórico-comparativo de dicho concepto en la forma como es concebido por los especialistas, en comparación con el concepto de letramento científico previsto en la base evaluativa del PISA 2015, considerando también la previsión normalizada por las políticas públicas educacionales. Al final, identificamos menos acordes y, por variados motivos, más disonancias, que pueden servir como contribución para una reflexión sobre la validad y relevancia del PISA como instrumento de evaluación, así como sobre el tipo de aprendizaje que nuestro sistema educacional debe asegurar.

Abstract: Our proposal is to investigate the harmony or lack of it between the academic concept of scientific literacy and the one stated in the documents of the Program for International Student Assessment (PISA) and in educational standards. Despite all complexity and conceptual polysemy around the concept of literacy/scientific literacy, we developed a theoretical comparative analysis of this concept as designed by experts, comparing it to the concept of scientific literacy laid down on the assessment basis of the PISA 2015, considering also the projection standardized by public educational policies. Finally, we identified less chords, and, for various reasons, more dissonance, that can serve as a contribution to discuss the validity and relevance of PISA as an assessment tool, as well as on the type of learning to be ensured by our educational system.

The science field in international large-scale assessments

Resumo: O artigo procura abordar os aspectos pedagógicos das avaliações internacionais que contam com a área de Ciências, focalizando especialmente a última edição do Programa Internacional de Avaliação de Estudantes (PISA) e o Terceiro Estudo Regional Comparativo e Explicativo (TERCE). São apresentados e discutidos os alicerces conceituais e procedimentais desses estudos e alguns resultados relativos ao desempenho dos estudantes brasileiros. Nesse sentido, problematizam-se os limites e as possibilidades de uso desses dados para a formulação de políticas educacionais que impactam o ensino de Ciências, tais como a Base Nacional Curricular Comum (BNCC) e as avaliações previstas no Plano Nacional da Educação (PNE).

Resumen: El artículo pretende abordar los aspectos pedagógicos de las evaluaciones internacionales que cuentan con el área de Ciencias, enfocando especialmente la última edición del Programa Internacional de Evaluación de Estudiantes (PISA) y el Tercer Estudio Regional Comparativo y Explicativo (TERCE). Se presentan y discuten las bases conceptuales y procedimentales de estos estudios y algunos resultados relativos al desempeño de los estudiantes brasileños. En este sentido se problematizan los límites y las posibilidades de uso de estos datos para la formulación de políticas educacionales que impactan la enseñanza de Ciencias, como la Base Nacional Curricular Común (BNCC) y las evaluaciones previstas en el Plan Nacional de la Educación (PNE).

Abstract: This article aims to address the pedagogical aspects of international assessments that include the Science field, focusing especially on the last edition of the Program for International Student Assessment (PISA) and the Third Regional Comparative and Explanatory Study (TERCE). The procedural and conceptual foundations of these studies and some results concerning the performance of Brazilian students are presented and discussed here. Therefore, the limits and the possibilities of using these data for the formulation of educational policies that impact the teaching of sciences, such as the Common National Curricular Base (BNCC) and the assessments provided for in the National Education Plan (PNE) are discussed.

Evaluation in the context of the Latinamerican laborator y for the assessment of quality education

RESUMO O objetivo deste artigo é analisar a concepção de avaliação adotada pelo Laboratório Latino-Americano de Avaliação da Qualidade da Educação (LLECE), órgão ligado à Organização das Nações Unidas Para a Educação, a Ciência e a Cultura (Unesco). A metodologia se constitui na interpretação dos documentos resultantes das atividades do Laboratório. Com o intuito de organizar a discussão, quatro tópicos são apresentados. Inicialmente, breves considerações sobre o histórico e a organização do LLECE. Na sequência, apontamentos referentes ao Primeiro Estudo Regional Comparativo e Explicativo (1997), as atividades do Segundo Estudo Regional Comparativo e Explicativo (2007) e, por fim, a síntese do Terceiro Estudo Regional Comparativo e Explicativo (2014). Como resultado, sinalizou-se que a avaliação em larga escala, no Brasil, converge com as orientações do LLECE nas últimas décadas. Constata-se a consolidação de um perfil meritocrata e gerencial para as práticas avaliativas.

RESUMEN El objetivo de este artículo es analizar la concepción de evaluación adoptada por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), organismo vinculado a la Organización de las Naciones Unidas Para la Educación, la Ciencia y la Cultura (Unesco). La metodología se refiere a la interpretación de los documentos resultantes de las actividades del Laboratorio. Con el propósito de organizar la discusión se presentan cuatro tópicos. Inicialmente, breves consideraciones sobre el historial y la organización del LLECE. A continuación, consideraciones relativas al Primer Estudio Regional Comparativo y Explicativo (1997), a las actividades del Segundo Estudio Regional Comparativo y Explicativo (2007) y, por fin, la síntesis del Tercer Estudio Regional Comparativo y Explicativo (2014). Como resultado, señalamos que la evaluación en gran escala en Brasil converge con las orientaciones del LLECE en las últimas décadas. Se constata la consolidación de un perfil gerencial y basado en la meritocracia para las prácticas evaluativas.

ABSTRACT This article aims to analyze the concept of evaluation adopted by the Latin American Laboratory for the Assessment of Quality Education (LLECE), an agency linked to the United Nations for Education, Science and Culture Organization (Unesco). The methodology consists in interpreting the documents resulting from the Laboratory activities. In order to organize the discussion, four topics are presented, starting with brief considerations on the LLECE history and organization. Then, some notes will follow on the First Regional Comparative and Explanatory Study (1997), the activities of the Second Regional Comparative and Explanatory Study (2007) and, finally, we will discuss the synthesis of the Third Regional Comparative and Explanatory Study (2014). As a result, we observed that, in Brazil, large-scale assessment has converged with the LLECE guidelines in the last decades. A consolidation of a merit-based and managerial profile of assessment practices was also noted.

Internationalization, rankings and publication ns in English: the situation of Brazil nowadays

Resumo: Este artigo tem como objetivo discutir a relação entre a avaliação da pós-graduação e a internacionalização do ensino superior brasileiro. Para tanto, revisam-se os critérios de avaliação dos rankings e o papel das línguas estrangeiras em tais processos. O estudo é de cunho bibliográfico documental e discute as tensões/implicações existentes por trás dessas questões que envolvem o ensino superior. De maneira geral, conclui-se que os critérios de avaliação do ensino superior incluídos nos rankings internacionais não são capazes de capturar a realidade no Brasil e, por isso, não beneficiam a avaliação de nossas instituições. Em relação ao papel das línguas estrangeiras no processo de avaliação e internacionalização do ensino superior como um todo, o estudo mostra que o inglês tem um papel-chave e determinante no resultado dessa avaliação.

Resumen: Este artículo tiene el objetivo de discutir la relación entre la evaluación del postgrado y la internacionalización de la educación superior brasileña. Para ello se revisan los criterios de evaluación de los rankings y el papel de los idiomas extranjeros en tales procesos. El estudio es de cuño bibliográfico documental y discute las tensiones/implicaciones existentes detrás de estas cuestiones que envuelven la educación superior. De manera general se concluye que los criterios de evaluación de la educación superior incluidos en los rankings internacionales no son capaces de capturar la realidad en Brasil y por ello no benefician la evaluación de nuestras instituciones. En lo que se refiere al papel de los idiomas extranjeros en el proceso de evaluación e internacionalización de la educación superior como un todo, el estudio muestra que el idioma inglés tiene un papel fundamental y determinante en el resultado de dicha evaluación.

Abstract: This paper aims to discuss the relationship between the evaluation of graduate courses and the internationalization of Brazilian higher education. To do so, this study reviews the ranking evaluation criteria and the role of foreign language in these processes. This study is bibliographic and documental and discusses the tensions and implications that exist and underpin the evaluation of graduate courses and the internationalization of higher education. In general, this study shows that the criteria for evaluating higher education used in international rankings do not reflect the reality of Brazil and they do not evaluate our institutions favorably. Concerning the role of foreign language in higher education evaluation and internationalization, the study shows that English plays a key and decisive role in this evaluation.

International education assessments and surveys: interview with Andreas Schleicher

RESUMO Nesta entrevista, Andreas Schleicher, Diretor de Educação e Assessor Especial em Política Educacional da Secretaria Geral da Organização para a Cooperação e Desenvolvimento Econômico (OCDE), comenta sobre o papel da OCDE e, em especial, do Programme for International Student Assessment (PISA), no contexto educacional internacional, sua relação com atores da comunidade educacional, bem como os impactos de sua atuação. A entrevista aborda, ainda, aspectos relativos à participação do Brasil em programas e projetos educacionais da OCDE.

RESUMEN En esta entrevista, Andreas Schleicher, Director de Educación y Asesor Especial en Política Educacional de la Secretaría General de la Organización para la Cooperación y Desarrollo Económico (OCDE), comenta sobre el papel de la OCDE y, en especial, del Programa Internacional de Evaluación de Estudiantes (PISA), en el contexto educativo internacional; su relación con actores de la comunidad educacional; así como los impactos de su actuación. La entrevista aborda asimismo aspectos relativos a la participación de Brasil en programas y proyectos educativos de la OCDE.

ABSTRACT In this interview, Andreas Schleicher, Director for Education and Sills, and Special Advisor on Education Policy to the Secretary-General at the Organisation for Economic Co-operation and Development (OECD), comments on the role of the OECD and, in particular, of the Program for International Student Assessment (PISA), in the international education context, its relationship with actors in the educational community, as well as the impacts of its performance. The interview also addresses aspects related to Brazil’s participation in OECD educational programs and projects.