Estudos em Avaliação Educacional

Contextualização curricular numa rede de escolas portuguesas: promessa ou oportunidade perdida?

RESUMO Na década de 1990, as políticas educativas internacionais e o campo teórico dos estudos curriculares conferiram centralidade ao debate sobre o currículo, conduzindo, nos países de tradição centralista, à passagem do paradigma do currículo uniforme, prescritivo, para um paradigma de contextualização curricular. Em Portugal, a introdução deste paradigma pelas políticas curriculares determinou a necessidade de prescrever às escolas a elaboração de um projeto curricular. A partir de então, a literatura tem demonstrado uma conceção das dinâmicas de construção, implementação e avaliação de projetos curriculares como documentos burocráticos, obedecendo a uma lógica da normatividade decretada, elaborados sobretudo para os painéis de avaliação externa das escolas, incapazes deste modo de implementar mudanças nas práticas curriculares. Neste texto, apresentam-se os resultados da avaliação de 12 projetos curriculares de uma rede colaborativa de escolas portuguesas com recurso à análise de conteúdo.

RESUMEN En la década de los 90, las políticas educativas internacionales y el campo teórico de los estudios curriculares debatían por encima de todo el currículo, lo que condujo en los países de tradición centralista al paso del paradigma del currículo uniforme y prescriptivo a un paradigma de contextualización curricular. En Portugal, la introducción de este paradigma por las políticas curriculares determinó la necesidad de prescribir a las escuelas la elaboración de un proyecto curricular institucional. Desde entonces la literatura ha demostrado una concepción de las dinámicas de construcción, implementación y evaluación de proyectos curriculares como si fueran documentos burocráticos, obedeciendo a una lógica de la normatividad decretada, elaborados sobre todo para los paneles de evaluación externa de las escuelas, incapaces de este modo de implementar cambios en las prácticas curriculares. En este texto, se presentan los resultados de la evaluación de 12 proyectos curriculares de una red colaborativa de escuelas portuguesas realizada teniendo en cuenta el análisis de contenido.

ABSTRACT In the 1990’s, international educational policies, as well as the theoretical field of curriculum studies, gave centrality to the debate on curriculum. This led countries with a centralist tradition to shift from the paradigm of a uniform and prescriptive curriculum towards a paradigm based on curriculum contextualization. Following the latter, new curricular policies were introduced in the Portuguese system which determined that schools should develop their own curriculum plan. Since then, the literature on the subject has shown that the construction, implementation and evaluation dynamics of these curriculum plans have been conceived as bureaucratic documents, obeying a logic of normativity and being mostly designed to suit external evaluation panels that proved unable to implement change in curriculum practices. In this paper, the method of content analysis was used to present the results of the evaluation of 12 curriculum projects implemented in a collaborative network of Portuguese schools.

Impacto da bonificação educacional em Pernambuco

RESUMO O artigo busca avaliar o impacto do Bônus de Desempenho Educacional, que constitui um incentivo pago aos funcionários das escolas da rede estadual de Pernambuco mediante o cumprimento de metas educacionais preestabelecidas. O objetivo principal é verificar se essa política de bonificação propiciou um melhor desempenho nas proficiências das disciplinas de Língua Portuguesa e Matemática entre 2008 e 2012. A metodologia para abordar essa questão consiste no uso de escores de propensão para produzir pareamentos, em que cada escola da rede estadual (que participa da política de bonificação) é comparada a uma escola similar da rede municipal (que não dispõe de tal política). Afere-se, como principal resultado, que as escolas estaduais obtiveram, no 9º ano do ensino fundamental, um ganho de cinco pontos em relação àquelas da rede municipal.

RESUMEN El artículo tiene el propósito de evaluar el impacto del Bono de Desempeño Educacional, un incentivo que se les paga a los empleados de las escuelas de la red estadual de Pernambuco mediante el cumplimiento de metas educacionales preestablecidas. El principal objetivo es el de verificar si dicha política de bonificación propició un mejor desempeño en las asignaturas de Lengua Portuguesa y Matemáticas entre 2008 y 2012. La metodología para abordar este tema consiste en el uso de notas que producen cruces de datos, en que cada escuela de la red estadual (que participa de la política de bonificación) es comparada a una escuela similar de la red municipal (que no dispone de tal política). Como principal resultado, se verificó que las escuelas estaduales obtuvieron, en el 9º año de la educación básica, un aumento de cinco puntos en relación a las de la red municipal.

ABSTRACT The present article seeks to assess the impact of the Educational Performance Bonus, an incentive paid to employees of the state school network in Pernambuco, when they accomplish pre-established educational goals. The main objective of this paper is to verify whether this bonus policy led to better performance in Portuguese and Mathematics between 2008 and 2012. The methodology used to address this issue uses propensity scores to produce pairings, in which each school in the state network (participating in the bonus policy) is compared to a similar municipal school (which does not have such a policy). The main result shows that state schools have obtained, in the ninth grade, a gain of five points compared to those schools in the municipal network.

A (des)igualdade de conhecimento no ciclo de alfabetização

RESUMO Este trabalho busca contribuir para o debate acerca do tema das desigualdades educacionais, por meio da investigação da (re)produção da desigualdade de conhecimento. Com base nos dados da avaliação longitudinal da alfabetização do Espírito Santo, das edições de 2012, 2013 e 2014, o estudo analisou a variação do percentual de acerto entre turmas de alto e baixo desempenho nos testes de Leitura do 1º e 3º ano do ensino fundamental. O principal resultado aponta que a aquisição das habilidades é mais heterogênea no 1º ano, o que permite supor que, ao longo do ciclo de alfabetização, os alunos podem ter passado por processos de reorganização intraescolar que tornaram seus resultados mais homogêneos, ou seja, menos desiguais. A despeito disso, há determinadas habilidades que não estão consolidadas até o fim do 3º ano, o que evidencia a ineficácia das políticas atuais para fazer com que os alunos adquiram habilidades imprescindíveis ao processo de alfabetização.

RESUMEN Este trabajo intenta contribuir con el debate acerca del tema de las desigualdades educacionales, por medio de la investigación de la (re)producción de la desigualdad de conocimiento. En base a los datos de la evaluación longitudinal de la alfabetización del estado de Espírito Santo en las ediciones de 2012, 2013 y 2014, el estudio analizó la variación del porcentual de acierto entre grupos de alto y bajo desempeño en las pruebas de Lectura del 1er y 3er año de la educación básica. El principal resultado señala que la adquisición de las habilidades es más heterogénea en el 1er año, lo que permite suponer que, a lo largo del ciclo de alfabetización, los alumnos pueden haber pasado por procesos de reorganización intraescolar que hicieron que sus resultados fueran más homogéneos, es decir, menos desiguales. A pesar de ello, hay determinadas habilidades que no se consolidan hasta fines del 3er año, lo que pone de manifiesto la ineficacia de las actuales políticas para que los alumnos aprendan habilidades imprescindibles al proceso de alfabetización.

ABSTRACT The present study seeks to contribute to the debate about educational inequalities, using the study of the (re)production of the inequality of knowledge. Based on data from the longitudinal evaluation of literacy in Espírito Santo, from the 2012, 2013 and 2014 publications, this study has analyzed the percentage of variation between the high and low performance groups in the Reading Tests of the 1st and 3rd years of high school. The main results point out that the acquisition of skills is more heterogenous in the 1st year, which supports the hypothesis that, during the literacy cycle, students may have gone through intrascholastic reorganization processes which make their results more homogeneous. That is, less unequal. Despite this, there are certain skills that are not consolidated by the end of the 3rd year, which provides evidence of the ineffectiveness of the current policies for students to learn essential skills throughout the literacy process.

Avaliação da educação infantil na Austrália: contribuições para o Brasil

RESUMO Este artigo tem o propósito de apresentar resultados de investigação cujo objetivo foi identificar eventuais contribuições da experiência de avaliação da educação infantil australiana para a análise de iniciativas da mesma natureza, em curso no Brasil. Tem como base análise documental e informações coletadas in loco, quando da realização de estágio de pesquisa no exterior, na Graduate School of Education da Universidade de Melbourne, Austrália, em 2016. Os resultados do estudo evidenciam que o desenho avaliativo australiano reflete a preocupação com dimensões da qualidade consideradas fundamentais pela legislação e documentos norteadores da educação infantil no Brasil, ainda que os contextos social e educacional de ambos os países sejam bem diferentes. Ademais, indicam a importância da articulação e colaboração entre entes federados para a implantação de políticas voltadas para a primeira infância.

RESUMEN Este artículo tiene el propósito de presentar resultados de una investigación que tuvo el objetivo de identificar eventuales contribuciones de la experiencia de evaluación de la educación infantil australiana para analizar iniciativas de la misma naturaleza en curso en Brasil. Su base es el análisis documental e informaciones recogidas in loco, cuando se realizó la práctica de investigación en el exterior, en la Graduate School of Education de la Universidad de Melbourne, Australia, en el 2016. Los resultados del estudio evidencian que el diseño evaluativo australiano refleja la preocupación con dimensiones de la calidad consideradas como fundamentales por la legislación y documentos orientadores de la educación infantil en Brasil, aunque los contextos social y educacional de ambos países sean bastante diferentes. Además, indican la importancia de la articulación y colaboración entre entes federados para la implantación de políticas destinadas a la primera infancia.

ABSTRACT This article aims to present research results intended to identify possible contributions from the Australian experience in evaluation early childhood education, in order to analyze similar initiatives existent in Brazil. It is based on documentary analysis and information collected in loco, when we conducted research internship abroad, at the Graduate School of Education of the University of Melbourne, Australia, in 2016. The results of the study show that the Australian evaluation initiative reflects the concern with dimensions of quality which are considered fundamental, by the legislation and documents guiding children’s education in Brazil, even though the social and educational contexts are very different in both countries. Furthermore, they indicate the importance of articulation and federative collaboration between federal, state and municipal governments for the deployment of policies focused on early childhood.

Avaliação da aprendizagem profissional no estágio supervisionado: estudo exploratório na educação infantil

RESUMO O presente estudo visa analisar processos de avaliação da aprendizagem profissional na formação prática, considerando o perfil específico de desempenho docente na educação infantil. Trata-se de um estudo exploratório em que participaram estudantes que frequentaram a componente de estágio de um mestrado de natureza profissionalizante em contexto português. Os dados foram recolhidos através de um instrumento de avaliação composto por 25 dimensões organizadas em quatro domínios (Observação, Planificação, Ação e Reflexão), aplicado em dois momentos: avaliação reguladora e avaliação final. Os resultados evidenciaram evolução positiva e estatisticamente significativa em 21 das 25 dimensões analisadas, entre os dois momentos de avaliação. Os dados permitem retirar ilações acerca de percursos de aprendizagem de competências profissionais e das potencialidades de uma abordagem autêntica e coparticipada na avaliação da formação prática e na compreensão endógena dos processos formativos.

RESUMEN El presente estudio tiene el propósito de analizar procesos de evaluación del aprendizaje profesional en la formación práctica, considerando el perfil específico de desempeño docente en la educación infantil. Se trata de un estudio exploratorio en el que participaron estudiantes que frecuentaron el prácticum de una maestría de formación profesional en contexto portugués. Los datos se recogieron a través de un instrumento de evaluación compuesto por 25 dimensiones organizadas en cuatro dominios (Observación, Planificación, Acción y Reflexión), aplicado en dos momentos: evaluación reguladora y evaluación final. Los resultados pusieron de manifiesto una evolución positiva y estadísticamente significativa en 21 de las 25 dimensiones analizadas, entre los dos momentos de evaluación. Los datos permiten retirar ilaciones acerca de recorridos de aprendizaje de competencias profesionales y de las potencialidades de un abordaje auténtico con coparticipación en la evaluación de la formación práctica y en la comprensión endógena de los procesos formativos.

ABSTRACT This study aims to analyze professional learning assessment procedures considering the specific teaching performance profile in early childhood education. A cohort of Portuguese students involved in a practicum in early childhood education, at a master level, participated in this exploratory study. Data were collected using an assessment instrument composed of 25 dimensions organized in four domains (Observation, Planning, Action and Reflection), applied at two different instances: regulatory assessment and final assessment. The results showed a statistically significant and positive evolution in 21 of the 25 dimensions examined, between the two instances of assessment. Data allow conclusions to be drawn regarding the learning of professional skills, and the potentialities of an authentic and co-participative approach in the assessment of practical training and in the endogenous understanding of training processes.

Dados ausentes em avaliações educacionais: comparação de métodos de tratamento

RESUMO Os dados ausentes são comuns nas avaliações educacionais. Por isso, o uso de métodos adequados torna-se fundamental para reduzir o impacto da perda de informação. O objetivo deste estudo é comparar o desempenho de quatro métodos de tratamentos de dados ausentes (imputação pela média, listwise deletion, máxima verossimilhança e imputação múltipla), tendo como base o uso de modelos de regressão aplicados aos dados da avaliação educacional realizada no estado do Ceará. Foram utilizadas informações de 7.000 estudantes, simulando- -se diversos cenários de acordo com o percentual e o tipo de ausência. A imputação pela média apresentou o pior desempenho em todos os cenários simulados e os demais métodos mostraram resultados semelhantes entre si. Verificou-se ainda que o uso de variáveis auxiliares na estimação por máxima verossimilhança e imputação múltipla reduziu o viés das estimativas de parâmetros importantes do modelo quando a ausência simulada não é ao acaso.

RESUMEN: Los datos ausentes son comunes en las evaluaciones educacionales. Por ello el uso de métodos adecuados se hace fundamental para reducir el impacto de la pérdida de información. El objetivo de este estudio es comparar el desempeño de cuatro métodos de tratamientos de datos ausentes (imputación por el promedio, listwise deletion, máxima verosimilitud e imputación múltiple), en base al uso de modelos de regresión aplicados a los datos de la evaluación educacional realizada en el estado de Ceará. Se utilizaron informaciones de 7.000 estudiantes, simulando diversos escenarios de acuerdo al porcentual y al tipo de ausencia. La imputación por el promedio presentó el peor desempeño en todos los escenarios simulados y los demás métodos mostraron resultados similares entre ellos. También se verificó que el uso de variables auxiliares en la estimación por máxima verosimilitud e imputación múltiple redujo el sesgo de las estimaciones de parámetros importantes del modelo cuando la ausencia simulada no se debe a la casualidad.

ABSTRACT Missing data are common in educational assessments. Using the appropriate methods has, therefore, become essential to reduce the impact of the loss of information. The present study aims to compare the performance of four methods for dealing with missing data (mean imputation, listwise deletion, maximum likelihood and multiple imputation), all based on regression models applied to the educational assessment of data collected in the State of Ceará. Information about 7,000 students was used, simulating various scenarios according to the percentage and the type of the missing data. The mean imputation method showed the worst performance in all simulated scenarios and the other methods showed similar results among themselves. Moreover, the use of auxiliary variables in the estimation by maximum likelihood and multiple imputation proved to reduce the bias of estimates of some important parameters of the model, when the simulated missing data is not random.

Austrália, Brasil e Canadá: impacto das avaliações no ensino de ciências

RESUMO A cultura global de testes se expandiu rapidamente nas últimas décadas. Nessas avaliações, as áreas mais comumente testadas são as de Linguagem e Matemática (LM). O foco e as políticas de responsabilização têm trazido consequências para o ensino de Ciências. Neste estudo reúnem-se evidências do Brasil, do Canadá e da Austrália para compreender as implicações dessas políticas para o ensino de Ciências, com base em pesquisas recentemente publicadas. Os resultados mostraram que a cultura dos testes, com ênfase em LM, e as políticas de responsabilização têm gerado o descaso e a negligência com o ensino de Ciências, causado sobretudo pelos sistemas de ensino e pelos gestores escolares, que criam iniciativas, ações e projetos voltados para atingir os resultados e metas em LM.

RESUMEN La cultura global de pruebas se expandió rápidamente en las últimas décadas. En estas evaluaciones, las áreas más comúnmente probadas son las de Lenguaje y Matemáticas (LM). El enfoque y las políticas de responsabilización han provocado consecuencias en la enseñanza de Ciencias. En este estudio se reúnen evidencias de Brasil, Canadá y Australia para comprender las implicaciones de tales políticas para la enseñanza de Ciencias, en base a investigaciones recientemente publicadas. Los resultados mostraron que la cultura de las pruebas, con énfasis en LM, así como las políticas de responsabilización, han generado desatención y negligencia en la enseñanza de Ciencias, sobre todo en función de los sistemas de enseñanza y los gestores escolares, que crean iniciativas, acciones y proyectos que se destinan a alcanzar los resultados y metas en LM.

ABSTRACT The global testing culture has expanded rapidly in recent decades. In these assessments, the most commonly tested areas are those of Language and Mathematics (LM). The focus and accountability policies have brought consequences for the teaching of the sciences. Based on recently published research, the present study gathers evidence collected in Brazil, Canada and Australia in order to understand the implications of these policies for the teaching of the sciences. The results showed that both the culture of testing, with its emphasis on LM, and accountability policies have generated a disregard and neglect of science teaching. This situation is caused mainly by the education systems and the school managers who create initiatives, actions and projects aimed at achieving LM results and targets.

Avaliação institucional na educação básica: os desafios da implementação

RESUMO O objetivo deste artigo é o de analisar os fatores relacionados com a implementação de avaliações institucionais em redes de ensino e em escolas. O corpus do estudo foi constituído por artigos que discutem resultados de pesquisas acerca da implementação desse tipo de avaliação na educação básica publicados em periódicos nacionais. As evidências presentes nos estudos permitem afirmar que o fator que mais influencia a implementação da avaliação institucional é o desenvolvimento da gestão democrática das escolas. Por outro lado, o trabalho coletivo e a participação da comunidade escolar foram identificados como mudanças decorrentes de tal implementação. Conclui-se que a avaliação institucional é um processo condicionado a outras mudanças na escola e na rede. Não obstante, quando implementada, ela contribui para muitas dessas mudanças. Assim, se se pretende desenvolvê-la, o melhor a fazer é iniciá-la e pô-la em prática, aperfeiçoando-a enquanto é praticada.

RESUMEN El objetivo del presente artículo es analizar los factores relacionados con la implementación de evaluaciones institucionales en redes de enseñanza y en escuelas. El corpus del estudio se conformó con artículos que discuten resultados de investigaciones acerca de la implementación de este tipo de evaluación en la educación básica publicados en revistas nacionales. Las evidencias presentes en los estudios permiten afirmar que el factor que más influye en la implementación de la evaluación institucional es el desarrollo de la gestión democrática de las escuelas. Por otra parte, el trabajo colectivo y la participación de la comunidad escolar se identificaron como cambios resultantes de tal implementación. Se concluye que la evaluación institucional es un proceso condicionado a otros cambios en la escuela y en la red. Sin embargo, cuando implementada, ella contribuye para muchos de estos cambios. Así, si se pretende desarrollarla, lo mejor a hacer es iniciarla y ponerla en práctica, perfeccionándola mientras es practicada.

ABSTRACT The purpose of this article is to analyze factors related to the implementation of institutional evaluation in education networks and schools. The study corpus consisted of articles that deal with results of research on the implementation of this type of evaluation in basic education, published in national journals. The evidence found in the studies shows that the most influential factor in the implementation of institutional evaluation is the development of democratic management in schools. On the other hand, collaborative work and participation of the school community were identified as changes resulting from such implementation. Institutional evaluation is, therefore, a process dependent on other changes in the school and on the network. However, when implemented, the evaluation contributes to many of these changes. Hence, if we want to develop institutional evaluation, the best way is to start it and improve it as it is put into practice.

Práticas letivas de sala de aula de matemática nos anos iniciais

RESUMO Este artigo visa caracterizar as práticas letivas que ocorrem nas salas de aula dos anos iniciais, na área curricular de matemática, a partir de uma pesquisa em cooperação internacional. Por meio de uma metodologia de investigação qualitativa, em que a recolha de dados foi realizada a partir de observações de aulas e entrevistas assentes numa matriz de investigação, foram elaboradas sínteses conclusivas e interpretativas as quais denominamos de narrativas. A análise dessas narrativas mostrou alguns resultados: práticas avaliativas ainda centradas na classificação; participação efetiva dos alunos no processo de ensino e aprendizagem muito reduzida; ausência de integração no que diz respeito à relação entre os processos de ensino, avaliação e aprendizagem; dentre outras. Pelo estudo ainda é possível afirmar que há um desejo de se realizar uma avaliação para as aprendizagens, porém é necessário fortalecer o campo teórico sobre avaliação para que em aula se possam problematizar e transgredir práticas estabelecidas.

RESUMEN Este artículo tiene como objetivo estudiar prácticas lectivas en aulas de los primeros años de enseñanza, en el área de las matemáticas, en base de una investigación de cooperación internacional. A partir de una investigación cualitativa, donde la recogida de datos se fundamentó en observaciones en el aula y entrevistas basadas en una matriz de la investigación, se realizaron síntesis conclusivas y interpretativas a las que denominamos de narrativas. El análisis de estas narrativas produjo algunos resultados: las prácticas evaluativas todavía se centran en la clasificación; la participación real de los alumnos en el proceso de enseñanza y aprendizaje es muy reducida; la ausencia de integración en lo que se refiere a la relación entre los procesos de enseñanza, evaluación y aprendizaje, entre otros. Por el estudio sigue siendo posible afirmar que existe un interés en realizar una evaluación para las aprendizajes, no obstante, es necesario fortalecer el campo teórico de la evaluación de modo que, en aula, se puedan problematizar e transgredir las prácticas establecidas.

ABSTRACT This article aims to characterize teaching practices that occur in the classrooms of the elementary school, in the area of mathematics, based on an international cooperative research. Conclusive and interpretative summaries were developed using a qualitative methodology in which data were gathered from classroom observations and interviews, grounded in an investigative matrix, which we called narratives. The analyses of these narratives showed the following results: assessment practices are still centered on classification; effective participation of students in the teaching and learning process is greatly reduced; lack of integration regarding the relationship among the processes of teaching, assessment and learning; among others. This study also shows that there is a desire to conduct an assessment for learning. However, it is necessary to strengthen the theoretical field on assessment so that, in the classroom, we can problematize and counter established practices.

Indicadores educacionais de matrículas de alunos com deficiência no Brasil (1974-2014)

RESUMO O uso de dados estatísticos foi por algum tempo preterido por parte da literatura educacional. Ciente desse movimento, este trabalho propõe-se a analisar a utilização de indicadores educacionais para conhecimento da realidade desse campo. São apresentados e analisados indicadores educacionais referentes a matrículas de alunos da Educação Especial no Brasil entre 1974 e 2014. Os dados são estudados sob uma perspectiva crítica, em interlocução com a literatura da área. O texto questiona a forma como tais informações têm sido usadas, em especial pelo Governo Federal, como demonstrativos dos avanços da política de inclusão escolar. Conclui-se que tais indicadores necessitam ser articulados a uma leitura que considere os impactos das ações dos governos, além de ter como interlocução dados e pesquisas que propiciem diferentes leituras.

RESUMEN El uso de los datos estadísticos fue por algún tiempo desconsiderado por parte de la literatura educacional. Consciente de ese movimiento, este trabajo se propone a analizar la utilización de indicadores educacionales para el conocimiento de la realidad de este campo. Son presentados y analizados los indicadores educacionales de matrículas de alumnos de Educación Especial en Brasil entre los años 1974 y 2014. Se estudian los datos desde una perspectiva crítica, manteniendo interlocución con la literatura del área. El texto cuestiona la forma como tales informaciones han sido utilizadas, especialmente por el Gobierno Federal, como muestras de los avances de la política de inclusión escolar. Se concluye que hay que articular tales indicadores a una lectura que considere los impactos de las acciones de los gobiernos y, además, que tengan interlocución con datos e investigaciones académicas para que sean posibles distintas miradas.

ABSTRACT The use of statistical data has been underestimated by part of educational literature for some time. Being aware of this, the present paper aims to discuss the use of educational indicators to understand the situation of this field. The text presents and analyzes education indicators regarding the enrollment of Special Needs pupils in Brazil between 1974 and 2014. The data are analyzed from a critical perspective, in connection with the area literature. The study challenges the way in which the Federal Government has been using such data, in order to demonstrate advances in school inclusion policy. The conclusion is that such indicators need to be developed from a perspective that considers the impacts of government action, and to be connected with other data and academic research.