Estudos em Avaliação Educacional

Editorial

Usos e efeitos das avaliações externas como objeto de pesquisa

The quality of education and the dissemination of evaluation systems

Nos últimos quinze anos, disseminaram-se no Brasil políticas de avaliação educacional. Os estados exerceram especial protagonismo nesse processo. Desde a Conferência de Jomtien, em 1990, observa-se o mesmo em escala global, concomitante às primeiras experiências em larga escala na América Latina. No Brasil, ocorreram dois movimentos: inicialmente, do governo federal, com avaliações bianuais, amostrais e diagnósticas; posteriormente, avaliações descentralizadas, estaduais, anuais, censitárias e relacionadas à gestão de suas redes, processo que se intensificou na última década. Este trabalho analisa a associação entre a implantação de sistemas estaduais de avaliação educacional no Brasil e o desenvolvimento da proficiência média entre os alunos das respectivas redes estaduais de ensino. Utilizam-se os resultados agregados das redes estaduais nas avaliações nacionais como parâmetro externo, e observa-se associação entre a implantação de avaliações e a elevação da proficiência média nos anos seguintes.

Los últimos quince años se diseminaron en Brasil políticas de evaluación educativa. Los estados ejercieron un especial protagonismo en tal proceso. Desde la Conferencia de Jomtien en 1990, se observa lo mismo en escala global, de modo concomitante a las primeras experiencias en larga escala en América Latina. En Brasil ocurrieron dos movimientos: inicialmente, del gobierno federal, con evaluaciones bianuales, realizadas por medio de muestras y diagnósticas; posteriormente, evaluaciones descentralizadas, estaduales, anuales, censitarias y relacionadas a la gestión de sus redes, proceso que se intensificó en la última década. Este trabajo analiza la asociación entre la implantación de sistemas estaduales de evaluación educativa en Brasil y el desarrollo de la proficiencia media entre los alumnos de las respectivas redes estaduales de enseñanza. Se utilizan los resultados agregados de las redes estaduales en las evaluaciones nacionales como parámetro externo, y se observa una asociación entre la implantación de evaluaciones y la elevación de la proficiencia media en los años posteriores.

In the last fifteen years, educational evaluation policies have been propagated in Brazil. The states have a special role in this process. Since the Jomtien Conference in 1990, the same has been observed on a global scale, concomitant with the first large-scale experiments in Latin America. There were two movements in Brazil: the former, from the federal Government, with biannual, diagnostic and sampling evaluations; the latter, with evaluations which were decentralized, state, annual, census and related to the management of their networks, a process which was intensified in the last decade. This article analyzes the association between the establishment of state systems of educational evaluation in Brazil and the development of the average proficiency among students of the respective state school networks. The aggregate results of the state networks in the national evaluations are used as an external parameter, and the association between the implementation of evaluations and the increase of the average proficiency in the following years is observed.

External evaluation: tensions and challenges for educational management

No contexto das políticas de avaliação e responsabilização na rede pública municipal de ensino do Rio de Janeiro, o artigo traz três estudos que partem de observações e entrevistas realizadas em uma escola pública da rede e de incursões exploratórias sobre os dados dos questionários contextuais dos diretores da Prova Brasil 2007, 2009 e 2011. São discutidos os desafios e as tensões cada vez mais presentes na pauta da gestão escolar, com destaque para a sobrecarga de trabalho burocrático num contexto de precariedade de condições de administração, de uma mediação tensa das políticas junto aos agentes escolares e ainda das tendências de mudanças na gestão pedagógica. Conclui-se ressaltando a importância do adensamento da reflexão sobre a pesquisa e a formação em gestão escolar diante dos novos desafios políticos e pedagógicos, sem perder de vista suas limitações administrativas e político-legais.

En el marco de las políticas de evaluación y responsabilización en la red pública municipal de enseñanza de Rio de Janeiro, el artículo presenta tres estudios que parten de observaciones y entrevistas realizadas en una escuela pública de la red y de incursiones exploratorias de los datos de los cuestionarios contextuales de los directores de la Prova Brasil 2007, 2009 y 2011. Se discuten los desafíos y tensiones crecientemente presentes en la pauta de la gestión escolar, con destaque para la sobrecarga de trabajo burocrático en un contexto de precariedad de condiciones de administración, una mediación tensa de las políticas junto a los agentes escolares y asimismo las tendencias de cambios en la gestión pedagógica. Se concluye resaltando la importancia del incremento de la reflexión sobre la investigación y la formación en gestión escolar frente a los nuevos desafíos políticos y pedagógicos, sin perder de vista sus limitaciones administrativas y político-legales.

In the context of evaluation and accountability policies in the public municipal school network in Rio de Janeiro, this article deals with three studies based on observations and interviews conducted in one public school in the network and exploratory inroads about the data from the contextual questionnaires of the directors of the 2007, 2009 and 2011 Prova Brasil. The increasing challenges and tensions present in the agenda of school management are discussed, highlighting the bureaucratic work overload in a context of the precarious conditions of administration, of a tense mediation of the policies together with the school agents and, also, the trends of changes in school management. It concludes by highlighting the importance of the consolidation of thinking about research, and the preparation of school management in the face of the new political and pedagogical changes, without losing sight of their administrative and politico-legal limitations.

Expectation, strategies and "jeitinhos": large-scale assessments in Rio de Janeiro

O objetivo deste artigo é descrever e analisar visões de gestores da rede municipal do Rio de Janeiro sobre as avaliações em larga escala e seus reflexos no cotidiano escolar. Os dados foram mapeados em quatro grupos focais, dois com diretores e dois com profissionais da gestão central e intermediária da Secretaria Municipal de Educação. Demonstraremos que, apesar de as avaliações externas ainda se apresentarem como eventos extraordinários ao cotidiano escolar, há uma tendência à utilização dos dados delas resultantes como norteadores das práticas de gestão, mesmo com o desconhecimento técnico das avaliações. Foi possível perceber um "efeito dominó". Trata-se de um conjunto de cobranças sucessivas aos agentes de acordo com sua posição na hierarquia da gestão, que induz estratégias para melhorar o desempenho institucional, assim como "jeitinhos" e estratagemas orientados pela expectativa de aumentar os índices das escolas.

El objetivo de este artículo es describir y analizar visiones de gestores de la red municipal de Rio de Janeiro sobre las evaluaciones en larga escala y sus reflejos en el cotidiano escolar. Los datos fueron mapeados en cuatro grupos focales, dos con directores y dos con profesionales de la gestión central e intermedia de la Secretaría Municipal de Educación. Demostraremos que, a pesar de que las evaluaciones externas todavía se presentan como eventos extraordinarios al cotidiano escolar, hay una tendencia a la utilización de los datos resultantes como ejes de las prácticas de gestión, incluso con el desconocimiento técnico de las evaluaciones. Fue posible percibir un "efecto dominó". Se trata de un conjunto de exigencias sucesivas a los agentes de acuerdo a su posición en la jerarquía de la gestión, que induce estrategias para mejorar el desempeño institucional, así como "jeitinhos" y estratagemas orientados por la expectativa de aumentar los índices de las escuelas.

The objective of this article is to describe and analyze views of managers of the municipal network of Rio de Janeiro regarding the large-scale evaluations and their consequences in school daily life. The data were divided into four groups, two with directors and two with central and mid-level management professionals in the Municipal Department of Education. We will demonstrate that, despite external evaluations still being extraordinary events in school daily life, there is a tendency to use their resulting data as guidelines for management practices, even with technical lack of knowledge about the evaluations. It was possible to notice a "domino effect". This involves a set of successive demands on agents, according to their position in the management hierarchy, which induces strategies to improve institutional performance, as well as "jeitinhos" and stratagems guided by the expectation of increasing the indices of the schools.

Scholastic accountability: an exploratory study of the profile of award-winning schools

O artigo investiga o perfil das escolas que foram premiadas por um dos programas que compõem a política de accountability escolar, recentemente adotada pela Secretaria Municipal de Educação (SME) do Rio de Janeiro. Discute-se uma bibliografia que sinaliza como desenhos de políticas de responsabilização podem emitir diferentes sinais para atores escolares e descrevese, brevemente, a política de responsabilização escolar da SME do Rio de Janeiro. As análises utilizaram bases dos dados da SME do Rio de Janeiro e dos questionários contextuais da Prova Brasil, sendo identificadas algumas limitações do programa em premiar o esforço dos atores escolares. Nas considerações finais, são pontuadas algumas alterações na regulamentação que buscam corrigir alguns dos sinais/incentivos emitidos pelo programa foco do estudo.

El artículo investiga el perfil de las escuelas que recibieron premios por medio de uno de los programas que componen la política de accountability escolar, recientemente adoptada por la Secretaría Municipal de Educación (SME) de Rio de Janeiro. Se discute una bibliografía que señala que proyectos de políticas de responsabilización pueden emitir diferentes señales para actores escolares y se describe brevemente la política de responsabilización escolar de la SME de Rio de Janeiro. Los análisis utilizaron bases de datos de la SME de Rio de Janeiro y de los cuestionarios contextuales de la Prova Brasil, identificándose algunas limitaciones del programa al premiar el esfuerzo de los actores escolares. En las consideraciones finales se subrayan algunas alteraciones en la reglamentación, que tratan de corregir algunas de las señales e incentivos emitidos por el programa foco del estudio.

This article investigates the profile of schools that were rewarded for one of the programs that comprise the school accountability policy, recently adopted by the Municipal Department of Education (SME) of Rio de Janeiro. A bibliography indicating how the design of accountability policies may send different signals to school actors is discussed; and, the SME policy for school accountability in Rio de Janeiro is described briefly. The analyses used SME databases from Rio de Janeiro and the contextual questionnaires from the Prova Brasil; some limitations of the program that rewards the efforts of school actors are identified. In the final considerations, some alterations in the rules that seek to correct some of the signals/incentives sent by the program focused on in this study are pointed out.

Final evaluations concerning the 2001-2010 PNE and preliminaries for the 2014-2024 PNE

O presente artigo visa a discutir os resultados de algumas avaliações acadêmicas sobre a implantação do Plano Nacional de Educação (PNE) 2001-2010, assinalando aspectos de seu processo de elaboração e aprovação e das análises a respeito do plano sancionado, que apontam para avaliações preliminares do PNE 2014-2024. Tomando por base a revisão da literatura, conclui-se não haver consenso sobre o êxito daquele primeiro PNE, quer entre os estudos de maior abrangência analítica, quer entre esses e as avaliações que enfocam o exame das decisões relativas a determinadas etapas e modalidades da educação básica, essas consensualmente negativas em termos de resultados, impactos ou efeitos observados. Comparativamente ao primeiro plano, ressalta-se, ainda, que a literatura que versa acerca do novo PNE sugere estar mais atenta ao monitoramento do seu desenvolvimento inicial e futuro.

El presente artículo tiene el propósito de discutir los resultados de algunas evaluaciones académicas sobre la implantación del Plano Nacional de Educação (PNE) 2001-2010, así como de señalar aspectos de su proceso de elaboración y aprobación y de los análisis del plan sancionado, que apuntan hacia evaluaciones preliminares del PNE 2014-2024. Tomando como base la revisión de la literatura, se concluye que no hay un consenso sobre el éxito del primer PNE, sea entre los estudios de mayor amplitud analítica, sea entre éstos y las evaluaciones que enfocan el examen de las decisiones relativas a determinadas etapas y modalidades de la educación básica, éstas consensualmente negativas en lo que se refiere a resultados, impactos o efectos observados. En comparación con el primer plan, se destaca asimismo que la literatura acerca del nuevo PNE sugiere que está más atenta al monitoreo de su desarrollo inicial y futuro.

The present article aims at discussing the results of some academic evaluations of the implementation of the Plano Nacional de Educação (PNE) for 2001-2010. It highlights aspects of its process of elaboration and approval as well as aspects of the analyses of the endorsed plan that lead to the preliminary evaluations of the 2014-2024 PNE. Based on the revised literature, the conclusion is that there is no consensus on the success of the first PNE, neither among broader analytical studies, nor between these and the evaluations focusing on the examination of the decisions regarding the different stages and modalities of basic education, the latter being consensually negative in terms of results, impacts or effects. Compared to the first plan, it is worth noting that the literature concerning the new PNE suggests a more careful monitoring of its initial and future development.

Educational evaluation and its consequences in federal actions and the electronic media

O objetivo deste trabalho é discutir os usos dos resultados das avaliações educacionais brasileiras por algumas ações desenvolvidas pelo governo federal no Plano de Desenvolvimento da Escola, seus possíveis reflexos no trabalho da escola e como a mídia eletrônica escrita vem tratando do tema. Discute-se o direito à aprendizagem e o processo de accountability, eixos das ações governamentais nos últimos anos. A seguir, analisasse o desenvolvimento dos testes aplicados aos alunos do ensino fundamental entre 1990 e 2012, identificando seus instrumentos e principais resultados. Devido à atual importância dos testes como um indicador de qualidade educacional, investigou-se, ainda, como essa qualidade é tratada pelos meios de comunicação eletrônicos. Conclui-se que os testes têm sido utilizados basicamente como instrumento para definir desempenhos das escolas, com reflexos indesejáveis sobre o trabalho que elas e seus profissionais realizam, na medida em que o foco das ações tem sido buscar melhorar o desempenho nos testes.

El objetivo de este trabajo es discutir los usos de los resultados de las evaluaciones educacionales brasileñas por intermedio de algunas acciones desarrolladas por el gobierno federal en el Plano de Desenvolvimento da Escola, sus posibles reflejos en el trabajo de la escuela y la forma en que los medios electrónicos escritos vienen tratando el tema. Se discute el derecho al aprendizaje y el proceso de accountability, ejes de las acciones gubernamentales en los últimos años. A seguir se analiza el desarrollo de las pruebas aplicadas a los alumnos de la educación fundamental entre 1990 y 2012, identificando sus instrumentos y principales resultados. Debido a la actual importancia de las pruebas como un indicador de calidad educativa, se investigó asimismo cómo dicha calidad es tratada por los medios de comunicación electrónicos. Se concluye que las pruebas han sido utilizadas básicamente como instrumentos para definir desempeños de las escuelas, con reflejos indeseables sobre el trabajo que ellas y sus profesionales realizan, ya que el foco de las acciones ha sido intentar mejorar el desempeño en las pruebas.

The purpose of this study is to discuss the uses of the results of Brazilian educational evaluations for some actions developed by the Plano de Desenvolvimento da Escola, their possible consequences in the work of schools and how the electronic written media has been approaching this topic. The right to learning and the process of accountability, axes of governmental actions in recent years, are discussed. Next, the development of the tests given to elementary school students between 1990 and 2012, identifying their instruments and principal results, are analyzed. Due to the current importance of the tests as an indicator of educational quality, how electronic communications media treat this quality is also investigated. It is concluded that the tests have been used, basically, as an instrument to define school performance, with undesirable consequences for the work that they and their professionals are doing, such that the focus of the actions has been to seek to improve the performance on the tests.

Federal normatizations and enrollment supply in brazilian day care centers

Este artigo analisa os efeitos dos atos normativos da União para apoiar municípios na oferta de vagas em creches. Mostra evoluções incrementais, impacto nas matrículas (2001-2013) e variação considerável entre os estados. Identifica que parte da regulamentação federal é uma forma de coordenação federativa, como o Fundo de Manutenção e Desenvolvimento da Educação Básica e de Valorização dos Profissionais da Educação (Fundeb), e que parte são programas que contribuem na ampliação de vagas, como a Ação Brasil Carinhoso. Este artigo também aponta que a meta estabelecida pelo Plano Nacional de Educação, de atendimento de 50% das crianças em creches, está longe de ser cumprida.

Este artículo analiza los efectos de los actos normativos del gobierno federal para apoyar a los municipios en la oferta de plazas en guarderías. Muestra evoluciones incrementales, impacto en las matrículas (2001-2013) y considerable variación entre los estados. Identifica que parte de la reglamentación federal es una forma de coordinación federativa, como el Fundo de Manutenção e Desenvolvimento da Educação Básica e de Valorização dos Profissionais da Educação (Fundeb), y que parte son programas que contribuyen para ampliar el número de plazas, como Ação Brasil Carinhoso. Este artículo también señala que la meta establecida por el Plano Nacional de Educação, de atender al 50% de los niños en guarderías, está lejos de llevarse a cabo.

This article analyzes the effects of the Union's normative acts to support municipalities in supplying places in day care centers. It shows incremental evolution, impact on enrollment (2001-2013) and a high disparity among the states. It identifies that part of the federal regulations consist of a form of federal coordination, such as the Fundo de Manutenção e Desenvolvimento da Educação Básica e de Valorização dos Profissionais da Educação (Fundeb), and another part consists of programs that contribute to the expansion of openings, such as the Ação Brasil Carinhoso. The paper also points out that the goal to attend 50% of the children in day care centers, established by the Plano Nacional de Educação, is far from being reached.

Evidence of the effect of retention in the early years of school

No contexto do debate sobre as vantagens e desvantagens da repetência escolar como medida pedagógica, este trabalho pretende verificar os efeitos dessa prática sobre o desempenho de estudantes dos anos iniciais do ensino fundamental. O objetivo é investigar se alunos que repetiram, mesmo ao custo de um ano extra de escolarização, apresentam ganhos reais de proficiência que justifiquem a utilização de tal medida. Para tanto, desenvolvemos um estudo observacional que compara dois grupos de alunos, repetentes e promovidos, organizados por pareamento assistido, analisando o impacto da repetência nas medidas de proficiência em Língua Portuguesa e Matemática desses grupos em diferentes momentos da sua trajetória escolar. Os resultados mostram que, ao longo do tempo, os alunos repetentes aprendem menos que os promovidos. Quando comparados em uma mesma série, independente do ano letivo em que a cursaram, os repetentes se saem melhor, embora o efeito em Língua Portuguesa se perca ao longo das séries.

En el marco del debate sobre las ventajas y desventajas de la repitencia escolar como medida pedagógica, este trabajo pretende verificar los efectos de tal práctica sobre el desempeño de estudiantes de los años iniciales de la educación fundamental. El objetivo es investigar si los alumnos que repitieron, incluso con el costo de un año más de escolarización, presentan aumentos reales de proficiencia que justifiquen la utilización de tal medida. Para ello desarrollamos un estudio observacional que compara dos grupos de alumnos, repitentes y promovidos, organizados por pares asistidos, analizando el impacto de la repitencia en las medidas de proficiencia en Idioma Portugués y Matemática de dichos grupos en diferentes momentos de su trayectoria escolar. Los resultados muestran que, con el tiempo, los alumnos repitentes aprenden menos que los promovidos. Cuando comparados en un mismo curso, independientemente del año lectivo en que se encuentran, los repitentes obtienen mejores resultados, aunque el efecto en Idioma Portugués se pierda a lo largo de los distintos cursos.

In the context of the debate about the advantages and disadvantages of school retention as a pedagogic method, this study intends to verify the effects of this practice on the performance of students in the first years of schooling. The objective is to investigate whether students who repeat, even at the cost of an extra year of schooling, show real gains in proficiency that justify the use of such a measure. To accomplish this, we developed an observational study that compares groups of students, retained and promoted, organized by assisted pairing, analyzing the impact of retention on the proficiency measures on these groups in Portuguese language and Mathematics, at different moments along their school path. The results show that, over time, the retained students learn less than the promoted students. When compared within the same grade, independent of the school year of the student, the retainees were more successful, although the effect on the Portuguese language gets lost over the grades.

Saeb questionnaries: what do they really measure?

O presente estudo investigou as evidências de validade de construto dos questionários do Saeb de 2009. Depois de um processo de tratamento de dados e análise exploratória, foram analisadas as respostas de 1.906.616 alunos do 9º ano do ensino fundamental, de 77.905 professores e de 27.292 diretores, além das informações relacionadas às 27.045 escolas de todo Brasil. Análise Fatorial foi utilizada para identificar os construtos mensurados pelos questionários. Os resultados indicaram a existência de quatro fatores no questionário de escola, seis fatores no questionário de diretor, seis fatores no questionário de professor e quatro fatores no questionário de aluno. Uma reflexão crítica é necessária para avaliar se os construtos mensurados pelos questionários do Saeb são aqueles que realmente importam em relação ao desempenho escolar.

El presente estudio investigó las evidencias de validez de constructo de los cuestionarios del Saeb del año 2009. Después del proceso de análisis exploratorio, fueron investigadas las respuestas de 1.906.616 alumnos del 9º año de enseñanza fundamental, de 77.905 profesores y de 27.292 directores, fuera las informaciones relativas a las 27.045 escuelas de todo el Brasil. La técnica de análisis factorial fue utilizada para identificar los constructos medidos por los cuestionarios. Los resultados revelaron a existencia de cuatro factores en el cuestionario de la escuela, seis factores en el cuestionario del director, seis factores en el cuestionario del profesor y cuatro factores en el cuestionario del alumno. Una reflexión crítica se hace necesaria para evaluar si los constructos medidos por los cuestionarios del Saeb son los que realmente interesan en relación al desempeño escolar.

The present study investigated the evidence of construct validity of the Saeb questionnaires of 2009. After a process of data treatment and exploratory analysis, further analysis of the responses was carried out. The responses analyzed were from 1,906,616 students in the ninth grade, as well as of 77,905 teachers and 27,292 school directors, in addition to information related to 27,045 schools around Brazil. Factor analysis was used to identify the constructs measured by the questionnaires. The results indicated the existence of four factors in the school questionnaire, six factors in the director questionnaire, six factors in the teacher questionnaire and four factors in student questionnaire. Critical reflection is needed to assess whether the constructs measured by the Saeb questionnaires are those that really matter to school performance.

Reliability and agreement among evaluators: applications in the educational area

Os objetivos desta pesquisa foram: (1) investigar as estratégias de verificação da confiabilidade e concordância entre juízes, enfatizando as aplicações na área educacional; (2) realizar uma revisão da literatura nacional sobre as técnicas de confiabilidade e concordância entre juízes e suas áreas de aplicação; e (3) ilustrar a aplicação das técnicas de confiabilidade e concordância entre juízes por meio da análise das correções das redações do vestibular de uma universidade pública de Minas Gerais. Utilizamos o coeficiente de correlação intraclasse para analisar a confiabilidade e concordância entre juízes na correção das redações no período de 2005 a 2010. Identificamos pouco uso, nas pesquisas educacionais, de técnicas de concordância entre juízes. Quanto à análise da correção das redações, alguns resultados foram satisfatórios (exemplo: confiabilidade média dos juízes para as notas totais das redações) e outros insatisfatórios (exemplo: concordância baixa em alguns critérios de correção).

Los objetivos de la presente investigación fueron los siguientes: (1) investigar las estrategias de verificación de la confiabilidad y concordancia entre jueces, enfatizando las aplicaciones en el área educativa; (2) realizar una revisión de la literatura nacional sobre las técnicas de confiabilidad y concordancia entre jueces y sus áreas de aplicación; y (3) ilustrar la aplicación de las técnicas de confiabilidad y concordancia entre jueces por medio del análisis de las correcciones de las redacciones del examen de ingreso a una universidad pública de Minas Gerais. Utilizamos el coeficiente de correlación intraclase para analizar la confiabilidad y concordancia entre jueces en la corrección de las redacciones en el periodo de 2005 a 2010. Identificamos poco uso, en las investigaciones educativas, de técnicas de concordancia entre jueces. En lo que se refiere al análisis de la corrección de las redacciones, algunos de los resultados fueron satisfactorios (ejemplo: confiabilidad media de los jueces para las notas totales de las redacciones) y otros insatisfactorios (ejemplo: baja concordancia en algunos criterios de corrección).

The aims of this study were to: (1) investigate the strategies for verifying reliability and agreement among evaluators, focusing on the applications in the educational area; (2) conduct a review of the national literature on the techniques of reliability and agreement among judges and their areas of application; and (3) illustrate the application of the techniques of reliability and agreement among evaluators by analyzing the corrections of the Vestibular (college entrance exam) essays from one public university in Minas Gerais. We used the intraclass correlation coefficient to analyze the reliability and agreement among evaluators in the correction of the essays from 2005 to 2010. We identified little use, in the educational research, of agreement techniques among evaluators. As for the analysis of the correction of essays, some results were satisfactory (example: mean reliability of the evaluators for total scores of the essays) and others were unsatisfactory (example: low agreement in some criteria of correction).