Estudos em Avaliação Educacional

Avaliação em larga escala no Brasil: tensões e desafios

Boas práticas escolares e avaliação em larga escala: a literatura ibero-americana em questão

Este artigo aborda a literatura acadêmico-científica sobre as boas práticas escolares numa perspectiva panorâmica, enfocando a produção científica no espaço ibero-americano. Trata-se de uma pesquisa sobre o estado do conhecimento, resultante de rigoroso levantamento bibliográfico, em que se identificam concepções subjacentes, tendências e principais abordagens na literatura estudada. Constata-se, no contexto luso-brasileiro, a tendência de uma discussão politizada e questionadora dos referenciais ideológicos subjacentes às boas práticas escolares, ao passo que, no contexto espanhol, predomina uma comunidade científica que, desde um ponto de vista sistêmico, estuda as boas práticas sob o prisma da construção de uma escola eficaz.

Este artículo aborda la literatura académico-científica sobre las buenas prácticas escolares desde una perspectiva panorámica, enfocando la producción científica en el espacio iberoamericano. Se trata de una investigación sobre el estado del conocimiento, resultante de rigoroso relevamiento bibliográfico, en el que se identifican concepciones subyacentes, tendencias y principales abordajes en la literatura estudiada. Se constata, en el contexto luso-brasileño, la tendencia de una discusión politizada y cuestionadora de los referentes ideológicos subyacentes a las buenas prácticas escolares, al paso que, en el contexto español, predomina una comunidad científica que, desde un punto de vista sistémico, estudia las buenas prácticas bajo el prisma de la construcción de una escuela eficaz.

This article discusses academic and scientific literature regarding good school practices in a panoramic perspective, focusing on the scientific production in the Ibero-American context. It is a study on the state of knowledge, resulting from a thorough bibliographic survey to identify underlying concepts, trends and main approaches in the literature studied. In the Luso-Brazilian context there is the tendency of a politicized and probing discussion of the underlying ideological references to good school practices, whereas, in the Spanish context, there is a predominance of a scientific community which, based on a systemic point of view, studies the best practices under the prism of the construction of an effective school.

Políticas de avaliação em larga escala e institucional: perfil da produção na pós-graduação

Este artigo apresenta análise da produção na área da política educacional, realizada em Programas de Pós-Graduação em Educação brasileiros, com foco na avaliação em larga escala e institucional. Foram examinados resumos de 81 teses e dissertações elaboradas no período de 2000 a 2010. Observou-se interesse crescente nessa temática, ainda que muito incipiente e disperso entre os programas de pós-graduação, as linhas de pesquisa e os orientadores. Foi constatada a inexistência de estudos comparados, tanto em nível nacional como internacional, bem como grande concentração de estudos nas regiões Sudeste e Sul, reiterando a presença de diferenças na produção e distribuição de conhecimento na área da educação. Identificaram-se problemas na redação dos resumos, pela pouca objetividade e ausência de informações básicas. Poucos mencionam referenciais teóricos, indicando fragilidade na produção de conhecimento na área diante do vigor das políticas em avaliação educacional.

Este artículo presenta un análisis de la producción en el área de la política educacional, realizada en Programas brasileños de Postgrado eN Educación, que enfocan la evaluación en larga escala e institucional. Se examinaron resúmenes de 81 tesis y disertaciones elaboradas en el período del 2000 al 2010. Se observó un creciente interés en dicha temática, aunque muy incipiente y disperso entre los programas de postgrado, las líneas de investigación y los tutores. Se constató la inexistencia de estudios comparados, tanto a nivel nacional como internacional, así como una gran concentración de estudios en las regiones Sudeste y Sur, reiterando la presencia de diferencias en la producción y distribución de conocimiento en el área de la educación. Se identificaron problemas en la redacción de los resúmenes, en función de la poca objetividad y ausência de informaciones básicas. Pocos mencionan referentes teóricos, indicando fragilidad en la producción de conocimiento en el área frente al vigor de las políticas en evaluación educacional.

This article analyzes the production in the area of educational policies, conducted in Brazilian Graduate Programs in Education, focusing on largescale and institutional evaluation. Eighty-one theses and dissertations, developed during the period from 2000 to 2010 were examined. Growing interest in this topic was observed, although in the early stages and dispersed among the graduate programs, research lines and advisors. No comparative studies were found, either at the national or the international levels. In addition, a large concentration of studies in the southern and southeastern regions was found, reiterating the presence of differences in the production and distribution of knowledge in the area of education. Problems in the texts of the abstracts were identified regarding the scarce objectivity and lack of basic information. Few studies indicate theoretical references, showing weakness in the production of knowledge in the area in the face of the strength of educational evaluation policies.

Avaliação em larga escala em municípios brasileiros: o que dizem os números? ^*

O artigo, que se organiza em quatro seções, apresenta resultados de pesquisa que teve por objetivos mapear e caracterizar iniciativas relacionadas às avaliações em larga escala em desenvolvimento nos municípios brasileiros. Inicialmente, expõe-se uma síntese de estudos já produzidos sobre a temática e, em seguida, são explicitado os procedimentos metodológicos do estudo. Na terceira seção, discutem-se resultados obtidos na fase preliminar do survey, que abarcam manifestações obtidas de 4.309 municípios. Por fim, são apontadas conclusões acerca de concepções presentes nas avaliações propostas pelos municípios e dos usos dos resultados que as gestões desses entes federados fazem das diversas avaliações existentes, que evidenciam a consolidação da avaliação em larga escala como instrumento de gestão educacional nas municipalidades.

El artículo, que se organiza en cuatro secciones, presenta resultados de una investigación que tuvo el objetivo de mapear y caracterizar iniciativas relacionadas con las evaluaciones en gran escala que se llevan a cabo en los municipios brasileños. Inicialmente, expone una síntesis de estudios ya realizados sobre la temática y luego explicita los procedimientos metodológicos del presente estudio. En la tercera sección, discute resultados que se obtuvieron en la fase preliminar del survey, que abarcan manifestaciones recogidas en 4.309 municipios. Por fin, presenta conclusiones acerca de concepciones presentes en las evaluaciones propuestas por los municipios y de los usos de los resultados que las gestiones de dichos entes federados hacen de las diversas evaluaciones existentes, que ponen de manifiesto la consolidación de la evaluación en gran escala como instrumento de gestión educacional en las municipalidades.

The article, organized in four sections, presents results of a study that aimed to map and characterize initiatives related to large-scale assessment in development in Brazilian municipalities. Initially, it presents a synthesis of studies already available on the subject, and then explains the methodological procedures of the study. In the third section, it discusses results obtained in the preliminary phase of the survey, which covers events from 4,309 municipalities. Finally, it draws conclusions about the concepts present in the reviews proposed by municipalities and how the results of the various existing evaluations are used by the administration of these federated entities, which highlight the consolidation of large-scale evaluation as a tool for educational management in the municipalities.

Percurso histórico do Saresp e as implicações para o trabalho pedagógico em sala de aula

O objetivo deste trabalho é identificar a trajetória da implantação do Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp) e analisar suas possíveis repercussões na orientação da organização do trabalho pedagógico. Para tanto, foram utilizadas pesquisas bibliográfica e documental. Como resultados, identificamos as seguintes implicações e consequências para o trabalho pedagógico em sala de aula: utilização do Saresp como critério de aprovação (ou não) em final de ciclo escolar; utilização como modelo para elaboração de novas provas; realização do treinamento dos alunos por parte dos professores para a avaliação; utilização da avaliação externa como avaliação da aprendizagem; direcionamento e controle do trabalho docente; comercialização de notas; foco estritamente nos componentes curriculares; currículo prescrito; regulação do trabalho docente e limitação da autonomia do professor em sala de aula.

El objetivo de este trabajo es identificar la trayectoria de la implantación del Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp) y analizar sus posibles repercusiones en la orientación de la organización del trabajo pedagógico. Para ello, abordamos las principales implicaciones y consecuencias de esta evaluación en el trabajo pedagógico en el aula: la utilización del Saresp como criterio de aprobación (o no) al final del ciclo escolar; su utilización como molde para la elaboración de nuevas pruebas, realización de entrenamientos de los alumnos por parte de los profesores para realizar la evaluación; evaluación externa utilizada como evaluación de aprendizaje; direccionamiento y control del trabajo docente; comercialización de notas; abordaje estricto en los componentes curriculares; currículo prescrito; regulación del trabajo docente y limitación de la autonomía del profesor en el aula.

This study aims to identify the implementation path of the Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo [School Performance Evaluation System of the State of São Paulo] (Saresp) and to analyze the possible repercussions to guide the organization of the pedagogic work. The methodology used was bibliographical and documentary research. As a result, we have identified the following implications and consequences for educational work in the classroom: use of Saresp as a criterion for approval (or not) at the end of school year; use as a model for the development of new evidence; completion of student training by teachers to carry out the evaluation; external evaluation being used as learning evaluation; guidance and control of the teaching profession; grade commercialization; strict focus on curriculum components; prescribed curriculum; regulation of the teaching profession and limitation of teacher autonomy in the classroom.

Implicações das avaliações externas para o trabalho docente coletivo

Este trabalho sistematiza parte dos resultados de uma pesquisa financiada pelo CNPq/ Capes, que se propõe a analisar, entre outros aspectos, como as avaliações externas, em especial o Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp), estão afetando o planejamento e os encaminhamentos das aulas de trabalho pedagógico coletivo de uma escola estadual paulista no que se refere à discussão do projeto político-pedagógico. Os dados sistematizados derivam da análise de pautas e atas referentes ao trabalho docente coletivo desenvolvido em 2014, bem como de um encontro no qual se discutiram os índices obtidos pela escola nas avaliações externas. Os resultados evidenciam que a preocupação com as metas e índices se sobrepõe à discussão da proposta pedagógica, esvaziando o trabalho docente coletivo de seu sentido articulador e integrador.

Este trabajo sistematiza parte de los resultados de una investigación financiada por el CNPq/ Capes, que se propone analizar, entre otros aspectos, cómo las evaluaciones externas, en especial el Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (Saresp), están afectando la planificación y los encaminamientos de las clases de trabajo pedagógico colectivo de una escuela estadual paulista en lo que se refiere a la discusión del proyecto político-pedagógico. Los datos sistematizados derivan del análisis de pautas y actas referentes al trabajo docente colectivo desarrollado en 2014, así como de un encuentro en el que se discutieron los índices que la escuela obtuvo en las evaluaciones externas. Los resultados ponen de manifiesto que la preocupación con las metas e índices se superpone a la discusión de la propuesta pedagógica, retirando del trabajo docente colectivo su sentido articulador e integrador.

This research systematizes part of the results of a study financed by the CNPq/ Capes. It aims to analyze, among other aspects, how external evaluations, especially the Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo [School Performance Evaluation System in the State of São Paulo] (Saresp), affect the planning and the orientation of classes on collective pedagogical work in a public school, and on the discussion of the pedagogical-policy project. The systematized data are derived from the analysis of records and schedules of the collective teaching work developed in 2014, as well as from a meeting in which the indices obtained by the school in external evaluations were discussed. The results show that the concern with the goals and indices overshadows the discussion of the pedagogical proposal, draining the collective teaching work of its articulating and integrating meaning.

Comissão Própria de Avaliação: dois lados de uma mesma moeda

Este artigo, que apresenta um estudo de caso realizado na Universidade Federal de São Carlos, tem a intenção de analisar e compreender se a auto avaliação institucional desenvolvida pela Comissão Própria de Avaliação se aproxima da perspectiva regulatória ou da emancipatória. Para tal, a pesquisa documental e o levantamento bibliográfico foram utilizados neste trabalho. Concluiu-se que o processo de avaliação institucional demanda tempo, gera trabalho, conflito e nem toda a comunidade acadêmica percebe a importância desse tipo de avaliação para a gestão institucional. A Comissão mostrou ter dificuldade em discutir os resultados da avaliação institucional com a comunidade em virtude do pouco tempo estabelecido pela regulamentação, de forma que a auto avaliação institucional desenvolvida pela universidade aproxima-se, em alguns momentos da avaliação regulatória e, em outros, da avaliação emancipatória.

Este artículo, que presenta un estudio de caso realizado en la Universidad Federal de São Carlos, tiene la intención de analizar y comprender si la autoevaluación institucional desarrollada por la Comisión Propia de Evaluación se aproxima de la perspectiva regulatoria o de la emancipadora. Para ello, la investigación documental y el relevamiento bibliográfico se utilizaron en este trabajo. Se concluyó que el proceso de evaluación institucional demanda tiempo, genera trabajo, conflicto y no toda la comunidad académica percibe la importancia de este tipo de evaluación para la gestión institucional. La Comisión mostró dificultad para discutir los resultados de la evaluación institucional con la comunidad en virtud del poco tiempo establecido por la reglamentación, de forma que la autoevaluación institucional desarrollada por la universidad se aproxima en algunos momentos de la evaluación regulatoria y, en otros, de la evaluación emancipadora.

This article, which presents a case study at the Federal University of São Carlos, aims to analyze and understand if the institutional self-evaluation developed by the Self-Evaluation Commission presents either a regulatory or emancipatory perspective. Thus, this study used documentary research and bibliographical survey. It was concluded that the institutional evaluation process demands time, generates work, conflict and not all the academic community understands the importance of this type of evaluation for institutional management. The Commission had difficulty in discussing the institutional evaluation results with the community due to the short time allotted by the regulation. Therefore, the institutional self-evaluation developed by the university at times approaches regulatory and, at others, emancipatory evaluation.

Ensino médio inovador: ressignificações de educação de qualidade em contextos locais

Neste artigo, apresentamos uma pesquisa realizada com docentes de duas escolas públicas de ensino médio do estado do Ceará sobre os sentidos atribuídos à qualidade na educação a partir das ações do Programa Ensino Médio Inovador. Com base na concepção de ciclo de políticas de Ball e Bowe (1998), entendemos que as políticas educacionais são produções de significações curriculares desenvolvidas em múltiplos contextos. Rompendo com a polarização dicotômica entre política e prática, buscamos superar a compreensão da escola como local somente de resistência ou de implementação da política, já que os documentos do Ministério da Educação, mesmo que aceitos pela escola, são reelaborados, traduzidos, ressignificados na cultura escolar. Assim, as ressignificações efetivadas nas escolas se diferenciam de acordo com o grau de reconhecimento, com a credibilidade da instituição e de sua relação com a comunidade escolar, com os órgãos diretivos e com sua própria história.

En este artículo presentamos una investigación realizada con docentes de dos escuelas públicas de educación media del estado de Ceará sobre los sentidos atribuidos a la calidad en educación a partir de las acciones del Programa Ensino Médio Innovador [Programa Educación Media Innovadora]. En base a la concepción del ciclo de políticas de Ball y Bowe (1998), entendemos que las políticas educacionales son producciones de significaciones curriculares desarrolladas en múltiples contextos. Rompiendo con la polarización dicotómica entre política y práctica, buscamos superar la comprensión de la escuela como sitio solamente de resistencia o de implementación de la política, ya que los documentos del Ministerio de Educación, aunque aceptados por la escuela, son reelaborados, traducidos, resignificados en la cultura escolar. Así, las resignificaciones efectuadas en las escuelas se diferencian de acuerdo con el grado de reconocimiento, la credibilidad de la institución y su relación con la comunidad escolar, con los órganos directivos y con su propia historia.

In this article, we present a survey carried out with teachers from two secondary public school in the State of Ceará about the meanings assigned to quality education grounded in the actions of the Programa Ensino Médio Inovador [Secondary School Innovative Program]. Based on the concept of policy cycle approach of Ball and Bowe (1998), we believe that educational policies are products of curricular meanings developed in multiple contexts. Breaking with the dichotomous polarization between policy and practice, we seek to overcome the understanding of school only as a place of policy resistance or implementation, since the documents of the Ministry of Education, even if accepted by the school, are rewritten, translated, and redefined in school culture. Thus, the redefinitions that occur in schools differ according to the degree of recognition, institution credibility and its relationship with the school community, directors and its own history.

Conselho de classe: que colegiado é esse?

O Conselho de Classe é uma das instâncias colegiadas da escola. A fim de apreender a forma como essa instância é abordada nas pesquisas discentes realizadas no âmbito dos programas de pós-graduação stricto sensu, este estudo analisou resumos de pesquisas presentes no Banco de Teses da Capes. Os resultados indicam que, na década de 2002 a 2011, dez pesquisas o tomaram como objeto central de investigação e 57 fizeram referência a ele, considerando-o um dos espaços de coleta de dados ou o destacando em seus conceitos e suas conclusões. A análise dos resumos das 67 pesquisas demonstra a centralidade da avaliação discente nesse colegiado, bem como a proximidade entre ele e a gestão democrática. Aponta também a pulverização de outras problemáticas investigadas nesse Conselho, indicando que houve um processo de ampliação de sua prática e da percepção que se tem dele.

El Consejo de clase es una de las instancias colegiadas de la escuela.A fin de aprehender la forma en la que esa instancia es evaluada en las investigaciones discentes realizadas en el ámbito de los programas de postgrado stricto sensu, este estudio analizó resúmenes de investigaciones presentes en el Banco de Tesis de Capes. Los resultados indican que, en la década del 2002 al 2011, diez investigaciones lo tomaron como objeto central de investigación y 57 hicieron referencia a él, considerándolo como uno de los espacios de recogida de datos o destacándolo en sus conceptos y conclusiones. El análisis de los resúmenes de las 67 investigaciones demuestra la centralidad de la evaluación discente en este colegiado, así como la proximidad entre él y la gestión democrática. Señala asimismo la pulverización de otras problemáticas investigadas en dicho Consejo, indicando la necesidad de ampliar su práctica y la percepción que de él se tiene.

The class Council is one of the collegiate associations. In order to understand how this association is evaluated in students' surveys carried out within the stricto sensu graduate programs, this paper analyzed study briefs in CAPES Thesis Library. The results indicate that, from 2002 to 2011, ten studies focused on this assessment as the central object of investigation and 57 made reference to it, considering it one of the places of data collection or highlighting it in its concepts and conclusions. The analysis of the abstracts of the 67 studies demonstrates the centrality of students' assessment in this association as well as its proximity to democratic management. It also shows the fragmentation of other issues investigated by this Council, indicating the need to expand its practice and its perception by others.

A correção como processo avaliativo: diferentes percepções em diálogo

A principal finalidade desta pesquisa é problematizar as percepções que professores e alunos têm dos objetivos da prática da correção dos exercícios nos cadernos de alunos do ensino fundamental I. Partiu-se, para isso, de um quadro teórico que conciliou estudos nos campos da didática e da avaliação, no intuito de compreender as relações entre os feedbacks e as regulações das aprendizagens dos alunos. Por esse viés, foi relevante, também, refletir sobre a articulação entre os saberes repetidos e os saberes construídos pelos professores. Para além de apresentar formas e concepções de origens empíricas, essas questões foram problematizadas como práticas que reclamam revisão teórica e análises mais apuradas. Trata-se, portanto, de uma investigação que permite interpretar, compreender, questionar e sugerir novos caminhos para uma prática da correção a serviço da avaliação formativa.

La principal finalidad de esta investigación es problematizar las percepciones que profesores y alumnos tienen de los objetivos de la práctica de la corrección de los ejercicios en los cuadernos de alumnos de la educación básica I. Por lo tanto, se partió de un cuadro teórico que concilió estudios en los campos de la didáctica y de la evaluación con el propósito de comprender las relaciones entre los feedbacks y las regulaciones de los aprendizajes de los alumnos. Desde este ángulo también fue relevante reflexionar sobre la articulación entre los saberes repetidos y los saberes construidos por los profesores. Más allá de presentar formas y concepciones de orígenes empíricos, dichas cuestiones fueron problematizadas como prácticas que demandan revisión teórica y análisis más profundos. Así, se trata de una investigación que permite interpretar, comprender, cuestionar y sugerir nuevos caminos para una práctica de la corrección al servicio de la evaluación formativa.

The main purpose of this study is to problematize the perceptions that teachers and students have of the objectives of the practice of correcting exercises in students' notebooks in elementary school I. It is, therefore, based on a theoretical framework that reconciles studies in the fields of instruction and evaluation, in order to understand the relationships between feedback and regulation of students' learning. From this perspective, it was also relevant to reflect on the articulation between knowledge repeated or constructed by teachers. In addition to presenting forms and conceptions of empirical origins, these issues were problematized as practices that demand more thorough theoretical revision and analysis. Therefore, this deals with an investigation that allows interpretation, understanding, questioning and suggestion of new paths to a practice of correction for the purpose of formative evaluation.

Avaliação da pós-graduação no Brasil: entrevista com o professor Livio Amaral

Nesta entrevista, o professor Livio Amaral, que ocupou o cargo de Diretor de Avaliação da Capes no período de 2009 a 2015, aborda questões sobre a validade e fidedignidade da avaliação da pós-graduação, as críticas à visão predominantemente quantitativa do modelo de avaliação adotado, bem como da relação entre a boa produtividade dos professores, aferida por meio de sua produção bibliográfica, e a nota obtida pelos programas de pós-graduação.

En esta entrevista, el profesor Livio Amaral, que ocupó el cargo de Director de Evaluación de la Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) en el periodo comprendido entre el 2009 al 2015, aborda cuestiones relativas a la validez e confiabilidad de la evaluación del postgrado, críticas a la visión predominantemente cuantitativa del modelo de evaluación adoptado, así como la relación entre la buena productividad de los profesores, verificada por medio de su producción bibliográfica y la nota obtenida por los programas de postgrado.

In this interview, professor Livio Amaral, who held the position of Director of the Coordenação de Aperfeiçoamento de Pessoal de Nível Superior [Evaluation of the Coordination for the Improvement of Higher Education Personnel] (Capes) from 2009 to 2015, addresses questions about the validity and reliability of the evaluation of graduate programs, the criticism towards the predominantly quantitative view of the evaluation model adopted, as well as the relationship between the good productivity of professors, measured through their bibliographic production, and the grade obtained by graduate programs.