Estudos em Avaliação Educacional

Avaliação Institucional: processo descritivo, analítico ou reflexivo?

Este artigo discute, de modo crítico, o modelo amplamente utilizado na avaliação institucional como um survey que gera dados quantitativos, analisados em relação a padrões pré-estabelecidos. Ressalta, ainda, que os procedimentos, nessas avaliações institucionais, têm um caráter muitas vezes genérico, os quais limitam os objetivos da própria avaliação, por gerarem valores numéricos que nem sempre refletem a múltipla realidade das universidades. A partir de considerações metavaliativas, o trabalho procura colocar o problema em termos de uma ação que considera a universidade na sua totalidade sociocultural, educacional, ética e científica; dimensões que, no seu conjunto, muitas vezes são ignoradas. O artigo ressalta a necessidade de considerada a universidade na sua organicidade e, para atingir a essa finalidade, a sua avaliação deve considerar outros modelos, como os reflexivos-interpretativos e os reflexivos-participativos. Ao final, são feitas algumas colocações sobre a influência das dinâmicas sociais e dos contextos internos e externos em relação às universidades, que não são instituições endogênicas, e também é discutida a necessidade da formação de avaliadores especializados para essa área específica da avaliação institucional.

This article discusses critically the widely-used model in institutional evaluation as a survey that generates quantitative data which are analyzed in relation to pre-established patterns. It emphasizes that in those institutional evaluations the procedures are often of a generic character, which restricts the aims of the evaluation itself as the numbers produced do not always mirror the multiple reality of the universities. Through meta-evaluative considerations, this paper seeks to focus on the problem in terms of an action which considers university in its socio-cultural, educational, ethic and scientific entirety - dimensions which, as a whole, are usually ignored. It highlights the need to consider university in its organicity, and points out that to achieve this goal its evaluation must take into consideration other models, such as the reflexive-interpretative and the reflexive-participative models. The article concludes with some points about the influence of social dynamics as well as of internal and external contexts on universities, which are not endogenous institutions. It is also argued that there is a need to train specialized evaluators for this specific area of institutional evaluation.

Estatísticas Educacionais e Cor/Raça na Educação Infantil e no Ensino Fundamental: um balanço

O artigo descreve e analisa a produção, divulgação e interpretação de estatísticas educacionais desagregadas por cor/raça. Efetua um balanço dos principais instrumentos de coleta de estatísticas educacionais sob responsabilidade das duas principais instituições de coleta de estatísticas educacionais: o Instituto Brasileiro de Geografia e Estatística (IBGE) e o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Nesta empreitada, destaca a recente introdução do quesito cor/raça no Censo Escolar de 2005, apontando equívocos tanto nos objetivos perseguidos quanto nos procedimentos adotados. O argumento principal é que o Censo Escolar não constitui instrumento compatível com a unidade de coleta aluno/matrícula, que as instruções para o preenchimento da informação foram confusas e desrespeitaram o direito de crianças e adolescentes de expressarem sua identidade étnico-racial.

The article describes the production, dissemination and interpretation of educational statistics disaggregated by color/race. It analyzes the two main educational statistics collection instruments, under the responsibility of the two major institutions that collect educational statistics: the Instituto Brasileiro de Geografia e Estatística (the Brazilian Institute of Geography and Statistics - IBGE) and the Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (National Institute for Educational Studies and Research Anísio Teixeira - Inep). This article highlights the color/race questionnaire item introduced into the School Census in 2005, pointing out the mistakes in the goals pursued, as well as the procedures adopted. The main argument is that the School Census is not an instrument compatible with the student/enrollment collection unit and that the instructions for filling out the information were confusing and did not respect the right of children and adolescents to express their ethnic-racial identity.

Proposta de análise de itens das provas do SAEB sob a perspectiva pedagógica e a psicométrica

O presente artigo é resultante de uma pesquisa que teve por objetivo analisar os itens das provas de Matemática - 8ª série -, do Sistema Nacional de Avaliação da Educação Básica (Saeb), dos anos de 1997 e 1999, considerando-se os seus aspectos qualitativos e quantitativos. Os aspectos qualitativos foram analisados por meio da análise da validade de conteúdo e dos procedimentos efetivos da elaboração dos itens. Os aspectos quantitativos foram analisados, considerando-se as propriedades estatísticas, as quais incluíram procedimentos de análise da Teoria Clássica dos Testes (TCT) e da Teoria de Resposta ao Item (TRI). As análises realizadas mostraram que as avaliações de desempenho, principalmente as de larga escala, devem levar em conta os aspectos psicométricos e pedagógicos dos itens de forma integrada, sem privilégio de nenhuma delas. Dessa forma, constata-se que há uma maior compreensão dos resultados dessas avaliações, os quais poderão reverter em políticas mais adequadas de intervenção na busca da melhoria da qualidade da educação, propósito final do Saeb.

This article is the result of a study that aimed at analyzing the items of 8th grade mathematics tests from the National Basic Education Evaluation System (Saeb), between 1997 and 1999, considering both their qualitative and quantitative aspects. The qualitative aspects were analyzed using content validity analysis and effective item elaboration procedures. The quantitative aspects were analyzed considering statistical properties, including Classical Test Theory (CTT) and Item Response Theory (IRT) analysis procedures. The analyses revealed that performance evaluations, mainly wide-scale ones, should take both psychometric and pedagogical aspects of the items into consideration. When these analyses are carried out in an integrated way, without privileging either one of them, a greater comprehension of the teaching-learning process is achieved and the results can be converted into more adequate intervention policies to improve the quality of education, SAEB´s ultimate purpose.

Avaliação de Língua Portuguesa do SAEB: da leitura ao letramento

Neste artigo, é discutida a avaliação de Língua Portuguesa do Sistema Nacional de Avaliação da Educação Básica - Saeb, para torná-la mais efetiva no que diz respeito à obtenção de dados que subsidiam as políticas públicas sobre a educação básica do país. Essa discussão evidencia a importância da leitura e da escrita para a construção de um processo de letramento, tendo em vista que essas duas atividades se complementam e, portanto, não podem ser vistas dicotomicamente como práticas isoladas, mas como atividades integradas e complementares. Dessa forma, são tratados os gêneros textuais que perpassam as avaliações do Saeb e que dão suporte aos itens das provas de Língua Portuguesa, de 2001 e 2003, para, então, proceder-se à análise comparativa desses testes, tendo por objetivo verificar se o Saeb avalia ou não o processo de letramento ou se está restrito a uma avaliação da leitura. São apresentadas algumas sugestões no sentido de contribuir para a ampliação da proposta do Saeb como sistema que deve avaliar o nível de letramento escolar dos alunos da educação básica brasileira.

This article discusses the Portuguese Language test of the National Basic Education Evaluation System (Saeb) so it will yield more effective data to inform basic education public policies in Brazil. The discussion points out the importance of reading and writing in the process of mastering the Portuguese language, highlighting that these activities are complementary, and cannot be treated separately. Thus the textual genres that are used in order to give support to the Portuguese language questions in the Saeb tests are discussed, followed by a comparative analysis of these tests in the years 2001 and 2003, aiming at checking if Saeb does or does not evaluate the acquisition process, or whether it is restricted to evaluating reading skills. Some suggestions are put forward to contribute to widen the scope of Saeb proposal as a system that is really concerned with measuring the level of language acquisition of Brazilian students in elementary school.

Vergonha e práticas avaliativas

Tendo por objetivo conhecer os sentidos produzidos pelos alunos sobre a avaliação escolar, parti de minha experiência como professora e coordenadora do Ensino Fundamental para observar as relações que se estabelecem entre professores e alunos e entre alunos e alunos. A pesquisa foi dividida em duas partes: na primeira, encontra-se o relato de situações cotidianas nas quais pais, professores e alunos protagonizam conflitos que envolvem a avaliação escolar. Na segunda, alunos do 4º ano do Ensino Fundamental produzem sentidos sobre a avaliação escolar durante entrevistas. Para analisar as situações e as entrevistas utilizei concepções desenvolvidas por estudiosos do cotidiano escolar, entre eles José Mario Azanha e Marli André. Além disso, as idéias de linguagem e de discurso apresentadas por Mikhail Bakhtin e revistas por Mary Jane Spink foram essenciais para o desvelamento dos discursos infantis. Dentre outras coisas, foi possível encontrar, nas vozes dos alunos, o desenvolvimento do sentimento de vergonha, e esse é o tema principal deste artigo. Para isso, o estudo de Yves de La Taille sobre a vergonha e sua relação com a construção do valor de si foi um dos principais referenciais teóricos utilizados.

Aiming at getting to know the meanings produced by students on school evaluation, I used my experience as a teacher and coordinator in elementary schools in order to observe the relationships between teachers and students and among students, having as a backdrop questions involving school evaluation. The research was divided into two parts: in the first part, we find the account of everyday situations in which parents, teachers and students are involved in conflicts concerning school evaluation. In the second part, students in the 4th grade of elementary school produce meanings about school evaluation during interviews. In order to analyze the situations and the interviews, I made use of notions developed by specialists in school routine, among them José Mário Azanha and Marli André. Also, the ideas about language and discourse presented by Mikhail Bakhtin and reviewed by Mary Jane Spink were essential to unveil the children´s discourse. Among other things, it was possible to depict the development of a feeling of shame in the children´s voices, this being the main theme of this article. One of the main theoretical references was Yves de La Taille´s study on shame and its relation to the building of ones own value.

Fatores que dificultam a transformação da avaliação na escola

O presente trabalho teve por objetivo identificar os fatores que dificultam a prática avaliativa no interior da escola. O estudo criterioso dos dados coletados, em confronto com o referencial teórico, possibilitou constatar que os professores: a) têm grande dificuldade em diferenciar a avaliação da aprendizagem das ações de testar e medir, o que transforma o processo avaliativo em um momento estanque e frenador do processo ensino-aprendizagem; b) apresentam grande dificuldade em compreender a avaliação da aprendizagem em uma perspectiva diagnóstico-formativa, mas a mantém restrita a uma prática classificatória e sentenciosa, que pouco contribui para a progressão continuada do aluno na apropriação do saber; c) têm grande dificuldade em atuar coletivamente, respeitando as individualidades e balizando suas ações e intervenções pedagógicas nas necessidades e dificuldades manifestas pelos alunos; d) necessitam aprofundar-se teoricamente na temática, para melhor orientar as novas formas de avaliar, tornando o ato de avaliar mais participativo e dinâmico.

This paper aims at identifying the factors that make assessment difficult inside schools. A close analysis of the data collected followed by a confrontation with the theoretical framework, showed that teachers: a) encounter great difficulty in differentiating between learning evaluation and the procedures of testing and measuring, which turns the evaluation process into a static and hindering moment of the teaching-learning process; b) find it difficult to understand learning evaluation from a diagnostic-formative perspective, rather they restrict it to a classifying and sentential practice, with hardly any contribution to a student´s continuous progression in his appropriation of knowledge; c) find it extremely difficult to act collectively, showing respect for students´ individualities and gearing their own pedagogical actions and interventions according to their students´ needs and difficulties; d) need to tap deeper into the topic´s theoretical framework so as to come up with better manners of evaluation, making assessment a more participative and dynamic process.

Efeito do perfil do diretor na gestão escolar sobre a proficiência do aluno

Este trabalho apresenta os resultados de um estudo que procura avaliar a associação dos perfis dos diretores das escolas estaduais mineiras com os rendimentos dos alunos que participaram do Programa de Avaliação da Educação Básica do Sistema Mineiro de Avaliação Educacional - Proeb/Simave - 2002. A identificação dos perfis dos diretores, classificados a partir de três tendências na gestão escolar - a gerencial, a tradicional e a democrática -, realizada com a utilização de métodos baseados em estatísticas multivariadas, como análise fatorial e análise de agrupamentos, constituiu o objetivo principal de um estudo anterior, a partir do qual foi possível aprofundar as reflexões aqui desenvolvidas, buscando associar aqueles resultados com os dados relativos à proficiência dos alunos obtidos através do Proeb. Utilizando técnicas de regressão hierárquica, os resultados sugerem uma associação do diretor, caracterizado como plenamente democrático, com uma maior proficiência em Língua Portuguesa do aluno da escola.

Abstract This paper presents the results of a study that intends to analyze the association between the profiles of headmasters at the Minas Gerais State schools and student proficiencies achieved in Proeb/Simave - 2002 (the Minas Gerais program of basic education assessment sponsored by the State Secretary of Education). An identification of the profiles according to three tendencies in school management - managerial, traditional and democratic - was carried out with the use of multivariate statistics, such as factor analysis and cluster analysis, and was the main objective of a previous study, which this study continues in order to associate those results with student proficiency achieved in Proeb. Building hierarchical models, the results suggest that a headmaster´s fully democratic profile is associated with higher student proficiency in the Portuguese language.

Portfólio: aproximando o saber e a experiência

O presente trabalho relata e discute dados referentes a uma pesquisa-ação de caráter qualitativo cujos objetivos foram analisar e compreender a prática do professor, seus saberes, suas experiências e suas reflexões acerca da avaliação da aprendizagem ativada no contexto didático; discutir, propor e operacionalizar formas de avaliação, inseridas no processo didático; implementar e analisar os possíveis usos do portfólio como ferramenta de avaliação. Nesta investigação, professores atuantes no ensino básico, coordenadores e supervisores compuseram a amostra. A metodologia foi a de oficinas para discutir a avaliação no cotidiano escolar, mini-cursos para oferecer suporte para as atividades avaliativas implementadas e análise reflexiva sobre a própria prática. Focalizamos o potencial formativo das oficinas e das reflexões oportunizadas para a formação continuada do professor. Destacamos ainda a importância e a riqueza do uso dos portfólios como ferramenta de avaliação, bem como as dificuldades que devem ser superadas para sua utilização.

This paper reports on and discusses data related to a qualitative research-action, the aim of which was to analyze and understand teacher practice, their knowledge, their experiences and their reflections on learning assessment in a didactic context; to discuss, suggest and put into operation forms of evaluation in a didactic process, as well as implement and analyze possible uses of portfolio as an evaluation tool. In this study, teachers active in basic education, coordinators and supervisors made up the sample. The methodology used was workshops to discuss evaluation in daily school life, mini-courses to offer support for implemented evaluation activities and a reflexive analysis on their own practices. We focus on the training potential of the workshops and on the ensuing reflections for the teachers´ continuing education. We also point out the relevance and richness of using portfolios as an evaluation tool, as well as the difficulties that must be overcome for them to be used efficiently.

1ª Reunião Anual - 11-12 de maio de 2006 - Belo Horizonte - Hotel Othon Palace