Estudos em Avaliação Educacional

Teacher performance assessment: a formative experience for students and teachers

O presente trabalho apresenta e discute uma experiência bem-sucedida de avaliação formativa no contexto do ensino superior. Ao inverter a posição tradicional do avaliador-professor e do avaliado-estudante, ele trata da avaliação do desempenho docente realizada pelo aluno como uma experiência formativa para ambos. O projeto avaliativo é desenvolvido há cerca de três anos em uma faculdade de direito da cidade de São Paulo e recorre a três métodos distintos: entrevista reflexiva coletiva, questionário e legitimação (ressignificação) dos resultados. A experiência tem se mostrado valiosa para educadores e alunos que, além de participarem de forma ativa das reflexões acerca da faculdade, podem fazer escolhas em suas trajetórias acadêmicas com base nas avaliações realizadas. Apesar de o presente trabalho evidenciar a importância da participação dos estudantes, dele é possível depreender que a avaliação do desempenho docente não deve ser realizada exclusivamente pelo aluno, devendo ser combinada a avaliações por pares, à autoavaliação do professor e à avaliação de outros tipos de atividade docente que não exclusivamente aquelas relacionadas às situações de sala de aula.

Este trabajo presenta y discute una experiencia exitosa de evaluación formativa en el contexto de la enseñanza superior. AI invertir la posición tradicional del evaluador-profesor y del evaluado-estudiante, trata de la evaluación del desempeño docente realizada por el alumno como una experiencia formativa para ambos. EI proyecto evaluativo se desarrolla desde hace aproximadamente tres anos en una facultad de Derecho de la ciudad de San Pablo y recurre a tres métodos distintos: entrevista reflexiva colectiva, cuestionario y legitimación (resigniflcación) de los resultados. La experiencia se ha mostrado valiosa para educadores y alumnos que, además de participar de forma activa de las reflexiones acerca de la facultad, pueden hacer elecciones en sus trayectorias académicas a partir de las evaluaciones realizadas. A pesar de que el presente trabajo pone en evidencia la importancia de la participación de los estudiantes, de él se desprende que la evaluación del desempeño docente no debe ser realizada exclusivamente por el alumno, debiendo ser combinada con evaluaciones realizadas por pares, con una auto-evaluación del profesor y con la evaluación de otros tipos de actividades docentes que no exclusivamente aquellas relacionadas con las situaciones que se dan en clase.

This article presents and discusses a successful experience of formative assessment within the higher education context. By inverting the traditional position of the teacher-evaluator and the student-evaluated, it addresses students' assessment of teacher's performance as a formative experience for both. 1he evaluative project has been under development for about three years at a law school of the city of São Paulo, and resorts to three distinct methods: collective reflexive interview, questionnaire, and legitimization (re-signiflcation) of results. 1he experience has shown to be valuable for educators and students, who, besides participating actively in reflections about the college, can make choices in their academic paths based on the assessments made. Although this study highlights the importance of student participation, it is possible to infer from it that teacher performance assessment should not be performed exclusively by students rather it should be combined with assessment by peers, with the teacher's self-assessment and with the assessment of other types of teaching activity not exclusively related to classroom situations.

An analysis of the practices of mathematics teachers in basic education

O estudo busca caracterizar as práticas docentes em Matemática com base nas informações obtidas com a aplicação de um questionário auto-administrado. O instrumento foi aplicado a uma amostra de 169 professores de matemática do ensino fundamental que lecionam em escolas públicas e particulares da cidade do Rio de Janeiro. Com o intuito de obter uma caracterização das escolas onde esses docentes atuam um segundo questionário foi aplicado a uma amostra de estudantes, possibilitando a obtenção do perfil socioeconômico e cultural médio dos alunos dessas escolas. Escalas do tipo Likert foram construídas e validadas para instigar professores a se posicionarem em relação às abordagens didáticas implementadas, à organização das aulas e aos procedimentos usados para avaliar formalmente os estudantes. Aos alunos foi solicitado que informassem sobre posse de bens, hábitos de estudo, escolaridade familiar. A análise, de natureza quantitativa, foi realizada, utilizando-se a teoria da resposta ao item não paramétrica. O modelo de medição, apoiado nas respostas aos itens sobre práticas pedagógicas em Matemática, definiu cinco escalas, com boas propriedades estatísticas.

EI estudio busca caracterizar las prácticas docentes en Matemática, teniendo como base las informaciones obtenidas con la aplicación de un cuestionario autoadministrado. EI instrumento se aplicó a una muestra de 169 profesores de matemática de enseñanza fundamental que trabajan en escuelas públicas y privadas de la ciudad de Rio de Janeiro. Con la intención de obtener una caracterización de las escuelas donde estos docentes actúan, se aplicó un segundo cuestionario a una muestra de estudiantes. Esto posibilitó la obtención del perfil socioeconómico y cultural medio de los alumnos de esas escuelas. Se construyeron escalas del tipo Likert para instigar a los profesores a tomar una posición con relación a los abordajes didácticos implementados, a la organización de las clases y a los procedimientos usados para evaluar formalmente a los estudiantes. Los alumnos debían informar sobre la posesión de bienes, los hábitos de estudio y la escolaridad familiar. EI análisis, de naturaleza cuantitativa, se realizó utilizando la teoría de la respuesta al ítem no paramétrica. EI modelo de mediación que tuvo en cuenta las respuestas a los ítems sobre prácticas pedagógicas en Matemática definió cinco escalas, con buenas propiedades estadísticas.

The study aims to describe teaching practices in Mathematics based on the information obtained by applying a self-administered questionnaire. This was submitted to a sample of 169 Mathematics teachers who teach at the elementary level in public and private schools in the city of Rio de Janeiro. In order to obtain a characterization of the schools where these teachers work, a second questionnaire was submitted to a sample of students, producing an average socio-economic and cultural profile of the students at these schools. Likert scales were constructed and validated to entice teachers to take a stand in relation to didactic approaches implemented, the organization of classes and procedures used to formally assess the students. These were asked to provide information on property ownership, study habits, family education. The quantitative analysis was performed using the theory of nonparametric item response. The measurement model supported in the responses to items about educational practices in Mathematics identified five scales with good statistical properties.

Academic strategies as alternatives to evaluating teacher performance

Este estudo tem por objetivo apresentar um modelo de avaliação de desempenho docente, considerando as estratégias acadêmicas constantes nos projetos pedagógicos dos cursos de graduação de uma faculdade privada no Estado de Santa Catarina. Neste contexto, procura-se evidenciar a importância de novos instrumentos de gestão para o sucesso das instituições de ensino superior, principalmente para um eficaz gerenciamento do corpo docente com base nas estratégias delineadas para consecução dos objetivos organizacionais. Os procedimentos metodológicos da pesquisa são do tipo exploratório, descritivo e avaliativo. O método utilizado é o histórico interpretativo e o modo de investigação o estudo de caso. O modelo proposto de avaliação com base no desempenho docente nas estratégias acadêmicas foi validado no Curso de Administração com ênfase em Administração Geral, Gestão de Sistemas de Informação, Comércio Exterior e Marketing da IES objeto do estudo, sendo importante frisar que permite analisar com detalhes a atuação de cada professor no alcance dos objetivos traçados pela instituição. Dessa forma, o referido modelo possibilita, aos administradores acadêmicos, maior embasamento para interferir efetivamente na realidade organizacional encontrada.

Este estudio tiene por objetivo presentar un modelo de evaluación del desempeño docente, considerando las estrategias académicas constantes en los proyectos pedagógicos de los cursos de graduación de una facultad privada del estado de Santa Catarina. En este contexto, intenta poner en evidencia la importancia de los nuevos instrumentos de gestión para el éxito de las instituciones de enseñanza superior, especialmente para una eficaz administración del cuerpo docente a partir de las estrategias delineadas para el logro de los objetivos organizacionales. Los procedimientos metodológicos de la investigación son de tipo exploratorio, descriptivo y evaluativo. Se utilizó el método histórico interpretativo y el modo de investigación fue un estudio de caso. El modelo propuesto de evaluación, con base en el desempeño docente en las estrategias académicas fue aplicado en el curso de Administración con énfasis en Administración General, Gestión de Sistemas de Información, Comercio Exterior y Marketing de la institución de enseñanza superior que fue objeto de estudio. Es importante subrayar que el trabajo permite analizar en detalle la actuación de cada profesor dentro de los objetivos trazados por la institución. De esta manera, el referido modelo posibilita a los administradores académicos, un mayor fundamento para intervenir efectivamente en la realidad organizacional encontrada.

This study aims to present a model for evaluating teacher performance, considering the academic strategies in the projects of teaching undergraduate courses in a private college in the state of Santa Catarina, Brazil. In this context, we seek to highlight the importance of new management tools for the success of institutions of higher education, especially for an efficient management of the faculty based on the strategies outlined for achieving organizational objectives. The methodological procedures of the study are exploratory, descriptive and evaluative. The method used is historical interpretative and the mode of investigation is a case study. The model proposed for assessing teacher performance based on academic strategies has been validated in the Course of Administration with emphasis on General Management, Management of Information Systems, International Business and Marketing at the institution under study. It is important to stress that this allows us to analyze in detail each teacher's performance in achieving the goals set by the institution. Thus, this model allows academic administrators to achieve a better basis to interfere effectively in the organizational reality evidenced.

Teacher assessment: a complex field

O artigo propõe uma reflexão sobre como a avaliação de docentes vem sendo colocada nas discussões da área de educação, lembrando que esses processos avaliativos possuem, em seus modelos e desenvolvimento, uma associação grande entre suas finalidades específicas em dadas situações e o conjunto de valores, atitudes e comportamentos dos próprios avaliadores. Diferencia os processos avaliativos de natureza educativa e os de natureza seletiva. Trata de aspectos relativos às novas tendências em avaliação de professores, destacando os processos avaliativos que têm como característica principal o de serem desenvolvidos na própria escola, no ambiente de atividades do professor, especialmente os de natureza participativa. Levanta aspectos necessários ao desenvolvimento de avaliações de professores em situação, de forma interativa, participativa, visando ao seu crescimento profissional.

EI artículo propone una reflexión sobre cómo la evaluación de docentes viene siendo colocada en las discusiones del área de educación. Es importante recordar que esos procesos evaluativos poseen, en sus modelos y desarrollo, una gran asociación entre sus finalidades específicas en determinadas situaciones y el conjunto de valores, actitudes y comportamientos de los propios evaluadores. Se diferencian los procesos evaluativos de naturaleza educativa y los de naturaleza selectiva. Se tratan aspectos relativos a las nuevas tendencias en la evaluación de profesores y se destacan los procesos evaluativos que tienen como característica principal el hecho de ser desarrollados en la propia escuela, en el ambiente de actividades del profesor, especialmente los de naturaleza participativa. Se ponen en evidencia aspectos necesarios al desarrollo de evaluaciones de profesores en situación, de forma interactiva, participativa, que tienen como objetivo el crecimiento del profesional.

This article proposes a reflection on how the assessment of teachers has been approached in discussions in the educational field, noting that such evaluation processes show, in their models and development, a large association between their specific purposes in given situations and the set of values, attitudes and behaviors of the evaluators themselves. It establishes a difference between educational and selective evaluative processes. It deals with issues relating to new trends in teacher assessment, highlighting the evaluative processes which have as their main feature the fact that they are developed at the school itself, in the environment of teachers' activities, especially the participatory ones. It raises issues needed to develop assessments of in-service teachers, in an interactive and participatory way, aiming their professional growth.

Development and validation of an instrument for evaluating courses in higher education

A avaliação educacional e, mais especificamente, a avaliação de disciplinas geram polêmicas no âmbito da educação superior, a começar pelos instrumentos utilizados. Este artigo tem por objetivo apresentar as etapas do processo de desenvolvimento e de validação de um instrumento de avaliação para disciplinas de graduação, utilizando técnicas oriundas da Psicometria. Elaborou-se um instrumento simples e pouco extenso que contemplasse três dimensões específicas: 1) aspectos gerais da disciplina; 2) ação de ensino do professor; e 3) auto avaliação (ação do aluno). Dentre as técnicas utilizadas no processo de validação, destacam-se a realização de reuniões com especialistas e o uso de técnicas estatísticas multivariadas de Análise Fatorial Confirmatória e Análise de Regressão. Os resultados obtidos com base em um conjunto de 151.220 instrumentos, preenchidos por 32.124 estudantes em três períodos letivos, revelaram que o instrumento proposto apresenta qualidades psicométricas desejáveis relativamente à sua validação e fidedignidade. Adicionalmente, sustenta-se que a avaliação de disciplinas não seja vista como um processo desconectado do projeto pedagógico institucional, contando com a participação de profissionais de diferentes áreas no desenvolvimento do instrumento e na condução do processo, com base em uma perspectiva de avaliação formativa, orientada à promoção da aprendizagem dos estudantes.

La evaluación educativa y, más específicamente, la evaluación de asignaturas generan controversias en el ámbito de la educación superior, comenzando por los instrumentos utilizados. Este artículo tiene como objetivo presentar las etapas del proceso de desarrollo y de validación de un instrumento de evaluación para asignaturas de grado, utilizando técnicas de la Psicometría. Se elaboró un instrumento sencillo y poco extenso que contemplas e tres dimensiones específicas: 1) aspectos generales de la asignatura; 2) la acción del docente y 3) la autoevaluación (acción del alumno). Entre las técnicas utilizadas en el proceso de validación se destaca la realización de reuniones con especialistas y el uso de técnicas estadísticas multivariadas de Análisis Factorial Confirmatorio y Análisis de Regresión. Los resultados obtenidos a partir de un conjunto de 151.220 instrumentos, llenados por 32.124 estudiantes en tres períodos lectivos, revelaron que el instrumento propuesto presenta cualidades psicométricas deseables en relación a su validación y confiabilidad. Además, se argumenta que la evaluación de asignaturas no sea vista como un proceso desconectado del proyecto pedagógico institucional. El mismo cuenta con la participación de profesionales de diferentes áreas en el desarrollo del instrumento y en la conducción del proceso, con base en una perspectiva de evaluación formadora, orientada a la promoción del aprendizaje de los estudiantes.

The issue of educational evaluation and, more specifically, the evaluation of courses generates controversy in the context of higher education, chiefly considering the instruments adopted. This article presents the stages of development and validation of an evaluation instrument for undergraduate courses, using Psychometric techniques. A simple and not extensive instrument was created to cover three specific dimensions: 1) general aspects of the course, 2) teacher's teaching action, and 3) self-evaluation (student's action). Among the techniques used in the validation process we highlight interviews with experts and the use of multivariate techniques of Confirmatory Factor Analysis and Regression Analysis. The results obtained from a set of 151,220 instruments, completed by 32,124 students in three academic periods, revealed that the instrument has desirable psychometric qualities as regards its reliability and validity. Additionally, it is argued that evaluation of courses should not be seen as a process disconnected from the institutional pedagogical project, but should also count on the participation of professionals from different areas in developing the instrument and conducting the process, based on a perspective of formative evaluation, aimed at improving student learning.

Índice de condições de qualidade educacional: metodologia e indícios

Este artigo apresenta uma metodologia para avaliação de políticas educacionais - Índice de Condições de Qualidade (I CQ) - desenvolvida na pesquisa "Políticas Educacionais e Qualidade de Ensino" (Nupe, 2007). O papel desta metodologia é auxiliar a estabelecer elementos mais objetivos para a avaliação da relação entre política e qualidade. Compreendendo que qualidade educacional não pode ser reduzida aos resultados estudantis aferidos pelos sistemas de avaliação, optou-se por trabalhar com a ideia de "condições de qualidade". Isto é, tomou-se a ideia de qualidade como as condições disponíveis para a realização do ensino e para a efetivação da aprendizagem, dimensionáveis em indicadores quantificáveis. O trabalho conclui propondo o ICQ que incorpora dimensões reconhecidas na literatura como importantes para o trabalho pedagógico e as informações disponíveis nos questionários de contexto do Sistema de Avaliação da Educação Básica (Saeb) - 2003. O ICQ é constituído por três partes: Índice de Condições Materiais da Escola (ICME), Índice do Professor (IP) e Índice de Gestão (IG). Os testes mostram que ele evidencia aspectos importantes das condições de qualidade e apresenta relação positiva com os resultados estudantis.

Este artículo presenta una metodología para evaluar las políticas educativas -Índice de Condiciones de Calidad (ICQ)-, desarrollada en la investigación "Políticas Educativas y Calidad de la Enseñanza" (Nupe, 2007). EI papel de esta metodología es ayudar a establecer más objetivos para evaluar la relación entre política y calidad. Entendiendo que la calidad educativa no puede reducirse a los resultados estudiantiles medidos por los sistemas de evaluación, se optó por trabajar con la idea de "condiciones de calidad". Es decir, se tomó la idea de calidad como las condiciones disponibles para la enseñanza y para efectivizar el aprendizaje, todo esto dimensionable en indicadores cuantificables. EI trabajo propone el ICQ que incorpora dimensiones reconocidas en la literatura como siendo importantes para el trabajo pedagógico e informaciones disponibles en los cuestionarios de contexto del Sistema de Evaluación de la Educación Básica (Saeb), 2003. EI ICQ se compone de tres partes: el Índice de Condiciones Materiales de la Escuela (ICME), el Índice del Profesor (IP) y el Índice de Gestión (IG). Las pruebas muestran que el ICQ pone de relieve aspectos importantes de las condiciones de calidad y tiene relación con el rendimiento de los estudiantes.

This article presents a methodology for evaluating educational policies: Conditions Quality Index (ICQ), developed in the study "Education Policy and Quality in Education" (Nupe, 2007). The purpose of this methodology is to help to establish more objective items to assess the relationship between policies and quality. Based on the fact that education quality cannot be reduced to the results as measured by student evaluation systems, we chose to work with the idea of "quality conditions". That is, the idea of quality was taken to be related to the conditions available for teaching to be carried out and learning to be effective, measurable by scalable indicators. The paper concludes by proposing the Condition Quality Index, which combines dimensions recognized in the literature as important for the educational work with the information available in the context questionnaires of Brazil's Basic Education Evaluation System (Saeb) - 2003. The ICQ is composed of three parts: School's Material Conditions Index (ICME), Teacher Index (PI) and Management Index (GI). Tests indicate that the ICQ highlights important aspects of quality conditions and shows a positive relation with student achievement.

Analysis of the use of a scale to evaluate the quality of daycare centers

Nas últimas décadas, a discussão sobre qualidade tem ganhado força e espaço nas políticas públicas e instituições de ensino. Assim, no intuito de contribuir com os estudos sobre avaliação da qualidade na educação infantil, a presente pesquisa objetiva analisar a utilização da Escala de Avaliação de Ambientes Coletivos para Crianças de O a 30 meses (Esac), versão traduzida de uma escala norte-americana para avaliação de ambientes de creches brasileiras. Por meio de aplicações da escala por pares independentes e aplicações individuais, foram observadas seis turmas de crianças (6-27 meses) de cinco creches (uma universitária, duas conveniadas, uma municipal e uma particular autorizada). Os resultados apontam para questões importantes a serem levadas em conta no uso da escala no contexto brasileiro. Observou-se que o resultado numérico, por si só, não facilita a caracterização das turmas em seus modelos pedagógicos, sendo importante considerar os detalhes de cada indicador e o processo de aplicação do instrumento. Aponta-se, portanto, para a necessidade de um diálogo entre a escala, seu uso e o contexto avaliado, o que possibilitará a discussão necessária para a compreensão da avaliação e de possíveis metas para a promoção da qualidade.

En las últimas décadas, la discusión sobre la calidad ha ganado fuerza y espacio en las políticas públicas y en instituciones educativas. Por lo tanto, con el fin de contribuir a los estudios sobre la evaluación de la calidad en la educación de la primera infancia, esta investigación tiene como objetivo analizar el uso de la Escala de Evaluación de Ambientes Colectivos para Niños entre 0 y 30 meses (Esac), versión traducida de una escala estadounidense para la evaluación de los entornos de las guarderías brasileñas. A través de las aplicaciones de la escala por parejas independientes y aplicaciones individuales, fueron observados seis grupos de niños (6-27 meses) de cinco guarderías. Los resultados apuntan a temas importantes para tener en cuenta en el uso de la escala en el contexto brasileño. Se observó que el resultado numérico por sí sólo no facilita la caracterización de los grupos en sus modelos pedagógicos. Es importante considerar los detalles de cada indicador y el proceso de aplicación del instrumento. Se señala, por lo tanto, la necesidad de un diálogo entre la escala, su uso y el contexto evaluado, lo que permitirá la discusión necesaria para la comprensión de la evaluación y de posibles objetivos para la promoción de la calidad.

In the last decades, the discussion about quality has gained strength and space in public policies and educational institutions. Thus, in order to contribute to the studies on quality evaluation in early childhood education, this study aims to analyze the use of Infant Toddler Environment Rating Scale - ITERS, a North American index for the evaluation of daycare center environments, in a Brazilian translated version. Through peer-scale independent and individual applications, six groups of children (6-27 months) from five daycare centers were observed. The results point to important issues that have to be considered in the use of ITERS-R in Brazil. It was observed that the numerical result of the scale by itself does not facilitate the characterization of the classes according to their pedagogical models and that it is important to consider the details of each indicator and the process of use of the instrument. The study points, therefore, to the need for a dialogue between the scale, its use and the context evaluated, which will enable the discussion needed to understand the evaluation and the potential targets for improving quality.

Impacts of Brazil’s new legal framework on the management of municipal education

O artigo discute os impactos do novo marco legal brasileiro no que concerne à mudança do paradigma de gestão da educação municipal. Inicialmente, rememoramos os avanços e a perplexidade quanto ao movimento de reinstituição da democracia no Brasil. Na seqüência, discutimos o advento do novo marco legal e seus impactos na gestão da educação municipal, sobretudo o significado da criação do sistema de ensino no âmbito do poder local. Por fim, destacamos a necessidade de contrapartidas dos municípios quanto ao planejamento de suas políticas educacionais, em face das novas responsabilidades legais.

El artículo discute los impactos del nuevo marco legal brasileño en lo que se refiere a los cambios del paradigma de gestión de la educación municipal. Inicialmente, recordamos los avances y la perplejidad en relación al movimiento de restitución de la democracia en Brasil. A continuación, discutimos el advenimiento del nuevo marco legal y sus impactos en la gestión de la educación municipal, en especial el significado de la creación del sistema de enseñanza en el ámbito del poder local. Por último, destacamos la necesidad de contrapartidas de los municipios para la planificación de sus políticas educativas, frente a las nuevas responsabilidades legales.

This article discusses the impacts of Brazil's new law regarding the change of the management paradigm of municipal education. Initially, we recall the progress and perplexity resulting from the movement of re-establishing democracy in Brazil. Next, we discuss the advent of the new legal framework and its impact on the management of municipal education, especially the significance of the creation of a local education system. Finally, we stress the necessity for municipalities to play their role regarding the planning of their educational policies in light of their new legal responsibilities.

Avaliação escolar, gênero e raça