Estudos em Avaliação Educacional

Editorial

Para uma avaliação de larga escala multidimensional

Inserido no projeto de pesquisa financiado pelo Observatório da Educação - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, "A qualidade da escola pública: um estudo longitudinal para a sustentação da responsabilização compartilhada", e partindo da observação de que a avaliação de larga escala atualmente praticada abarca um conjunto de objetivos menor do que aqueles da matriz de formação desenvolvida nas escolas, sendo esses demais objetivos também importantes para a formação dos alunos, o presente texto traz à discussão a necessidade de uma avaliação externa mais fiel ao trabalho desenvolvido nos estabelecimentos de ensino, que, para se consolidar como tal, não pode fugir à multidimensionalidade do objeto a ser avaliado. Discutem-se, assim, os processos de avaliação de larga escala, defendendo não se poder avaliar a aprendizagem dos estudantes e a qualidade ofertada pelas escolas sem a construção de uma avaliação multidimensional.

Insertado en el proyecto de investigación financiado por el Observatorio de la Educación - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior, "A qualidade da escola pública: um estudo longitudinal para a sustentação da responsabilização compartilhada", y partiendo de la observación de que la evaluación de larga escala actualmente practicada abarca un conjunto de objetivos menor que aquellos de la matriz de formación desarrollada en las escuelas - aunque tales objetivos también sean importantes para la formación de los alumnos -, el presente texto discute la necesidad de una evaluación externa más fiel al trabajo desarrollado en los establecimientos de enseñanza que, para consolidarse como tal, no pueden dejar de lado la multidimensionalidad del objeto a evaluar. Se discuten los procesos de evaluación de larga escala y se defiende que no se puede evaluar el aprendizaje de los estudiantes y la calidad ofrecida por las escuelas sin construir una evaluación multidimensional.

Inserted into the research project funded by the Center of education - Coordination for the Improvement of Higher Level Personnel, "The quality of public school: a longitudinal study for the sustainability of shared responsibility", and based on the observation that the large-scale assessment currently practiced, a smaller set of goals than those of the training matrix developed in schools is involved. Although the other goals are also important for students' education, this article brings to discussion the need for an external and more truthful evaluation to the work developed in schools; that, in order to consolidate as such, cannot escape the multidimensionality of the object to be assessed. Therefore, the large-scale assessment processes are discussed, claiming that students' learning and the quality offered by schools cannot be assessed without constructing a multidimensional evaluation.

Comparando matrizes de matemática do Saeb e do Naep

Este artigo tem como objetivo geral analisar as semelhanças e diferenças estruturais das matrizes do Sistema de Avaliação da Educação Básica (Saeb) e do National Assessment of Educational Progress (Naep), e como específico comparar os descritores do tema "Espaço e Forma" testados no 9º ano do Saeb com os objetivos da área Geometria testados na 8ª série do Naep, para produzir informações sobre as tendências curriculares que subjazem as escolhas das habilidades aferidas nesses sistemas de avaliação e que poderiam direcionar a atualização das matrizes de Matemática do Saeb. Os resultados sugerem que ambas as matrizes se assemelham na divisão dos objetos de conhecimento por áreas de conteúdo afins e na abordagem de variadas operações cognitivas; por outro lado, são distintas as formas pelas quais os descritores são apresentados em cada matriz. Notam-se algumas semelhanças entre as habilidades que são aferidas em ambos os testes na análise dos descritores do tema "Espaço e Forma".

Este artículo tiene el propósito amplio de analizar las similitudes y diferencias estructurales de las matrices del Sistema de Evaluación de la Educación Básica (Saeb) y del National Assessment of Educational Progress (Naep), y específico de comparar los descriptores del tema "Espacio y Forma" testeados en el 9º año del Saeb con los objetivos del área Geometría testeados en el 8º año del Naep; ello para producir informaciones sobre las tendencias curriculares que subyacen en las elecciones de las habilidades verificadas en estos sistemas de evaluación y que podrían servir para actualizar las matrices de Matemáticas del Saeb. Los resultados sugieren que ambas matrices se asemejan en la división de los objetos de conocimiento por áreas de contenido afines y en el abordaje de varias operaciones cognitivas; por otro lado, son distintas las formas por las cuales los descriptores se presentan en cada matriz. Se notan algunas semejanzas entre las habilidades verificadas en ambas pruebas en el análisis de los descriptores del tema "Espacio y Forma".

This article aims to analyze the structural similarities and differences of the frameworks of the Evaluation System of Basic Education (Saeb) and the National Assessment of Educational Progress (Naep). More specifically, it seeks to compare the descriptors of the theme "Space and Shape", tested on the ninth grade of the Saeb, with those of Geometry, tested on the eighth grade of the Naep. This evaluation seeks to produce information on curricular trends which underlie the choices of skills measured in these assessment systems, that could guide the updating of the mathematical frameworks of the Saeb. The results suggest that both frameworks are similar in the separation of knowledge objects by related content areas and in addressing various cognitive operations; on the other hand, the ways in which the descriptors are presented in each matrix are different. Some similarities between the skills measured in both tests in the analysis of the descriptors of the theme "Space and Shape" can be observed.

Processos avaliativos em ambientes virtuais de formação: uma perspectiva interacional-dialógica

Este artigo apresenta e discute processos avaliativos utilizados em uma disciplina de especialização, na modalidade de ensino a distância, cujo objetivo era o estudo e a vivência dos conceitos de autor, autoria coletiva, leitor e texto em ambiente virtual de aprendizagem. A metodologia empregada no curso foi a da interação dialógica, de Bakhtin (2003). Com base nessa perspectiva teórica, o presente trabalho examina o acompanhamento do desempenho dos alunos pelos professores ao longo da disciplina, por meio da análise de textos publicados nas ferramentas de discussão da plataforma on-line, e as trocas promovidas entre os próprios estudantes, entre os estudantes e os professores e entre os integrantes da equipe formadora. Conclui-se que esse movimento modifica o processo de ensino e contribui para a manutenção da relação ensino-aprendizagem como foco, ao mesmo tempo metodológico e avaliativo, numa perspectiva dialógica.

Este artículo presenta y discute procesos evaluativos utilizados en una asignatura de especialización en la modalidad de educación a distancia, cuyo objetivo era el estudio y la vivencia de los conceptos de autor, autoría colectiva, lector y texto en ambiente virtual de aprendizaje. La metodología empleada en el curso fue la interacción dialógica, de Bakhtin (2003). En base a esa perspectiva teórica, el presente trabajo examina el seguimiento del desempeño de los alumnos por los profesores a lo largo de la asignatura por medio del análisis de textos publicados en las herramientas de discusión de la plataforma on-line, y los intercambios promovidos entre los propios estudiantes, entre estos y los profesores y entre los integrantes del equipo formador. Se concluye que este movimiento modifica el proceso de enseñanza y contribuye para mantener el enfoque en la relación enseñanza-aprendizaje de una forma metodológica y evaluativa, desde una perspectiva dialógica.

This article introduces and discusses evaluative processes used in an academic discipline of specialization, employing distance education, whose objective was to study and experience the concepts of authorship, collective authorship, reader and text in a virtual learning environment. The methodology employed in the course was the dialogic interaction of Bakhtin (2003). Based on this theoretical perspective, this paper examines the follow-up by teachers of students' performance throughout the course, through the analysis of texts published using the discussion tools of the on-line platform as well as exchanges promoted among the students themselves, between the students and teachers and among the members of the training team. It can be concluded that this exchange modifies the teaching process and contributes to the maintenance of the focus on the teaching-learning relationship, at the same time methodological and evaluative, in a dialogic perspective.

Indicadores de desenvolvimento profissional da docência: construção, avaliação e usos

Neste artigo, abordam-se algumas ideias relativas à construção de indicadores educacionais referentes ao desenvolvimento profissional docente, à avaliação da composição da base de conhecimento para o ensino e para o exercício profissional da docência e sua utilidade para a definição de políticas públicas de formação de professores. Apresentam-se e discutem-se alguns dados obtidos numa investigação que teve como propósito geral caracterizar níveis de proficiência para o ensino de um professor de Educação Física experiente, considerando que a construção e o desenvolvimento da carreira docente apresentam estágios diversificados e envolvem diferentes processos de aprendizagem profissional. Os dados obtidos podem ser compreendidos como um conjunto de indicadores de desenvolvimento profissional da docência, já que se relacionam aos conhecimentos necessários para o ensino e para o exercício profissional da docência, tendo em vista o local de atuação e aspectos da trajetória profissional do professor investigado.

En este artículo se abordan algunas ideas relativas a la construcción de indicadores educativos referentes al desarrollo profesional docente, a la evaluación de la composición de la base de conocimiento para la enseñanza y el ejercicio profesional de la docencia y su utilidad para definir políticas públicas de formación de profesores. Se presentan y discuten algunos datos obtenidos en una investigación cuyo propósito general fue el de caracterizar niveles de proficiencia para la enseñanza de un profesor de Educación Física experimentado, considerando que la construcción y el desarrollo de la carrera docente presentan estadios diversificados e implican distintos procesos de aprendizaje profesional. Los datos obtenidos se pueden comprender como un conjunto de indicadores de desarrollo profesional de la docencia, ya que se relacionan con los conocimientos necesarios para enseñar y ejercer profesionalmente la docencia, teniendo en cuenta el sitio de actuación y aspectos de la trayectoria profesional del profesor investigado.

This article presents some ideas concerning the construction of educational indicators related to teacher professional development, evaluation of the composition of the knowledge base for teaching and for teaching professional practice and their role in the definition of public policies for teacher training. Data obtained in an investigation aimed at characterizing the levels of proficiency in teaching of an experienced Physical Education teacher are presented and discussed, considering that the construction and development of the teaching career is characterized by diverse stages and involve different processes of professional learning. The data obtained can be understood as a set of professional teaching development indicators, since they relate to the knowledge needed for teaching and for the professional teaching career, in view of the place and aspects of the professional career of the teacher investigated.

A avaliação da educação superior pelo mundo do trabalho

O Sistema Nacional de Avaliação da Educação Superior completou dez anos em 2014, consolidando uma política pública bem-sucedida que vinculou os processos regulatórios aos resultados da avaliação, induzindo a qualidade do ensino. Essa avaliação, contudo, ainda tem pouca articulação com o mundo do trabalho, ficando mais restrita ao campo acadêmico e não superando a lógica que dissocia a universidade da sociedade. O Ministério da Educação, no enfrentamento dessa situação, firmou uma política colaborativa com os conselhos federais de regulamentação profissional, incluindo-os no processo regulatório. Os resultados dessa política que articula avaliação, ensino superior e trabalho ainda não foram explorados pela comunidade acadêmica, configurando uma lacuna na pesquisa educacional. Apresentam-se, com este artigo, a concepção, a análise e alguns resultados desse processo, valendo-se da investigação empírica do convênio celebrado junto ao Conselho Federal de Administração.

El Sistema Nacional de Avaliação da Educação Superior cumplió diez años en el 2014, consolidando una exitosa política pública que vinculó los procesos regulatorios a los resultados de la evaluación y mejoró la calidad de la enseñanza. Sin embargo, esa evaluación todavía está poco articulada al mundo del trabajo, se restringe más al campo académico y no supera la lógica que disocia la universidad de la sociedad. El Ministerio de Educación, para enfrentar tal situación, creó una política colaborativa con los consejos federales de reglamentación profesional, incluyéndolos en el proceso regulatorio. Los resultados de dicha política, que articula evaluación, educación superior y trabajo todavía no han sido explorados por la comunidad académica y configuran una laguna en la investigación educativa. En este artículo se presentan la concepción, el análisis y algunos resultados de ese proceso por medio de la investigación empírica del convenio celebrado junto al Consejo Federal de Administración.

The Sistema Nacional de Avaliação da Educação Superior completed ten years in 2014, consolidating a successful public policy that aligned the regulatory processes to the results of evaluation, leading to the quality of education. This evaluation, however, still has little connection with the world of work, being more restricted to the academic field and not being able to overcome the logic that dissociates the University from the society. The Ministry of Education, in the face of this situation, signed a collaborative policy with federal professional regulatory boards, involving them in the regulatory process. The results of this policy that align evaluation, higher education and work have not been explored by the academic community yet, configuring a gap in educational research. This article presents the design, analysis and some results of this process based on the empirical investigation of the agreement entered into with the Federal Council of Administration.

Uma avaliação do sistema de cotas raciais da Universidade de Brasília

O objetivo do presente trabalho é comparar o desempenho dos alunos cotistas e não cotistas ao longo do curso. Para tanto, analisaram-se os dados do Índice de Rendimento Acadêmico de nove cursos, tomando-os separadamente para cada semestre. Pudemos verificar que, em cinco dos nove cursos analisados, não foram observadas diferenças significativas entre as médias semestrais do Índice de Rendimento Acadêmico dos alunos cotistas e dos alunos do sistema universal 50% ou mais dos semestres. Sendo que três desses cursos, não há diferença significativa em nenhum dos semestres. Apenas o curso de Biologia apresentou diferença significativa em todos os semestres. Além dos cursos de Engenharia, foi observado em outros cursos selecionados, vantagem do grupo de alunos do sistema universal sobre o de cotista pela concentração da presença de diferenças significativas entre as médias do Índice de Rendimento Acadêmico nos semestres da primeira metade do curso, indicando provável reflexo da falta de preparo para cursar certas disciplinas.

El propósito del presente trabajo es comparar el desempeño de alumnos cuotistas y no cuotistas durante el curso. Se analizaron los datos del Índice de Rendimiento Académico de nueve cursos, dividiéndolos por semestre. Pudimos verificar que en cinco de los nueve cursos analizados no se observaron diferencias significativas entre los promedios semestrales del mencionado índice entre alumnos cuotistas y los del sistema universal para 50% o más de los semestres. En tres de tales cursos no hay diferencia significativa en ninguno de los semestres. Solamente el curso de Biología presentó diferencia significativa en todos los semestres. Además de los cursos de Ingeniería se observó en otros cursos seleccionados una ventaja del grupo de alumnos del sistema universal sobre el de cuotistas, debido a la presencia de diferencias significativas entre los promedios del Índice de Rendimiento Académico en los semestres de la primera mitad del curso, lo que indica un probable reflejo de la falta de preparación en algunas asignaturas.

The purpose of this study is to compare the performance of quota and non-quota students throughout the course. In order to do so, data from the Academic Performance Index of nine courses, taken separately for each semester, were analyzed. In five of the nine courses analyzed, no significant differences were observed in the students' semiannual average grades of the Academic Performance Index of quota students and universal system students, for 50% or more of the semesters. For three of these courses, there was no significant difference in any of the semesters analyzed. Biology was the only course that presented significant differences in every semester. In addition to the engineering courses, it was observed that, in other courses selected, the group of universal system students had an advantage over quota students. This is seen in the concentration of significant differences between the grade-point averages of the Academic Performance Index in the semesters of the first half of the program, probably indicating the lack of preparation for studying certain disciplines.

Influências da iniciação científica na Pós-graduação

Este artigo avalia a influência da iniciação científica nos cursos de mestrado de uma instituição federal de ensino superior. Foram utilizados quatro indicadores para comparar os dados de concluintes de cursos de mestrado egressos e não egressos da iniciação científica. A população estudada foi constituída de 895 concluintes de mestrado, dos quais 242 eram egressos de programas de iniciação científica, e 653 eram não egressos. Os resultados revelam um efeito positivo na antecipação da realização da formação pós-graduada, na vinculação com a pesquisa e na produção científica dos egressos. A iniciação científica não teve influência sobre o tempo de conclusão do mestrado, comparado com o tempo de conclusão dos não egressos.

Este artículo evalúa la influencia de la iniciación científica en los cursos de maestría de una institución federal de educación superior. Se utilizaron cuatro indicadores para comparar los datos de alumnos que concluían cursos de maestría y que eran egresos y no egresos de la iniciación científica. La población del estudio fue de 895 concluyentes de maestrías, 242 egresos de programas de iniciación científica y 653 no egresos. Los resultados revelan un efecto positivo en la anticipación de la finalización de la formación postgraduada, en la vinculación con la investigación y en la producción científica de los egresos. La iniciación científica no influyó en el tiempo de conclusión de la maestría, en comparación con el tiempo de conclusión de los no egresos.

This article analyzes the influence of scientific initiation scholarships in master's degree courses at a federal institution of higher education. Four indicators were used to compare data from master's degree senior students participating or not in scientific initiation programs. The study population was composed of 895 master's senior students, of which 242 participated in scientific initiation programs, and 653 did not. The results show a positive effect in the anticipation of the completion of postgraduate training, as well as in the involvement with the research and scientific production of graduates. The length of time for completion of the master's degree was not influenced by participation in scientific initiation programs, compared to students who did not participate in these programs.

Excelência com equidade: fatores escolares para o sucesso educacional em circunstâncias desfavoráveis

São analisados os determinantes de sucesso no aprendizado de um grupo seleto de escolas públicas que atendem alunos de nível socioeconômico baixo, considerando os resultados da Prova Brasil 2011 e de seu Índice de Desenvolvimento da Educação Básica. Foca-se nos anos iniciais do ensino fundamental (1º ao 5º ano). Com base nos dados da Prova Brasil, fez-se uma análise descritiva e inferencial da diferença entre os fatores escolares das 215 escolas identificadas pelo estudo "Excelência com equidade" (chamadas de escolas tratamento) e os das escolas com características semelhantes em 2007, mas que não apresentaram o mesmo desempenho no aprendizado de seus alunos em 2011 (denominadas escolas controle). Os resultados apontam que as escolas tratamento possuem diretores mais bem avaliados pelos professores e uma grande influência do município em seu desempenho.

Se analizan los determinantes de éxito en el aprendizaje de un grupo selecto de escuelas públicas que atiende a alumnos de bajo nivel socioeconómico, considerando los resultados de la Prova Brasil 2011 y de su Índice de Desarrollo de la Educación Básica. Se enfocan los años iniciales de la educación básica (1er al 5º año). En base a los datos de la Prova Brasil, se efectuó un análisis descriptivo e inferencial de la diferencia entre los factores escolares de las 215 escuelas identificadas por el estudio "Excelencia con equidad" (denominadas escuelas tratamiento) y aquellos de las escuelas con características similares en el 2007, pero que no presentaron el mismo desempeño en el aprendizaje de sus alumnos en el 2011 (denominadas escuelas control). Los resultados señalan que las escuelas tratamiento poseen directores mejor evaluados por los profesores y una gran influencia del municipio en su desempeño.

This article analyzes the determinants of learning success of a select group of public schools with students from low socioeconomic backgrounds, considering the results of Prova Brasil 2011 and its Basic Education Development Index. It focuses on the first years of elementary school (1st to 5th year). Based on the data from Prova Brasil, a descriptive and inferential analysis was conducted of the differences between the school factors of 215 schools identified by the study "Excellence with equity" (known as treatment schools) and the schools with similar characteristics in 2007, but whose students did not present the same learning performance in 2011 (called control schools). The results indicate that treatment schools have more directors who are well evaluated by teachers and their performance is greatly influenced by the municipality.

A composição social importa para os efeitos das escolas no ensino fundamental?

O artigo analisa o efeito das escolas públicas brasileiras de ensino fundamental para o aprendizado de seus alunos, considerando o contexto socioeconômico e a composição do alunado por gênero e raça. Os alunos foram distribuídos em três níveis de proficiência: insuficiente, básico e adequado. Os que estão no nível insuficiente são considerados excluídos, uma vez que o seu direito à educação não é atendido. Utilizaram-se os dados de 2007, 2009 e 2011 da Prova Brasil. Os principais resultados indicam que os efeitos das escolas para a retirada dos alunos da exclusão e para sua promoção ao nível adequado de aprendizagem estão associados às características de composição social dessas escolas em termos de raça e gênero, independentemente do nível socioeconômico médio da escola. Tal composição também afeta as chances individuais de os alunos serem retirados da exclusão e promovidos ao nível de adequação.

El artículo analiza el efecto de las escuelas públicas brasileñas de educación básica para el aprendizaje de sus alumnos, considerando el contexto socioeconómico y la composición del alumnado por género y raza. Los alumnos se distribuyeron en tres niveles de competencia: insuficiente, básico y adecuado. Se consideran excluidos los que están en el nivel insuficiente, una vez que su derecho a la educación no es atendido. Se utilizaron datos de 2007, 2009 y 2011 de la Prova Brasil. Los principales resultados indican que los efectos de las escuelas para retirar los alumnos de la exclusión y promoverlos al nivel adecuado de aprendizaje están asociados a las características de composición social de dichas escuelas en lo que concierne a raza y género, independientemente del nivel socioeconómico promedio de la escuela. Tal composición también afecta las oportunidades individuales de que los alumnos sean retirados de la exclusión y promovidos al nivel de adecuación.

This article analyzes the effect of Brazilian public elementary schools on students' learning considering the socio-economic context and students' gender and racial composition. Students were allocated at three levels of proficiency: insufficient, basic and adequate. Those at the insufficient level are considered excluded since their right to education is not met. The data used was from the 2007, 2009 and 2011 Prova Brasil. The main results indicate that the effects of the schools to remove students from exclusion and promote them to adequate levels of learning are associated with the social composition of these schools in terms of race and gender, regardless of the average socioeconomic status of the school. Such composition, also affects the chances of individual students being removed from exclusion and promoted to the adequate level.