Estudos em Avaliação Educacional

Formação do professor do Ensino Básico e a Avaliação Educacional

O artigo apresenta as conclusões de uma pesquisa acerca das dificuldades que os professores do ensino básico enfrentam no aprendizado de teorias e práticas sobre a avaliação que recorrentemente devem fazer de seus alunos, e como esses saberes vão se constituindo, tendo em vista não existir formação inicial para essa tarefa e a falta de clareza de como deve ser essa formação.

The article presents the conclusions of a research on difficulties that teachers of basic education face in learning the evaluation or assessment theories and techniques that they must recurrently apply to their pupils. It also deals with the possibilities of building such knowledge, as there is no pre-service training for this task nor a clear view of what this formation should be like.

Avaliação do rendimento do aluno da Escola Pública Estadual de Minas Gerais no Período de 1991-1998: a experiência e seus ensinamentos

Este artigo tem por objetivo refletir sobre o sentido da avaliação educacional, principalmente a avaliação de escolas/sistema, apresentando uma análise crítica, de natureza qualitativa, do Programa de Avaliação da Escola Pública Estadual de Minas Gerais, caracterizada por revisões e reflexões acerca do que ocorreu em termos de avaliação educacional no Estado, na década de 90. O trabalho busca uma maior compreensão das atividades, metodologias e estratégias desenvolvidas, identificando os momentos críticos, as repercussões, as conseqüências e as implicações do processo.

This article reflects on educational evaluation, specifically the evaluation of schools/systems, by means of a critical qualitative analysis of the Evaluation Program of the Public State School in Minas Gerais, Brazil. This analysis presents revisions and reflections about what has happened in that state regarding education evaluation since the 1990s. The article aims at better understanding the activities, methodologies and strategies developed, identifying critical moments, their repercussions, consequences and the implications of the process.

Opiniões de Professores sobre um Curso de Formação Profissional Presencial com Emprego de Multimídias: lições aprendidas por meio da avaliação externa

Este trabalho tem como objetivo descrever a avaliação feita por professores do ensino fundamental (com habilitação em nível médio) acerca de um curso de formação superior, em nível de licenciatura, até então inédito no país. O Programa de Educação Continuada/Formação Universitária (PEC/FU) foi desenvolvido de modo presencial, utilizando diferentes mídias interativas: videoconferências, teleconferências, trabalho monitorado, vivências educadoras e oficinas culturais. Para avaliar a opinião dos alunos sobre o curso, uma série de estudos foi realizada. Descrevem-se, aqui, apenas os resultados obtidos por meio de dois opinionários, compostos de questões fechadas, sobre a relação que os alunos-professores estabeleceram entre sua participação no Programa, a ocorrência de melhorias substanciais em sua formação profissional e mudanças em suas práticas pedagógicas em sala de aula. Esse instrumento, respondido on-line, foi aplicado duas vezes: no início e ao final do Programa. Os dados receberam vários processamentos estatísticos para que se pudesse obter uma síntese das informações, identificando eventuais diferenças de opiniões em relação aos aspectos investigados por local de estudo e por universidade. Os resultados mostraram que os principais benefícios advindos do Programa foram, de acordo com os professores, a oportunidade de reflexão a respeito da profissão docente, a fundamentação teórica adquirida e a maior compreensão do processo de ensino-aprendizagem. Críticas foram também tecidas, em especial no que concerne ao tempo disponível que os discentes que acumulavam dupla jornada de trabalho tinham para leituras e estudos; ao insuficiente preparo do tutor para orientá-los; e à complexidade dos textos escritos, que dificultava a compreensão dos temas abordados. Aprimorar esses aspectos parece ser necessário para que os objetivos traçados possam ser alcançados, atendendo-se, sobretudo, às expectativas criadas.

This paper will describe the evaluation elementary school teachers (with a secondary school degree) made of a higher education course, at a licensure level, which was as yet new in the country. The Program of Continuing Education/Higher Education was developed as a classroom course, using different interactive media: videoconferences, teleconferences, monitored work, educational living experiences and cultural workshops. To evaluate the students opinion about the course, a series of studies was carried out. This paper describes only the results drawn from two questionnaires, with closed questions, about the relationship the teacher-students established between their participation in the program, the occurrence of substantial improvements in their professional training and changes in their pedagogical practices in the classroom. This questionnaire was completed online and applied twice: at the beginning and at the end of the Program. The data was submitted to various statistical processing techniques so as to yield a synthesis of information, identifying possible differences in opinion in relation to the aspects investigated, according to place of study and university. The results have shown that the main benefits gained from the program were, according to the teachers, the opportunity to reflect about the teaching profession, the theoretical basis they acquired and a better understanding of the teaching-learning process. Criticism was mainly directed at the time the students, who worked both shifts, had to comply with their reading and study; the insufficient skills the tutor had to advise them, and the complexity of the written texts, which made it quite difficult to understand the topics discussed. It seems necessary to improve these aspects for the Programs objectives to be reached , thus, meeting the expectations created.

Validade: o conceito, a pesquisa, os problemas de provas geradas pelo computador

Por muitos anos, o conceito de validade e a metodologia de validação da interpretação dos resultados, obtidos pelos examinandos em provas educacionais, evoluíram no sentido de uma incorporação de princípios e de métodos da psicologia cognitiva. Neste artigo, essa evolução é abordada como uma contínua discussão de temas, e como uma sucessão de linhas de investigação relevantes para a consolidação de uma teoria da validade e de uma metodologia de caráter científico. Ao focalizar desdobramentos mais recentes desse processo, trata-se com especial atenção o trabalho de pesquisadores que procuram estabelecer uma fundamentação adequada para uma nova metodologia de construção de testes, na qual os estudos sobre a validade de constructo são introduzidos no planejamento e no desenvolvimento da prova. Nessa perspectiva, são examinados problemas concernentes à validação, tanto nas provas educacionais produzidas artesanalmente, como nas geradas por programas de computador.

Abstract For many years the concept of validity and a methodology of validating the interpretation of results obtained by examinees in educational tests has evolved in the direction of incorporating principles and methods of cognitive psychology. In this paper, this historical development is presented as a continuous discussion of topics, and as a succession of lines of investigation which are relevant for the consolidation of a theory of validity, and of a scientific methodology. With a focus on the most recent developments of this process, special attention is given to the work of researchers who try to establish an adequate foundation for a new methodology of test construction, in which construct validity studies are introduced in the design and development phases. Following this line, the paper focuses on problems of construct validation both in educational tests produced by educators, as well as test items generated by computers.

Aplicação de um Modelo de Desdobramento Graduado Generalizado - GGUM da Teoria da Resposta ao Item

A avaliação como instrumento de medida ocupa um importante lugar nas organizações atentas às exigências crescentes do mundo atual. A Teoria da Resposta ao Item (TRI) constitui-se em um conjunto de modelos para a avaliação que representam a relação entre a probabilidade de um indivíduo apresentar uma certa resposta a um item, as características dos itens e seu(s) traço(s) latente(s), definido(s) com base no estudo em questão. A finalidade deste artigo consiste em apresentar o Modelo de Desdobramento Graduado Generalizado - GGUM, da TRI, para medidas de satisfação. Este modelo foi desenvolvido para analisar respostas binárias e graduadas baseadas numa relação de proximidade. Os resultados obtidos na aplicação do modelo GGUM, que serviu para avaliar a satisfação dos alunos dos cursos de tecnologia da Universidade Tecnológica Federal do Paraná, campus Medianeira, ilustram o grande potencial desse modelo.

Evaluation as a measurement instrument plays an important role in the organizations focused on the growing demands of the current world. Item Response Theory (IRT) provides models for evaluation. IRT is constituted of a set of models that represent the relationship between an individual's probability to give a certain response to an item, the characteristics of the items and their latent trait(s), as defined by the study. The purpose of this article is to introduce the GGUM - Generalized Graded Unfolding Model of IRT for satisfaction measurement. This model analyzes binary and graded responses based on a proximity relationship. The adequacy of the GGUM will be shown through an application to evaluate the satisfaction of undergraduate Technology students at the Federal Technological University of Paraná, at the Medianeira campus, Paraná, regarding the course they attend. The results obtained in the application illustrate the great potential of this model.

O Sistema de Avaliação Externa dos Padrões de Qualidade da Educação Superior no Brasil: considerações sobre os indicadores

Este trabalho aborda o Sistema Nacional de Avaliação da Educação Superior (Sinaes), e analisa as diretrizes conceituais e o instrumento metodológico utilizados para avaliação externa. O método de análise corresponde ao estabelecimento de comparações entre o sistema adotado pelo Brasil e por outros países cujos padrões de qualidade em educação superior são internacionalmente reconhecidos. É enfocada a estrutura da matriz das dimensões de avaliação externa do Sinaes, detalhando-se os critérios utilizados para a atribuição de conceitos aos indicadores da Titulação, Regime de Trabalho e Publicações do Corpo Docente. Como principal conclusão, o estudo apresenta as razões pelas quais os referidos critérios precisam ser reconsiderados, mostrando seus pontos falhos e apontando caminhos para seu aperfeiçoamento.

This paper is about the National Evaluation System of Higher Education - Sinaes - as it is called in Brazil. It analyzes conceptual lines of direction and the methodological instrument used for external evaluation. The method of analysis is based on comparisons between the system adopted in Brazil and other countries whose standards of quality in higher education are internationally recognized. The matrix structure of the dimensions for external evaluation of the National Evaluation System of Higher Education - Sinaes - is examined, highlighting details of the criteria used for giving grades to the Teaching Staffs Titles, Working Hours and Publications indicators. As its major conclusion, the study lists the reasons why the above criteria need to be reconsidered by pointing out their flaws and suggesting ways for their improvement.

Estudo Metavaliativo do Processo de Auto-avaliação em uma Instituição de Educação Superior no Brasil

Este artigo apresenta uma proposta metavaliativa do processo de auto-avaliação em uma Instituição de Educação Superior (IES) no Brasil, baseada nos padrões utilidade e precisão desenvolvidos pelo Comitê Misto sobre Diretrizes para a Avaliação Educacional (Joint Committee on Standards for Educational Evaluation). Para tanto, elaboramos um instrumento fundamentado na adaptação livre do Program Evaluation Models Metaevaluation Checklist que foi aplicado aos coordenadores de curso da IES em estudo. Temos como finalidade principal refletir sobre alguns aspectos relacionados à importância e utilização das informações geradas, à qualidade e à adequação dos procedimentos para obtenção e tratamento dos dados, bem como aos mecanismos empregados para a divulgação e o acesso aos seus resultados. Consideramos que o desenvolvimento de modelos metavaliativos pode contribuir para o aperfeiçoamento da auto-avaliação e, desse modo, consolidá-la como um dos eixos centrais das políticas públicas de avaliação da educação superior no Brasil.

This article presents a metaevaluative proposal for a self-evaluation process at an institution of higher education (IHE) in Brazil, based on Utility and Precision standards developed by the Joint Committee on Standards for Educational Evaluation. For that purpose, we have designed a tool - freely adapted from the Program Evaluation Models Metaevaluation Checklist -, which was applied to the course coordinators of the IHE under study. Our main objective is to engage in a reflection on some aspects related to the importance and use of the information generated, to the quality and adequacy of the procedures used to obtain and treat the data, as well as to the mechanisms used to publicize and access their results. We consider that the development of metaevaluative models may contribute to the improvement of the self-evaluation process, and thus consolidate it as one of the main guidelines in public policies in Brazilian higher education.