Estudos em Avaliação Educacional

A teoria da generalização em medidas educacionais em paralelo com a teoria clássica

Este artigo apresenta uma introdução à teoria da generalização das medidas psicológicas e educacionais, sistematizada e extensamente detalhada por Cronbach e colaboradores em uma monografia publicada em 1972. Através de apresentação em paralelo com a versão mais conhecida da teoria clássica, procura-se mostrar a fundamentação comum e diferenças conceituais e metodológicas entre as duas. Esta introdução restringe seu foco a estudos dos erros de medida, os quais estão no cerne da teoria da generalização e são fundamentais na teoria clássica.

This paper presents na introduction to generalizability theory, developed and extensively explained by Cronbach and other researchs in a monograph on the dependability of psychological and educational measurements published in 1972. Summary versions of generalizability theory and of the classic theory are presented in two parallel sections in order to show the common points in their fundamentals, as well as their conceptual and methodological differences. The focus is on studies of errors of measurement, which are in the heart of generalizability theory, and are fundamental to the classic theory.

What are multilevel questions and how might we explore them with quantitative methods?

Sistemas educacionais possuem uma estrutura hierárquica, na qual estudantes estão agrupados em turmas, que se agrupam em escolas. Essas estruturas hierárquicas têm diferentes níveis - o nível do aluno, o nível da turma, o nível da escola. Questões de pesquisa multiníveis buscam investigar relações entre fatores que atuam em distintos níveis. Este artigo discute as principais limitações das tentativas de abordar questões de pesquisa multiníveis com técnicas analíticas de um único nível e introduz algumas características relevantes da modelagem multinível, uma abordagem capaz de lidar adequadamente com questões multiníveis.

Educational systems exhibit a hierarchical structure in which students are grouped in classrooms, classrooms in schools. Those hierarchical structures possess different levels - for instance, the students level, the classroom level, the school level. Multilevel research questions are those questions the seek to investigate patterns of relationship between factors acting at different levels. This paper outlines the main pitfalls of trying to investigate multilevel research questions with single level techniques and introduces some features of multilevel modeling, an approach capable of dealing adequately with multilevel questions.

Using multilevel methods to investigate research questions that involve nested data: examples from education

A aprendizagem na escola envolve interações sociais em grupos - por exemplo, em salas de aula, em escolas. Este artigo apresenta uma discussão sobre como métodos multiníveis podem ser usados para investigar questões de pesquisa relacionadas com eficácia escolar e promoção de eqüidade pela escola. Apresenta ainda diversos exemplos envolvendo efeitos da escola sobre eficácia e sobre promoção de eqüidade. Os exemplos envolvem os temas do tipo de escola freqüentada, do tamanho das escolas e da colaboração entre professores.

Learning in schools involves social interaction in groups - for instance, in classrooms or in schools. This paper presents a discussion on how multilevel methods can be used for investigating research question related to efficacy and equity in education. In addition, several examples involving school effects on efficacy and equity are provided. The examples include issues related to the type of school attended, school size and cooperation among teachers.

O efeito de 248 escolas de nível médio no vestibular da UFMG nos anos de 1998 1999 e 2000

Este estudo critica a prática de classificar escolas de ensino médio utilizando as médias do desempenho de seus alunos nos vestibulares. Apresenta como alternativa uma metodologia para avaliação dos efeitos das escolas, desenvolvida a partir da Teoria do Valor Agregado. Com base nos resultados da primeira etapa dos vestibulares da Universidade Federal de Minas Gerais de 1998, 1999 e 2000 foram ajustados modelos estatísticos de análise que incorporam não só a estrutura hierárquica dos dados como também as diferenças sócio-econômicas dos estudantes. Como resultado obtêm-se melhores estimativas para os efeitos das escolas e medidas mais descritivas da variabilidade dos resultados acadêmicos, entre e dentro das escolas. Parte importante da heterogeneidade entre as escolas é explicada por diferenças nos fatores sócio-econômicos dos alunos de uma mesma escola. Os modelos ajustados revelam que não existe uma única classificação adequada para as escolas. No entanto, a parcela da variabilidade total devida às práticas e políticas da escola é alta se comparada a estudos internacionais similares, indicando que a escola secundária freqüentada faz diferença.

This study criticizes the practice of construction and use of ranking of high schools based on the average results of their students in the entrance examinations of UFMG - Federal University of Minas Gerais. As a substitute for thislimited analysis, it proposes the calculation of added value of each school. The results from the first stage of the Entrance Examination to UFMG for the years 1998, 1999 and 2000 were used to fit statistical models, which incorporated both the hierarchical structure of the data and students socioecanomic status. As a result, not only are unbiased estimates for the model parameters obtained but also an estimate of the variability due to the real differences among the polices and practices of each school. This allowed for the construction of a school overall effect, which describes the individual school more accurately. Since different models produce different estimates of schools effects there is no such thing as a single ranking of schools. The larger proportion of the variation among the scores of the students can be explained by student covariates. However the part of the variability related to the school is higher than in similar international studies.

Aplicação dos blocos incompletos balanceados na Teoria de Resposta ao Item

O artigo apresenta os Blocos Incompletos Balanceados (BIB) como uma possível solução para o problema de como se distribuir um grande número de questões (adequado para se obter informações amplas sobre o ensino) em cadernos de prova com poucas questões (adequados aos alunos). A forma de se distribuir as questões em Blocos Incompletos Balanceados é especialmente útil no uso conjunto com análises à luz da Teoria de Resposta ao Item (TRI) como forma de uniformizar a exposição das questões, visando a obtenção de resultados mais precisos. Neste sentido são apresentados vários exemplos de Blocos Incompletos Balanceados que atendem a diferentes relações entre o número de questões nos cadernos de prova dos alunos face ao total de questões do estudo.

The article presents the Balanced Incomplete Blocks (BIB) as a possible solution to the problem of how to distribute a great number of questions (appropriete to get broad information on education) in test booklets with few questions (appropriete to the students). The way of distributing the questions among Balanced Incomplete Blocks is especially useful when used together with analyses considering the Item Response Theory (IRT) as a way to make the display of the questions uniform so as to obtain more accurate results. In this sense several examples of Balanced Incomplete Blocks are presented thaof different relations between the number of question in the students test blooklets and questions of the study.

A avaliação na educação básica: ampliando a discussão

Este texto busca estimular a reflexão sobre a avaliação no contexto do ensino básico, destacando a intrínseca relação entre as dimensões quantitativa e qualitativa e a necessidade da construção de um quadro referencial de análise. Discute-se que um dos pressupostos mais importantes desse quadro é o de uma avaliação criterial, cujo potencial é nos colocar mais distantes da idéia de classificação entre escolas. Outro aspecto que o texto apresenta é o da possibilidade de o ensino privado também realizar a avaliação de suas ações, de modo a repensar, juntamente com os demais sistemas nacionais de avaliação, a qualidade o ensino básico.

The present text aims to encourage a reflection about evaluation in the contexto f elementary education, highlighting the intrinsic relation between its quantitative and qualitative dimensions and the need to build a referencial frame of analysis as well. It argues that one of the most important presuppositions about this frame is that of a criterion evaluating, which can potentially distance us from the idea of classification among schools. Another point the text introduces is the possibility os private education also evaluating its actions, so that it can, together with other national evaluation systems, reconsider the quality of elementary education.

A questão da redação no concurso vestibular à universidade: validade e poder decisório

Apresentam-se análises de validade e do poder decisório da questão de Redação nos concursos vestibular da Universidade Federal do Rio Grande do Sul e da Pontifícia Universidade Católica do Rio Grande do Sul, envolvendo 6516 candidatos comuns aos dois concursos. O estudo mostrou que a fidedignidade dos escores na questão de Redação foi expressivamente inferior às fidedignidades dos escores nas demais provas dos concursos. O poder de decisão, isto é, o poder de decidir sobre o sucesso ou o fracasso na conquista de vagas da questão de Redação mostrou-se baixo; mais de noventa por cento dos que conquistaram uma vaga teriam tido sucesso caso a questão de Redação não fosse considerada. O estudo aponta a necessidade das universidades desenvolverem projetos de pesquisa com o objetivo de aprimorar metodologias e critérios de atribuição de escores na questão de Redação, visando aumentar a sua validade.

This study presents na analysis of the validity and defining capacity of written test (essay) grades achieved by 6,516 common candidates to both Universidade Federal do Rio Grande do Sul and Pontifícia Universidade Católica do Rio Grande do Sul. When compared to objective test grades of the same group, reliability of essay grades is significantly lower than the reliability of the scores in the other tests of the exam. Similarly the power of decision, i.e., the effectiveness in defining candidates that should be approved, is also low when the essay is considered: over 90% of successful candidates would also enter university if there were no essay test at all. This investigation points out that university should develop research on evaluation methods and scoring criteria for the essay test to select university students, aiming at increasing its validity.

O retorno do investimento em mestrado e doutorado para professores universitários: uma avaliação econômica da educação pós-graduada

Este artigo aborda os benefícios econômicos de investimentos individuais e sociais em cursos de mestrado e doutorado para professores do ensino universitário. Ele representa mais uma contribuição aos processos avaliativos da pós-graduação; incorporando uma nova dimensão; até então inexplorada pelos programas institucionais de avaliação. Foram analisados vários casos de mestrandos e doutorandos; com e sem bolsas de estudos e hipotetizado o reembolso dos custos sociais ao Estado. Os resultados demonstram que os cursos são ótimas opções de investimento para o mercado de ensino superior; exceção para profissionais que têm dedicação parcial às instituições e múltiplos vínculos empregatícios que implicam em alta renda sacrificada.

This article studies the economic returns that are derived from individual and social investments in master and doctoral level courses made by students who are university professors. As such, it makes a contribution to assessing the impact of graduate study, incorporating a dimension which is not commonly employed in institutional evaluation efforts. The study examined the cases of various masters and doctoral students, comparing those with and without scholarships and considering, hypothetically, the impact of having to repay the State for its social costs. The results demonstrate that graduate programs represent an excellent investment opportunity for individuals, except for those with multiple jobs who therefore have to give up significant levels of income to study.