Estudos em Avaliação Educacional

Construção de instrumentos para a avaliação de larga escala e indicadores de rendimento: o modelo SAEB

Este estudo tem como finalidade discutir o conceito de avaliação de larga escala e sua possível e necessária apropriação pelos professores como um indicador para melhoria de seu próprio trabalho pedagógico, complementando as avaliações realizadas em sala de aula. Propõe-se, ainda, a discutir a forma de construção de instrumentos de avaliação de larga escala, suas possibilidades e limites, as formas de construção de sistemas informatizados de avaliações padronizadas e de utilização dos dados coletados através de indicadores de rendimento e de questionários contextuais, bem como as formas de disseminação dos resultados. O foco ilustrativo será aquele utilizado pelo Sistema Nacional de Avaliação da Educação Básica do Brasil (SAEB).

This text discusses the concepto f large-scale assessment. It is suggested that teachers incorporate large-scale assessment principles into their work. In so doing, they will be able to complement school evaluations. The text also discusses several strategies to build up large-scale assessment practices, investigating their possibilities and limits, as well as ways of consolidating information systems related to them. It shows that large-scale assessment also involves using data collected from students, teachers, principals and school contextual questionnaires. The Brazilian National System for Basic Education Evaluation (SAEB) is presented as a case study.

Pressupostos teóricos e implicações práticas do modelo SAEB - 2001

O significado e sentido de Avaliação do Sistema de Educação podem ser considerados ainda pouco conhecidos pela maioria dos profissionais da educação e pela sociedade como um todo. A partir de breves considerações sobre as razões históricas que determinaram esta forma de avaliar sistemas de educação, são apresentados aspectos considerados relevantes sobre a experiência brasileira: Sistema Brasileiro de Educação Básica (SAEB) iniciada em 1990. Neste artigo, são enfocados aspectos gerais e maiores detalhamentos dos pressupostos teóricos do modelo adotado em 2001, bem como exemplos de como são concebidas as provas de Língua Portuguesa e Matemática. Para tal, são definidos descritores e elencados alguns como ilustração das opções teóricas. São apontados critérios para uma análise pedagógica que virá se somar e articular com a Teoria Clássica e a Teoria de Resposta ao Item, no plano estatístico.

The meaning and reason for evaluation in educational systems are still Unknown by the majority of education professionals, and by society as a whole. This paper presentes a few considerations about historical reasons for our present evaluation system in formal education, showing relevant aspects of the Brazilian experience: Brazilian System for Basic Education (SAEB), which began in 1990. We focus on general aspects and discuss theoretical bases for the model chosen for 2001, including examples of how we conceived test for the subjects Portuguese Language and Mathematics. For that we define descriptors, having chosen some of these to illustrate our theoretical options. We also point out criteria for an educational analysis that is added to and articulated with Classical Theory and Item Response Theory, in statistical perspective.

O ENEM como forma alternativa ou complementar aos concursos vestibulares no caso das áreas de conhecimento "Língua Portuguesa e Literatura": relevante ou passível de refutação?

O artigo desenvolve reflexões sobre características de processos e sistemas de Verificação de Resultados Educacionais, bem como de Avaliação de Resultados Educacionais. Ratifica, argumentativamente, que o ENEM e os Concursos Vestibulares não caracterizam situação de avaliação de resultados educacionais, mas sim, e decisivamente, de aferição/verificação desses resultados. Nessa configuração, ambos constituem mecanismos seletivos sócio-educacionais para além da Educação Básica. À luz do objetivo fundamental do ENEM indica que, considerada a Área de Conhecimento Língua Portuguesa e Literatura, os itens das provas do ENEM 1998 - 2000 apresentam relativa ausência de Validade de Conteúdo. Desse modo, sugere que urge realizar investigações sistemáticas e abrangentes sobre a validade de conteúdo das provas do ENEM, relativamente a todas as Áreas de Conhecimento nela abordadas.

This article discusses processes and systems for Checking Educational Results, as well as for the Evaluation of Educational Results. It argues that the ENEM and the College Entrance Examinations do not represent an evaluation of educational results but rather, decidedly, a measuring/cheking of such results. In this context, both are socio-educational selective mechanisms beyond Basic Education. In the light of ENEMs basic objective, it indicates that, in relation to the Area of Knowledge Portuguese Language and Literature, the items of the ENEM 1998 - 2000 exams present a relative absence of Content Validity. Therefore, it is suggested that there in an urgent need for systematic and comprehensive investigations about the content validity of ENEMs exams in all the Areas of Knowledge addressed.

Tamanho da escola: qual é o mais efetivo e para quem?

Neste estudo investiga-se a relação entre a aprendizagem e o tamanho da escola de nível médio nos E.U.A. Foram estudadas três levas de dados coletados na pesquisa do National Educational Longitudinal Study de 1988 (NELS: 88) e utilizados modelos hierárquicos lineares, com o HLM, para verificar como o desenvolvimento do desempenho dos estudantes em leitura e matemática, durante os anos da escola média, é influenciado pelo tamanho da escola que freqüentam. A pesquisa focalizou três questões centrais: (a) "Que tamanho de escola média é o mais efetivo para a aprendizagem dos alunos?", (b) "Em que tamanho de escola a aprendizagem é distribuída de modo mais eqüitativo?", (c) "São os efeitos do tamanho distribuídos consistentemente por escolas que diferem em sua composição social?" O tamanho da escola tem efeito mais forte sobre a aprendizagem em escolas com concentração de alunos de baixo nível socioeconômico, assim como nas escolas com maior concentração de alunos de minorias sociais. A discussão dos resultados do estudo focaliza implicações relativas à política educacional.

The study described in this article investigates the relationship between high school size and student learning. We used three waves of data from NELS:88 and hierarchical linear modeling (HLM) methods to examine how students achievement growth in two subjects (reading and mathematics) over the high school years is influenced by the size of the high school they attend. Three research questions guided the study: (a) Which size school is most effective for students learning? (b) In which size high school is learning most equitably distributed?, and (c) Are size effects consistent across high schools defined by their social compositions? Results suggest that the ideal high schools, defined in terms of effectiveness (i.e., learning), enrolls between 600 and 900 students. In schools smaller than this, students learn less; those in large high scholls (sepecially over 2100) learn considerably less. Learning is more equitable in very small schools, with equity defined by the relationship between learning and student socioeconomic status (SES). An important findind from the study is that the influence of school size on learning is different is schools that enroll students of varying SES and in schools with differing proportions of minorities. Enrollment size has a stronger effect on learning in schools with lower SES students and also in schools with high concentrations of minority students. Implications for educational policy are discussed.

Teoria da Resposta ao Item (TRI): modelos multidimensionais

Os modelos de respostas ao item utilizado, atualmente, limitam-se a avaliações que medem um traço latente (habilidade) que pode ser representado por uma única dimensão (avaliações unidimensionais). Algumas avaliações, seja pela construção dos itens ou pela própria finalidade da aplicação, não podem, a princípio, ser consideradas unidimensionais. Este é o caso do Exame Nacional do Ensino Médio - ENEM, que foi estruturado segundo uma matriz de 5 competências. Este trabalho apresenta, primeiramente, conceitos básicos da TRI e introduz técnicas destinadas à determinação da dimensionalidade de um conjunto de dados. A Análise Fatorial de Informação Plena está entre essas técnicas e é proposta como ferramenta para a verificação da dimensionalidade das provas do ENEM. Os resultados desse estudo mostraram que a habilidade medida pelo ENEM do ano de 1999 pode ser representada por pelo menos 5 dimensões. O trabalho apresenta, ainda, modelos que tornam possível a modelagem de dados em avaliações multidimensionais.

The item response models currently applied in most educacional evaluations seek to measure a latent trait (ability) which can be represented by only one dimension (unidimensionality). Some educacional evaluations, however, do not fit into a one-dimensional framework. This is case of the Exame Nacional do Ensino Médio (ENEM), which has been designed according to a matrix of five different skills. At the outset, this article presents a brief overview of the unidimensional Item Response Theory and some tecniques that are helpful in determining the dimensionality of a given set of items. One of these techniques is the Full Information Factorial Analysis, which we propose as a way to check the dimensionality of ENEM. The results suggest that this exam in 1999 is at least fivefold dimensional. We also present models designed to model multidimensional evaluations.

Comportamento Diferencial do Item (DIF): uma apresentação

O artigo procura suprir uma deficiência na literatura nacional que trata de modelos estatísticos aplicados à pesquisa e, especialmente, à avaliação educacional. O uso intensivo da Teoria da Resposta ao Item apresenta dificuldades sobretudo para pessoas sem uma formação matemática mais aprofundada. Assim, nas avaliações desenvolvidas a partir dos anos 90 aparecem certas siglas e termos, como, por exemplo, DIF - Differential Item Functioning, que oferecem dificuldades para alguns educadores. O presente trabalho procura explicar, na medida do possível, sem aprofundamento matemático, o conceito de Comportamento Diferencial do Item, largamente empregado em avaliação educacional, inclusive no Brasil.

This article attempts to fill a gap in the Brazilian literature on statistical models applied to research and, especially, to educational evaluation. The intensive use of Item Response Theory is especially difficult for people without adequate mathematical training. In the evaluations developed since the nineties certain acronyms and terms come up, e.g. DIF - Differential Item Functioning, which are difficult for certain educators. This article attempts to explain, as far as possible, and without going in any depth into mathematical terms, the concept of Differential Item Functioning, widely used in education evaluation, including in Brazil.

Nível de significância alpha ou valor-p?

Nas últimas décadas, alguns pesquisadores têm preferido trabalhar, quando fazem testes de hipóteses estatísticas, com o nível de significância efetivo, chamado de valor-p, em lugar do tradicional nível de significância teórico alpha, fixado a priori, por ocasião do planejamento do experimento. Neste artigo, procura-se mostrar que tal prática flexibiliza demasiadamente a região crítica, deixando a questão da rejeição ou da não-rejeição da hipótese sob a quase inevitável influência de fatores emocionais. Ressaltam-se também aspectos ligados à ocorrência do chamado Erro Tipo II e conseqüências ligadas à sensibilidade do experimento, isto é, do poder.

During the last few decades, some researchers have shown strong preference, when testing statistical hypoteses, for the effective level of significance, also called p-value, in place of the traditional theoretical level of significance alpha, established in advance - at the time of the design of the experiment. This article tries to show that such practice adds extreme flexibility to the critical region, leaving the question of rejecting or not rejecting the hypoteses under the almost inevitable influence of emotional factors. Some aspects in relation with the occurrence of Type II Errors as Well as the corresponding consequences connected with the sensitivity of the experiment (power) are dealt with.

Da seleção à avaliação: uma análise dos fatores inibidores da evasão dos estudantes nos mestrados de educação

O presente artigo trata dos fatores que poderiam conter a evasão de estudantes nos mestrados em Educação no Brasil. Dada as peculiaridades dos ingressantes nesta modalidade de mestrado tais fatores podem ser levados em consideração na busca pela redução do nível de abandonos e desistências. Para uma análise mais precisa fez-se uso dos dados relativos à evasão de estudantes do mestrado em Educação da Unesp/Marília, das coortes de 1988 a 1995. Foram apontados fatores inibidores da evasão desde a seleção dos candidatos ao mestrado, passando pelo processo de orientação, financiamento, até os critérios de avaliação, com um destaque para a questão da exigência da dissertação como trabalho final.

This article deals with the factors that could restrain the drop-out rate in Masters Programs in Education in Brazil. For a more precise analysis the data relative to the evasion of Masters students in the Education Program at Unesp/Marília between 1988 and 1995 were used. Inhibiting factors were pointed out ranging from the selection of candidates for the Masters Program, through the supervising process, financing, to the evaluation criteria, with special emphasis on the requirement of a dissertation as a final product.

Os saberes locais e internacionais como possibilidades de contribuição para políticas públicas e a avaliação educacional

Este texto tem como objetivo colocar em discussão possíveis caminhos para sedimentar nossas políticas públicas educacionais de avaliação, tendo como aporte as pesquisas educacionais realizadas no Brasil e as suas contribuições no entendimento das questões intra e extra escolares requeridas pela sociedade. Entretanto, não se coloca fora da discussão o conhecimento das ações empreendidas por outros países, com diferentes perfis em relação à avaliação, que propõem mudanças nas suas políticas educacionais ou procuram construir indicadores internacionalmente aceitáveis. Tais conhecimentos podem ser vistos sob o ângulo de estudos comparativos que possam contribuir com as políticas públicas educacionais brasileiras no estabelecimento de um fecundo diálogo entre o saber local e os saberes internacionais.

This article aims at discussing possible paths to consolidate our evaluation educational public policies and is based on educational researches carried out in Brazil and their contributions to understanding intra and extra school issues required by society. However, knowledge of actions engaged in by other countries with different approaches to evaluation, which propose changes in their educational policies or seek to build internationally acceptable indicators are not left aside. These can be analyzed from a comparative study angle so as to contribute to Brazilian educational public polices in establishing a fertile dialogue between local knowledge and international knowledge.