Estudos em Avaliação Educacional

Avaliação institucional: uso de abordagens diversificadas de pesquisa

O Sistema Nacional de Avaliação da Educação Superior (Sinaes), instituído pela Lei n. 10.861, de 14 de abril de 2004, é formado por três componentes principais: avaliação das instituições (externa e autoavaliação), avaliação dos cursos e avaliação do desempenho dos estudantes. O objetivo do presente artigo é descrever as várias abordagens de pesquisa utilizadas na auto-avaliação de uma instituição de ensino superior particular, para a obtenção dos dados necessários à avaliação das dez dimensões do Sinaes. O processo de avaliação foi operacionalizado a partir de uma sequência de etapas destinadas à coleta de dados para obtenção das informações necessárias, a fim de subsidiar o processo analítico da instituição. A coleta de dados constou de questionário eletrônico, vistorias às instalações físicas, reuniões com os grupos focais (coordenadores, docentes, discentes e corpo técnico-administrativo), entrevistas com os dirigentes e os responsáveis por setores de apoio e suporte às atividades acadêmicas e administrativas e levantamento e pesquisa de documentação e de dados institucionais. Com base nos dados e informações levantados, a comissão fez a compilação, o cruzamento e a análise completa dos dados. A etapa final consistiu da discussão sobre os dados entre os membros da Comissão Própria de Avaliação (CPA) e entre a CPA e os dirigentes, de modo que a comissão pudesse encaminhar um diagnóstico compartilhado sobre as fragilidades, as potencialidades e as ações a serem realizadas.

El Sistema Nacional de Evaluación de la Educación Superior (Sinaes), creado por la Ley número 10.861 del 14 de abril del 2004, está formado por tres componentes principales: la evaluación de las instituciones (externa y autoevaluación), la evaluación de los cursos y la evaluación del desempeño de los estudiantes. El objetivo del presente artículo es describir los diversos abordajes de investigación utilizados en la autoevaluación de una institución de enseñanza superior particular, para obtener los datos necesarios para evaluar las diez dimensiones del Sinaes. El proceso de evaluación fue operacionalizado a partir de una secuencia de etapas destinadas al relevamiento de datos para obtener las informaciones necesarias, con el fi n de subsidiar el proceso analítico de la institución. La recolección de datos constó de cuestionarios electrónicos, inspecciones a las instalaciones físicas, reuniones con los grupos focales (coordinadores, docentes, discentes y cuerpo técnico-administrativo), entrevistas con los directivos y los responsables de los sectores de apoyo y soporte a las actividades académicas y administrativas, y relevamiento e investigación de documentación y de datos institucionales. Con base en los datos y en las informaciones recolectadas, la comisión hizo la compilación, el cruzamiento y el análisis completo de los datos. La etapa fi nal consistió en una discusión sobre los datos, realizada entre los miembros de la Comisión Propia de Evaluación (CPA) y entre la CPA y los directivos, de modo que la comisión pudiese encaminar un diagnóstico compartido sobre las fragilidades, las potencialidades y las acciones a ser realizadas.

The National System of Higher Education Assessment (Sinaes), established by Law Nr. 0,861 of 14 April 2004, consists of three main components: assessment of the institutions (external and self-assessment), evaluation of courses, and assessment of student performance. The aim of this paper is to report on the various survey approaches used in the self-assessment of a private institution of higher education in order to obtain the data needed to evaluate the ten dimensions of Sinaes. The evaluation process was implemented according to a sequence of steps aimed at collecting data to obtain the information necessary to support the analytical process of the institution. Data collection consisted of an electronic questionnaire, inspection of the physical facilities, meetings with focus groups (coordinators, teachers, students and technical-administrative staff), interviews with managers and those responsible for areas of support and assistance to academic and administrative activities, and survey and study of the documentation and institutional data. Based on data and information collected, the committee made the compilation, the comparison and a complete analysis of the data. The final step was the discussion of the data among members of the Own Assessment Committee (CPA) and between the CPA and the managers, so the committee could send a shared diagnosis of the weaknesses, potentials and actions to be taken.

Avaliação das instituições públicas de ensino superior: direções e interesses subjacentes

Este texto é produto de uma pesquisa mais ampla que teve como objeto de investigação a auto-avaliação de duas universidades públicas, a Universidade do Estado do Rio de Janeiro (UERJ) e a Universidade Federal do Estado do Rio de Janeiro (UNIRIO), realizada por suas Comissões Próprias de Avaliação (CPAs), em conformidade com a Lei n. 10.861, de 14 de abril de 2004, que instituiu o Sistema Nacional de Avaliação da Educação Superior (Sinaes), e com a Portaria MEC n. 2.051, de 9 de julho de 2004. Objetivou investigar a configuração e a implementação do processo auto-avaliativo em ambas as universidades, seu impacto na promoção do avanço do conhecimento e formação de cidadãos, suas contribuições para a superação de reducionismos e explicações simplistas da realidade humana, e suas possíveis contribuições para a construção do diálogo entre as diversas áreas e disciplinas acadêmicas. Entre os seus resultados destacam-se os relatórios estranhados, a subsunção dos tempos livres, o apagamento das subjetividades e a recapacitação das universidades, mediada pela Teoria do Capital Social.

Este texto es el producto de una investigación más amplia que tuvo como objeto de investigación la autoevaluación de dos universidades públicas, la Universidad del Estado de Rio de Janeiro (UERJ) y la Universidad Federal del Estado de Rio de Janeiro (UNIRIO), realizada por sus Comisiones Propias de Evaluación (CPAs), en conformidad con la Ley 10.861, del 14 de abril del 2004, que instituyó el Sistema Nacional de Evaluación de la Educación Superior (Sinaes) y con el decreto del Ministerio de Educación y Cultura (MEC) número 2.051, del 9 de julio del 2004. El objetivo fue investigar la confi guración y la implementación del proceso de autoevaluación en ambas universidades, su impacto en la promoción del avance del conocimiento y la formación de ciudadanos, sus contribuciones para la superación de reduccionismos y explicaciones simplistas de la realidad humana y sus posibles contribuciones para la construcción del diálogo entre las diversas áreas y disciplinas académicas. Entre los resultados se destacan los informes estranhados, la subsunción de los tiempos libres, el apagamiento de las subjetividades y la recapacitación de las universidades, mediada por la Teoría del Capital Social.

This text is part of a larger study that had as its object of research the self-assessment of two public universities, the University of Rio de Janeiro (UERJ) and the Federal University of Rio de Janeiro (UNIRIO), through their Own Assessment Committees (CPAs) in accordance with Law Nr. 10,861 of 14 April 2004, which established the National System of Higher Education Assessment (Sinaes) and MEC (Minisrty of Education and Cultura) Order Nr. 2051 of July 9, 2004. It investigates the design and implementation of the self-assessment process at both universities, its impact on promoting the advancement of knowledge and on educating citizens, its contributions to overcoming reductionism and simplistic explanations of human reality and its possible contribution to the construction of a dialogue between different areas and academic disciplines. Among the results stand out the estranged reports, the subsumption of leisure time, the suppresion of subjectivity and the requalification of universities, mediated by the Theory of Social Capital.

Aumentando a eficácia e a eficiência da avaliação do ensino superior: a relação entre o Enem e o Enade

A aplicação do Exame Nacional do Desempenho dos Estudantes (Enade) para alunos ingressantes trouxe um significativo avanço para a avaliação do ensino superior no país: a possibilidade do cálculo de uma medida de valor agregado do curso, o Indicador de Diferença entre os Desempenhos Esperado e Observado (IDD). Uma proposta para a melhoria da avaliação do ensino superior brasileiro, porém, seria a utilização dos resultados do Exame Nacional do Ensino Médio (Enem) como baseline para o cálculo do IDD. Haveria um aumento da eficiência devido à não aplicação do Enade para alunos ingressantes, reduzindo custos. Já o aumento da eficácia se daria em razão da obtenção de um baseline melhor, em virtude dos fortes incentivos para fazer a prova. Neste estudo, analisou-se a possibilidade de se utilizar os resultados do Enem, como alternativa aos resultados do Enade dos ingressantes, para o cálculo do IDD dos cursos. Ao calcularmos um novo IDD, substituindo a nota do Enade dos alunos ingressantes pela nota do Enem desses alunos, obtivemos correlações entre esse novo IDD e o IDD calculado tradicionalmente, de cerca de 0,75, indicando que não haveria uma mudança muito significativa na ordenação das notas dos indivíduos, o que viabilizaria essa substituição.

La aplicación del Examen Nacional de Desempeño de los Estudiantes (Enade) para los alumnos que ingresan implicó un avance signifi cativo para la evaluación de la enseñanza superior del país con la posibilidad de calcular una medida de valor agregado del curso, el Indicador de la Diferencia entre los Desempeños Esperado y lo Observado (IDD). Sin embargo, una propuesta para mejorar la evaluación de la enseñanza superior brasileña sería la utilización de los resultados del Examen Nacional de Enseñanza Media (Enem) como línea de base para el cálculo del IDD. Habría un aumento de la efi ciencia debido a que no se aplicaría el Enade a los alumnos que ingresan, reduciendo así los costos. El aumento de la efi cacia se daría en función de la obtención de una línea de base mejor, debido al fuerte incentivo para hacer la prueba. En este estudio, se analizó la posibilidad de utilizar los resultados del Enem, como alternativa a los resultados del Enade de los alumnos que ingresan, para el cálculo del IDD de los cursos. Al calcular un nuevo IDD, que sustituya la nota del Enade de los alumnos que ingresan por la nota del Enem de los mismos, obtuvimos correlaciones entre ese nuevo IDD y el IDD calculado tradicionalmente, de aproximadamente 0,75. Esto indica que no habría un cambio muy signifi cativo en la ordenación de las notas de los individuos, lo que viabilizaría esa sustitución.

Administering the Nacional Assessment Examination of Student's Performance (Enade) to new students meant a significant advance in the evaluation of higher education in the country: the possibility to calculate a measure of added value of the course, the Indicator of the Difference between Expected and Observed Performances (IDD). A proposal for improving the assessment of higher education in Brazil, however, would be to use the results of the National Secondary Education Examination (Enem) as a baseline for calculating the IDD. There would be an increase in efficiency due to the non-application of Enade to freshmen, thus reducing costs. In turn, the increase in efficiency would be due to obtaining a better baseline, because of strong incentives to take the examination. In this study, we analyzed the possibility of using the Enem results as an alternative to the Enade results of freshmen in order to calculate the IDD of the courses. When a new IDD was calculated, replacing the freshmen's Enade grade with the Enem grade of these students, we found correlations between this new IDD and the traditionally calculated IDD, of about 0.75, indicating that there would not be a very significant change in the ranking of individuals grades, which would mean that this substitution is quite viable.

Avaliação da ação afirmativa no vestibular da UFBA

Com o objetivo de tornar o ensino superior acessível a todos, independentemente da classe social ou etnia, as universidades públicas vêm implantando ações afirmativas. A partir de 2005, o vestibular da Universidade Federal da Bahia (UFBA) possui um sistema de cotas que reserva cerca de 45% das vagas para candidatos originários de escola pública que se declaram pretos, pardos, índio-descendentes ou de outros grupos étnicos. Assim, desejando verificar as mudanças ocorridas no vestibular, em razão do sistema de cotas, este estudo utiliza dados da UFBA, de 2003 a 2008, e analisa a relação existente entre a aprovação no vestibular e as características dos candidatos, como renda familiar, cor/raça e nível educacional dos pais, entre outras variáveis. Mediante modelos logísticos ajustados a cada característica do candidato, foi observado que o sistema de cotas aumentou as chances de aprovação para os candidatos com renda familiar de 1 a 5 salários mínimos, que estudaram em escola estadual no 2º grau, e que trabalharam enquanto cursavam o ensino médio, entre outras variáveis. Já com o modelo logístico múltiplo, foi observado principalmente que a variável raça/cor apresentou uma tendência à equidade ao longo dos anos, isto é, independentemente da etnia, os candidatos tendem a ter as mesmas chances de serem aprovados no vestibular.

Con el objetivo de tornar la enseñanza superior accesible a todos, independientemente de la clase social o etnia, las universidades públicas vienen implementando acciones afi rmativas. Desde 2005, el examen de ingreso de la Universidad Federal de Bahía (UFBA) posee un sistema de cuotas que reserva cerca del 45% de los cupos para aspirantes provenientes de las escuelas públicas que se declaren negros, mulatos, descendientes de indios o de otros gruposétnicos. Así, con el propósito de verifi car los cambios ocurridos en el examen de ingreso, por causa del sistema de cuotas, este estudio utiliza datos de la UFBA, del 2003 al 2008, y analiza la relación existente entre la aprobación del examen y las características de los aspirantes, como renta familiar, color/raza y nivel educacional de los padres, entre otras variables. Mediante modelos logísticos que se ajustan a cada característica del candidato, se observó que el sistema de cuotas aumentó las posibilidades de ingreso de los aspirantes con renta familiar de uno a cinco sueldos mínimos; de los que hicieron el secundario en escuelas públicas estaduales; y de los que trabajaban mientras cursaban la enseñanza media, entre otras variables. Ya con el modelo logístico múltiple, se observó principalmente que la variable raza/color presentó una tendencia a la equidad a lo largo de los años, es decir, independientemente de la etnia, los aspirantes tienden a tener las mismas chances de ser aprobados en el examen de ingreso.

Public universities have been implanting affirmative actions with the objective of giving everybody access to higher education. The quota system at UFBA began in 2005 and sets aside about 45% of vacancies to candidates from public schools who declare themselves black, brown, descendants of Indians or belonging to other ethnic groups. In order to study the changes in the selection process resulting from the quota system, this study used data of entrance records at UFBA from 2003 to 2008 and analyzed the relationship between those approved and certain characteristics of the candidates, such as family income, color/race and educational level of the parents, among other variables. According to simple logistic models, the chances of passing/entering increased with the quota system for candidates who have a family income from one to five minimum salaries, who studied at state high schools and who worked while studying. However, according to multiple logistic models, the main result is that race/color tended to equity over the years, that is, candidates tend to have the same chances of entering university, regardless of their ethnicity.

Análise acerca do boicote dos estudantes aos exames de avaliação do ensino superior

Este estudo analisa o fenômeno popularmente denominado de boicote aos exames que compõem o sistema de avaliação do ensino superior no Brasil, dando ênfase ao Exame Nacional de Desempenho dos Estudantes (Enade). Ao fazê-lo, evidencia a magnitude do boicote ao longo do tempo, entre as instituições públicas e privadas, por tipo de boicote. Investigando o último triênio de avaliação do Enade, a análise econométrica identifica as variáveis que mais afetam a decisão do aluno ao adotar esse comportamento. Essas análises permitiram traçar um perfil do estudante que adere ao fenômeno. Como principal conclusão, o estudo aponta que o boicote, quando analisado de forma geral, não se mostra significativo, uma vez que o percentual de ocorrência nunca foi superior a 3,5%, mas quando analisado por curso a incidência desse fenômeno apresentou grandes variações. O presente artigo também revela algumas possíveis motivações para esse comportamento, entre elas a insatisfação do aluno com o curso e/ou a instituição.

Este estudio analiza el fenómeno popularmente denominado de boicot a los exámenes que componen el sistema de evaluación de la enseñanza superior en Brasil, dando énfasis al Examen Nacional del Desempeño del Estudiante (Enade). Al hacerlo, se pone en evidencia la magnitud del boicot a lo largo del tiempo, entre las instituciones públicas y privadas, por tipo de boicot. Al investigar el último trienio de evaluación del Enade, el análisis econométrico identifi ca las variables que más afectan la decisión del alumno al adoptar tal comportamiento. Estos análisis permitieron trazar un perfi l de los estudiantes que adhieren a dicho fenómeno. Como principal conclusión, el estudio señala que el boicot, cuando se lo analiza de forma general, no se muetra signifi cativo, ya que el porcentaje de ocurrencia nunca fue superior al 3,5%, pero al analizarlo por curso la incidencia de ese fenómeno presentó grandes variaciones. El presente artículo también revela algunos posibles motivos para tal comportamiento, entre ellos, la insatisfacción de los alumnos con el curso y/o la institución.

This study examines the phenomenon popularly known as a boycott of exams that make up the evaluation system of higher education in Brazil, focusing on the National Assessment Examination of Student Performance (Enade). Thus, it highlights the magnitude of the boycott over time, between public and private institutions, by type of boycott. Investigating the last three years of the Enade assessment, econometric analysis identifies the variables that mostly affect a student's decision to adopt this behavior. These tests allowed us to draw a profile of the student who adheres to this phenomenon. As its main conclusion, the study suggests that the boycott, when analyzed in an overall way, does not appear significant, since the percentage of occurrence was never more than 3.5%, but when analyzed by course, the incidence of this phenomenon showed wide variations. This article also reveals some possible reasons for this behavior, including the student's dissatisfaction with the course and/or institution.

Ampliando o conceito de competência: contribuições às políticas públicas de certificação de competências

Com base em dados coletados na rede estadual de ensino da Bahia, o presente artigo relata a investigação sobre a relação entre dois diferentes conceitos de competência, aferida por um processo de certificação ocupacional para diretor escolar, e a proficiência de seus alunos em português, medida por avaliações externas do ensino. Pôde-se confirmar que os conceitos de competência utilizados na investigação relacionam-se positivamente com o desempenho escolar - mesmo após a introdução de fatores de teste relacionados teoricamente com o desempenho escolar - e que essa relação é mais forte em contextos mais complexos de ensino. Entretanto, os achados da investigação indicam que modificações no estabelecimento do conceito de competência têm influência na intensidade e significância das relações estabelecidas com o resultado escolar. As conclusões da investigação contribuem para a elaboração de políticas públicas de certificação de competências no âmbito educacional, maior compreensão desse tema, assim como para a ampliação dos conhecimentos sobre fatores determinantes do desempenho escolar.

Con base en datos recolectados en el sistema estadual de enseñanza de Bahía, el presente artículo relata una investigación sobre la relación entre dos diferentes conceptos de competencia, verifi cada por un proceso de certifi cación ocupacional para director escolar, y la profi ciencia de sus alumnos en portugués, medida por evaluaciones externas de la enseñanza. Se pudo confi rmar que los conceptos de competencia utilizados en la investigación se relacionan positivamente con el desempeño escolar - incluso después de introducir factores de test relacionados teóricamente con el desempeño escolar -, y que dicha relación es más fuerte en contextos más complejos de enseñanza. Sin embargo, los hallazgos de la investigación indican que algunas modifi caciones en el establecimiento del concepto de competencia infl uencian la intensidad y signifi cación de las relaciones establecidas con el resultado escolar. Las conclusiones de la investigación contribuyen con la elaboración de políticas públicas de certifi cación de competencias en elámbito educativo, para una mayor comprensión de este tema, así como para la ampliación de los conocimientos sobre factores determinantes del desempeño escolar.

Based on data collected in state schools in Bahia, this article reports on a research of the relationship between two different concepts of competence, as measured by an occupational certification process for school principals, and the proficiency of their students in the disciplines of Portuguese, as measured by external teaching assessments. We were able to confirm that the concepts of competence used in the study are positively related with school performance - even after the introduction of testing factors theoretically related to school performance - and that this relationship is stronger in more complex teaching contexts. However, the findings of the investigation indicate that changes in establishing the concept of competence exert an influence on the intensity and significance of the relations established with the school results. The research findings contribute to the development of public policies of competences certification in education, to a greater understanding of this issue, as well as to the expansion of our knowledge of determinants of school performance.

Pessoas com deficiência: concursos públicos e cotas

Com o objetivo de investigar a transição escola/mercado de trabalho, das pessoas com deficiência - seja física, auditiva, visual, mental ou mista -, este estudo, norteado pela lei de cotas (reserva de vagas para pessoas com deficiência) analisa os resultados de 3 concursos públicos, realizados em 2005, 2006 e 2007, para verificar se as pessoas com deficiência dependem exclusivamente de cotas e permanecem concorrendo entre si. Os resultados indicaram que o número de pessoas com deficiência que buscaram inserção no mercado de trabalho, no serviço público, aumentou, porém ainda não atingiu 1% do total de inscritos. A análise, comparando os resultados obtidos nas provas, sugere que os candidatos que se declaram com deficiência teriam chances remotas de ingresso na carreira pública, se não amparados legalmente pelas cotas.

Con el objetivo de investigar la transición escuela/mercado de trabajo de las personas con defi ciencia - sea física, auditiva, visual, mental o mixta -, este estudio, orientado por la ley de cuotas (reserva de vacantes para personas con defi ciencia) analiza los resultados de tres concursos públicos, realizados en 2005, 2006 y 2007, para verifi car si las personas con defi ciencia dependen exclusivamente de las cuotas y si compiten entre sí. Los resultados indicaron que el número de personas con defi ciencia que buscaron una inserción en el mercado de trabajo, em el servicio público, aumentó. Sin embargo, todavía no ha llegado al 1% del total de inscriptos. El análisis, comparando los resultados obtenidos en las pruebas, sugiere que los candidatos que se declaran con defi ciencia tendrían chances remotas de ingresar a la carrera pública, si no estuvieran amparados legalmente por el sistema de cuotas.

In order to investigate the transition of people with disabilities - whether physical, hearing, visual, mental or mixed - from school to the job market, this study, driven by Brazilian Federal law of quotas (a reservation of openings for people with disabilities), analyzes the results of three open public service recruitment exams, held in 2005, 2006 and 2007, in order to check if people with disabilities rely exclusively on quotas and keep competing with each other. The results indicated that the number of people with disabilities who seek integration into the job market, in the public service, has increased, but has not yet reached 1% of total applicants. The analysis, comparing the results of the exams, suggests that candidates who declare themselves disabled have remote chances of entering a public service career if not legally supported by quotas.

Matriz de referência para a medição do alfabetismo nos domínios do letramento e do numeramento

As autoras apresentam a matriz de referência desenvolvida para o Indicador de Alfabetismo Funcional (Inaf), projeto que vem coletando e analisando dados sobre as habilidades de alfabetismo da população brasileira de 15 a 64 anos desde 2001. O principal aspecto inovador da proposta é a integração de dois domínios do alfabetismo - o letramento e o numeramento - nos mesmos conjuntos de habilidades. Distinguem-se também as habilidades funcionais (localização, integração, elaboração e avaliação), foco principal do Inaf, das habilidades elementares, úteis para avaliação de programas de alfabetização inicial (reconhecimento de letras, numerais e sinais; reconhecimento de palavras e números, fluência; reconhecimento do assunto, tipo ou finalidade dos textos/instrumentos e registro escrito). Além dos tipos de texto sobre os quais as habilidades de alfabetismo se manifestam, são apresentados e discutidos os fatores de dificuldade que fazem as tarefas corresponderem a níveis mais baixos ou altos de proficiência. A matriz de referência pretende oferecer aos educadores um quadro conceitual que organize o trabalho pedagógico sobre as capacidades de alfabetismo, instrumento principal para aprendizagens nos mais diversos campos do saber, em torno do qual se pode constituir um projeto pedagógico integrado para toda a educação básica.

Las autoras presentan la matriz de referencia desarrollada para el Indicador de Alfabetismo Funcional (Inaf ), proyecto que desde el 2001 viene recolectando y analizando datos sobre las habilidades de alfabetismo de la población brasileña con edades entre 15 y 64 años. El principal aspecto innovador de la propuesta es la integración de dos dominios del alfabetismo - El letramiento y el numeramiento (procesos de adquisición de lectura, escritura y numeración, más amplios y abarcativos que aprender a leer, escribir y el sistema de numeración) - em los mismos conjuntos de habilidades. Se distinguen también las habilidades funcionales (localización, integración, elaboración, evaluación), principal foco del Inaf, de las habilidades elementales, útiles para la evaluación de programas de alfabetización inicial (reconocimiento de letras, numerales y señales; reconocimiento de palabras y números, fl uidez; reconocimiento del asunto, tipo o fi nalidad de los textos/instrumentos y registro escrito). Además de los tipos de texto sobre los cuales las habilidades de alfabetismo se manifi estan, se presentan y discuten los factores de difi cultad que hacen que las tareas correspondan a niveles más bajos o altos de profi ciencia. La matriz de referencia pretende ofrecer a los educadores un cuadro conceptual que organice el trabajo pedagógico sobre las capacidades de alfabetismo, instrumento principal para aprendizajes en los más diversos campos del saber, en torno del cual se puede constituir un proyecto pedagógico integrado para toda la educación básica.

The authors present a reference matrix developed for the Indicator of Functional Literacy (Inaf), a project that has been collecting and analyzing data on literacy skills of the Brazilian population between 15 and 64 years of age since 2001. The main innovative aspect of the proposal is the integration of two areas of literacy - letters and numbers - into the same sets of skills. The functional habilities (spotting, integrating, elaborating and evaluating), which are the main focus of Inaf, are distinguished from basic skills, useful for evaluating early literacy programs (recognizing letters, numerals and signs, recognizing words and numbers, fluency; recognizing the subject, type or purpose of the texts/instruments and written record). In addition to the types of text on which literacy skills come into use, the authors present and discuss the difficulty factors that make tasks correspond to lower or higher levels of proficiency. The referente matrix aims to provide educators with a conceptual framework to organize the work of teaching literacy skills, the main vehicle for learning in various fields of knowledge, around which one can build an integrated education project for the entire basic education.

O Funcionamento Diferencial do Item (DIF) como estratégia para captar ênfases curriculares diferenciadas em matemática

O texto apresenta o Differential Item Functioning (DIF) como uma importante ferramenta estatística na identificação de diferenças em testes de habilidade cognitiva que fazem uso da Teoria de Resposta ao Item (TRI), a exemplo do que ocorre nas avaliações educacionais em larga escala. Um item apresenta DIF quando alunos de diferentes grupos que possuem a mesma habilidade cognitiva não têm a mesma probabilidade de acertarem o item. O presente trabalho utiliza os resultados do Brasil e de Portugal, no Programa Internacional de Avaliação dos Estudantes (PISA), de 2003, cuja área de conhecimento privilegiada foi a Matemática. Foram analisados 84 itens aplicados a alunos de 41 países, sendo 4452 brasileiros e 4608, portugueses. Os resultados discutidos mostram que alguns itens apresentam funcionamento diferencial entre alunos brasileiros e portugueses, principalmente em função da subárea da Matemática e do contexto em que o conhecimento matemático é aplicado.

El texto presenta el Diff erential Item Functioning (DIF) como una importante herramienta estadística para la identifi cación de diferencias en tests de habilidades cognitivas que usan la Teoría de la Respuesta al Ítem (TRI), como ejemplo de lo que ocurre en las evaluaciones educativas a gran escala. Un Ítem presenta DIF cuando alumnos de diferentes grupos que poseen la misma habilidad cognitiva no tienen la misma probabilidad de acertar el ítem. El presente trabajo utiliza los resultados de Brasil y de Portugal, en el Programa Internacional de Evaluación de los Estudiantes (PISA), del 2003, cuya área de conocimiento privilegiada fue la Matemática. Se analizaron 84 items aplicados a alumnos de 41 países, de los cuales 4452 eran brasileños y 4608, portugueses. Los resultados discutidos muestran que algunos items presentan un funcionamiento diferencial entre alumnos brasileños y portugueses, principalmente en función de la subárea de matemática y del contexto en el que se aplica el conocimiento matemático.

This article presents DIF - Differential Item Functioning - as an important statistical tool in identifying differences in tests of cognitive ability that make use of IRT- Item Response Theory -, similar to what occurs in educational assessments on a large scale. An item is said to present a differential functioning when students from different groups, who have the same cognitive ability, do not have the same probability of answering the item correctly. This study was developed using Brazil's and Portugal's results in the Program for International Student Assessment (PISA) in 2003, whose privileged area of assessment was Mathematics. We analyzed 84 Mathematics items administered to students from 41 countries, out of which 4452 were Brazilian students and 4608, Portuguese ones. The results discussed here show that some Mathematics items present differential functioning between Brazilian and Portuguese students mainly because of the subarea of Mathematics and the context to which mathematical knowledge is applied.

Eficácia dos processos de linkagem na avaliação educacional em larga escala

Em 1997, por meio do Sistema Nacional de Avaliação da Educação Básica (Saeb), definiu-se a escala de proficiência para o Brasil. A partir de então, praticamente todas as avaliações em larga escala realizadas têm procurado manter uma comparabilidade de resultados com essa escala, por intermédio da Metodologia da Teoria da Resposta ao Item (TRI). Entretanto, observa-se uma diversidade de situações ao se analisar as diferentes avaliações realizadas pelos Estados brasileiros e até no próprio Saeb. Neste artigo, apresentaremos alguns aspectos técnicos necessários para garantir a comparabilidade nos procedimentos de linkagem de avaliações, bem como as características das avaliações do Saeb e de alguns Estados brasileiros ao longo do tempo.

En 1997, por medio del Sistema Nacional de Evaluación de la Educación Básica (Saeb), se difundió la escala de profi ciencia para Brasil. A partir de entonces, practicamente todas las evaluaciones a gran escala realizadas han intentado mantener una comparabilida de resultados con esa escala, por intermedio de la Metodología de la Teoría de Respuesta al Ítem (TRI). Sin embargo, se observa una diversidad de situaciones al analizar las diferentes evaluaciones realizadas por los diferentes Estados brasileños e incluso hasta en el propio Saeb. En este artículo presentaremos algunos aspectos técnicos necesarios para garantizar posibilidad de establecer comparaciones en los procedimientos de linkage de evaluaciones, así como las características de las evaluaciones del Saeb y de algunos Estados brasileños a lo largo del tiempo.

In 1997, the proficiency scale for Brazil was defined through the National System of Basic Education Evaluation (Saeb). From that time on, almost all the assessments carried out by several Brazilian states have tried to keep results comparable with this scale through Item Response Theory Methodology (IRT). However, a variety of situations is observed when different assessments in Brazilian states or even at Saeb are analyzed. In this article, some technical aspects needed to ensure comparability in the assessment of linking procedures are presented, as well as the characteristics of Saeb's assessment and some Brazilian states' assessment throughout time.