Scielo RSS <![CDATA[Estudos em Avaliação Educacional]]> http://educa.fcc.org.br/rss.php?pid=0103-683120180003&lang=en vol. 29 num. 72 lang. en <![CDATA[SciELO Logo]]> http://educa.fcc.org.br/img/en/fbpelogp.gif http://educa.fcc.org.br <![CDATA[Higher education evaluation systems in Portugal and Brazil]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312018000300596&lng=en&nrm=iso&tlng=en RESUMO O artigo apresenta um estudo comparado entre Portugal e Brasil sobre os sistemas de avaliação da educação superior e suas influências nos currículos de formação inicial de professores. Utilizou-se a metodologia qualitativa para analisar como os sistemas de avaliação constituem referencial básico para os processos de regulação e supervisão da educação superior, a fim de promover a melhoria da qualidade e valorização das identidades institucionais. Os resultados indicam que o processo de avaliação externa tem influenciado os currículos, pois destacam os aspectos positivos e os pontos fortes dos cursos, reforçando concepções e práticas curriculares atuais. Conclui-se que os processos de regulação e supervisão, ao referenciarem os resultados da avaliação externa que valorizam as identidades institucionais, criam estratégias políticas para que a gestão institucional assuma a responsabilização e prestação de contas pela melhoria da qualidade da formação inicial de professores.<hr/>RESUMEN El artículo presenta un estudio comparado entre Portugal y Brasil sobre los sistemas de evaluación de la educación superior y sus influencias en los currículos de formación inicial de profesores. Se utilizó la metodología cualitativa para analizar cómo los sistemas de evaluación constituyen un referente básico para los procesos de regulación y supervisión de la educación superior, a fin de promover la mejora de la calidad y la valorización de las identidades institucionales. Los resultados indican que el proceso de evaluación externa ha influido en los currículos, ya que destacan los aspectos positivos y los puntos fuertes de los cursos, reforzando conceptos y prácticas curriculares actuales. Se concluye que los procesos de regulación y supervisión, al referenciar los resultados de la evaluación externa que valoran las identidades, crean estrategias políticas para que la gestión institucional asuma la responsabilidad y la rendición de cuentas por la mejora de la calidad de la formación inicial de profesores.<hr/>ABSTRACT The article presents a study comparing Portugal and Brazil's higher education evaluation systems and their influences on initial teacher education curricula. We used a qualitative methodology to analyze how the evaluation systems provide a basis for higher education and supervision processes in order to promote improvement in education quality and the valuing of institutional identities. Results indicate that external evaluation processes have influenced the curricula as they underline the positive aspects and strengths of teacher education programs, thus reinforcing current curricular practices and concepts. We conclude that as regulation and supervision processes build on evaluation results that promote institutional identities, they create political strategies that foster institutional management’s accountability for improving the quality of initial teacher education. <![CDATA[Design, trajectory and evaluation of a masters in education]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312018000300632&lng=en&nrm=iso&tlng=en RESUMO A articulação da formação e da atuação docente à sua profissionalização tem sido um debate profícuo entre aqueles que têm atuado nos mestrados profissionais em educação e refletido sobre o alcance dessa modalidade de pós-graduação. O presente estudo foi concebido no contexto atual de implementação, consolidação e avaliação desses mestrados, contexto esse no qual os autores deste artigo estão inseridos. A partir de pesquisa bibliográfica, documental e de levantamento quantitativo e qualitativo quanto ao programa do qual participam, os autores fazem a caracterização não só dos mestrandos, mas também da natureza dos resultados obtidos com as primeiras dissertações concluídas, apresentando desafios e possibilidades.<hr/>RESUMEN La articulación de la formación y la actuación docente a su profesionalización ha sido un debate proficuo entre aquellos que han actuado en las maestrías profesionales en educación y han reflexionado sobre el alcance de esa modalidad de postgrado. El presente estudio fue concebido en el actual contexto de implementación, consolidación y evaluación de tales maestrías, contexto en el que los autores de este artículo están insertados. A partir de una investigación bibliográfica, documental y de relevamiento cuantitativo y cualitativo en lo que concierne al programa en el que participan, los autores caracterizan no solo a los alumnos del curso, sino también a la naturaleza de los resultados obtenidos con las primeras disertaciones concluidas, presentando desafíos y posibilidades.<hr/>ABSTRACT Linking teacher training and practice to professionalism has been a fruitful discussion among those who have contributed to the development of professional masters in education and reflected on the scope of this type of post-graduation. This study was designed in the current context of implementation, consolidation and evaluation of these master’s programs, in which the authors of this article are involved. Based on bibliographical and documentary research, as well as on the quantitative and qualitative survey of the programs they participate in, these authors aim to characterize not only the master students themselves, but also the nature of the results obtained in the first dissertations on the subject, by presenting challenges and possibilities. <![CDATA[Institutional assessment of a regional coordination unit of education]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312018000300654&lng=en&nrm=iso&tlng=en RESUMO O artigo é um recorte de pesquisa e analisa o processo da avaliação institucional em uma Coordenadoria Regional de Educação, buscando identificar a ocorrência, ou não, de mudanças durante e após a realização da avaliação diagnóstica instituída pelo Sistema Estadual de Avaliação Participativa, para a rede estadual de ensino gaúcha. As análises tiveram como fontes o banco de dados do sistema on-line da avaliação institucional, observação em formações realizadas para a implementação da política e entrevista com responsáveis pela elaboração do diagnóstico. Pode-se afirmar que, na instância analisada, os objetivos do sistema de avaliação e a dinâmica prevista para sua realização foram observados e mantidos, gerando conhecimentos e aprendizagens com potencial para qualificar as práticas institucionais.<hr/>RESUMEN El artículo es un recorte de investigación y analiza el proceso de evaluación institucional en una Coordinadora Regional de Educación, buscando identificar la ocurrencia -o no-, de cambios durante y después de realizarse la evaluación diagnóstica instituida por el Sistema Estadual de Evaluación Participativa, para la red estadual de enseñanza del estado de Rio Grande do Sul. Las fuentes de los análisis fueron el banco de datos del sistema on-line de la evaluación institucional, observación en formaciones realizadas para implementar la política y entrevista con los responsables por la elaboración del diagnóstico. Se puede afirmar que, en la instancia analizada, los objetivos del sistema de evaluación y la dinámica prevista para su realización se observaron y mantuvieron, generando conocimientos y aprendizajes con potencial para cualificar las prácticas institucionales.<hr/>ABSTRACT The article analyzes findings from a broader research on the institutional assessment process of a Regional Coordination Unit of Education. It aims to identify if changes occurred during and after the completion of the diagnostic evaluation implemented by the State System of Participatory Evaluation for the state schools of Rio Grande do Sul. The sources of analysis were the online institutional assessment database, observations during trainings for the implementation of the policy, and interviews with people responsible for preparing the diagnosis. The results have shown that the assessment system objectives, as well as the dynamics involved in its completion, were observed and maintained, generating knowledge and learning able to qualify institutional practices. <![CDATA[Implementation of educational public policies from the perspective of bureaucratic agents]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312018000300684&lng=en&nrm=iso&tlng=en RESUMO Este estudo traz para o campo da educação novas possibilidades para a análise da implementação de políticas educacionais, ao procurar compreender o processo de implementação do Prêmio Escola Nota Dez (PENDez) no estado do Ceará, por meio da percepção dos agentes implementadores em quatro pares de escolas parceiras da região do Cariri (CE). As escolhas teórico-metodológicas na perspectiva da Burocracia de Nível de Rua e da Burocracia de Médio Escalão abriram um leque de possibilidades de pesquisa junto aos agentes implementadores e sua interação com o contexto da política. A pesquisa mostra que os agentes implementadores fazem adaptações no currículo, na avaliação e no trabalho pedagógico para a obtenção da premiação. Além disso, essas intervenções afetam a interpretação do PENDez e sua implementação e, por isso, a política termina sendo adaptada às possibilidades e aos constrangimentos impostos pelas agências implementadoras.<hr/>RESUMEN Este estudio trae al campo de la educación nuevas posibilidades para analizar la implementación de políticas educacionales, al tratar de comprender el proceso de implementación del Prêmio Escola Nota Dez (PENDez) en el estado de Ceará, por medio de la percepción de los agentes implementadores en cuatro pares de escuelas aliadas de la región de Cariri (CE). Las elecciones teórico-metodológicas desde la perspectiva de la Burocracia de Nivel de la Calle y la Burocracia de Mediano Escalón abrieron un abanico de posibilidades de investigación junto a los agentes implementadores y su interacción con el contexto de la política. La investigación muestra que los agentes implementadores adaptan el currículo, la evaluación y el trabajo pedagógico para obtener la premiación. Además, tales intervenciones afectan la interpretación del PENDez y su implementación y, por ello, a política se adapta a las posibilidades y a los requisitos impuestos por las agencias implementadoras.<hr/>ABSTRACT The present study introduces new possibilities, for the analysis of educational policy implementation, into the field of education. It seeks to understand the implementation process of the Prêmio Escola Nota Dez (PENDez) (Award Winning School) in the state of Ceará. This is done from the point of view of implementing agents, in four pairs of partner schools in the Cariri (CE) region. The theoretical-methodological choices, from the perspective of the Street Level Bureaucracy and the Mid-Level Bureaucracy, opened a range of research possibilities along with the implementing agents and their interaction in the policy context. This study shows that the implementing agents make adaptations to the curriculum in the evaluation and the pedagogic work in order to earn the award. In addition, these interventions affect the interpretation and implementation of the PENDez. Therefore, the policy becomes adapted to the possibilities and constraints imposed by the implementing agencies. <![CDATA[Categories of teachers’ judgment: interpretations, judgments and implications]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312018000300710&lng=en&nrm=iso&tlng=en RESUMO Este artigo tem como objetivo discutir o julgamento professoral realizado pelos agentes escolares nos momentos dos conselhos de classe de um colégio público estadual. Trata-se do conjunto de achados derivados de uma pesquisa qualitativa que teve, como principal técnica para a produção de dados, observações dos conselhos de classe e, em seguida, a análise de documentos escolares. Tais elementos foram organizados e interpretados tendo como fio condutor a teoria sociológica de Pierre Bourdieu e a análise de conteúdos de Bardin (2011). Os dados empíricos possibilitaram a categorização dos elementos observados, especificadamente, as adjetivações proferidas sobre os estudantes, o que viabilizou a constatação de que aspectos extraescolares são mais lembrados pelos educadores do que aqueles relacionados ao desenvolvimento acadêmico. Ademais, apurou-se que as expectativas prognosticadas pelos professores frente aos discentes cumpriram-se e que aspectos relacionados à estrutura familiar tiveram significância durante o julgamento.<hr/>RESUMEN Este artículo tiene el objetivo de discutir el juicio profesoral realizado por los agentes escolares durante los consejos de clase de un colegio público provincial. Se trata del conjunto de hallazgos derivados de una investigación cualitativa cuya principal técnica para la producción de datos fueron observaciones de los consejos de clase y luego, el análisis de documentos escolares. Tales elementos se organizaron e interpretaron utilizando como hilo conductor la teoría sociológica de Pierre Bourdieu y el análisis de contenidos de Bardin (2011). Los datos empíricos posibilitaron la categorización de los elementos observados y, más específicamente, las adjetivaciones relativas a los estudiantes, lo que hizo factible la constatación de que aspectos extraescolares son más recordados por los educadores que aquellos relacionados al desarrollo académico. Además, se verificó que las expectativas pronosticadas por los profesores frente a los alumnos se cumplieron y que aspectos relacionados con la estructura familiar fueron significativos durante el juicio.<hr/>ABSTRACT This study aims to discuss teachers’ judgment carried out by school agents during class councils at a state public school in Paraná. It consists of a set of findings from a qualitative study, based on data from class council observations followed by analysis of school documents. These elements were organized and interpreted applying Pierre Bourdieu’s sociological theory and Bardin’s (2011) content analysis. The empirical data allowed the categorization of the observed elements, specifically the terms used to describe the students. This led to the conclusion that non-scholastic aspects are more memorable for educators than those related to academic development. In addition, it was found that teachers’ expectations of students were fulfilled, also that aspects related to family structure were significant during the class council assessment. <![CDATA[Class council with student participation: understandings about learning evaluation]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312018000300738&lng=en&nrm=iso&tlng=en RESUMO Este artigo tem como objetivo analisar a participação de estudantes em conselho de classe e os possíveis significados dessa para a avaliação da aprendizagem. Partiu-se da compreensão de que tal participação e a interação com os docentes nesse espaço podem se constituir como elemento de fundamental importância para favorecer a autonomia e o desenvolvimento dos estudantes e, ainda, outras práticas de aprendizagens e avaliação. Apoiado na pesquisa de natureza qualitativa, foi realizado um estudo de caso em uma escola que possui conselho de classe com participação dos estudantes. As compreensões dos sujeitos que integram o conselho de classe revelam que a participação estudantil consegue proporcionar uma relação mais horizontal, de diálogo e negociação entre docentes e estudantes, o que favorece algumas reflexões e mudanças nos sujeitos que compõem o processo de ensino e aprendizagens.<hr/>RESUMEN Este artículo tiene el objetivo de analizar la participación de estudiantes en el consejo de clase y sus posibles significados para evaluar el aprendizaje. Se partió de la comprensión de que tal participación y la interacción con los docentes en dicho espacio pueden constituir un elemento de fundamental importancia para favorecer la autonomía y el desarrollo de los alumnos, así como otras prácticas de aprendizajes y evaluación. En base a una investigación de naturaleza cualitativa, se llevó a cabo un estudio de caso en una escuela que posee un consejo de clase con la participación de estudiantes. Las comprensiones de los miembros del consejo de clase revelan que la participación estudiantil logra proporcionar una relación más horizontal, de diálogo y negociación entre docentes y alumnos, lo que favorece algunas reflexiones y cambios en los individuos que componen el proceso de enseñanza y aprendizaje.<hr/>ABSTRACT This article aims to analyze student participation in class councils and its possible meaning for learning evaluation. It was based on the understanding that such participation and interaction with teachers in this context can constitute an essential element which favors student autonomy and development, as well as other learning and evaluation practices. Based on qualitative research, a case study was carried out in a school with a class council having student participation. The understandings of the subjects in the class council reveal that student participation can provide a more horizontal relationship, dialogue and negotiation between teachers and students. This favors reflections and changes in the subjects that comprise the teaching and learning process. <![CDATA[Evaluation and documentation in the cultural curriculum of physical education]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312018000300774&lng=en&nrm=iso&tlng=en RESUMO A avaliação abarca um dos temas mais controversos e polêmicos dentro do sistema educacional. De acordo com a atitude curricular, essa prática adquire os mais variados contornos, podendo assumir desde um caráter classificatório e excludente, até um caráter investigativo ou analítico. Adotar esse segundo viés implica o desprendimento da quantificação, da atribuição de valores para aprendizagens ditas bem-sucedidas e a classificação dos estudantes. O presente artigo tem como objetivo analisar a função que o registro adquire no currículo cultural da Educação Física. Para tanto, submetemos ao escrutínio documentação pedagógica elaborada por um professor que atua em uma escola estadual paulista, analisando como reorganiza suas ações didáticas de acordo com os registros das atividades de ensino e das respostas dos estudantes. Os resultados evidenciam o potencial do registro como recurso para a avaliação do trabalho realizado e a consequente reorientação da rota.<hr/>RESUMEN La evaluación abarca uno de los temas más controvertidos y polémicos dentro del sistema educativo. Según la actitud curricular, esta práctica adquiere los más variados contornos y puede asumir desde un carácter clasificatorio y excluyente hasta un carácter investigativo o analítico. Adoptar este segundo sesgo implica el desprendimiento de la cuantificación, de la atribución de valores para aprendizajes considerados exitosos y la clasificación de los estudiantes. El presente artículo tiene el objetivo de analizar la función que o registro adquiere en el currículo cultural de la Educación Física. Para ello, sometemos al escrutinio documentación pedagógica elaborada por un profesor que actúa en una escuela estadual de São Paulo, analizando cómo reorganiza sus acciones didácticas de acuerdo con los registros de las actividades de enseñanza y de las respuestas de los estudiantes. Los resultados ponen de manifiesto el potencial del registro como recurso para la evaluación del trabajo realizado y la consecuente reorientación de la ruta.<hr/>ABSTRACT Evaluation covers one of the most controversial issues within the educational system. According to the curriculum in action, this practice acquires the most varied contours, assuming either a classificatory and excluding character or an investigative and analytical character. Adopting the latter implies disregarding quantification and the assignment of values for successful learning, as well as the classification of students. The purpose of this article is to analyze the function that the documentation acquires in the cultural curriculum of Physical Education. Thus, we scrutinized pedagogic documentation prepared by a teacher who works in a public school in São Paulo state, analyzing how didactic actions are reorganized according to the records of teaching activities and student responses. The results show the potential of documents as a resource for the evaluation of the work performed and the consequent reorientation of the route. <![CDATA[Teaching evaluation in physical education courses in Latin America]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312018000300802&lng=en&nrm=iso&tlng=en RESUMO Este artigo analisa como a avaliação do ensino e da aprendizagem é prescrita nos currículos dos cursos de formação de professores em Educação Física em sete países da América Latina. Caracteriza-se como pesquisa qualitativa, do tipo exploratória, que assume a análise crítico-documental como abordagem teórico-metodológica e o Interface de R pour les Analyses Multidimensionnelles de Textes e de Questionnaires (IRaMuTeQ) como ferramenta de auxílio para análise. Utiliza, como fontes, 14 planos de disciplinas de avaliação. A análise dos dados indica que as disciplinas se propõem a discutir e ensinar a avaliação do processo de ensino e da aprendizagem, suas implicações para o contexto da educação básica, projeção de possibilidades de práticas avaliativas e estabelece a relação teoria e prática. Esse movimento evidencia-se com a presença de algumas palavras, como “instrumento”, “técnica”, “prática”, articulando-se também com a “teoria e a concepção de avaliação” que lhe oferece suporte, relacionando-se com a “Educação Física” no contexto da educação profissional.<hr/>RESUMEN Este artículo analiza cómo la evaluación de la enseñanza y del aprendizaje se prescribe en los currículos de los cursos de formación de profesores en Educación Física en siete países de América Latina. Se caracteriza como investigación cualitativa, del tipo exploratoria, que asume el análisis crítico-documental como abordaje teórico- -metodológico y lo Interface de R pour les Analyses Multidimensionnelles de Textes e de Questionnaires (IRaMuTeQ) como herramienta auxiliar para el análisis. Utiliza, como fuentes, 14 planos de disciplinas de evaluación. El análisis de los datos indica que las asignaturas se proponen a discutir y enseñar la evaluación del proceso de enseñanza y aprendizaje, sus implicaciones para el contexto de la educación básica, proyección de posibilidades de prácticas evaluativas y establece la relación entre teoría y práctica. Este movimiento se pone de manifiesto con la presencia de algunas palabras, como “instrumento”, “técnica”, “práctica”, articulándose también con la “teoría y la concepción de evaluación” que le ofrece soporte, relacionándose con la “Educación Física” en el marco de la educación profesional.<hr/>ABSTRACT This article looks at how the evaluation of teaching and learning is prescribed in the curricula of teacher training courses in Physical Education in seven countries of Latin America. It is a qualitative, exploratory study, which uses critical documentary analysis as a theoretical-methodological approach and the Interface de R pour les Analyses Multidimensionnelles de Textes et de Questionnaires (IRaMuTeQ) as a tool to support analysis. Fourteen subject evaluation plans are used as sources. The analysis of the data indicates that the subjects are intended for discussion and teaching of evaluation of the teaching and learning processes, their implications in the context of basic education, the projection of possibilities of evaluation practices and for establishing the relationship between theory and practice. This trend becomes clear through the use of some words, such as “tool”, “technique”, “practice”, associated with the “theory and design of evaluation” that supports it, relating to “physical education” in the context of professional education. <![CDATA[Washback effect of an application of a proficiency examination for teachers]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312018000300832&lng=en&nrm=iso&tlng=en RESUMO O presente artigo aborda questões relativas ao efeito retroativo em torno da experiência durante a aplicação do Exame de Proficiência para Professores de Língua Estrangeira (EPPLE). O debate está ancorado nos seguintes princípios: a) a avaliação no ensino e aprendizagem de línguas; b) a proficiência linguístico-comunicativo- -pedagógica (PLCP) de professores de línguas; e c) as experiências materializadas como efeitos retroativos na prática avaliativa. A abordagem qualitativa auxilia na interpretação das narrativas de dois professores de Língua Inglesa (LI). A análise interpretativa dos aspectos discursivos indica que os impactos possibilitam o resgate da consciência reflexiva inter-relacionada com as memórias da formação profissional, assim tornando a experiência concreta e válida para o processo de socialização dos conhecimentos específicos do contexto pedagógico de professores de LI.<hr/>RESUMEN El presente artículo aborda temas relativos al efecto retroactivo en torno a la experiencia durante la aplicación del Examen de Competencia para Profesores de Lengua Extranjera (EPPLE). El debate se basa en los siguientes principios: a) la evaluación en la enseñanza y aprendizaje de idiomas; b) la competencia lingüístico- -comunicativo-pedagógica (PLCP) de profesores de idiomas; y c) las experiencias materializadas como efectos retroactivos en la práctica evaluativa. El abordaje cualitativo auxilia en la interpretación de las narrativas de dos profesores de Lengua Inglesa (LI). El análisis interpretativo de los aspectos discursivos indica que los impactos posibilitan el rescate de la consciencia reflexiva interrelacionada con las memorias de la formación profesional, haciendo de esta forma que la experiencia sea concreta y válida para el proceso de socialización de los conocimientos específicos del contexto pedagógico de profesores de LI.<hr/>ABSTRACT This paper deals with some issues related to the analysis of two narratives written by in-service and pre-service English language teachers, following an application of a Proficiency Examination for Foreign Language Teachers [Exame de Proficiência para Professores de Língua Estrangeira - EPPLE] in a public university located in the western Amazon. The discussion is based on the following principles: (i) the implications for assessment in the teaching and learning of foreign languages related to the reconstruction and promotion of socialized practices; (ii) the quality of a linguistic, communicative and pedagogical proficiency of foreign language teachers underlying the elements of validity and reliability of EPPLE; and (iii) the intersection of experiences materialized as washback effects from a process of assessment practices. The analysis of the teachers’ discourses indicates an intersection between teachers’ memories and professional experiences. <![CDATA[Evidence of content validity of the ENADE psychology assessment]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312018000300858&lng=en&nrm=iso&tlng=en RESUMO O presente estudo tem como objetivo analisar evidências de validade com base no conteúdo da prova de psicologia aplicada no Exame Nacional de Desempenho dos Estudantes (Enade) de 2015. Foi utilizada a blueprint, ferramenta recomendada pela literatura internacional que embasa o planejamento dos testes. Houve divergência significativa entre as competências e habilidades apresentadas na matriz de referência e a demanda cognitiva solicitada na maior parte das questões objetivas. Há habilidades presentes na matriz que não foram contempladas na prova e outras foram contempladas com apenas um único item, o que compromete a confiabilidade da medida. As análises mostraram a necessidade do uso de técnicas que podem melhorar essa fonte primária de evidência.<hr/>RESUMEN El presente estudio tiene el propósito de analizar evidencias de validez en base al contenido de la prueba de psicología aplicada en el Exame Nacional de Desempenho dos Estudantes (Enade) del 2015. Se utilizó la blueprint, herramienta recomendada por la literatura internacional que sirve como base para la planificación de las pruebas. Hubo divergencia significativa entre las competencias y habilidades presentadas en la matriz de referencia y la demanda cognitiva solicitada en la mayoría de las preguntas objetivas. Hay habilidades presentes en la matriz que no se tuvieron en cuenta en la prueba y otras fueron contempladas con tan solo un ítem, lo que compromete la confiabilidad de la medida. Los análisis mostraron la necesidad del uso de técnicas que pueden mejorar esa fuente primaria de evidencia.<hr/>ABSTRACT This study aims to analyze evidence of validity based on the content of the psychology test applied in the Exame Nacional de Desempenho dos Estudantes (Enade) [National Exam of Student Proficiency] of 2015. We used Blueprint, a tool recommended in the international literature for test design. There were significant discrepancies between the skills and abilities presented in the test specifications, and in the cognitive demand demanded in almost all multiple-choice questions. Furthermore, there are skills and abilities presented in test specifications that were not in the test, and other skills and abilities that were represented by only one item, which compromise measurement reliability. We conclude that the evidence based on the content for this test shows the necessity to use tools to improve this primary source of evidence. <![CDATA[Factors related to school delay in the State of Minas Gerais]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312018000300886&lng=en&nrm=iso&tlng=en RESUMO O objetivo deste trabalho é analisar os fatores que se relacionam com o atraso escolar em Minas Gerais. A metodologia utilizada envolve a aplicação de modelos logísticos hierárquicos para os dados da Prova Brasil de 2013, referentes aos 5º e 9º anos, na tentativa de identificar se existem diferenças entre os fatores associados ao atraso escolar nos anos iniciais e finais do ensino fundamental. Os resultados obtidos mostram que características dos estudantes e também as escolares estão relacionadas com a probabilidade de ocorrência de atraso escolar, havendo diferenças regionais nesse aspecto. Em particular, observa-se que as maiores chances de defasagem idade-série são para alunos do sexo masculino, não brancos, que trabalham fora de casa, estudam em turmas heterogêneas e em escolas que adotam programas de redução de taxas de abandono. Além disso, fica caracterizado que o desempenho dos estudantes considerados em atraso escolar é mais prejudicado em algumas escolas do que em outras, dependendo do nível socioeconômico do aluno.<hr/>RESUMEN El objetivo de este trabajo es analizar los factores que se relacionan con el atraso escolar en Minas Gerais. La metodología utilizada abarca la aplicación de modelos logísticos jerárquicos para los datos de la Prova Brasil del 2013, relativos a los 5º y 9º años, con el intento de identificar si hay diferencias entre los factores asociados al atraso escolar en los primeros y los últimos años de la educación fundamental. Los resultados que se obtuvieron muestran que las características de los estudiantes y también las escolares se relacionan con la probabilidad de que ocurra un atraso escolar, habiendo diferencias regionales en este aspecto. Por encima de todo se observa que las mayores chances de desfase edad-año escolar ocurren con alumnos del sexo masculino, no blancos, que trabajan fuera de casa, estudian en grupos heterogéneos y en escuelas que adoptan programas de reducción de tasas de abandono. Además, se caracteriza que el desempeño de los estudiantes considerados en atraso escolar es más perjudicado en algunas escuelas que en otras en función del nivel socioeconómico del alumno.<hr/>ABSTRACT This article aims to analyze the main factors related to school delay in the State of Minas Gerais. We applied Hierarchical Logistic Models, based on data from Prova Brasil 2013 for 5th and 9th graders, to identify whether there are differences between the factors associated with school delay in the early and final years of elementary education. Results show that student characteristics and school factors are related to the probability of school retention, with regional differences in this regard. Results also show that the greatest chance of age-grade mismatch is for non-white male students, who also work part- or full-time and attend heterogeneous classes in schools with programs to reduce dropout rates. In addition, the performance of retained students seems to be harmed more in some schools than in others, depending on students’ socioeconomic level.