Estudos em Avaliação Educacional

SAEB E TESTE DE FLUÊNCIA DE LEITURA COM CRIANÇAS IMIGRANTES E BRASILEIRAS

RESUMO O presente trabalho buscou compreender o processo de avaliação educacional, a partir do Sistema de Avaliação da Educação Básica (Saeb) e do Teste de Fluência de Leitura, de crianças imigrantes e brasileiras na rede municipal de ensino de Boa Vista, Roraima. Por meio de uma etnografia, buscamos padrões interativos nas observações em sala de aula com duas turmas do 2o ano do ensino fundamental, nos dois semestres de 2023, e entrevista com as professoras e com a secretária de Educação do município. Com a análise, compreendemos que, embora as escolas estejam alinhadas às diretrizes da Base Nacional Comum Curricular, não atendem às demandas dos alunos estrangeiros, ferindo a Lei n. 13.445/2017, que garante o acesso à educação aos imigrantes.

RESUMEN El presente trabajo se propuso comprender el proceso de evaluación educativa, a partir del Sistema de Avaliação da Educação Básica (Saeb) y de la Prueba de Fluidez Lectora, de niños inmigrantes y brasileños en la red municipal de enseñanza de Boa Vista, Roraima. Mediante una investigación etnográfica, buscamos patrones de interacción en las observaciones de aula con dos grupos de segundo año de primaria durante los dos semestres de 2023, así como entrevistas con las profesoras y con la secretaria de Educación del municipio. A partir del análisis, comprendemos que, si bien las escuelas están alineadas con las directrices de la Base Nacional Comum Curricular, no atienden las demandas de los alumnos extranjeros, vulnerando la Lei n. 13.445/2017, la cual garantiza el acceso a la educación para los inmigrantes.

ABSTRACT This study sought to understand the educational assessment process based on the Sistema de Avaliação da Educação Básica [Basic Education Assessment System] (Saeb) and the Reading Fluency Test among immigrant and Brazilian children in the municipal public school system of Boa Vista, Roraima. Using an ethnographic approach, we examined interactive patterns based on classroom observations conducted with two second-grade classes during both semesters of 2023, as well as interviews with the teachers and the municipal secretary of Education. The findings indicate that, although schools are aligned with the guidelines of the Base Nacional Comum Curricular [National Common Curriculum Base], they do not meet the needs of foreign students, thereby violating Lei n. 13.445/2017, which guarantees immigrants’ right of access to education.

INTEGRANDO A DESIGUALDADE AO IDEB POR MEIO DE UM INDICADOR COMPLEMENTAR

RESUMO Neste artigo, introduzimos o Ideb-D, um Índice de Desenvolvimento da Educação Básica (Ideb) ajustado à desigualdade, compreendido como um indicador complementar ao Ideb. A divulgação simultânea dos dois evidenciaria a penalização de cada unidade educacional pela desigualdade de desempenho entre seus alunos. Como ilustração, comparamos o ordenamento pelo Ideb e pelo Ideb-D das regiões e também das unidades federativas brasileiras em 2007 e 2019. A penalização pela desigualdade implica inversões de posição, que se tornam mais frequentes conforme aumenta a aversão à desigualdade, controlada por um parâmetro na fórmula do indicador. Uma vantagem do Ideb-D é que ele leva em conta a desigualdade sem desprezar a nota de nenhum aluno - notas mais baixas são priorizadas diante de notas mais altas, e tanto mais quanto maior for o parâmetro de aversão à desigualdade.

RESUMEN En este artículo, introducimos el Ideb-D, un Índice de Desenvolvimento da Educação Básica [Índice de Desarrollo de la Educación Básica] (Ideb) ajustado a la desigualdad, concebido como un indicador complementario al Ideb. La divulgación simultánea de ambos evidenciaría la penalización de cada unidad educativa por la desigualdad de rendimiento entre sus alumnos. A modo de ilustración, comparamos la ordenación por el Ideb y por el Ideb-D de las regiones y también de las unidades federativas brasileñas en 2007 y 2019. La penalización por desigualdad implica inversiones de posición, las cuales se vuelven más frecuentes a medida que aumenta la aversión a la desigualdad, controlada por un parámetro en la fórmula del indicador. Una ventaja del Ideb-D es que considera la desigualdad sin descartar la calificación de ningún alumno, se priorizan las notas más bajas frente a las más altas, tanto más cuanto mayor sea el parámetro de aversión a la desigualdad.

ABSTRACT In this article, we introduce the Ideb-D, an Índice de Desenvolvimento da Educação Básica [Basic Education Development Index] (Ideb) adjusted for inequality conceived as a complementary indicator to the Ideb. The simultaneous publication of both indicators would make explicit the extent to which each educational unit is penalized by inequality in student performance. As an illustration, we compare rankings based on Ideb and Ideb-D for Brazilian regions and federative units in 2007 and 2019. Penalization for inequality leads to rank reversals, which become more frequent as the aversion to inequality increases, given by a parameter in the indicator expression. One advantage of Ideb-D is that it takes inequality into account without disregarding any student’s score - lower scores are prioritized over higher scores, and the higher the inequality aversion parameter, the greater the priority.

AVALIAÇÃO DE IMPACTO DO PROGRAMA UM COMPUTADOR POR ALUNO NO DESEMPENHO ESCOLAR

RESUMO Este estudo visa a quantificar o impacto do Programa Um Computador por Aluno (Prouca) no desempenho educacional de estudantes do 9o ano do ensino fundamental das escolas públicas do Brasil. Utilizaram-se os microdados do Saeb e do Censo Escolar, aplicando o método de regressão descontínua fuzzy e considerando a quantidade de alunos e professores predita pela função de Maimonides. Os resultados revelaram que o Prouca não teve impacto significativo no desempenho dos estudantes nos exames de língua portuguesa e matemática. Essas evidências corroboram a literatura existente que avalia a implementação das tecnologias da informação e comunicação (TICs) nas escolas, especialmente em países em desenvolvimento.

RESUMEN Este estudio tiene como objetivo cuantificar el impacto del Programa Un Computador por Alumno (Prouca) en el desempeño educativo de estudiantes del 9o año de la educación básica en las escuelas públicas de Brasil. Se utilizaron los microdatos del Saeb y del Censo Escolar, aplicando el método de regresión discontinua fuzzy y considerando la cantidad de alumnos y profesores predicha por la función de Maimónides. Los resultados revelan que el Prouca no tuvo un impacto significativo en el desempeño de los estudiantes en los exámenes de lengua portuguesa y matemáticas. Estas evidencias corroboran la literatura existente que evalúa la implementación de las tecnologías de la información y la comunicación (TIC) en las escuelas, especialmente en países en desarrollo.

ABSTRACT This study aims to quantify the impact of the Programa Um Computador por Aluno [One Computer per Student Program] (Prouca) on the educational performance of 9th-grade students in Brazilian public elementary schools. Microdata from Saeb and the School Census were used, applying the fuzzy regression discontinuity method and considering the number of students and teachers predicted by the Maimonides rule. The results reveal that Prouca had no significant impact on students’ performance in Portuguese language and mathematics examinations. These findings are consistent with the existing literature that evaluates the implementation of information and communication technologies (ICTs) in schools, particularly in developing countries.

DESEMPENHO NO ENADE E EXAME DE SUFICIÊNCIA DO CFC: CONVERGÊNCIAS E DIVERGÊNCIAS

RESUMO Avaliaram-se os determinantes do rendimento no Exame Nacional de Desempenho dos Estudantes (Enade) e as taxas de aprovação no Exame de Suficiência do Conselho Federal de Contabilidade (CFC) para os cursos de Ciências Contábeis. Foram utilizados dados de 552 cursos de graduação participantes dos exames no segundo semestre de 2022. Os resultados revelaram que, em ambos os exames, a categoria administrativa e a região de localização do curso foram fatores determinantes. No Enade, observou-se que percepções positivas sobre as oportunidades de ampliação da formação podem fazer a diferença. No Exame de Suficiência, a proporção de professores doutores vinculados à instituição pode ser relevante para a aprovação. A pesquisa fomenta e amplia a discussão sobre como características institucionais e docentes podem afetar o desempenho discente nos exames.

RESUMEN Se evaluaron los determinantes del rendimiento en el Exame Nacional de Desempenho dos Estudantes [Examen Brasileño de Desempeño Estudiantil] (Enade) y las tasas de aprobación en el Examen de Suficiencia del Consejo Federal de Contabilidad de la carrera de Ciencias Contables. Se utilizaron datos de 552 programas de grado participantes en los exámenes del segundo semestre de 2022. Los resultados revelaron que, en ambos exámenes, la categoría administrativa y la región de ubicación del curso fueron factores determinantes. En el Enade, se observó que las percepciones positivas sobre las oportunidades de ampliación de la formación pueden marcar la diferencia. En el Examen de Suficiencia, la proporción de profesores con grado de doctor vinculados a la institución puede ser relevante para la aprobación. La investigación fomenta y amplía la discusión sobre cómo las características institucionales y docentes pueden afectar el desempeño estudiantil en las evaluaciones.

ABSTRACT This study assessed the determinants of performance in the Exame Nacional de Desempenho dos Estudantes [Brazilian Student Performance Exam] (Enade) and the pass rates in the Federal Accounting Council Proficiency Examination for undergraduate Accounting programs. Data from 552 undergraduate programs that participated in the exams in the second semester of 2022 were analyzed. The results showed that, in both exams, the administrative category and the region in which the program is located were determining factors. In the Enade, positive perceptions regarding opportunities to broaden academic training were found to make a difference. In the Proficiency Examination, the proportion of faculty members holding doctoral degrees and affiliated with the institution may be relevant to passing rates. The study fosters and expands the discussion on how institutional and faculty characteristics may affect student performance on exams.

A HISTÓRIA EM QUADRINHOS COMO INSTRUMENTO DE AVALIAÇÃO NA EDUCAÇÃO FÍSICA ESCOLAR

RESUMO Este estudo analisa a história em quadrinhos como instrumento avaliativo para as aulas de educação física. Colaboraram com a pesquisa 23 crianças de uma escola do estado de Mato Grosso. As histórias em quadrinhos permitiram aos alunos narrarem seus processos de aprendizagem, significados em experiências individuais. Os resultados evidenciam que as regras e os fundamentos do basquete foram aprendidos (saberes-objetos e saber de domínio), mas também houve reflexões sobre valores, atitudes e questões socioculturais, como cooperação e respeito às diferenças (saber distanciação-regulação), o que denota a especificidade da educação física, que transcende a mera reprodução de habilidades motoras.

RESUMEN Este estudio analiza lo cómic como instrumento evaluativo en las clases de educación física. En la investigación colaboraron 23 niños y niñas de una escuela del estado de Mato Grosso, Brasil. Los cómics permitieron a los alumnos narrar sus procesos de aprendizaje, significados en experiencias individuales. Los resultados evidencian que las reglas y los fundamentos del baloncesto fueron aprendidos (saber-objeto y saber-dominio), pero también se produjeron reflexiones sobre valores, actitudes y cuestiones socioculturales, tales como la cooperación y el respeto a las diferencias (saber distanciamiento-regulación), lo que denota la especificidad de la educación física, la cual trasciende la mera reproducción de habilidades motoras.

ABSTRACT This study examines the use of comic books as an assessment tool in physical education classes. The research involved 23 children from a public school in the state of Mato Grosso, Brazil. Comic books enabled students to narrate their learning processes and the meanings attributed to their individual experiences. The results show that the rules and fundamentals of basketball were learned (object-knowledge and mastery knowledge), while also prompting reflections on values, attitudes, and sociocultural issues - such as cooperation and respect for differences (distancing-regulation knowledge). These findings underscore the specificity of physical education, which goes beyond the mere reproduction of motor skills.

AVALIAÇÃO NA PÓS-GRADUAÇÃO: PRÁTICAS, TEMPO E FUNCIONALIDADE

RESUMO A avaliação da aprendizagem na pós-graduação orienta o processo educacional ao evidenciar o desenvolvimento científico dos alunos. Este estudo qualitativo documental analisa as práticas avaliativas dos cursos de especialização e mestrado em Docência Universitária da Universidad Tecnológica Nacional (UTN), no período de 2023 a 2025, em Rosário, Argentina. A partir dos planos de ensino, examinou-se o tempo em que ocorre a avaliação e as práticas utilizadas, encerrando com uma discussão em torno da funcionalidade avaliativa. Observou-se uma predominância da avaliação final, possivelmente pela curta duração e virtualidade dos cursos, com menor presença de avaliações diagnósticas e processuais. Destacam-se práticas como participação, análises aplicadas e autoavaliação, indicando sinais de diversificação avaliativa.

RESUMEN La evaluación del aprendizaje en el posgrado orienta el proceso educativo al evidenciar el desarrollo científico de los estudiantes. Este estudio cualitativo documental analiza las prácticas evaluativas de las carreras de especialización y maestría en Docencia Universitaria de la Universidad Tecnológica Nacional (UTN), entre los años 2023 y 2025, en Rosario, Argentina. A partir de los programas educativos, se examinó la temporalidad de la evaluación y las prácticas utilizadas, concluyendo con una discusión sobre la funcionalidad evaluativa. Se observó una predominancia de la evaluación final, posiblemente debido a la corta duración y la modalidad virtual de las carreras, con una menor presencia de evaluaciones diagnósticas y procesuales. Se destacan prácticas como la participación, los análisis aplicados y la autoevaluación, lo que indica indicios de una diversificación evaluativa.

ABSTRACT Learning assessment in graduate programs guides the educational process by making students’ scientific development visible. This qualitative documentary study analyzes the assessment practices used in the specialization and master’s programs in University Teaching at the Universidad Tecnológica Nacional (UTN), from 2023 to 2025, in Rosario, Argentina. Based on course syllabi, the study examined the timing of assessment and the practices implemented, concluding with a discussion on the functionality of assessment. The findings indicate a predominance of final assessments, possibly due to the short duration and online format of the courses, with less emphasis on diagnostic and formative assessments. Practices such as participation, applied analyses, and self-assessment stand out, indicating signs of assessment diversification.

DA TEORIA E DA DEMOCRACIA NO CAMPO DA AVALIAçãO EM EDUCAçãO: NOTAS PARA DEBATE

RESUMO O texto constitui um ensaio sociológico sobre o campo da avaliação em educação, assente em dois pilares: a literatura especializada, convocada sempre que necessário e oportuno para sustentar e ampliar a argumentação e a crítica; e, assumindo adquiridos resultantes da experiência académica, o debate e o contraditório em torno de alguns défices que o autor entende estarem presentes em trabalhos de pesquisa em avaliação, não deixando, ao mesmo tempo, de assumir incompletudes que também possam ser reconhecidas nos seus próprios trabalhos. Para além disso, é sublinhada a necessidade de ter em conta as mudanças políticas atuais, no sentido de dar maior centralidade e densidade analítica a objetos de estudo em torno das relações complexas entre democracia e avaliação.

RESUMEN Este texto constituye un ensayo sociológico sobre el campo de la evaluación en educación, basado en dos pilares: la literatura especializada, convocada siempre que sea necesario y apropiado para sustentar y ampliar la argumentación y la crítica; y, asumiendo el conocimiento adquirido en la experiencia académica, el debate y la controversia en torno a las lagunas que, según el autor, existen en algunas investigaciones sobre evaluación, a la vez que reconoce la incompletitud de su propio trabajo. Además, se enfatiza la necesidad de considerar los cambios políticos actuales para otorgar mayor centralidad y profundidad analítica a los objetos de estudio sobre las complejas relaciones entre democracia y evaluación.

ABSTRACT This text is a sociological essay on the field of evaluation in education, based on two pillars: specialized literature, consulted whenever necessary and appropriate to support and expand upon its arguments and critiques; and, based on acquired knowledge resulting from academic experience, debate and contradiction surrounding certain shortcomings that the author believes are present in research work on evaluation, while also acknowledging incompleteness that may be recognized in his own work. Furthermore, the text emphasizes the need to consider current political changes to assign greater centrality and analytical depth to objects of study concerning the complex relationships between democracy and evaluation.

INDICADORES EDUCACIONAIS SINTÉTICOS: CONTROLE E PRECARIZAÇÃO DO TRABALHO DOCENTE

RESUMO O presente artigo, resultado de pesquisa bibliográfica, documental e de campo, teve como objetivo compreender a intensificação e o recrudescimento das avaliações em uma rede municipal de ensino entre os anos de 2016 e 2024. A investigação revela que o estreitamento curricular e o controle pedagógico foram estratégias adotadas para a elevação das notas das escolas no Índice de Desenvolvimento da Educação Básica (Ideb) nas avaliações em larga escala. Apesar do crescimento no Ideb, educadores problematizam a precarização do trabalho docente pelo teor impositivo e a descaracterização da formação humana.

RESUMEN El presente artículo, resultado de una investigación bibliográfica, documental y de campo, tuvo como objetivo comprender la intensificación y el recrudecimiento de las evaluaciones en una red municipal de enseñanza entre los años 2016 y 2024. La investigación revela que el estrechamiento curricular y el control pedagógico fueron estrategias adoptadas para elevar las calificaciones de las escuelas en el Índice de Desenvolvimento da Educação Básica [Índice de Desarrollo de la Educación Básica] (Ideb) en las evaluaciones a gran escala. A pesar del crecimiento en el Ideb, los educadores problematizan la precarización del trabajo docente debido al carácter impositivo y a la desnaturalización de la formación humana.

ABSTRACT This article, based on bibliographic, documentary and field research, examines the intensification and resurgence of assessment practices in a municipal school system between 2016 and 2024. The findings indicate that curricular narrowing and pedagogical control were strategies adopted to boost school performance on the Índice de Desenvolvimento da Educação Básica [Basic Education Development Index] (Ideb) in large-scale assessments. Despite the increase in Ideb scores, educators highlight that such policies contribute to the precarization of teachers’ work, given their prescriptive character and the ways they undermine broader humanistic aims in education.

NOVAS CONSIDERAÇÕES SOBRE COMO MEDIR DESIGUALDADE DE PROFICIÊNCIAS

RESUMO Vou discutir alguns dos temas abordados na resposta de Soares e Ernica (2025) à minha crí-tica (Hoffmann, 2025) do uso da divergência de Kullback-Leibler na avaliação de proficiências em testes educacionais. Primeiro procuro deixar claro que as medidas de desigualdade de Theil não são casos particulares da divergência de Kullback-Leibler. Depois reconheço a importância de distinguir a desigualdade de oportunidades na obtenção de proficiências adequadas, mas ressalto que é válido e relevante considerar essa desigualdade como uma parcela da desigualdade total. Reconheço, também, que a análise da distribuição relativa pode ser uma metodologia muito útil; porém, no último tópico, destaco que o mais simples e claro é usar medidas clássicas de tendência central, dispersão, desigualdade e assimetria.

RESUMEN Voy a discutir algunos de los temas abordados en la respuesta de Soares y Ernica (2025) a mi crítica (Hoffmann, 2025) sobre el uso de la divergencia de Kullback-Leibler en la evaluación de suficiencias en pruebas educativas. En primer lugar busco dejar claro que las medidas de desigualdad de Theil no constituyen casos particulares de la divergencia de Kullback-Leibler. Posteriormente reconozco la importancia de distinguir la desigualdad de oportunidades en la consecución de suficiencias adecuadas; no obstante, subrayo que es válido y relevante considerar dicha desigualdad como un componente de la desigualdad total. Asimismo, reconozco que el análisis de la distribución relativa puede representar una metodología de gran utilidad, aunque en el último apartado enfatizo que lo más sencillo y claro consiste en emplear medidas clásicas de tendencia central, dispersión, desigualdad y asimetría.

ABSTRACT I will discuss some of the issues addressed in Soares and Ernica’s (2025) response to my critique (Hoffmann, 2025) of the use of the Kullback-Leibler divergence in assessing proficiency in educational tests. First, I seek to clarify that Theil’s measures of inequality are not special cases of the Kullback-Leibler divergence. I then acknowledge the importance of distinguishing inequality of opportunity in achieving adequate proficiency levels, while emphasizing that it is valid and relevant to consider this inequality as a component of total inequality. I also recognize that the analysis of relative distributions can be a very useful methodology; however, in the final section I argue that the simplest and clearest approach is to use traditional measures of central tendency, dispersion, inequality, and asymmetry.

CONSIDERAÇÕES SOBRE A NOTA DO PROF. DELGADO

RESUMO Em artigo anterior usei indevidamente “notas” como sinônimo de “proficiências”. Decerto a metodologia de avaliação do aprendizado avançou muito com a Teoria da Resposta ao Item (TRI). O debate sobre a escolha de medidas apropriadas se refere à comparação de distribuições de proficiências. O T de Theil não é um caso especial da divergência de Kullback-Leibler. Sigo defendendo o uso de medidas básicas de tendência central, dispersão e desigualdade para comparar distribuições de proficiências. Poder-se-ia acrescentar uma medida de assimetria. Representações gráficas podem ser esclarecedoras. É possível experimentar outros métodos, mas não faz sentido defender o uso da divergência de Kullback-Leibler para substituir as médias e variâncias ou evitar o uso de medidas comuns de desigualdade. Para ilustrar, analisam-se microdados do Sistema de Avaliação da Educação Básica.

RESUMEN En un artículo anterior, utilicé indebidamente “notas” como sinónimo de “competencias”. Ciertamente, la metodología de evaluación del aprendizaje avanzó significativamente con la Teoría de la Respuesta al Ítem (TRI). El debate sobre la elección de medidas apropiadas se refiere a la comparación de distribuciones de competencias. El T de Theil no es un caso especial de la divergencia de Kullback-Leibler. Sigo defendiendo el uso de medidas básicas de tendencia central, dispersión y desigualdad para comparar distribuciones de competencias. Podría añadirse una medida de asimetría. Las representaciones gráficas pueden resultar esclarecedoras. Es posible experimentar otros métodos, pero no tiene sentido defender el uso de la divergencia de Kullback-Leibler para sustituir las medias y varianzas o evitar el uso de medidas comunes de desigualdad. Para ilustrarlo, se analizan microdatos del Sistema de Avaliação da Educação Básica [Sistema de Evaluación de la Educación Básica].

ABSTRACT In previous article I improperly used “grades” as a synonym for “proficiencies”. Certainly, the methodology of learning assessment has advanced significantly with Item Response Theory (IRT). The debate about the choice of appropriate measures refers to the comparison of proficiency distributions. Theil’s T is not a special case of the Kullback-Leibler divergence. I continue to advocate the use of basic measures of central tendency, dispersion, and inequality in comparing proficiency distributions. A measure of asymmetry could be added. Graphical representations can be enlightening. Other methods could be tried, but it makes no sense to advocate the use of the Kullback-Leibler divergence to replace means and variances or to avoid the use of common measures of inequality. To illustrate, microdata from Sistema de Avaliação da Educação Básica [Basic Education Assessment System] are analysed.