Estudos em Avaliação Educacional

SAEB E TESTE DE FLUÊNCIA DE LEITURA COM CRIANÇAS IMIGRANTES E BRASILEIRAS

RESUMO O presente trabalho buscou compreender o processo de avaliação educacional, a partir do Sistema de Avaliação da Educação Básica (Saeb) e do Teste de Fluência de Leitura, de crianças imigrantes e brasileiras na rede municipal de ensino de Boa Vista, Roraima. Por meio de uma etnografia, buscamos padrões interativos nas observações em sala de aula com duas turmas do 2o ano do ensino fundamental, nos dois semestres de 2023, e entrevista com as professoras e com a secretária de Educação do município. Com a análise, compreendemos que, embora as escolas estejam alinhadas às diretrizes da Base Nacional Comum Curricular, não atendem às demandas dos alunos estrangeiros, ferindo a Lei n. 13.445/2017, que garante o acesso à educação aos imigrantes.

RESUMEN El presente trabajo se propuso comprender el proceso de evaluación educativa, a partir del Sistema de Avaliação da Educação Básica (Saeb) y de la Prueba de Fluidez Lectora, de niños inmigrantes y brasileños en la red municipal de enseñanza de Boa Vista, Roraima. Mediante una investigación etnográfica, buscamos patrones de interacción en las observaciones de aula con dos grupos de segundo año de primaria durante los dos semestres de 2023, así como entrevistas con las profesoras y con la secretaria de Educación del municipio. A partir del análisis, comprendemos que, si bien las escuelas están alineadas con las directrices de la Base Nacional Comum Curricular, no atienden las demandas de los alumnos extranjeros, vulnerando la Lei n. 13.445/2017, la cual garantiza el acceso a la educación para los inmigrantes.

ABSTRACT This study sought to understand the educational assessment process based on the Sistema de Avaliação da Educação Básica [Basic Education Assessment System] (Saeb) and the Reading Fluency Test among immigrant and Brazilian children in the municipal public school system of Boa Vista, Roraima. Using an ethnographic approach, we examined interactive patterns based on classroom observations conducted with two second-grade classes during both semesters of 2023, as well as interviews with the teachers and the municipal secretary of Education. The findings indicate that, although schools are aligned with the guidelines of the Base Nacional Comum Curricular [National Common Curriculum Base], they do not meet the needs of foreign students, thereby violating Lei n. 13.445/2017, which guarantees immigrants’ right of access to education.

INTEGRANDO A DESIGUALDADE AO IDEB POR MEIO DE UM INDICADOR COMPLEMENTAR

RESUMO Neste artigo, introduzimos o Ideb-D, um Índice de Desenvolvimento da Educação Básica (Ideb) ajustado à desigualdade, compreendido como um indicador complementar ao Ideb. A divulgação simultânea dos dois evidenciaria a penalização de cada unidade educacional pela desigualdade de desempenho entre seus alunos. Como ilustração, comparamos o ordenamento pelo Ideb e pelo Ideb-D das regiões e também das unidades federativas brasileiras em 2007 e 2019. A penalização pela desigualdade implica inversões de posição, que se tornam mais frequentes conforme aumenta a aversão à desigualdade, controlada por um parâmetro na fórmula do indicador. Uma vantagem do Ideb-D é que ele leva em conta a desigualdade sem desprezar a nota de nenhum aluno - notas mais baixas são priorizadas diante de notas mais altas, e tanto mais quanto maior for o parâmetro de aversão à desigualdade.

RESUMEN En este artículo, introducimos el Ideb-D, un Índice de Desenvolvimento da Educação Básica [Índice de Desarrollo de la Educación Básica] (Ideb) ajustado a la desigualdad, concebido como un indicador complementario al Ideb. La divulgación simultánea de ambos evidenciaría la penalización de cada unidad educativa por la desigualdad de rendimiento entre sus alumnos. A modo de ilustración, comparamos la ordenación por el Ideb y por el Ideb-D de las regiones y también de las unidades federativas brasileñas en 2007 y 2019. La penalización por desigualdad implica inversiones de posición, las cuales se vuelven más frecuentes a medida que aumenta la aversión a la desigualdad, controlada por un parámetro en la fórmula del indicador. Una ventaja del Ideb-D es que considera la desigualdad sin descartar la calificación de ningún alumno, se priorizan las notas más bajas frente a las más altas, tanto más cuanto mayor sea el parámetro de aversión a la desigualdad.

ABSTRACT In this article, we introduce the Ideb-D, an Índice de Desenvolvimento da Educação Básica [Basic Education Development Index] (Ideb) adjusted for inequality conceived as a complementary indicator to the Ideb. The simultaneous publication of both indicators would make explicit the extent to which each educational unit is penalized by inequality in student performance. As an illustration, we compare rankings based on Ideb and Ideb-D for Brazilian regions and federative units in 2007 and 2019. Penalization for inequality leads to rank reversals, which become more frequent as the aversion to inequality increases, given by a parameter in the indicator expression. One advantage of Ideb-D is that it takes inequality into account without disregarding any student’s score - lower scores are prioritized over higher scores, and the higher the inequality aversion parameter, the greater the priority.

AVALIAÇÃO DE IMPACTO DO PROGRAMA UM COMPUTADOR POR ALUNO NO DESEMPENHO ESCOLAR

RESUMO Este estudo visa a quantificar o impacto do Programa Um Computador por Aluno (Prouca) no desempenho educacional de estudantes do 9o ano do ensino fundamental das escolas públicas do Brasil. Utilizaram-se os microdados do Saeb e do Censo Escolar, aplicando o método de regressão descontínua fuzzy e considerando a quantidade de alunos e professores predita pela função de Maimonides. Os resultados revelaram que o Prouca não teve impacto significativo no desempenho dos estudantes nos exames de língua portuguesa e matemática. Essas evidências corroboram a literatura existente que avalia a implementação das tecnologias da informação e comunicação (TICs) nas escolas, especialmente em países em desenvolvimento.

RESUMEN Este estudio tiene como objetivo cuantificar el impacto del Programa Un Computador por Alumno (Prouca) en el desempeño educativo de estudiantes del 9o año de la educación básica en las escuelas públicas de Brasil. Se utilizaron los microdatos del Saeb y del Censo Escolar, aplicando el método de regresión discontinua fuzzy y considerando la cantidad de alumnos y profesores predicha por la función de Maimónides. Los resultados revelan que el Prouca no tuvo un impacto significativo en el desempeño de los estudiantes en los exámenes de lengua portuguesa y matemáticas. Estas evidencias corroboran la literatura existente que evalúa la implementación de las tecnologías de la información y la comunicación (TIC) en las escuelas, especialmente en países en desarrollo.

ABSTRACT This study aims to quantify the impact of the Programa Um Computador por Aluno [One Computer per Student Program] (Prouca) on the educational performance of 9th-grade students in Brazilian public elementary schools. Microdata from Saeb and the School Census were used, applying the fuzzy regression discontinuity method and considering the number of students and teachers predicted by the Maimonides rule. The results reveal that Prouca had no significant impact on students’ performance in Portuguese language and mathematics examinations. These findings are consistent with the existing literature that evaluates the implementation of information and communication technologies (ICTs) in schools, particularly in developing countries.

DESEMPENHO NO ENADE E EXAME DE SUFICIÊNCIA DO CFC: CONVERGÊNCIAS E DIVERGÊNCIAS

RESUMO Avaliaram-se os determinantes do rendimento no Exame Nacional de Desempenho dos Estudantes (Enade) e as taxas de aprovação no Exame de Suficiência do Conselho Federal de Contabilidade (CFC) para os cursos de Ciências Contábeis. Foram utilizados dados de 552 cursos de graduação participantes dos exames no segundo semestre de 2022. Os resultados revelaram que, em ambos os exames, a categoria administrativa e a região de localização do curso foram fatores determinantes. No Enade, observou-se que percepções positivas sobre as oportunidades de ampliação da formação podem fazer a diferença. No Exame de Suficiência, a proporção de professores doutores vinculados à instituição pode ser relevante para a aprovação. A pesquisa fomenta e amplia a discussão sobre como características institucionais e docentes podem afetar o desempenho discente nos exames.

RESUMEN Se evaluaron los determinantes del rendimiento en el Exame Nacional de Desempenho dos Estudantes [Examen Brasileño de Desempeño Estudiantil] (Enade) y las tasas de aprobación en el Examen de Suficiencia del Consejo Federal de Contabilidad de la carrera de Ciencias Contables. Se utilizaron datos de 552 programas de grado participantes en los exámenes del segundo semestre de 2022. Los resultados revelaron que, en ambos exámenes, la categoría administrativa y la región de ubicación del curso fueron factores determinantes. En el Enade, se observó que las percepciones positivas sobre las oportunidades de ampliación de la formación pueden marcar la diferencia. En el Examen de Suficiencia, la proporción de profesores con grado de doctor vinculados a la institución puede ser relevante para la aprobación. La investigación fomenta y amplía la discusión sobre cómo las características institucionales y docentes pueden afectar el desempeño estudiantil en las evaluaciones.

ABSTRACT This study assessed the determinants of performance in the Exame Nacional de Desempenho dos Estudantes [Brazilian Student Performance Exam] (Enade) and the pass rates in the Federal Accounting Council Proficiency Examination for undergraduate Accounting programs. Data from 552 undergraduate programs that participated in the exams in the second semester of 2022 were analyzed. The results showed that, in both exams, the administrative category and the region in which the program is located were determining factors. In the Enade, positive perceptions regarding opportunities to broaden academic training were found to make a difference. In the Proficiency Examination, the proportion of faculty members holding doctoral degrees and affiliated with the institution may be relevant to passing rates. The study fosters and expands the discussion on how institutional and faculty characteristics may affect student performance on exams.

A HISTÓRIA EM QUADRINHOS COMO INSTRUMENTO DE AVALIAÇÃO NA EDUCAÇÃO FÍSICA ESCOLAR

RESUMO Este estudo analisa a história em quadrinhos como instrumento avaliativo para as aulas de educação física. Colaboraram com a pesquisa 23 crianças de uma escola do estado de Mato Grosso. As histórias em quadrinhos permitiram aos alunos narrarem seus processos de aprendizagem, significados em experiências individuais. Os resultados evidenciam que as regras e os fundamentos do basquete foram aprendidos (saberes-objetos e saber de domínio), mas também houve reflexões sobre valores, atitudes e questões socioculturais, como cooperação e respeito às diferenças (saber distanciação-regulação), o que denota a especificidade da educação física, que transcende a mera reprodução de habilidades motoras.

RESUMEN Este estudio analiza lo cómic como instrumento evaluativo en las clases de educación física. En la investigación colaboraron 23 niños y niñas de una escuela del estado de Mato Grosso, Brasil. Los cómics permitieron a los alumnos narrar sus procesos de aprendizaje, significados en experiencias individuales. Los resultados evidencian que las reglas y los fundamentos del baloncesto fueron aprendidos (saber-objeto y saber-dominio), pero también se produjeron reflexiones sobre valores, actitudes y cuestiones socioculturales, tales como la cooperación y el respeto a las diferencias (saber distanciamiento-regulación), lo que denota la especificidad de la educación física, la cual trasciende la mera reproducción de habilidades motoras.

ABSTRACT This study examines the use of comic books as an assessment tool in physical education classes. The research involved 23 children from a public school in the state of Mato Grosso, Brazil. Comic books enabled students to narrate their learning processes and the meanings attributed to their individual experiences. The results show that the rules and fundamentals of basketball were learned (object-knowledge and mastery knowledge), while also prompting reflections on values, attitudes, and sociocultural issues - such as cooperation and respect for differences (distancing-regulation knowledge). These findings underscore the specificity of physical education, which goes beyond the mere reproduction of motor skills.

NOVAS CONSIDERAÇÕES SOBRE COMO MEDIR DESIGUALDADE DE PROFICIÊNCIAS

RESUMO Vou discutir alguns dos temas abordados na resposta de Soares e Ernica (2025) à minha crí-tica (Hoffmann, 2025) do uso da divergência de Kullback-Leibler na avaliação de proficiências em testes educacionais. Primeiro procuro deixar claro que as medidas de desigualdade de Theil não são casos particulares da divergência de Kullback-Leibler. Depois reconheço a importância de distinguir a desigualdade de oportunidades na obtenção de proficiências adequadas, mas ressalto que é válido e relevante considerar essa desigualdade como uma parcela da desigualdade total. Reconheço, também, que a análise da distribuição relativa pode ser uma metodologia muito útil; porém, no último tópico, destaco que o mais simples e claro é usar medidas clássicas de tendência central, dispersão, desigualdade e assimetria.

RESUMEN Voy a discutir algunos de los temas abordados en la respuesta de Soares y Ernica (2025) a mi crítica (Hoffmann, 2025) sobre el uso de la divergencia de Kullback-Leibler en la evaluación de suficiencias en pruebas educativas. En primer lugar busco dejar claro que las medidas de desigualdad de Theil no constituyen casos particulares de la divergencia de Kullback-Leibler. Posteriormente reconozco la importancia de distinguir la desigualdad de oportunidades en la consecución de suficiencias adecuadas; no obstante, subrayo que es válido y relevante considerar dicha desigualdad como un componente de la desigualdad total. Asimismo, reconozco que el análisis de la distribución relativa puede representar una metodología de gran utilidad, aunque en el último apartado enfatizo que lo más sencillo y claro consiste en emplear medidas clásicas de tendencia central, dispersión, desigualdad y asimetría.

ABSTRACT I will discuss some of the issues addressed in Soares and Ernica’s (2025) response to my critique (Hoffmann, 2025) of the use of the Kullback-Leibler divergence in assessing proficiency in educational tests. First, I seek to clarify that Theil’s measures of inequality are not special cases of the Kullback-Leibler divergence. I then acknowledge the importance of distinguishing inequality of opportunity in achieving adequate proficiency levels, while emphasizing that it is valid and relevant to consider this inequality as a component of total inequality. I also recognize that the analysis of relative distributions can be a very useful methodology; however, in the final section I argue that the simplest and clearest approach is to use traditional measures of central tendency, dispersion, inequality, and asymmetry.

CONSIDERAÇÕES SOBRE A NOTA DO PROF. DELGADO

RESUMO Em artigo anterior usei indevidamente “notas” como sinônimo de “proficiências”. Decerto a metodologia de avaliação do aprendizado avançou muito com a Teoria da Resposta ao Item (TRI). O debate sobre a escolha de medidas apropriadas se refere à comparação de distribuições de proficiências. O T de Theil não é um caso especial da divergência de Kullback-Leibler. Sigo defendendo o uso de medidas básicas de tendência central, dispersão e desigualdade para comparar distribuições de proficiências. Poder-se-ia acrescentar uma medida de assimetria. Representações gráficas podem ser esclarecedoras. É possível experimentar outros métodos, mas não faz sentido defender o uso da divergência de Kullback-Leibler para substituir as médias e variâncias ou evitar o uso de medidas comuns de desigualdade. Para ilustrar, analisam-se microdados do Sistema de Avaliação da Educação Básica.

RESUMEN En un artículo anterior, utilicé indebidamente “notas” como sinónimo de “competencias”. Ciertamente, la metodología de evaluación del aprendizaje avanzó significativamente con la Teoría de la Respuesta al Ítem (TRI). El debate sobre la elección de medidas apropiadas se refiere a la comparación de distribuciones de competencias. El T de Theil no es un caso especial de la divergencia de Kullback-Leibler. Sigo defendiendo el uso de medidas básicas de tendencia central, dispersión y desigualdad para comparar distribuciones de competencias. Podría añadirse una medida de asimetría. Las representaciones gráficas pueden resultar esclarecedoras. Es posible experimentar otros métodos, pero no tiene sentido defender el uso de la divergencia de Kullback-Leibler para sustituir las medias y varianzas o evitar el uso de medidas comunes de desigualdad. Para ilustrarlo, se analizan microdatos del Sistema de Avaliação da Educação Básica [Sistema de Evaluación de la Educación Básica].

ABSTRACT In previous article I improperly used “grades” as a synonym for “proficiencies”. Certainly, the methodology of learning assessment has advanced significantly with Item Response Theory (IRT). The debate about the choice of appropriate measures refers to the comparison of proficiency distributions. Theil’s T is not a special case of the Kullback-Leibler divergence. I continue to advocate the use of basic measures of central tendency, dispersion, and inequality in comparing proficiency distributions. A measure of asymmetry could be added. Graphical representations can be enlightening. Other methods could be tried, but it makes no sense to advocate the use of the Kullback-Leibler divergence to replace means and variances or to avoid the use of common measures of inequality. To illustrate, microdata from Sistema de Avaliação da Educação Básica [Basic Education Assessment System] are analysed.