Estudos em Avaliação Educacional

ANÁLISIS DE LOS ÍTEMS DE MÚLTIPLE SELECCIÓN DE LAS PRUEBAS ENADE 2016

RESUMO Investiga-se se o formato de um item, o nível cognitivo exigido e a posição do item na prova do Enade 2016 afetam os resultados e a probabilidade de anulação. Os itens foram classificados quanto à forma e ao nível cognitivo, com base na literatura e na taxionomia de Bloom. Utilizaram-se medidas da pós-aplicação das provas: índices de facilidade e de discriminação. Para o formato, verificou-se que os itens de asserção-razão foram mais difíceis, os de resposta única tiveram uma capacidade de discriminação em média um pouco maior e um terço dos itens de asserção-razão foi anulado. Quanto ao nível cognitivo, os dois índices têm médias mais baixas nos itens de análise e a proporção de itens anulados desse nível é maior. A hipótese de a posição do item na prova afetar o resultado foi rejeitada.

RESUMEN Se investiga si la forma de un ítem, el nivel cognitivo requerido y la posición del ítem en la prueba Enade 2016 afectan los resultados, incluso la probabilidad de cancelación. Los ítems se clasificaron según la forma y el nivel cognitivo, en base a la literatura y la Taxonomía de Bloom. Se utilizaron medidas de post-aplicación de las pruebas: índices de facilidad y de discriminación. En lo que se refiere al formato, se verificó que los ítems de aserción-razón fueron más difíciles, los de única respuesta tuvieron un promedio de capacidad de discriminación un poco mayor y se anuló una tercera parte de los ítems de aserción-razón. En cuanto al nivel cognitivo, se encontró que los dos índices tienen menores promedios en los ítems de análisis y que la proporción de cancelación de ítems de este nivel es mayor. Se rechazó la hipótesis de que la posición del ítem en la prueba influye en el resultado.

ABSTRACT The objective was to investigate whether the format of an item, the required cognitive level and the item’s position in the Enade 2016 test affect the results, including the probability of invalidation. The items were classified according to format and cognitive level, based on the literature and Bloom’s Taxonomy. Post-test administration measures were used: difficulty and discrimination indices. Regarding format, it was found that assertion- -reason items were more difficult, single answer items had a slightly greater average for discrimination capacity, and one third of the assertion-reason items were invalidated. As for cognitive level, the two indices have lower averages in items of analysis, and the proportion of invalidated items of this level is higher. The hypothesis that the position of an item in the test affects the result was rejected.

EVALUACIONES DE LA EDUCACIÓN BÁSICA EN MUNICIPIOS DE CEARÁ: 30 AÑOS DE HISTORIA

RESUMO Este artigo apresenta o retrospecto histórico das práticas avaliativas executadas pelos municípios do Ceará, a partir de ações pioneiras desenvolvidas nos anos de 1980 e voltadas ao aprimoramento de programas educacionais, como o Programa de Expansão e Melhoria da Educação no Meio Rural e o Sistema Nacional de Avaliação da Educação Básica. Essas ações federais impulsionaram a criação de mecanismos estaduais e municipais de avaliação educacional. No rol dessas ações, encontra-se aquele que foi o primeiro sistema estadual de avaliação educacional: o Sistema Permanente de Avaliação da Educação Básica do Ceará, cujo modelo e influência permitiram o desenvolvimento de variados desenhos municipais de avaliação educacional.

RESUMEN Se presenta una retrospectiva histórica de las prácticas de evaluación realizadas por los municipios de Ceará, desde acciones pioneras que se desarrollaron en la década de 1980 y orientadas a mejorar los Programas Educativos, como el Programa de Expansión y Mejora de la Educación en el Medio Rural y el Sistema Nacional de Evaluación de la Educación Básica. Estas acciones federales impulsaron la creación de distintos mecanismos de evaluación educativa, estatales y municipales. En la lista de tales acciones, se encuentra el que fue el primer sistema de evaluación educativa estatal: el Sistema Permanente de Evaluación de la Educación Básica de Ceará, cuyos modelo e influencia permitieron el desarrollo de varios diseños de evaluación educativa municipal.

ABSTRACT This article presents a historical retrospect of the evaluation practices carried out in the state of Ceará. The review is based on pioneering actions developed in the 1980s aimed at improving educational programs, such as the Program for Expansion and Improvement of Education in Rural Areas and the National Basic Education Assessment System. These federal actions boosted the creation of state and municipal educational assessment mechanisms. Among these actions, there is the first state system of educational evaluation: the Permanent System of Evaluation of Basic Education of Ceará which was the cornerstone to develop several municipal projects for educational evaluation.

ALFABETIZACIÓN EN MATEMÁTICAS DE LOS ESTUDIANTES BRASILEÑOS DEL 2º AÑO DE LA EDUCACIÓN BÁSICA

RESUMO O artigo analisa o modo como o Sistema de Avaliação da Educação Básica (Saeb) do 2o ano do ensino fundamental avaliou o componente matemática em 2019 a partir da adoção da Base Nacional Curricular Comum. Para isso, discutimos o conceito de letramento matemático e analisamos o alinhamento entre a matriz de referência do Saeb com sua escala de proficiência e os resultados dos alunos. Encontramos lacunas no teste em relação a algumas habilidades da matriz de referência que impedem uma avaliação mais completa do letramento matemático. Mostramos que há uma porcentagem alta de alunos nos níveis mais baixos da escala de proficiência, mas não existe uma interpretação pedagógica dessa escala que permita avaliar a partir de qual nível o letramento matemático pode ser considerado adequado.

RESUMEN El artículo analiza el modo en el que el Sistema de Avaliação da Educação Básica [Sistema de Evaluación de Educación Básica] (Saeb), que corresponde al 2o año de la educación básica, evaluó el componente matemáticas en 2019 desde que se adoptó la Base Nacional Curricular Común. Para ello, discutimos el concepto de letramiento matemático y analizamos la alineación entre la matriz de referencia de Saeb con su escala de competencia y los resultados de los alumnos. Encontramos lagunas en la prueba y en lo que se refiere a algunas habilidades de la matriz de referencia que impiden una evaluación más completa del letramiento matemático. Mostramos que hay un alto porcentaje de estudiantes en los más bajos niveles de la escala de competencia, pero no existe una interpretación pedagógica de dicha escala que nos permita evaluar el nivel a partir de qué el letramiento matemático se puede considerar adecuado.

ABSTRACT The present article analyzes how the Sistema de Avaliação da Educação Básica [System for the Evaluation of Basic Education] (Saeb), with the 2nd grade of elementary school, evaluated mathematics component in 2019 following the adoption of the Base Nacional Curricular Comum [Common National Curricular Base]. To do this, we discussed the concept of mathematical literacy and analyzed the alignment between SAEB’s reference matrix with its proficiency scale and students’ results. We found gaps in the test regarding some skills of the reference matrix, that would hinder a more complete evaluation of mathematical literacy. We showed that there is a high percentage of students at the lower levels of the proficiency scale, but there is no pedagogical interpretation of this scale that allows us to assess at what level mathematical literacy can be considered adequate.

DESCRIPCIÓN DE LA COMPETENCIA LECTORA EN LA EDUCACIÓN BÁSICA

RESUMO Esta pesquisa se propôs a elaborar objetivos de aprendizagem de leitura a partir da análise de sentenças descritoras de itens de avaliações externas em língua portuguesa. O principal referencial teórico foi a Taxonomia Revisada de Bloom, associada ao quadro conceitual do Programme for International Student Assessment 2018 de letramento em leitura. Foram usadas 1.813 sentenças descritoras, obtidas principalmente do Sistema de Avaliação da Educação Básica, a fim de elaborar um conjunto de objetivos com maior precisão dos termos nos enunciados que indicam o que se espera que os alunos aprendam. Como resultado, produziu-se um conjunto de 84 objetivos de aprendizagem de leitura que pode ser considerado uma síntese representativa da área de avaliação em leitura, com potencial de aplicação no ensino ou na avaliação.

RESUMEN Esta investigación se propuso a elaborar objetivos de aprendizaje de lectura a partir del análisis de sentencias descriptoras de ítems de evaluaciones externas en el idioma portugués. Su principal referente teórico fue la Taxonomía Revisada de Bloom, asociada al cuadro conceptual del Programme for International Student Assessment 2018 de alfabetización en lectura. Se utilizaron 1.813 sentencias descriptoras, que se obtuvieron sobre todo en el Sistema de Evaluación de la Educación Básica, con el propósito de elaborar un conjunto de objetivos más precisos de los términos en los enunciados que indican qué se espera que aprendan los estudiantes. Como resultado, se produjo un conjunto de 84 objetivos de aprendizaje de lectura que se puede considerar como un síntesis representativo del área de evaluación en lectura, con potencial de aplicación en la enseñanza o en la evaluación.

ABSTRACT The present study proposes to develop learning objectives for reading, based on the analysis of descriptor sentences having items from external assessments in the Portuguese language. The main theoretical framework was Bloom’s Revised Taxonomy, associated with the Programme for International Student Assessment 2018 conceptual framework of reading literacy. 1,813 descriptor sentences were used, obtained mainly from the Basic Education Evaluation System, to develop a more precise set of objectives of the terms in the statements that indicate what students are expected to learn. As a result, a set of 84 learning objectives for reading was produced, which can be considered a representative summary of the area of reading assessment, with potential for application in instruction or assessment.

DOCENCIA Y COVID-19: PERCEPCIONES DE EDUCADORES DE LA RED DE EDUCACIÓN DE SÃO PAULO

RESUMO O questionário “Educação, docência e a covid-19” foi criado e disponibilizado aos professores da rede paulista com o objetivo de investigar indicadores de ordem afetiva, de saúde mental e pedagógicos durante a pandemia. Participaram voluntariamente 19.221 professores. Os resultados apontam o medo da pandemia e professores inseguros sobre a tecnologia. Apesar disso, declaram-se engajados em aprender e com boa saúde mental. Ponto sensível é a percepção de que a aprendizagem é menor no formato remoto, ligada a questões de desigualdades de acesso. Conclui-se que os impactos na educação paulista foram relevantes e reforça-se a importância de mais avaliações sobre os processos de ensino e aprendizagem durante a pandemia abordando-se o conceito de sindemia.

RESUMEN El cuestionario “Educación, docencia y Covid-19” ha sido creado y aplicado a los profesores de la red de São Paulo con el objetivo de investigar indicadores afectivos, de salud mental y pedagógicos durante la pandemia. 19.221 docentes participaron voluntariamente. Los resultados señalan el miedo de la pandemia y la inseguridad docente sobre la tecnología. Sin embargo, ellos afirman su compromiso con el aprendizaje y que disponen de buena salud mental. Um punto sensible es la percepción de que el aprendizaje es menor en el formato remoto, vinculado a cuestiones de desigualdades de acceso. Concluímos que los impactos en la educación en São Paulo fueron relevantes y refuerzan la importancia de nuevas evaluaciones sobre el aprendizaje durante la pandemia, destacando el concepto de sindemia.

ABSTRACT The questionnaire “Education, teaching and Covid-19” was developed and made available to teachers in the São Paulo school network to investigate affective, mental health and pedagogical indicators during the pandemic. A total of 19,221 teachers participated voluntarily. The results point to fear of the pandemic and teacher insecurity regarding technology. Despite this, they say they are engaged in learning and in good mental health. A sensitive point is the perception that there is less learning in the virtual format, which is linked to issues of inequalities of access. We concluded that the impacts on education in São Paulo were relevant and the importance of further evaluations of the teaching and learning processes during the pandemic is reinforced, addressing the concept of syndemics.

IMPACTO DE LOS PROGRAMAS INSTITUCIONALES SOBRE DESEMPEñO ACADéMICO EN LA FURG

RESUMO O presente estudo tem por objetivo avaliar o efeito do Programa Nacional de Assistência Estudantil (Pnaes) sobre o desempenho acadêmico dos estudantes beneficiários na Universidade Federal do Rio Grande (FURG). As informações sobre os estudantes foram disponibilizadas pelo sistema de acompanhamento estudantil da FURG, formando assim uma coorte de estudantes ingressantes em 2013 e identificados semestralmente até 2016. A metodologia utilizada teve como base o método Propensity Score Matching com diferentes estimadores. Após a composição dos grupos de comparação, os resultados indicaram que os estudantes universitários beneficiados pelo Pnaes na FURG tiveram desempenho acadêmico até 21% superior ao dos não beneficiados pelo programa.

Resumen El presente estudio tiene por objetivo evaluar el efecto del Programa Nacional de Assistência Estudantil [Programa Nacional de Asistencia Estudiantil] (Pnaes) sobre el desempeño de los estudiantes beneficiarios en la Universidade Federal do Rio Grande (FURG). Las informaciones sobre los estudiantes se pusieron a disposición por el sistema de acompañamiento estudiantil de la FURG, formando una cohorte de estudiantes que ingresaron en 2013 e identificados semestralmente hasta 2016. La metodología utilizada tuvo como base el método Propensity Score Matching con diferentes estimadores. Después de la composición de los grupos de comparación, los resultados indicaron que los estudiantes universitarios beneficiados por el Pnaes en la FURG tuvieron un desempeño académico hasta un 21% superior al de los no beneficiados por el programa.

ABSTRACT The present study aims to evaluate the effect of the Programa Nacional de Assistência Estudantil [National Student Assistance Program] (PNAES) on the academic performance of beneficiary students at the Universidade Federal do Rio Grande (FURG). Information about the students was made available through the FURG student monitoring system, leading to the creation of a cohort of incoming students in 2013, who were monitored every semester until 2016. The methodology used was based on the Propensity Score Matching method with different estimators. After the comparison groups were created, the results indicated that the academic performance of university students who benefited from PNAES at FURG was 21% higher than those who did not benefit from the program.

ANÁLISIS DEL ÍNDICE DE CARENCIA DE LAS ESCUELAS DE EDUCACIÓN BÁSICA EN RIO GRANDE DO SUL

RESUMO A qualidade da educação pode ser avaliada sob vários aspectos, incluindo a observação do acesso aos recursos materiais e ao capital humano. O presente estudo visa a estimar um índice de privação infraestrutural das escolas do ensino básico do Rio Grande do Sul. Para tanto, são utilizados os dados do Censo Escolar de 2018 em uma adaptação do método Alkire-Foster para avaliar a natureza das privações escolares. Das 10.066 escolas em operação no estado, cerca de metade enfrenta constrangimentos em oito ou mais indicadores (dos 24) selecionados para análise. O pior desempenho das escolas do estado gaúcho foi percebido na composição das varáveis da dimensão “Condições dos serviços em assistência estudantil”. As escolas com maior privação infraestrutural são as rurais.

RESUMEN La calidad de la educación puede evaluarse bajo varios aspectos, entre ellos la observación del acceso a los recursos materiales y al capital humano. El presente estudio tiene como objetivo estimar un índice de carencias de infraestructura de las escuelas de educación básica en Rio Grande do Sul. Para ello, son utilizados los datos del Censo Escolar de 2018 en una adaptación del método Alkire-Foster para evaluar la naturaleza de las carencias escolares. De las 10.066 escuelas que funcionan en el estado gaucho, cerca de la mitad se enfrenta a limitaciones en ocho o más indicadores (de los 24) seleccionados para el análisis. El peor desempeño de las escuelas del estado gaucho se observó en la composición de las variables de la dimensión “Condiciones de los Servicios en la Asistencia Estudiantil”. Las escuelas con mayores carencias de infraestructura son las escuelas rurales.

ABSTRACT The quality of education can be evaluated from several aspects, including the observation of access to material resources and human capital. The present study aims to estimate an index of infrastructural deprivation in basic education schools in Rio Grande do Sul. To this end, we used data from the 2018 School Census, adapting the Alkire-Foster method to assess the nature of school deprivation. Of the 10,066 schools operating in the state, about half face constraints in eight or more indicators (of the 24) selected for analysis. The worst performance among schools in the state of Rio Grande do Sul was in the composition of the variables of the dimension “Conditions of Student Assistance Services”. Rural schools have the greatest infrastructural deprivation.

LA EVALUACIÓN DEL APRENDIZAJE EN LA FORMACIÓN DOCENTE: REVELANDO HORIZONTES

RESUMO O presente artigo originou-se de uma pesquisa doutoral, realizada com professores dos cursos de Licenciatura em Matemática nos institutos federais do Ceará e da Paraíba. O objetivo era analisar as concepções e práticas avaliativas desses professores e sua relação com a formação docente. O estudo, de abordagem qualitativa, fez uso dos fundamentos filosóficos da fenomenologia hermenêutica, a partir das visões de Martin Heidegger e Hans-Georg Gadamer, para análise dos dados coletados em entrevistas semiestruturadas. As concepções e práticas de avaliação da aprendizagem abordadas sinalizaram o indicativo de que não há uma cultura de formação direcionada para os princípios de uma avaliação da aprendizagem, o que contribui para o fortalecimento de práticas avaliativas de reprodução.

RESUMEN El presente artículo tiene su origen en una investigación de doctorado, realizada con los profesores de los cursos de licenciatura en matemáticas de los institutos federales de Ceará y Paraíba. El objetivo fue analizar las concepciones y prácticas evaluativas de eses profesores y su relación con la formación docente. El estudio, con un enfoque cualitativo, hizo uso de los fundamentos filosóficos de la fenomenología hermenéutica, a partir de la visión de Martin Heidegger y Hans-Georg Gadamer, para analizar los datos recogidos en las entrevistas semiestructuradas. Los conceptos y prácticas de evaluación del aprendizaje abordados señalaron el indicio de que no hay una cultura de formación dirigida para los principios de una evaluación del aprendizaje, lo que contribuye para el fortalecimiento de las prácticas evaluativas de la reproducción.

ABSTRACT The present article originated from a doctoral research, carried out with the teachers of teaching degree courses in Mathematics in the federal institutes of Ceará and Paraíba. The objective was to analyze the conceptions and evaluative practices of these teachers and their relationship with teacher training. This is a qualitative study, based on the philosophical foundations of hermeneutic phenomenology from the views of Martin Heidegger and Hans-Georg Gadamer, to analyze the data collected in the semi-structured interviews. The conceptions and practices of learning assessment addressed indicated that there is no training culture directed to the principles of a learning assessment, which contributes to the strengthening of evaluative practices of reproduction.

REFORMULACIÓN DEL INSTRUMENTO DE EVALUACIÓN DOCENTE EN UNA GRADUACIÓN EN FARMACIA

RESUMO Este trabalho apresenta a elaboração de um questionário para avaliação continuada em um curso de Farmácia. Foram realizadas revisão da literatura e discussões envolvendo o Apoio Pedagógico e a Comissão de Graduação do curso, dando origem à primeira versão do questionário com 20 itens, analisados por especialistas e submetidos a um pré-teste com graduandos; após a etapa de adequação, foi aplicado o Questionário de Avaliação Continuada (QAC) com 21 itens e 383 questionários respondidos. O escore máximo foi atingido por 5,48% dos respondentes, sugerindo que o QAC apresenta evidências de validade de conteúdo e que o processo de reformulação da avaliação continuada descrito pode auxiliar outras instituições de ensino superior que estejam vivenciando cenários semelhantes.

RESUMEN Este trabajo presenta la elaboración de un cuestionario para evaluación continua en un curso de Farmacia. Fue realizada la revisión de la literatura y discusiones envolviendo el Apoyo Pedagógico y el Comité de Graduación del curso, dando origen a la primera versión del cuestionario con 20 ítems analizados por especialistas y sometidos a una prueba previa con estudiantes universitarios; después de la etapa de adecuación, fue aplicado el Questionário de Avaliação Continuada [Cuestionario de Evaluación Continua] (QAC) con 21 ítems y 383 cuestionarios respondidos. La nota máxima fue alcanzada por 5,48% de los encuestados sugiriendo que el QAC presenta evidencias de validez del contenido y que el proceso de reformulación de la evaluación continua descrito puede auxiliar otras instituciones de educación superior que están viviendo escenarios similares.

ABSTRACT The present study reports the development of a questionnaire for ongoing evaluation in a Pharmacy course. A literature review and discussions involving Pedagogical Support and the Undergraduate Committee were conducted, resulting in the first version of the questionnaire with 20 items. This was analyzed by experts and submitted to a pre-test with undergraduate students. After the adjustment stage, the Questionário de Avaliação Continuada [Continuous Assessment Questionnaire] (CAQ) was elaborated with 21 items, and 383 undergraduate students responded to it. The maximum score was reached by 5.48% of the respondents, suggesting that the CAQ presents evidence of content validity and that the process of redesigning the ongoing assessment described can facilitate other higher education institutions that are experiencing similar scenarios.

REVISIÓN SISTEMÁTICA: INVESTIGACIONES EMPÍRICAS ACERCA DEL SAEB (1995-2021)

RESUMO Este artigo tem como objetivo apresentar uma revisão sistemática da literatura sobre o mapeamento da produção científica acerca das pesquisas empíricas relacionadas ao Sistema de Avaliação da Educação Básica (Saeb). Para tanto, utilizaram-se o método Prisma e a análise bibliométrica. Os artigos foram selecionados no Portal de Periódicos da Capes, SciELO e Doaj e datam de 1995 a 2021. Foram consideradas e examinadas 75 publicações. A partir dessa amostra foi possível a criação de oito categorias, organizadas de acordo com a temática, objetivo e resultado das pesquisas empíricas relacionadas ao Saeb. Como resultado, o estudo apontou a necessidade de pesquisas futuras que proporcionem a consolidação do campo da avaliação educacional com base em evidências produzidas a partir dos dados do Saeb.

RESUMEN El presente artículo tiene el propósito de presentar una revisión sistemática de la literatura sobre el mapeo de la producción científica acerca de las investigaciones empíricas relacionadas al Sistema de Avaliação da Educação Básica [Sistema de Evaluación de la Educación Básica] (Saeb). Para ello, se han utilizado el método Prisma y el análisis bibliométrico. Los artículos fueron seleccionados en el Portal de Revistas de Capes, SciELO y Doaj y datan de 1995 a 2021. Se consideraron y examinaron 75 publicaciones. Debido al estudio de dicha muestra ha sido posible crear ocho categorías organizadas según la temática, el objetivo y el resultado de las encuestas empíricas relacionadas al Saeb. En función de ello, el estudio señaló la necesidad de futuras investigaciones que proporcionen la consolidación del ámbito de la evaluación educacional en base a evidencias que se produjeron debido a los datos de Saeb.

ABSTRACT This article aims to present a systematic literature review on the mapping of scientific production concerning the empirical research related to the Sistema de Avaliação da Educação Básica [Basic Education Evaluation System] (SAEB). For this purpose, the Prisma method and the bibliometric analysis were used. The articles were selected from the Capes Journal Portal, SciELO and Doaj and date from 1995 to 2021. A total of 75 publications were considered and examined. From this sample, it was possible to create eight categories, which were organized according to the theme, objective and result of the empirical research related to SAEB. The study pointed to the need for future research that would consolidate the field of educational assessment based on evidence - gathered from the SAEB data.

INICIATIVAS DE EVALUACIÓN EDUCATIVA EN EL ESTADO DE CEARÁ

RESUMO O artigo caracteriza e analisa iniciativas de avaliação educacional desenvolvidas no estado do Ceará que se revestiram de finalidades e atributos distintos do Sistema Permanente de Avaliação da Educação Básica, o qual tem sido objeto de diversos estudos. São tratadas três iniciativas, implementadas no decurso dos anos 1980, 1990 e 2000: i) avaliação de cursos de formação de profissionais; ii) avaliação institucional; e iii) avaliação de uma vertente da política educacional. A retrospectiva histórica dessas iniciativas se realizou por meio da consulta a documentos que registram seus objetivos e escopo. Intenta-se, com a difusão dessas proposições, iluminar perspectivas de ação que venham a se integrar ao sistema estadual de avaliação desse e de outros entes federados.

RESUMEN El artículo caracteriza y analiza las iniciativas de evaluación educativa desarrolladas en el estado de Ceará que usaron finalidades y atributos distintos del Sistema Permanente de Evaluación de la Educación Básica, lo cual ha sido objeto de varios estudios. Son tratadas tres iniciativas, implementadas durante las décadas de 1980, 1990 y 2000: i) evaluación de cursos de formación de profesionales; ii) evaluación institucional, y iii) evaluación de una vertiente de la política educativa. La retrospectiva histórica de esas iniciativas fue realizada mediante la consulta de documentos que registran sus objetivos y alcances. Se intenta, con la difusión de estas propuestas, iluminar perspectivas de acción que vengan a integrarse al sistema estatal de evaluación de ésta y de otras entidades federativas.

ABSTRACT The present article characterizes and analyzes educational evaluation initiatives developed in the state of Ceará that have purposes and attributes different from the Permanent System of Basic Education Evaluation, which has been the object of several studies. Three initiatives, implemented during the 1980s, 1990s and 2000s, are addressed: i) evaluation of professional training courses; ii) institutional evaluation; and, iii) evaluation of a strand of educational policy. The historical retrospective of these initiatives was conducted by consulting documents that record their objectives and scope. It is intended, with the dissemination of these propositions, to shed light on action perspectives that will be integrated into the state system of evaluation of this and of other federal entities.

DELINEAMIENTOS EXPERIMENTALES EN LA EVALUACIÓN DE POLÍTICAS PÚBLICAS: USOS Y ABUSOS

RESUMO O objetivo deste ensaio é discutir as potencialidades e, sobretudo, os limites do emprego de métodos experimentais e quase-experimentais na avaliação de programas públicos. Inicia-se com uma breve apresentação do desenho experimental clássico, seus requisitos e conceitos relacionados, como validades interna, externa e contrafatual. Em seguida, são abordadas as modalidades de desenhos quase-experimentais de avaliação, modelos que flexibilizam os requisitos do experimento clássico. Em duas seções de natureza crítica, apontam-se as limitações éticas, políticas e operacionais dos desenhos experimentais e quase-experimentais na avaliação de programas e, depois, as motivações político- -institucionais da resiliência dessa abordagem diante de conhecidos e recorrentes problemas de robustez.

RESUMEN El objetivo de este ensayo es discutir el potencial y, sobre todo, los límites del uso de métodos experimentales y casi experimentales en la evaluación de los programas públicos. Comienza con una breve presentación del diseño experimental clásico, sus requisitos y conceptos relacionados, como validez interna, externa y contra fáctica. A continuación, son abordadas las modalidades de los diseños de evaluación casi experimentales, modelos que flexibilizan los requerimientos del experimento clásico. En dos secciones de naturaleza crítica se señalan las limitaciones éticas, políticas y operativas de los diseños experimentales y casi experimentales en la evaluación de los programas, y después, las motivaciones político-institucionales de la resiliencia de este enfoque frente a conocidos y recurrentes problemas de robustez.

ABSTRACT The present essay discusses the strengths and, above all, the limits of using experimental and quasi-experimental methods in evaluating public programs. It begins with a brief presentation of classical experimental design, its requirements and related concepts such as internal, external, and counterfactual validity. Next, it addresses the modalities of quasi-experimental evaluation design, which relax the requirements of the classical experiment. Two critical sections point out the ethical, political, and operational limitations of experimental and quasi-experimental designs in program evaluation and, subsequently, the political-institutional motivations for the resilience of this approach in spite of well-known and recurrent robustness problems.

INFRAESTRUCTURA DE ESCUELAS PÚBLICAS EN PARANÁ: UNA APLICACIÓN DEL ANÁLISIS FACTORIAL

RESUMO Verificou-se de que forma está distribuída a infraestrutura nas escolas públicas de ensinos fundamental e/ou médio do Paraná e quais aspectos precisam de maior atenção dos formuladores de políticas públicas, uma vez que a infraestrutura escolar pode influenciar no desempenho dos alunos e, por conseguinte, no capital humano e no crescimento econômico. Utilizaram-se microdados do Censo Escolar de 2017 e 2019 e empregou-se a Análise Fatorial. Diante dos resultados, recomenda-se a implementação de políticas que visem a melhorias nas estruturas de apoio, atividades extraclasse e aparelhamento eletrônico. Constatou-se que escolas rurais ainda requerem maior atenção das políticas públicas e que, entre as mesorregiões, o Sudeste Paranaense carece de maior atenção quanto à infraestrutura de suas escolas.

RESUMEN Se verificó cómo se distribuye la infraestructura en las escuelas públicas de educación básica o media en Paraná y qué aspectos necesitan una mayor atención de los formuladores de políticas públicas, ya que la infraestructura escolar puede influir en el desempeño de los estudiantes y, por consiguiente, en el capital humano y el crecimiento económico. Se utilizaron microdatos del Censo Escolar de los años de 2017 y 2019 y se utilizó el Análisis Factorial. En vista de los resultados, se recomienda la implantación de políticas que se destinan a mejorar las estructuras de apoyo, las actividades extracurriculares y los equipos electrónicos. Se constató que las escuelas rurales aún requieren mayor atención de las políticas públicas y que, entre las mesorregiones, hay indicios de que el Sureste de Paraná necesita más atención en lo que se refiere a la infraestructura de sus escuelas.

ABSTRACT In this paper we investigated how school infrastructure is distributed in the public elementary and/or secondary schools of Paraná and which aspects need greater attention from public policy makers, since school infrastructure can influence student performance and, therefore, affect human capital and economic growth. We used microdata from the School Census for the years 2017 and 2019 as well as Factor Analysis. The results show that policies aimed at improving support structures, extracurricular activities and electronic equipment are needed. Despite their infrastructure development, rural schools still require greater attention from public policy makers. It seems that among the mesoregions, the Southeast of Paraná needs more support for school infrastructure.

EVALUACIÓN LONGITUDINAL DE ESTUDIANTES DE MEDICINA: ¿LA PRUEBA DE PROGRESO ES APROPIADA?

RESUMO O artigo objetiva aferir se o Teste de Progresso é apropriado para avaliar cursos e estudantes em diferentes fases da graduação de medicina. Analisam-se as características das questões e a confiabilidade de três testes de progresso já aplicados. Constatou-se que, para os estudantes do 2º ano, 76,4% das questões se mostraram de qualidade pobre (bisserial < 0,2); diminuindo para 47,7% no 4º ano e para 25,3% no 6º ano. A confiabilidade dos testes, pelo alfa de Cronbach, foi de somente 0,60 para os alunos do 2º ano, aumentando para 0,76 para os do 4º ano e 0,87 para os alunos do 6º ano. A forma atual do Teste de Progresso mostrou confiabilidade baixa e inaceitável para os estudantes do 2º ano, razoável para os do 4º e ótima para os estudantes do 6º ano. Um aperfeiçoamento dessa forma de avaliação longitudinal é proposto.

RESUMEN El artículo tiene el propósito de verificar si la Prueba de Progreso es apropiada para evaluar cursos y estudiantes en distintas fases del curso de medicina. Se analizan las características de las preguntas y la confiabilidad de tres pruebas de progreso ya aplicadas. Se constató que, para los estudiantes de 2º año, el 76,4% de las preguntas se mostraron de baja calidad (biserial < 0,2), reduciéndose a 47,7% en 4º año y a un 25,3% en 6º año. La confiabilidad de las pruebas, por alfa de Cronbach, fue de tan solo 0,60 para los alumnos de 2º año, y aumentó a 0,76 para los de 4º año y a 0,87 para los estudiantes de 6º año. La forma actual de la Prueba de Progreso mostró confiabilidad baja e inaceptable para los alumnos de 2º año, razonable para los de 4º y excelente para los de 6º. Se propone que se perfeccione dicha forma de evaluación longitudinal.

ABSTRACT The purpose of this article is to assess whether the Progress Test is appropriate to evaluate programs and students during different stages of medical studies. The characteristics of the items and reliability of three previously applied progress tests were analyzed. For second-year students, 76.4% of the questions demonstrated poor quality (biserial < 0.2). This percentage decreased to 47.7% in the fourth year and to 25.3% in the sixth year. The test’s reliability, measured by Cronbach’s alpha, was only 0.60 for second year students and increased to 0.76 in the fourth year and to 0.87 for sixth-year students. The current form of the Progress Test showed low and unacceptable reliability for second-year students, reasonable for the fourth year, and excellent for the sixth year. An improvement of this longitudinal assessment is proposed.

PREGUNTAS SOBRE LA TECNOLOGÍA: ¿QUÉ SE EVALÚA EN EL EXAME NACIONAL DO ENSINO MÉDIO?

RESUMO O presente estudo objetivou compreender o conhecimento sobre a tecnologia requerido do participante do Exame Nacional do Ensino Médio. À luz da Teoria Crítica, foram analisadas questões da prova de Linguagens, Códigos e suas Tecnologias dos anos de 2009, 2011 e 2020 no que se refere aos seguintes elementos: texto, situações-problema, enunciados e alternativas. Os resultados mostram que as provas avaliam se o participante sabe ou não usar a tecnologia, com ênfase na identificação, sem reflexão. O conhecimento sobre a tecnologia avaliado está voltado para uma formação adaptativa às exigências do capital flexível do século XXI.

RESUMEN El presente estudio tuvo el objetivo de abarcar los conocimientos sobre tecnología requeridos por parte de los participantes en el Exame Nacional do Ensino Médio [Examen Nacional de Educación Media]. A la luz de la Teoría Crítica, se analizaron preguntas relativas a las pruebas de Lenguajes, Códigos y sus Tecnologías de los años 2009, 2011 y 2020, en lo que se refiere a los siguientes elementos: texto, situaciones problema, enunciados y alternativas. Los resultados muestran que las pruebas evalúan si el participante sabe o no utilizar la tecnología con énfasis en la identificación, sin reflexión. El conocimiento sobre la tecnología evaluado se orienta a una formación que se adapta a las exigencias del capital flexible en el siglo XXI.

ABSTRACT The present study aimed to understand the knowledge of technology required of participants in the Exame Nacional do Ensino Médio [National High School Exam]. We analyzed questions from the Languages, Codes and their Technologies exam from 2009, 2011 and 2020 in the light of Critical Theory, regarding the following elements: text, problem situations, statements and alternatives. The results show that the tests assess whether or not the participant knows how to use technology, focusing on identification, without reflection. The knowledge about technology evaluated focus on training adapted to the demands of flexible capital in the 21st century.

¿EVALUAR PARA QUÉ? UN ANÁLISIS CUALITATIVO DEL PROCESO DE AUTOEVALUACIÓN

RESUMO Este artigo analisou o processo de autoavaliação em um instituto federal de ensino sob a lente da gestão do conhecimento e da teoria institucional. Metodologicamente, a pesquisa caracterizou-se como qualitativa, do tipo estudo de caso. A coleta de dados ocorreu por meio de entrevistas, observação participante e pesquisa documental. A análise de dados seguiu os procedimentos da análise de conteúdo e da técnica de triangulação. Os resultados identificam o processo autoavaliativo como um mecanismo de legitimação institucional, com incidência de mecanismos isomórficos miméticos e coercitivos. A associação das lentes da gestão do conhecimento e da teoria institucional proporcionou uma compreensão mais robusta do processo de autoavaliação, identificando limitações e potencialidades.

RESUMEN Se analizó el proceso de autoevaluación en un instituto federal de educación bajo el enfoque de la gestión del conocimiento y de la teoría institucional. Metodológicamente, la investigación se caracterizó como cualitativa, como si fuera un estudio de caso. La recogida de datos se efectuó por medio de entrevistas, observación participante y estudio documental. El análisis de los datos siguió los procedimientos de la consideración de contenido y la técnica de triangulación. Los resultados identifican el proceso autoevaluativo como un mecanismo de legitimación institucional, con la incidencia de mecanismos isomórficos miméticos y coercivos. La asociación entre las lentes de la gestión del conocimiento y la teoría institucional proporcionó una comprensión más robusta del proceso de autoevaluación, identificando limitaciones y potencialidades.

ABSTRACT This article analyzed the selfassessment process in a federal educational institute through the lens of knowledge management and institutional theory. The research was characterized methodologically as a qualitative case study. Data was collected through interviews, participant observation and documental research. Data analysis followed the procedures of content analysis and the triangulation technique. The results identified the self-assessment evaluation process as a mechanism of institutional legitimation, with incidence of mimetic and coercive isomorphic mechanisms. The association between the lenses of knowledge management and institutional theory provided a more robust understanding of the self-assessment process, identifying limitations and potentialities.

REGISTROS DE EVALUACIÓN EFECTUADOS POR IMÁGENES EN EDUCACIÓN FÍSICA EN OCHO AÑOS DE ESCOLARIDAD

RESUMO Este artigo objetiva compreender os sentidos atribuídos por uma professora e seus alunos ao uso de registros avaliativos imagéticos (portfólio fotográfico, maquetes, desenhos, cartazes, histórias em quadrinhos) nas aulas de educação física durante oito anos de escolarização. De natureza qualitativa, utiliza como fontes narrativas de uma professora e de 28 alunos do 9º ano do ensino fundamental. Os resultados indicam que o uso desses registros potencializa: a) a autoavaliação; b) o protagonismo estudantil; c) a interpretação dos sentidos atribuídos ao aprender na educação física; e d) a rememoração do processo de ensino-aprendizagem. O artigo conclui que a avaliação por imagens fortalece o diálogo, a pesquisa e a reflexão entre os alunos e sua professora, revelando diferentes formas de aprendizagem.

RESUMEN Este artículo tiene el propósito de comprender los sentidos que una profesora y sus alumnos le atribuyen al uso de registros de evaluación por imágenes (portafolio fotográfico, maquetas, dibujos, afiches, historietas) en las clases de educación física durante ocho años de escolarización. De naturaleza cualitativa, utiliza como fuentes narrativas de una profesora y de 28 alumnos del 9º año de educación fundamental. Los resultados indican que el uso de tales registros potencia: a) una autoevaluación; b) el protagonismo estudiantil; c) la interpretación de los sentidos que se atribuyen al aprender en educación física; y d) la rememoración del proceso de enseñanza-aprendizaje. El artículo concluye que la evaluación por imágenes fortalece el diálogo, la investigación y la reflexión entre los alumnos y su profesora, revelando distintas formas de aprendizaje.

ABSTRACT This article aims to understand the meanings attributed by a teacher and her students to the use of image-based assessment records (photographic portfolios, models, drawings, posters, comics) in physical education classes during eight years of schooling. This qualitative study uses as its sources the narratives of a teacher and 28 students from the 9th grade. The results indicate that the use of these records enhances: a) self-assessment; b) student empowerment; c) the interpretation of the meanings attributed to learning in physical education; and d) the recollection of the teaching-learning process. The article concludes that image-based assessment strengthens dialogue, research and reflection between students and their teachers, revealing different ways of learning.

DESEMPEÑO ACADÉMICO, ÍNDICE DE LIDERAZGO DEL DIRECTOR E ÍNDICE DE CONFIANZA DEL DIRECTOR

RESUMO Este artigo apresenta resultados de investigação dedicada a avaliar a existência de relação entre variações de desempenho acadêmico em língua portuguesa e matemática, considerando a proficiência média dos estudantes na Prova Brasil, e os índices de confiança e de liderança do diretor. Os dados utilizados na pesquisa provêm de seis redes públicas estaduais de ensino, considerando os estudantes do 5º e do 9º ano do ensino fundamental e os estudantes da 3ª e 4ª série do ensino médio. O tratamento estatístico realizado permitiu a confirmação da hipótese de que as variações nos dois índices guardam relação com a variação do desempenho acadêmico dos estudantes, tanto em língua portuguesa quanto em matemática, nas redes de ensino investigadas.

RESUMEN Este artículo presenta resultados de una investigación que se destina a evaluar la relación entre variaciones de desempeño académico en idioma portugués y matemáticas, considerando la competencia media de los estudiantes en la Prova Brasil, así como los índices de confianza y liderazgo del director. Los datos utilizados en la investigación provienen de seis redes públicas provinciales de enseñanza, considerando a los estudiantes de 5º y 9º año de educación básica y los estudiantes de 3º y 4º año de educación media. El tratamiento estadístico realizado permitió que se confirmara la hipótesis de que las variaciones en los dos índices se relacionan con la variación del desempeño académico de los estudiantes, tanto en idioma portugués como en matemáticas, en las redes de enseñanza investigadas.

ABSTRACT This article presents the results of an investigation aimed at evaluating the existence of a relationship between variations in academic performance in Portuguese and Mathematics based on the average proficiency of students in the Prova Brasil, and the confidence and leadership indices of the school principal. The data used in the study was collected from six state public schools including students from the 5th and 9th grades of elementary school and students from the 3rd and 4th grades of secondary school. The statistical analysis carried out confirmed the hypothesis that variations in the two indices are related to variations in students’ academic performance, both in Portuguese and Mathematics, in the schools investigated.

TEORIA DEL CAMBIO Y POLÍTICAS PÚBLICAS: UNA REVISIÓN INTEGRATIVA

RESUMO O presente artigo, com intuito de investigar o uso da ferramenta Teoria da Mudança, coletou dados das plataformas EbscoHost e Web of Science. Resultados apontam grande quantidade de estudos na saúde e no continente europeu. Em relação a definição, objetivo, construção, componentes, funções, vantagens e limitações do uso da ferramenta, os resultados foram variados. As melhores práticas envolvem participação de stakeholders, testagem da Teoria da Mudança, divisão temporal dos resultados, nexos causais apoiados em evidências e desenvolvimento de indicadores. Recomenda-se a atualização periódica da ferramenta, concluindo que ela é abrangente e útil para a garantia da qualidade do acompanhamento e da avaliação de intervenções.

RESUMEN El presente artículo, con el propósito de investigar el uso de la herramienta Teoría del Cambio, recogió datos de las plataformas EbscoHost y Web of Science. Los resultados señalan una gran cantidad de estudios en la salud y en el continente europeo. En lo que concierne a la definición, objetivo, construcción, componentes, funciones, ventajas y limitaciones del uso de la herramienta, los resultados fueron variados. Las mejores prácticas implican la participación de stakeholders, pruebas de la Teoría del Cambio, división temporal de los resultados, nexos causales en base a evidencias y desarrollo de indicadores. Se recomienda la actualización periódica de la herramienta, concluyendo que es amplia y útil para asegurar la garantía de la calidad del seguimiento y de la evaluación de intervenciones.

ABSTRACT In order to investigate the use of the Theory of Change tool, this article collected data from the EbscoHost and Web of Science platforms. The results show a large number of studies on health and in the European continent. The results were diverse as far as definition, objective, construction, components, functions, advantages and limitations of using the tool. The best practices involve stakeholder participation, testing the Theory of Change, temporal division of results, causal links supported by evidence and the development of indicators. It is recommended that the tool is periodically updated since it is comprehensive and useful for assuring quality in the monitoring and evaluation of interventions.

PLAN DE DESARROLLO INSTITUCIONAL: PRODUCCIÓN ACADÉMICA Y CIENTÍFICA EN BRASIL

RESUMEN Con el objetivo de mapear disertaciones, tesis y artículos científicos teniendo como tema el Plano de Desenvolvimento Institucional [Plan de Desarrollo Institucional] a través de una metodología descriptiva, un enfoque cualitativo y una estrategia bibliográfica, se buscó responder a la pregunta: ¿cuál es la producción académica y científica relevante sobre la temática, del 2012 al 2021, en el marco de la Avaliação Institucional nas Instituições Federais de Ensino Superior [Evaluación Institucional en Instituciones Federales de Educación Superior], en Brasil? Se notó la falta de publicaciones actualizadas, por lo que se espera que esta investigación estimule reflexiones y discusiones que favorezcan múltiples enfoques y perspectivas diversas e inéditas sobre la planificación en el área de evaluación de la educación superior en Brasil.

RESUMO Com o objetivo de mapear, elaborar dissertações, teses e artigos científicos, cuja temática seja o Plano de Desenvolvimento Institucional através de metodologia descritiva, abordagem qualitativa e estratégia bibliográfica, buscou-se responder à seguinte pergunta: qual é a produção acadêmica e científica relevante sobre o tema, no período de 2012 a 2021 e no contexto da Avaliação Institucional nas Instituições Federais de Ensino Superior no Brasil? Constatou-se a falta de publicações atualizadas, de forma que se espera com esta pesquisa estimular reflexões e discussões que favoreçam múltiplas abordagens e olhares diversos e inéditos sobre o planejamento avaliativo da educação superior no Brasil.

ABSTRACT With the objective of mapping scientific dissertations, theses and articles, having the theme of the Plano de Desenvolvimento Institucional [Institutional Development Plan] using a descriptive methodology, a qualitative approach and a bibliographical strategy, we sought to answer the following question: what is the relevant academic and scientific production on the subject, from 2012 to 2021, in the context of Avaliação Institucional nas Instituições Federais de Ensino Superior [Institutional Assessment in Federal Higher Education Institutions] in Brazil? A lack of up-to-date publications was noted, so we hope this research will foster reflections and discussions that favor multiple approaches and diverse and unprecedented perspectives about the evaluation planning for higher education in Brazil.

PRESUPOSICIONES PARA ACTUALIZAR EL INDICADOR DE ALFABETISMO FUNCIONAL

RESUMO Este artigo apresenta subsídios para a atualização do Indicador de Alfabetismo Funcional, um estudo que mede os níveis de alfabetismo da população adulta brasileira desde 2001. A pesquisa considerou dois domínios de habilidades: o letramento e o numeramento. Atualmente, o aumento da presença dos recursos digitais em diferentes situações da vida cotidiana gerou novas dinâmicas de uso das linguagens e dos conhecimentos matemáticos. Fez-se necessário, então, refletir sobre novas habilidades e práticas que se desenvolvem em decorrência dessa crescente presença. Um terceiro domínio precisou ser incorporado à pesquisa: o digital. Para isso, foi produzido um conjunto de estudos e análises para uma agenda de atualização desse indicador.

RESUMEN Este artículo presenta subsidios para actualizar el Indicador de Alfabetismo Funcional, un estudio que mide los niveles de alfabetismo de la población adulta de Brasil desde 2001. La investigación consideró dos dominios de habilidades: el letramiento y la numeración. En la actualidad, el aumento de la presencia de los recursos digitales en distintas situaciones de la vida cotidiana generó nuevas dinámicas de uso de lenguajes y de conocimientos matemáticos. Se hizo necesario entonces reflexionar sobre nuevas habilidades y prácticas que se desarrollan en función de tal creciente presencia. Se tuvo que incorporar un tercer dominio a la investigación: el digital. Para ello se produjo un conjunto de estudios y análisis para una agenda de actualización del presente indicador.

ABSTRACT The article presents important information for updating the Indicador de Alfabetismo Funcional [Functional Literacy Indicator]. It is a study that has been measuring the literacy levels of the adult Brazilian population since 2001. It considered two skills domains: literacy and numeracy. Currently, the increased presence of digital resources in different situations of everyday life have generated new dynamics in the use of languages and mathematical knowledge. It is therefore necessary to reflect on the new skills and practices that develop as a result of this growing presence. A third domain had to be incorporated into the study: the digital one. To this end, a set of studies and analyses was produced for an agenda to update this indicator.

ADECUACIÓN PSICOMÉTRICA DE UNA ESCALA DE MEDIDA DE PROPENSIÓN A LA DESERCIÓN

RESUMO A pesquisa buscou analisar a evasão recorrendo à identificação de Funcionamento Diferencial dos Itens no contexto do ensino superior presencial em instituições de ensino superior pública e privada comunitária com aplicação do instrumento WWH- -dropout scale. A avaliação das propriedades psicométricas dos itens foi realizada por meio da Teoria de Resposta ao Item e o estudo do viés, pelo Método de Regressão Logística, comparando instituições pública e privada. A análise do viés dos itens identificou dois itens com funcionamento diferencial e o reposicionamento desses itens na escala revelou que o desempenho discente influencia mais a evasão na instituição privada do que na pública e contribui para a atuação antecipada e diferenciada das instituições de ensino na prevenção à evasão.

RESUMEN El estudio intentó analizar la deserción por intermedio de la identificación del Funcionamiento Diferencial de los Ítems en el marco de la educación superior presencial en instituciones de educación superior pública y privada comunitaria con aplicación del instrumento WWH-dropout scale. La evaluación de las propriedades psicométricas de los ítems se llevó a cabo por medio de la Teoría de Respuesta al Ítem y del estudio del sesgo por el Método de Regresión Logística, comparando instituciones pública y privada. El análisis del sesgo de los ítems identificó a dos de ellos con funcionamiento diferencial. El reposicionamiento de tales ítems en la escala reveló que el desempeño estudiantil influye más sobre la deserción en la institución privada que en la pública y contribuye para la actuación anticipada y diferenciada de las instituciones de enseñanza en la prevención a la deserción.

ABSTRACT The present study aimed to analyze school dropout by identifying the Differential Functioning of Items in the context of face-to-face instruction in public and private community institutions of higher education, using the WWH-dropout scale instrument. The psychometric properties of the items were assessed using Item Response Theory, and the study of bias was conducted using the logistic regression method comparing public and private institutions. Item bias analysis identified two items with differential functioning. The repositioning of these items on the scale revealed that student performance has greater influence on dropouts at private institutions than at public ones, and contributes to the early and differentiated performance of educational institutions in preventing dropouts.

EFECTOS DEL PROGRAMA ENSINO INTEGRAL SOBRE EL DESEMPEÑO DE LOS ESTUDIANTES EN EL SAEB

RESUMO O artigo avalia o impacto do Programa Ensino Integral (PEI), implementado pela rede estadual de ensino de São Paulo desde 2012, sobre o desempenho dos estudantes dos anos finais do ensino fundamental nos testes de português e matemática do Sistema de Avaliação da Educação Básica (Saeb). Por meio da aplicação combinada das técnicas de Pareamento por Escore de Propensão e Diferenças em Diferenças, foram obtidas estimativas de impactos positivos do PEI, sendo os impactos de três anos de participação no programa superiores aos impactos de um ano de participação.

RESUMEN El artículo evalúa el impacto del Programa Ensino Integral (PEI) implementado por la red provincial de enseñanza de São Paulo desde 2012, sobre el desempeño de los estudiantes de los últimos años de educación básica en las pruebas de portugués y matemáticas del Sistema de Avaliação da Educação Básica (Saeb). Por intermedio de la aplicación combinada de las técnicas de Emparejamiento por Score de Propensión y Diferencias en Diferencias, se obtuvieron estimaciones de impactos positivos de PEI, y los impactos de tres años de participación en el programa se han considerado superiores a los impactos de un año de participación.

ABSTRACT The present article evaluates the impact of the Programa Ensino Integral [Comprehensive Education Program] (PEI), implemented by the São Paulo state school system since 2012, on the performance of students in the final years of elementary school in the Portuguese and Mathematics tests of the Sistema de Avaliação da Educação Básica [Basic Education Assessment System] (Saeb). Through the combined application of the Propensity Score Matching and the Differences in Differences techniques, estimates of the positive impacts of the PEI were obtained. The impacts of three years of participation in the program were higher than the impacts of one year of participation.

EFICACIA ESCOLAR DE LAS INSTITUCIONES FEDERALES DE EDUCACIÓN PROFESIONAL

RESUMO O trabalho investiga e analisa os fatores intra e extraescolares que influenciam o desempenho dos estudantes de ensino médio, de forma diferencial pelo tipo de rede escolar. Partindo do conceito de eficácia escolar, foi aplicada a metodologia de modelagem multinível multivariada aos dados educacionais do Sistema de Avaliação da Educação Básica. Os resultados mostraram que as escolas federais foram aquelas que apresentaram os maiores desempenhos e efeito escola na referida avaliação e que fatores em nível de aluno e escola impactam o aprendizado. São analisados e discutidos, também, os aspectos da qualidade dessas escolas, vis-à-vis as demais redes de ensino, por meio de indicadores e medidas de eficácia, que incluem o Índice de Desenvolvimento da Educação Básica.

RESUMEN El trabajo investiga y analiza los factores intra y extraescolares que influyen en el desempeño de los estudiantes de educación media, de forma diferencial y de acuerdo al tipo de red escolar. Partiendo del concepto de eficacia escolar, se aplicó la metodología de modelado multinivel con múltiples variaciones de los datos educativos del Sistema de Avaliação da Educação Básica [Sistema de Evaluación de Educación Básica]. Los resul- tados demostraron que las escuelas federales fueron las que presentaron los mejores desempeños y efecto escuela en la referida evaluación y que factores a nivel de alumno y escuela impactan el aprendizaje. Se analizan y discuten asimismo los aspectos de la calidad de dichas escuelas, vis-à-vis las demás redes de enseñanza, por intermedio de indicadores y medidas de eficacia, que incluyen el Índice de Desenvolvimento da Educação Básica [Índice de Desarrollo de Educación Básica].

ABSTRACT This paper investigates and analyzes the in-school and out-of-school factors that influence the performance of secondary school students, according to the type of school network. Based on the concept of school effectiveness, the multivariate multilevel modeling methodology was applied to educational data from the Sistema de Avaliação da Educação Básica [Basic Education Assessment System]. The results showed that federal schools had the highest performance and school effect in this assessment and that factors at student and school level have an impact on learning. We also analyze and discuss aspects of the quality of these schools vis-à-vis other education networks, using indicators and measures of effectiveness, including the Índice de Desenvolvimento da Educação Básica [Basic Education Development Index].

ACCESO DE ESTUDIANTES NEGROS A LA EDUCACIÓN SUPERIOR: EL CASO DE UFCSPA

RESUMO Este trabalho busca compreender o impacto das políticas de ações afirmativas no ensino superior. Nesse sentido, três objetivos orientaram o estudo: avaliar a distribuição dos estudantes negros por curso da Universidade Federal de Ciências da Saúde de Porto Alegre; comparar o percentual de estudantes negros matriculados por curso com a representação proporcional do grupo no estado do Rio Grande do Sul; analisar a distribuição dos estudantes negros por curso na ampla concorrência. Os dados foram submetidos à estatística descritiva e revelaram a ampliação da participação de estudantes negros em todos os cursos e em patamares superiores à participação dessa população no estado e que o fim da Lei n. 12.711/2012 terá como impacto imediato a retração de matrículas de estudantes negros.

RESUMEN Este trabajo buscó comprender el impacto de las políticas de acción afirmativa en la educación superior. En ese sentido, tres objetivos orientaron el estudio: evaluar la distribución de estudiantes negros por curso en la Universidade Federal de Ciências da Saúde de Porto Alegre; comparar el porcentaje de alumnos negros matriculados por curso con la representación proporcional del grupo en el estado de Rio Grande do Sul; analizar la distribución de estudiantes negros por curso en competencia amplia. Los datos fueron sometidos a estadística descriptiva. Los datos revelaron: expansión de la participación de estudiantes negros en todos los cursos y en niveles superiores a la participación de esta población en el estado y que el fin de la Ley n. 12.711/2012 tendrá un impacto inmediato en la retracción de matrículas de estudiantes negros.

ABSTRACT The present study seeks to understand the impact of affirmative action policies on higher education. In this sense, three objectives guided the study: to evaluate the distribution of black students per course at the Universidade Federal de Ciências da Saúde de Porto Alegre; to compare the percentage of black students enrolled per course with the group’s proportion in the state of Rio Grande do Sul; and to analyze the distribution of black students per course in wide competition. Data were submitted to descriptive statistics and revealed an increase in participation of black students in all courses and at levels higher than the participation of this population in the state and that the end of Law n. 12.711/2012 will have an immediate impact of reducing enrollments of black students.

RELACIÓN ENTRE COMPETENCIA Y EXPERIENCIA SEGÚN LA EVALUACIÓN DE LOS EVALUADORES DEL SINAES

RESUMO Este estudo busca analisar a relação entre a competência e a experiência em avaliação dos avaliadores do Sistema Nacional de Avaliação da Educação Superior (Sinaes). Foi feita uma pesquisa Delphi para listar as competências em avaliação consideradas mais adequadas ao contexto do Sinaes. Na sequência foi realizada uma survey para identificar a experiência em avaliação e a autoavaliação deles sobre o desenvolvimento de suas competências. Os dados empíricos evidenciaram que, em todas as dimensões teóricas de competências, quanto maior a quantidade de avaliações feitas, maior o nível de desenvolvimento dessas competências. Recomenda-se que avaliadores mais experientes trabalhem em parceria com outros menos experientes, a fim de desenvolver as competências em avaliação.

RESUMEN Este estudio intenta analizar la relación entre la competencia y la experiencia en evaluación de los evaluadores do Sistema Nacional de Avaliação da Educação Superior [Sistema Nacional de Evaluación de la Educación Superior] (Sinaes). Se efectuó una pesquisa Delphi para presentar las competencias en evaluación consideradas más adecuadas al contexto del Sinaes. Después de ello se llevó a cabo una survey para identificar su experiencia en evaluación y su autoevaluación sobre el desarrollo de sus competencias. Los datos empíricos pusieron de manifiesto que, en todas las dimensiones teóricas de competencias, cuanto mayor es la cantidad de evaluaciones realizadas, mayor el nivel de desarrollo de dichas competencias. Se recomienda que los evaluadores más experimentados trabajen junto con otros menos experimentados, con el propósito de desarrollar las competencias en evaluación.

ABSTRACT This study seeks to analyze the relationship between the competence and experience in evaluation of the Sistema Nacional de Avaliação da Educação Superior [National System for the Evaluation of Higher Education evaluators] (Sinaes). A Delphi study was carried out to list the evaluation competencies considered most appropriate to the context of the Sinaes. A survey was then carried out to identify their experience in evaluation and their self-assessment of the development of their competences. The empirical data showed that in all the theoretical dimensions of competences the greater the number of assessments carried out, the greater the level of development of these competences. It is recommended that more experienced evaluators work in partnership with less experienced ones in order to develop evaluation competencies.

LA DESIGUALDAD DE OPORTUNIDAD EN LA EVALUACIÓN NACIONAL DE ALFABETIZACIÓN DE 2016

RESUMO Este artigo investiga a desigualdade de oportunidade no acesso das crianças a níveis adequados de leitura, escrita e matemática. Para tanto, calcularam-se os Indicadores de Oportunidade Humana para os resultados da Avaliação Nacional da Alfabetização de 2016. Os resultados indicam problemas consideráveis nas três dimensões analisadas, agravados ao adotar um padrão mais exigente do que seria um nível adequado de aprendizado. Os indicadores estimados variaram entre 0.41 e 0.61 para o critério menos exigente, e entre 0.07 e 0.23 para o critério mais exigente de aprendizado. A decomposição de Shapley mostra que a desigualdade de oportunidade no acesso a uma boa educação está vinculada majoritariamente (90%) ao nível socioeconômico das escolas e sua localização geográfica.

RESUMEN Este artículo investiga la desigualdad de oportunidad en el acceso de los niños a niveles adecuados de lectura, escritura y matemáticas. Para ello, se calcularon los Indicadores de Oportunidad Humana para los resultados de la Avaliação Nacional da Alfabetização [Evaluación Nacional de Alfabetización] de 2016. Los resultados indican problemas considerables en las tres dimensiones analizadas, agravados al adoptar un estándar más exigente de lo que sería un nivel adecuado de aprendizaje. Los indicadores estimados variaron entre 0.41 y 0.61 para el criterio menos exigente, y entre 0.07 y 0.23 para el criterio más exigente de aprendizaje. La descomposición de Shapley muestra que la desigualdad de oportunidad en el acceso a una buena educación está vinculada de modo mayoritario (90%) al nivel socioeconómico de las escuelas y su localización geográfica.

ABSTRACT The present article investigates the inequality of opportunity in children’s access to appropriate levels of reading, writing and mathematics. To this end, Human Opportunity Indicators were used to calculate the results of the 2016 Avaliação Nacional da Alfabe- tização [National Literacy Assessment]. The results indicate considerable problems in the three dimensions analyzed, aggravated by adopting a more demanding standard of what would be an appropriate level of learning. The estimated indicators ranged between 0.41 and 0.61 for the least demanding criterion, and between 0.07 and 0.23 for the most demanding learning criterion. Shapley’s decomposition shows that inequality of opportunity in access to a good education is linked mostly (90%) to the socio-economic level of schools and their geographic location.

INDICATIVOS PARA UNA EVALUACIÓN FORMATIVA ENTRE PROFESORES DE BIOLOGÍA

RESUMO Este estudo propõe investigar os saberes que anunciam uma avaliação formativa nos discursos elaborados por professores de biologia sobre suas práticas escolares. Embasada na teoria das representações sociais, a pesquisa se debruça sobre as narrativas de seis docentes de uma instituição de ensino com base no indicativo de realizarem um processo avaliativo mediador. A partir da análise das ancoragens representacionais emergentes nas entrevistas, foi possível evidenciar algumas marcas epistêmicas do campo consensual dos saberes desses professores. Esses fatores se ancoram nos elementos relacionais da didática e na metáfora da “libertação”, em referência a uma visão reflexiva do currículo de biologia, bem como às suas experiências individuais ao longo de seu desenvolvimento profissional.

RESUMEN Este estudio propone investigar los saberes que anuncian una evaluación formativa en los discursos elaborados por profesores de biología sobre sus prácticas escolares. En base a la teoría de las representaciones sociales, la investigación abarca las narrativas de seis docentes de una institución que se basa en el indicativo de realizar un proceso evaluativo mediador. A partir del análisis de los anclajes representativos emergentes en las entrevistas, se hizo posible poner en evidencia algunas marcas epistémicas del campo consensual de los saberes de dichos docentes. Tales factores se basan en los elementos relacionales de la didáctica y en la metáfora de la “liberación” en lo que concierne a una visión reflexiva del currículo de biología, así como a sus experiencias individuales a lo largo de su desarrollo profesional.

ABSTRACT The present study aims to investigate the knowledge that indicates training assessment in the discourses produced by biology teachers about their school practices. Grounded in the theory of social representations, the study focuses on the narratives of six teachers from an educational institution, based on the idea that they are carrying out a mediating assessment process. From the analysis of the representational anchors emerging in the interviews, it was possible to highlight some epistemic marks of the consensual field of knowledge of these teachers. These factors are anchored in the relational elements of didactics and the metaphor of “liberation”, in reference to a reflexive view of the biology curriculum, as well as their individual experiences throughout their professional development.

ESTUDIO DEL RANKING ACADÉMICO MULTIDIMENSIONAL U-MULTIRANK

RESUMO Este artigo estuda as dimensões e indicadores do ranking acadêmico internacional multidimensional U-Multirank. O estudo desse ranking é importante no Brasil na atualidade, uma vez que a nova avaliação dos programas de pós-graduação brasileiros utiliza conceitos de avaliação multidimensional, incluindo alguns princípios usados no U-Multirank. Esse ranking apresenta os pontos fracos e fortes de cada instituição acadêmica por meio de 5 dimensões, compostas por 36 indicadores. Esse grande número de dimensões e indicadores gera uma visão mais completa das universidades, mas levanta questões sobre sua independência e disponibilidade de dados. São analisadas as trezentas melhores instituições acadêmicas europeias listadas na edição de 2020 do U-Multirank, explicando as dimensões e indicadores e fazendo correlações estatísticas entre tais indicadores e dimensões.

RESUMEN Este artículo estudia las dimensiones e indicadores del ranking académico internacional multidimensional U-Multirank. En la actualidad, el estudio del ranking es importante en Brasil, una vez que la nueva evaluación de los programas de postgrado brasileños utiliza conceptos de evaluación multidimensional, que incluyen algunos principios utilizados en U-Multirank. Dicho ranking presenta los puntos débiles y fuertes de cada institución académica por medio de 5 dimensiones compuestas por 36 indicadores. Este gran número de dimensiones e indicadores genera una visión más completa de las universidades, pero suscita cuestiones sobre su independencia y disponibilidad de datos. Se analizan las trecientas mejores instituciones académicas europeas enumeradas en la edición de 2020 de U-Multirank, explicando las dimensiones e indicadores y presentando correlaciones estadísticas entre tales indicadores y dimensiones.

ABSTRACT The present paper explores the dimensions and indicators of the international multidimensional academic ranking U-Multirank. Studying this ranking is important in Brazil today, as the new evaluation of graduate programs in the country is incorporating several aspects of multidimensional evaluation, including concepts from U-Multirank. This ranking reveals the strengths and weaknesses of each academic institution through 5 dimensions formed by 36 indicators. While this large set of dimensions and indicators provides a comprehensive view of universities, it raises questions regarding their independence and data availability. The analysis focuses on the top 300 European academic institutions listed in the 2020 edition, describing the dimensions and indicators and calculating statistical correlations between them.

DIFICULTADES QUE ENCONTRARON ESTUDIANTES DE UNICAMP EN LA TRANSICIÓN A LA ENSEÑANZA REMOTA

RESUMO Neste artigo, realiza-se uma análise exploratória de dados coletados em uma pesquisa aplicada a estudantes brasileiros da Universidade Estadual de Campinas (Unicamp) sobre as dificuldades observadas na transição do ensino presencial para o remoto devido à pandemia de covid-19. Conduzimos uma pesquisa bibliográfica e aplicamos a análise fatorial exploratória (AFE) às respostas de 1.776 estudantes, buscando obter um modelo que explicasse a maior parte da variação dos dados. Analisando os resultados da aplicação da AFE, destacam-se dois grupos de dificuldades: as relacionadas ao planejamento do curso e as relacionadas ao acesso e à disponibilização de infraestrutura adequada para o ensino remoto. Essas reflexões podem contribuir para os planos institucionais das instituições de ensino superior. É interessante salientar que não estamos inferindo uma prevalência de dificuldades, mas apontando que essas dificuldades devem ser analisadas e exploradas pelos stakeholders (partes interessadas) universitários.

RESUMEN En este artículo se realiza un análisis exploratorio de datos recogidos en una investigación aplicada a estudiantes brasileños de la Universidade Estadual de Campinas (Unicamp) sobre las dificultades observadas en la transición de la educación presencial a la remota debido a la pandemia de covid-19. Llevamos a cabo una investigación bibliográfica y aplicamos el análisis factorial exploratorio (AFE) a las respuestas de 1.776 estudiantes, buscando obtener un modelo que explicase la mayor parte de la variación de los datos. Al analizar los resultados de la aplicación de AFE, se destacan dos grupos de dificultades: las relacionadas a la planificación del curso y las vinculadas al acceso y a la puesta a disposición de una infraestructura adecuada a la educación remota. Tales reflexiones pueden contribuir para los planes institucionales de las instituciones de educación superior. Es interesante subrayar que no estamos infiriendo una prevalencia de dificultades, sino señalando que dichas dificultades deben ser analizadas y exploradas por los stakeholders (partes interesadas) universitarios.

ABSTRACT This paper conducts an exploratory analysis of data collected from a survey with Brazilian students at Universidade Estadual de Campinas (Unicamp) about the difficulties observed in the transition from in-person to remote learning due to the Covid-19 pandemic. We conducted bibliographic research and applied exploratory factor analysis (EFA) to responses from 1,776 students. Our goal was to obtain a model that explains most of the variance in the data. Upon analyzing the EFA results, two groups of difficulties stood out: those related to course planning and those related to access and the provision of adequate infrastructure for remote learning. These findings can contribute to higher education institutions’ institutional plans. Importantly, we are not inferring a prevalence of difficulties, but rather emphasizing that university stakeholders should actively analyze and explore these challenges.

PRÁCTICAS DE EVALUACIÓN EN LA EDUCACIÓN SUPERIOR: UN ESTUDIO CON DOCENTES PORTUGUESES

RESUMO Este trabalho examina as práticas de avaliação e a influência do Processo de Bolonha no desenvolvimento de mudança das práticas do corpo docente de cinco universidades públicas portuguesas (n = 185). Os dados foram recolhidos através de um questionário que incluiu perguntas fechadas e abertas. Os resultados indicam que os professores portugueses utilizam uma diversidade de práticas de avaliação determinada mais por eles próprios do que por fatores externos. Foram encontradas diferenças nas práticas de avaliação como resultado dos ciclos de estudo e da área de conhecimento. Este estudo em pequena escala sugere que os professores portugueses alteraram suas práticas de avaliação, mas o impacto do Processo de Bolonha não é claro.

RESUMEN Este trabajo examina las prácticas de evaluación y la influencia del Proceso de Boloña en el desarrollo del cambio de las prácticas del profesorado de cinco universidades públicas portuguesas (n = 185). Los datos se obtuvieron por medio de un cuestionario que incluyó preguntas cerradas y abiertas. Los resultados indican que los profesores portugueses utilizan una diversidad de prácticas de evaluación más determinadas por ellos mismos que por factores externos. Se encontraron diferencias en las prácticas de evaluación en función de los ciclos de estudio y del área de conocimiento. Este estudio en pequeña escala sugiere que los docentes portugueses alteraron sus prácticas de evaluación, pero el impacto del Proceso de Boloña no está claro.

ABSTRACT This paper examines the assessment practices and the influence of the Bologna Process in the process of changing practices of faculty from five Portuguese public universities (n = 185). Data were collected through a questionnaire comprising closed and open-ended questions. Findings indicate that Portuguese faculty use a diversity of assessment practices determined more by themselves than by external factors. Differences in assessment practices were found as a result of study cycles and fields of knowledge. This small-scale study suggests that Portuguese faculty have changed their assessment practices, but the impact of the Bologna Process is unclear.

HACE DIFERENCIA? LA EVALUACIÓN DE LA FORMACIÓN CONTÍNUA

RESUMO Neste artigo, Thomas R. Guskey apresenta uma proposta para avaliar a formação continuada docente. Trata-se de temática relevante para o contexto brasileiro, onde são implementadas diversas iniciativas desse tipo, as quais raramente são avaliadas. A proposta de Guskey - objeto do livro Evaluating professional development - contempla cinco níveis que avaliam: a reação dos participantes; a aprendizagem dos participantes; o apoio e mudança institucional; o uso de novos conhecimentos e habilidades pelos participantes; e os resultados de aprendizagem dos estudantes. Para o autor, é importante iniciar a formação continuada com uma nítida definição dos objetivos pretendidos, sendo possível obter boas evidências sobre suas contribuições por meio da coleta e análise de informações em cada um dos níveis da avaliação.

RESUMEN En este artículo, Thomas R. Guskey presenta una propuesta para evaluar la formación contínua docente. Se trata de una temática relevante para el contexto brasileño, en lo que se implementan diversas iniciativas de este tipo, que raramente se evalúan. La propuesta de Guskey - objeto del libro Evaluating professional development - abrange cinco niveles que evalúan: la reacción de los participantes; el aprendizaje de los estudiantes; el apoyo y el cambio institucional; el uso de nuevos conocimientos y habilidades por los estudiantes; y los resultados de aprendizaje de los participantes. Para el autor, es importante iniciar la formación contínua con una nítida definición de los objetivos pretendidos, siendo posible obtener buenas evidencias sobre sus aportes por medio de la recolección y el análisis de información en cada uno de los niveles de la evaluación.

ABSTRACT In this article, Thomas R. Guskey presents a proposal to evaluate teacher professional development. This topic is relevant to the Brazilian context where several initiatives of this type are implemented, and are rarely evaluated. Guskey’s proposal, the object of the book Evaluating professional development, addresses five evaluation levels: participants’ reaction; participants’ learning; organization support and change; participants’ use of new knowledge and skills; and, students’ learning outcomes. For the author, it is important to start professional development with a clear definition of the intended goals, making it possible to obtain good evidence about its contributions through the collection and analysis of information at each of the evaluation levels.