Estudos em Avaliação Educacional

CUESTIONARIOS CONTEXTUALES DEL PISA EN INVESTIGACIONES EDUCATIVAS: REVISIÓN SISTEMÁTICA

RESUMO Este artigo apresenta uma revisão sistemática da literatura em periódicos, utilizando o método Prisma, para analisar produções acadêmicas que empregam questionários contextuais do Programme for International Student Assessment (Pisa). Foram selecionados 22 artigos, classificados em três categorias de análises: desempenho educacional de estudantes; fatores ambientais, socioemocionais e políticos; e qualidade psicométrica. Os estudos abordam diversas perspectivas em variados contextos, com foco predominante no uso do questionário do estudante como instrumento de análise. Destaca-se o número expressivo de estudos comparativos entre países. Contudo, são reduzidas as análises desenvolvidas no contexto sul-americano.

RESUMEN Este artículo presenta una revisión sistemática de la literatura en revistas, utilizando el método Prisma, para analizar producciones académicas que emplean cuestionarios contextuales del Programme for International Student Assessment (Pisa). Fueron seleccionados 22 artículos, clasificados en tres categorías de análisis: desempeño educativo de los estudiantes; factores ambientales, socioemocionales y políticos; y calidad psicométrica. Los estudios abordan diferentes perspectivas en variados contextos, con un enfoque predominante en el uso del cuestionario estudiantil como instrumento de análisis. Se destaca el importante número de estudios comparativos entre países. Sin embargo, los análisis desarrollados en el contexto sudamericano son reducidos.

ABSTRACT This article presents a systematic review of the literature in journals, using the Prisma method to analyze academic studies that use contextual questionnaires from the Programme for International Student Assessment (Pisa). A total of 22 articles were selected and classified into three categories of analysis: student educational performance; environmental, socio-emotional, and political factors; and psychometric quality. The studies address different perspectives across various contexts, with a predominant focus on the use of the student questionnaire as an analytical tool. The significant number of comparative studies between countries stands out. However, there have been few analyses carried out in the South American context.

EVALUACIÓN MEDIADA DE NIÑOS COM EDAD ENTRE 2 Y 5 AÑOS

RESUMO O texto apresenta um protocolo de avaliação para crianças com idades entre 2 e 5 anos e tem como base escalas de desenvolvimento: a Base Nacional Comum Curricular e currículo para a educação infantil. A pauta para o registro dos resultados abrange as áreas a serem avaliadas e os materiais necessários, bem como um espaço para anotações. Trata-se de uma proposta de avaliação mediada, na qual o(a) avaliador(a) atenta para as estratégias da criança, interfere e medeia de forma intencional e organizada, com vistas a compreender seus conhecimentos e habilidades reais e potenciais. Os resultados das avaliações realizadas até o momento indicam a viabilidade do instrumento para aplicação e sua contribuição para o planejamento de intervenções pedagógicas na fase pré-escolar.

RESUMEN El texto presenta un protocolo de evaluación para niños con edad entre 2 y 5 años y tiene como base escalas de desarrollo, la Base Nacional Común Curricular y el currículo para la educación infantil. La agenda para el registro de los resultados abarca las áreas a evaluar y los materiales necesarios, así como un espacio para anotaciones. Se trata de una propuesta de evaluación mediada, en la que el evaluador presta atención a las estrategias del niño, interfiere y media de manera intencional y organizada, con miras a comprender sus conocimientos y habilidades reales y potenciales. Los resultados de las evaluaciones realizadas hasta el momento indican la viabilidad del instrumento para su aplicación y su contribución para la planificación de intervenciones pedagógicas en la etapa preescolar.

ABSTRACT The text presents an assessment protocol for children aged 2 to 5 years, and is based on development scales: the Base Nacional Comum Curricular [National Common Curriculum Base] and the curriculum for early childhood education. The agenda for recording the results includes covers the areas to be assessed and the necessary materials, as well as a space for notes. This is a mediated assessment proposal, in which the evaluator pays attention to the child’s strategies, intentionally and systematically intervenes and mediates, with a view to understanding the child’s actual and potential knowledge and skills. The results of the assessments carried out so far indicate the feasibility of the instrument for application and its contribution to the planning of pedagogical interventions in the preschool phase.

SOBRE CÓMO MEDIR LAS DIFERENCIAS DE LOS RESULTADOS EN LA ENSEÑANZA

RESUMO O artigo mostra que é inapropriado usar a divergência de Kullback-Leibler para comparar distribuições de notas de avaliações de aprendizagem, como é feito em vários trabalhos publicados. Argumenta-se, nesta pesquisa, que, havendo interesse em avaliar a desigualdade de distribuições de notas ou de escolaridades, é razoável utilizar uma medida usual de desigualdade como o índice de Gini. O artigo mostra também que é inapropriado usar a divergência de Kullback-Leibler como medida de desigualdade de notas entre categorias de estudantes. Para ilustrar o uso de diversas medidas e procedimentos estatísticos, é feita uma análise da distribuição da escolaridade das pessoas ocupadas no Brasil e nas unidades da Federação, usando os dados da Pesquisa Nacional por Amostra de Domicílios Contínua de 2022.

RESUMEN El artículo muestra que no es apropiado utilizar la divergencia de Kullback-Leibler para comparar distribuciones de notas de evaluaciones de aprendizaje, como es realizado en varios trabajos publicados. Se argumenta, en esta investigación, que, habiendo interés en evaluar la desigualdad de distribuciones de notas o de escolaridad, es razonable utilizar una medida habitual de desigualdad como el índice de Gini. El artículo también muestra que es inapropiado utilizar la divergencia de Kullback-Leibler como medida de desigualdad de notas entre categorías de estudiantes. Para ilustrar el uso de diversas medidas y procedimientos estadísticos, es realizado un análisis de la distribución de la escolaridad de las personas ocupadas en Brasil y en las unidades de la Federación utilizando datos de la Pesquisa Nacional por Amostra de Domicílios Contínua [Investigación Nacional Continua por Muestra de Hogares] de 2022.

ABSTRACT The article shows that the Kullback-Leibler divergence is not appropriate for comparing distributions of learning assessment grades, as is done in various published studies. This article argues that when the aim is to evaluate the inequality of score or education distributions, it is reasonable to employ a commonly used measure of inequality, such as the Gini index. The article also shows that it is not appropriate to use the Kullback-Leibler divergence as a measure of grade inequality between categories of students. To illustrate the use of various statistical measures and procedures, an analysis is conducted on the distribution of educational attainment among employed individuals in Brazil and its states, using data from the 2022 Pesquisa Nacional por Amostra de Domicílios Contínua [Continuous National Household Sample Survey].

EVALUACIÓN DE LA EDUCACIÓN PROFESIONAL EN LOS INSTITUTOS FEDERALES: MAPEO SISTEMÁTICO

RESUMO O objetivo deste mapeamento sistemático de literatura (MSL) foi identificar as abordagens de avaliação mais comuns no ensino profissional, as contribuições e os desafios do processo de avaliação, a análise do momento em que elas são realizadas e a compreensão das implicações dos resultados na melhoria e no aprimoramento desses cursos. Para a realização do MSL, foram pesquisados artigos em revistas acadêmicas publicados nos últimos 10 anos (2012-2022) nas bases de dados B-On, SciELO e Scopus. As informações indicam que as avaliações dos programas ou cursos são geralmente realizadas por meio de questionários e entrevistas no final da formação. Os estudos explorados nesta pesquisa não apresentam maiores detalhamentos para identificar como esses resultados são usados nos ajustes curriculares.

RESUMEN El objetivo de este Mapeo Sistemático de la Literatura (MSL) fue identificar los enfoques de evaluación más comunes en la educación profesional, las contribuciones y los desafíos del proceso de evaluación, el análisis del momento en que son realizadas y la comprensión de las implicaciones de los resultados en la mejora y perfeccionamiento de estos cursos. Para la realización del MSL, fueron investigados artículos en revistas académicas publicados en los últimos diez años (2012-2022) en las bases de datos B-On, SciELO y Scopus. Las informaciones indican que las evaluaciones de los programas o cursos son generalmente realizadas a través de cuestionarios y entrevistas al final de la formación. Los estudios analizados en esta investigación no presentan mayores detalles para identificar cómo estos resultados son utilizados en los ajustes del plan de estudios.

ABSTRACT The purpose of this Systematic Literature Mapping (SLM) was to identify the most common assessment approaches in middle-level vocational education, the contributions and challenges of the assessment process, the analysis of the timing of assessments, and the understanding of the implications of the findings in the improvement and enhancement of these courses. To carry out the MSL, we searched for articles in academic journals over the last ten years (2012-2022) in the B-On, SciELO, and Scopus databases. The findings indicate that assessments of programs or courses are usually carried out through questionnaires and interviews at the end of training. The studies analyzed in this research do not go into further details to identify how these findings are used in curricular adjustments.

LA INSTITUCIONALIZACIÓN DE LAS MÉTRICAS DE IMPACTO SOCIAL: EL CASO DE LA UNIFESP

RESUMO Este artigo apresenta um framework para institucionalização de métricas de impacto social (MIS) para a Universidade Federal de São Paulo (Unifesp) baseado nos Objetivos de Desenvolvimento Sustentável (ODS) da Organização das Nações Unidas (ONU). Fundamenta-se no institucionalismo sociológico e na dinâmica do ranking Times Higher Education (THE), bem como articula as políticas universitárias com os ODS e alinha as atividades de ensino, pesquisa, extensão e cultura como interface dialógica com a sociedade. Os métodos de design, de design science research e dos pilares analíticos de Scott (regulativo, normativo e cultural-cognitivo) são utilizados. Como resultado, foi desenvolvido um framework MIS-Unifesp que estabelece princípios de análise institucional pautados em métricas.

RESUMEN Este artículo presenta un framework para la institucionalización de Métricas de Impacto Social (MIS) para la Universidade Federal de São Paulo (Unifesp) basado en los Objetivos de Desarrollo Sostenible (ODS) de la Organización de las Naciones Unidas (ONU). Se basa en el institucionalismo sociológico y en la dinámica del ranking Times Higher Education (THE), articula las políticas universitarias con los ODS y alinea las actividades de enseñanza, investigación, extensión y cultura como interfaz dialógica con la sociedad. Utiliza métodos de design, de design science research y de los pilares analíticos de Scott (regulativo, normativo y cognitivo-cultural). Como resultado, fue desarrollado un framework MIS-Unifesp que establece principios de análisis institucional basados en métricas.

ABSTRACT This article presents a framework for institutionalizing Social Impact Metrics (SIM) for the Universidade Federal de São Paulo (Unifesp) based on the United Nations (UN) Sustainable Development Goals (SDGs). It is based on sociological institutionalism and the dynamics of the Times Higher Education (THE) ranking. The framework integrates university policies with the SDGs and aligns teaching, research, extension and cultural activities as a dialogic interface with society. The methods employed include design methods, design science research and Scott’s analytical pillars (regulative, normative and cognitive cultural). As a result, a SIM-Unifesp framework was developed establishing principles of institutional analysis based on metrics.

EL PROGRAMA “ACCIÓN CONOCIMIENTOS INDÍGENAS EN LA ESCUELA”: UNA EVALUACIÓN PROCESUAL

RESUMO O artigo apresenta uma avaliação processual do programa “Ação Saberes Indígenas na Escola” (Asie), examinando sua trajetória e com base na percepção dos participantes, resultados preliminares, dificuldades e recomendações. A metodologia abrangeu coleta em fontes secundárias (bibliográficas, documentos, legislação) e pesquisa de dados primários (formulários on-line e entrevistas semiestruturadas). Concluiu-se que a Asie, alinhando-se aos pressupostos da educação escolar indígena, promove resgate da cultura e do saber dos anciãos, além do aprendizado mútuo e da articulação entre as aldeias. Os obstáculos envolveram desafios para maior participação, instabilidade financeira decorrente das mudanças de governo e questões operacionais associadas à distância das e entre as comunidades.

RESUMEN El artículo presenta una evaluación procesal del programa “Ação Saberes Indígenas na Escola” [“Acción Conocimientos Indígenas en la Escuela”] (Asie), examinando su trayectoria y, a partir de la percepción de los participantes, resultados preliminares, dificultades y recomendaciones. La metodología incluyó la recolección en fuentes secundarias (bibliografías, documentos, legislación) y la investigación de datos primarios (formularios en línea y entrevistas semiestructuradas). Se concluyó que Asie, alineándose con los presupuestos de la educación escolar indígena, promueve la recuperación de la cultura y de los conocimientos de los ancianos, además del aprendizaje mutuo y de la articulación entre las aldeas. Los obstáculos incluyeron desafíos para una mayor participación, inestabilidad financiera resultante de cambios en el gobierno y problemas operativos asociados con la distancia de y entre las comunidades.

ABSTRACT This article presents a procedural assessment of the “Ação Saberes Indígenas na Escola” programme [“Indigenous Knowledge at School Action”] (Asie), examining its trajectory and based on the participants’ perceptions, preliminary results, challenges and recommendations. The methodology included data collection from secondary sources (bibliographic materials, documents, legislation) and primary data research (online forms and semi-structured interviews). The study concluded that Asie, in line with the assumptions of indigenous school education, promotes the preservation of cultural heritage and elders’ knowledge, as well as mutual learning and collaboration among the villages. Challenges included barriers to greater participation, financial instability due to changes in government and operational issues associated with the distance of and between communities.

EVALUACIÓN DE Y PARA EL APRENDIZAJE: PERCEPCIONES SOBRE CONCEPTOS Y PRÁCTICAS

RESUMO O artigo apresenta uma investigação sobre as percepções de professores do 6º ano de escolaridade português acerca dos conceitos e das práticas de avaliação das e para as aprendizagens. Procuramos, assim, compreender as conceções dos referidos docentes sobre os conceitos e as práticas de avaliação das e para as aprendizagens e naquilo que se assemelhavam e diferenciavam. A investigação foi realizada com entrevista semiestruturada a esses professores e os resultados mostraram percepções da avaliação das aprendizagens numa lógica sumativa e da avaliação para as aprendizagens numa lógica formativa. Já sobre práticas, a avaliação para as aprendizagens era feita de forma pouco planeada, pouco estruturada e pouco refletida, sendo realizada, sobretudo, de forma intuitiva.

RESUMEN El artículo presenta una investigación sobre las percepciones de los profesores del 6º año de la escolaridad portuguesa sobre los conceptos y prácticas de evaluación de y para el aprendizaje. Por lo tanto, buscamos comprender las concepciones de los referidos profesores sobre los conceptos y prácticas de evaluación de y para el aprendizaje y de aquello en que se parecían y se diferenciaban. La investigación fue realizada con entrevistas semiestructuradas a estos profesores y los resultados mostraron percepcio-nes de la evaluación del aprendizaje en una lógica sumativa y de la evaluación para el aprendizaje en una lógica formativa. En cuanto a las prácticas, la evaluación para el aprendizaje era realizada de forma poco planificada, poco estructurada y poco reflexiva, realizándose, sobre todo, de forma intuitiva.

ABSTRACT This article presents an investigation into the perceptions of sixth-grade Portuguese teachers regarding the concepts and practices of assessment of and for learning. Our objective is to understand these teachers’ views of the concepts and practices of assessment of and for learning, identifying similarities and differences between them. The study was conducted using semi-structured interviews with these teachers. The results revealed that assessment of learning was perceived through a summative framework, whereas assessment for learning was interpreted within a formative framework. Regarding practices, assessment for learning was conducted with minimal planning, lacking structure and reflection, and was primarily implemented intuitively.

INSTRUMENTOS DE EVALUACIÓN EN METODOLOGÍAS ACTIVAS: REVISIÓN SISTEMÁTICA

RESUMO Este estudo identifica os instrumentos avaliativos usados para avaliar o aprendizado em metodologias ativas. Utilizou-se o método Prisma 2020, com fases de identificação, triagem e inclusão. As buscas realizadas em bases nacionais do Google Acadêmico e internacionais, como Eric, Science Direct, Scopus e Web of Science, após a triagem, compuseram o corpus da pesquisa com 19 artigos. Constatou-se que o uso de instrumentos avaliativos adequados é essencial para proporcionar um feedback contínuo, reforçando a autonomia e a responsabilidade dos estudantes pelo seu próprio aprendizado. Conclui-se que adaptar as práticas avaliativas de forma confiável em diferentes contextos culturais e educacionais promove uma educação de qualidade.

RESUMEN Este estudio identifica los instrumentos de evaluación usados para evaluar el aprendizaje en metodologías activas. Se utilizó el método Prisma 2020, con fases de identificación, cribado e inclusión. Las búsquedas realizadas en bases de datos nacionales de Google Académico e internacionales, como Eric, Science Direct, Scopus y Web of Science, después de la selección, compusieron el corpus de la investigación con 19 artículos. Se constató que el uso de instrumentos de evaluación adecuados es fundamental para brindar una retroalimentación continua, reforzando la autonomía y la responsabilidad de los estudiantes por su propio aprendizaje. Se concluye que adaptar las prácticas de evaluación de forma confiable en diferentes contextos culturales y educativos promueve una educación de calidad.

ABSTRACT This study identifies the assessment instruments used to assess learning in active methodologies. The Prisma 2020 method was used, encompassing the stages of identification, screening, and inclusion. Searches were carried out in national databases, such as Google Scholar, and international ones such as Eric, Science Direct, Scopus and Web of Science. After screening, the research corpus comprised 19 articles. The findings indicate that the use of appropriate assessment instruments was essential to provide continuous feedback, reinforcing students’ autonomy and responsibility for their own learning. It is concluded that adapting assessment practices reliably in different cultural and educational contexts promotes quality education.