Estudos em Avaliação Educacional

EVALUATION OF EDUCATIONAL PROJECTS, PROGRAMS AND POLICIES

RESUMO A proposta deste estudo é analisar os artigos publicados no periódico Estudos em Avaliação Educacional (EAE) que tratam da avaliação e da análise de políticas e programas educacionais. A seleção dos manuscritos foi realizada no período de 1990 a 2019 e a análise dos trabalhos foi feita tendo como orientação um arcabouço teórico-conceitual definido previamente sobre avaliação e análise de políticas e programas. Como resultados, foram identificados: a) estudos da área da política mostraram dificuldades relativas à falta de consenso sobre conceitos específicos e quadros de referência teórica que ofereçam suporte às investigações realizadas; b) produções do campo da avaliação tiveram crescimento significativo a partir de 2012, embora não acompanhado de maior investimento no desenvolvimento teórico-metodológico da área; e c) predominam avaliações que utilizam abordagens qualitativas e que, como no caso dos artigos de análise de políticas, debruçam- -se sobre alguns casos com base nos quais são feitas afirmações sobre a efetividade dos programas.

RESUMEN La propuesta de este estudio es analizar los artículos publicados en la revista Estudos em Avaliação Educacional (EAE), que tratan de la evaluación y el análisis de políticas y programas educativos. La selección de los manuscritos ha sido realizada en el periodo de 1990 a 2019 y el análisis de los trabajos se llevó a cabo con la orientación de un esquema teórico-conceptual definido previamente sobre la evaluación y el análisis de políticas y programas. Como resultado, se identificó lo que sigue: a) estudios del área de la política mostraron dificultades relativas a la falta de consenso sobre conceptos específicos y marcos de referencia teórica que ofrezcan soporte a las investigaciones realizadas; b) producciones del campo de la evaluación tuvieron un crecimiento significativo desde 2012, aunque no acompañado por una mayor inversión en el desarrollo teórico- -metodológico del área; y c) predominan evaluaciones que utilizan abordajes cualitativos y que, como en el caso de los artículos de análisis de políticas, se dedican más a algunos casos desde los cuales se efectúan afirmaciones sobre la eficiencia de los programas.

ABSTRACT The purpose of this study is to analyze the articles published in the journal Estudos em Avaliação Educacional (EAE) that deal with the program evaluation and policy analysis in educational settings. The selection of the manuscripts was carried out between 1990 and 2019 and the analysis of the studies was based on a theoretical-conceptual framework previously defined on program evaluation and policy analysis. As a result, the following were identified: a) studies in the policy analysis area showed difficulties related to the lack of consensus on specific concepts and theoretical frameworks that support the investigations carried out; b) research in the field of evaluation had significant growth from 2012, although it wasn’t followed by greater investment in the theoretical- -methodological development of the area; and c) most evaluations use qualitative approaches and, as in the case of policy analysis papers, focus on some cases which are the basis of statements about the effectiveness of the programs.

EXTERNAL EVALUATIONS: THE INSTITUTIONALIZATION OF THE DEBATE OVER 30 YEARS OF THE EAE JOURNAL

RESUMO O artigo analisa textos publicados de 1990 a 2018, na revista Estudos em Avaliação Educacional, relacionados a avaliações externas. O principal argumento é o de que a revista contribuiu significativamente para a institucionalização desse debate no campo acadêmico brasileiro, com reflexões sobre concepções, desenhos, metodologias e formas de implementação das avaliações. Apresentam-se uma descrição quantitativa das publicações desse período e categorias de análise estabelecidas a priori e a posteriori. Como resultados, evidencia-se o protagonismo da Fundação Carlos Chagas nessa temática e identificam-se modos de consolidação do debate sobre avaliações externas no campo acadêmico brasileiro e lacunas de conhecimento sobre os usos das avaliações externas em escolas e redes de ensino.

RESUMEN El artículo analiza textos publicados de 1990 a 2018 en la revista Estudos em Avaliação Educacional, en relación a las evaluaciones externas. El principal argumento es que la revista contribuyó de forma significativa con la institucionalización de este debate en el ámbito académico brasileño, con reflexiones sobre concepciones, diseños, metodologías y formas de implementación de las evaluaciones. Se presentan una descripción cuantitativa de las publicaciones de dicho periodo y categorías de análisis establecidas a priori y a posteriori. Como resultados, se pone en evidencia el protagonismo de la Fundação Carlos Chagas en tal temática y se identifican modos de consolidación del debate sobre evaluaciones externas en el campo académico brasileño y lagunas de conocimiento sobre los usos de las evaluaciones externas en escuelas y redes de enseñanza.

ABSTRACT The article analyzes texts published in the journal Estudos em Avaliação Educacional, between 1990 and 2018, related to the theme of external evaluation. The main argument is that the journal has contributed significantly to the institutionalization of this debate in the Brazilian academic field, with reflections on concepts, designs, methodologies, and ways of implementing evaluations. A quantitative description of the articles published in this period is presented and categories of analysis are established a priori and a posteriori. As a result, the protagonism of Fundação Carlos Chagas on this theme is demonstrated; and ways of consolidating the debate on external evaluations in the Brazilian academic field, as well as knowledge gaps about the uses of external evaluations in schools and education networks, are identified.

TEACHERS’ PERCEPTIONS AND LEARNING IN BRAZILIAN HIGH SCHOOLS: WHAT IS THE RELATIONSHIP?

RESUMO A partir das percepções docentes sobre as possíveis causas dos problemas de aprendiza- gem no Brasil, este estudo se propôs a analisar a qualidade e a capacidade de influência dessas percepções no desempenho dos alunos do 3º ano do ensino médio público brasileiro. Para tal, utilizaram-se dados do Sistema de Avaliação da Educação Básica (Saeb) de 2015 e estimou-se um modelo multinível de intercepto aleatório em dois níveis (aluno e escola). Os resultados indicam que, entre as 11 percepções examinadas, apenas 4 tiveram coeficientes estimados estatisticamente significativos, e que, de forma geral, há indícios de que os professores não demonstrem boa capacidade de perceber algumas das causas, sobretudo intraescolares, que possivelmente são prejudiciais à qualidade do aprendizado discente.

RESUMEN Basado en las percepciones del profesor sobre las posibles causas de los problemas de aprendizaje en Brasil, este estudio tuvo como objetivo analizar la calidad y la capacidad de influir en las percepciones en el rendimiento de los estudiantes de 3° año de la escuela secundaria pública brasileña. Para ello, se utilizaron los datos del Sistema de Avaliação da Educação Básica [Sistema de Evaluación de la Educación Básica] (Saeb) de 2015 y se estimó un modelo de intercepción aleatoria multinivel en dos niveles (estudiante y escuela). Los resultados indican que, entre las 11 percepciones examinadas, sólo 4 tenían coeficientes estimados estadísticamente significativos, y que, en general, hay indicios de que los profesores no demuestran una buena capacidad para percibir algunas de las causas, especialmente intraescolares, que posiblemente sean perjudiciales para la calidad del aprendizaje de los estudiantes.

ABSTRACT Based on teachers’ perceptions of the possible causes of learning problems in Brazil, this study aimed to analyze the quality and ability to influence these perceptions on the performance of 3rd year students of Brazilian public high schools. For this, we used data obtained from the Sistema de Avaliação da Educação Básica [Basic Education Evaluation System] (Saeb) of 2015 and estimated a multilevel random interception model at two levels (student and school). The results show that, among the 11 perceptions examined, only 4 had significant estimated coefficients, and that, in general, there are signs that teachers are not really able to perceive some of the causes, especially intraschool, which are possibly harmful to the quality of learning.

QUALITY OF MULTIPLE-CHOICE ITEMS USED IN A PROGRESS TEST

RESUMO Este artigo objetiva analisar e discutir a qualidade dos itens de múltipla escolha (IME) elaborados para um Teste de Progresso, por meio da análise quali-quantitativa de 100 itens. Nos resultados há predomínio da dimensão do conhecimento conceitual e o domínio cognitivo sintetizado pelo verbo “entender”, analisado pela Taxonomia de Bloom Revisada, e 44% dos itens estão em acordo com as diretrizes técnicas para elaboração de IME. Pela análise da Teoria Clássica dos Testes, KR20 foi 0,835, dificuldade (P) 0,496 e índice de discriminação 0,240. O teste apresentou bom índice de confiabilidade, com dificuldade dos itens adequada. Deve ser chamada a atenção ao índice de discriminação e à formulação do enunciado no intuito de melhorar esses parâmetros para os itens de forma geral.

RESUMEN Este artículo tiene el propósito de analizar y discutir la calidad de los ítems de elección múltiple elaborados para una Prueba de Progreso, por medio del análisis cuali- -cuantitativo de 100 rubros. En los resultados predomina la dimensión del conocimiento conceptual y el dominio cognitivo sintetizado en el verbo “entender”, analizado por la Taxonomía de Bloom Revisada, y el 44% de los ítems está de acuerdo con las directrices técnicas para elaborar rubros de elección múltiple. Por medio del análisis de la Teoría Clásica de las Pruebas, KR20 fue de 0,835, dificultad (P) 0,496 e índice de discriminaçión 0,240. El test presentó un buen índice de confiabilidad, con dificultad adecuada de los ítems. Hay que llamar la atención al índice de discriminación y a la formulación del enunciado con el objetivo de mejorar dichos parámetros para los ítems en general.

ABSTRACT This article aims to analyze and discuss the quality of multiple-choice items prepared for a Progress Test, through the quali-quantitative analysis of 100 items. The results show a predominance of the dimension of conceptual knowledge and the cognitive domain synthesized by the verb “understand”, analyzed by the Revised Bloom Taxonomy, and 44% of the items are in accordance with the technical guidelines for the elaboration of multiple-choice items. According to Classical Test Theory, KR20 was 0.835, difficulty (P) 0.496, and discrimination index 0.240. The test presented a good reliability index, with suitable item difficulty. Special attention should be given to the discrimination index and the writing of the questions in order to improve these parameters for the items in general.

FORMATIVE EVALUATION: STRATEGY TO REMOTE EDUCATION IN THE COVID-19 PANDEMIC

RESUMO Este artigo visa a contribuir com alternativas para avaliação educacional no contexto da pandemia de covid-19. Durante o período de isolamento social, os professores passaram a ensinar mediante práticas pedagógicas remotas em caráter emergencial, sobretudo com o uso de tecnologias digitais de informação e comunicação, o que trouxe novos desafios para o processo de ensino e aprendizagem na escola. Entre tais desafios, encontra-se o da avaliação remota, diferente daquela usualmente empregada no ensino presencial. Apresentamos a avaliação formativa como uma estratégia viável nesse contexto, trazendo à discussão conceitos importantes e demonstrando sua efetividade a partir de duas utilizações práticas, com resultados significativos.

RESUMEN Este artículo tiene como objetivo contribuir a aspectos de la evaluación educativa en el contexto de la pandemia de covid-19. Durante el período de aislamiento social, los maestros comenzaron a enseñar a través de prácticas pedagógicas remotas de emergencia, especialmente con el uso de tecnologías digitales de la información y comunicación, lo que trajo nuevos desafíos al proceso de enseñanza y aprendizaje en la escuela. Entre estos retos se encuentra la evaluación remota, diferente a la que se suele utilizar en la docencia presencial. Presentamos la evaluación formativa como una estrategia y contexto viable, aportando a la discusión conceptos importantes y demostrando su efectividad a partir de dos usos prácticos, con resultados significativos.

ABSTRACT This article aims to contribute to aspects of educational evaluation in the context of the covid-19 pandemic. The period of social isolation made teachers resort to remote pedagogical practices on an emergency basis, particularly the use of digital information and communication technologies, which brought new challenges to the teaching and learning process. Among these challenges is remote evaluation, which is different from that usually used in face-to-face teaching. We present formative evaluation as a viable strategy in this context, bringing to the discussion important concepts and demonstrating its effectiveness based on two practical uses with significant results.

BRAZILIAN ADAPTATION OF HOPE: GIFTED RATING SCALE

RESUMO Este estudo objetivou adaptar e investigar as evidências de validade de conteúdo da HOPE Teacher Rating Scale, para uso no Brasil, em duas etapas: (i) tradução, síntese, retrotradução e revisão por comitê de especialistas, com auxílio de tradutores e juízes especialistas; (ii) análise semântica pelo público-alvo, com participação de professores de diferentes níveis educacionais. Como resultado, confeccionou-se uma primeira versão do instrumento, adequada a todos os níveis de ensino e às especificidades da língua e cultura brasileira, a qual deverá ser submetida a estudos voltados à investigação de suas qualidades psicométricas. Por ser um instrumento conciso e de fácil aplicação, espera-se que seu uso ajude na identificação de indicadores de altas habilidades/superdotação em estudantes brasileiros.

RESUMEN Este estudio tiene el objetivo de adaptar e investigar las evidencias de validez de contenido de HOPE Teacher Rating Scale para uso en Brasil en dos etapas: (i) traducción, síntesis, retrotraducción y revisión por comité de expertos, con la ayuda de traductores y jueces especialistas; (ii) análisis semántico por el público objetivo, con la participación de docentes de distintos niveles educativos. Como resultado de ello, se elaboró una primera versión del instrumento, adecuada a todos los niveles de enseñanza y a las especificidades del idioma y la cultura brasileña, que deberá someterse a estudios destinados a la investigación de sus calidades psicométricas. Por ser un instrumento conciso y de fácil aplicación, se espera que su uso ayude a identificar indicadores de altas habilidades/superdotación en estudiantes brasileños.

ABSTRACT This study aimed to investigate the evidence of content validity of the HOPE Teacher Rating Scale and adapt it to be used in Brazil. It comprises two stages: (i) translation, synthesis, back-translation and review by an expert committee, with the help of translators and expert judges; (ii) semantic analysis by the target audience, with the participation of teachers from different educational levels. It resulted in a first version of the instrument suitable to all educational levels and to the specificities of the Brazilian language and culture, which will be submitted to studies aimed at investigating its psychometric qualities. As it is a concise and easily applied instrument, it is expected that its use will help in the identification of indicators of high abilities/giftedness among Brazilian students.

CONNECTED TO NATURE: A PROPOSAL FOR A GAMIFIED ASSESSMENT ACTIVITY

RESUMO Para acompanhar a revolução gerada pelas novas tecnologias, a aprendizagem-avaliação- -ensino precisa se adaptar aos usos e às necessidades emergentes. Esse contexto, aliado ao cenário pandêmico e à adoção do ensino remoto, permitiu-nos entrever diálogos entre conceitos da gamificação e da avaliação orientada para a aprendizagem de línguas. Este artigo objetiva identificar intersecções entre as teorias e ilustrá-las por meio de um projeto desenvolvido por alunos (adultos de nível pré-intermediário) de um instituto de idiomas, no segundo semestre de 2020. Como resultados, foram observados a motivação dos alunos e o desenvolvimento de competências linguísticas e socioemocionais e do letramento digital. A expectativa é chamar atenção para o uso combinado das teorias em questão na área de Educação.

RESUMEN Para acompañar la revolución generada por las nuevas tecnologías, el aprendizaje- -evaluación-enseñanza se tiene que adaptar a los usos y necesidades emergentes. Este contexto, aliado al escenario pandémico y a la adopción de la educación remota, nos ha permitido entrever diálogos entre conceptos de la gamificación y de la evaluación orientada al aprendizaje de idiomas. Este artículo tiene como objetivo identificar intersecciones entre las teorías e ilustrarlas por medio de un proyecto desarrollado por los estudiantes (adultos de nivel pre intermedio) de un instituto de idiomas, en el segundo semestre de 2020. Como resultados, se observó la motivación de los alumnos y el desarrollo de competencias lingüísticas y socioemocionales y del letramento digital. La expectativa es llamar la atención al uso combinado de dichas teorías en el área de la Educación.

ABSTRACT To keep up with the revolution generated by new technologies, learning-assessment- -teaching need to adapt to emerging uses and needs. This context, associated with the pandemic scenario and the adoption of remote instruction, has allowed us to discern dialogues between gamification concepts and assessment oriented toward the learning of languages. This paper aims to identify intersections among the theories, and to demonstrate them through a project developed by students (pre-intermediate level adult learners) of a language institute, in the second semester of 2020. The results demonstrate the students’ motivation and the development of linguistic and socioemotional competences, and of digital literacy. The expectation is to draw attention to the combined use of the theories in question in the field of education.

QUOTA POLICIES AT THE UEPG: ANALYSIS OF DROPOUT AND ACADEMIC PERFORMANCE

RESUMO Este artigo teve como objetivo avaliar o abandono e a eficiência (em termos de nota média) dos alunos cotistas versus os não cotistas da Universidade Estadual de Ponta Grossa (UEPG), subdividindo a análise entre licenciatura e bacharelado. Para isso, os alunos foram acompanhados durante pelo menos oito anos e, na sequência, aplicou-se o método Propensity Score Matching. Como corolário, não se encontrou diferença significativa entre o rendimento médio dos graduados cotistas versus os de entrada universal. No caso do abandono, constatou-se menor desistência dos alunos cotistas, especialmente quando se analisou os cursos de bacharelado.

RESUMEN Este artículo tuvo como objetivo evaluar el abandono y la eficiencia (en términos de calificación promedio) de los estudiantes de cuota frente a los titulares no cuotistas de la Universidade Estadual de Ponta Grossa (UEPG), subdividiendo el análisis entre licenciatura y bachillerato. Para eso, los alumnos fueron seguidos durante al menos ocho años y luego aplicaron el método Propensity Score Matching. Como corolario, no hubo diferencias significativas entre el rendimiento promedio de los graduados de la cuota versus los de ingreso universal. En caso de abandono, se constató menor renuncia de los estudiantes cuotistas, especialmente cuando se analizaron los cursos de bachillerato.

ABSTRACT This article aimed to assess the dropout rate and efficiency (in terms of average grade) of quota students versus non-quota students at the Universidade Estadual de Ponta Grossa (UEPG), subdividing the analysis into teaching and bachelor’s degrees. To do this, the students were followed for at least eight years. Subsequently, the Propensity Score Matching method was used. As a corollary, there was no significant difference between the average performance of quota graduates versus those with open admission. It was found that quota students had a lower dropout rate, especially when analyzing bachelor’s courses.

DEVELOPMENTAL THEORY AND EVALUATION IN PHYSICAL EDUCATION CLASSES

RESUMO O estudo teve como objetivo a avaliação da aprendizagem na Educação Física escolar, com interface nos princípios de ensino da teoria desenvolvimental de Davydov. A pesquisa é de ordem qualitativa, com a metodologia do experimento didático formativo, realizada em uma escola pública, e os participantes foram os discentes da turma de Formação Docente Integrado. Acredita-se que o estudo compreendeu e relacionou a avaliação como uma ferramenta para auxiliar a prática docente e o acompanhamento do ensino e aprendizagem das(os) alunas(os). Confia-se que o estudo contribuiu para a realização do experimento e proporcionou ações que subsidiaram a aprendizagem dos participantes de forma integral.

RESUMEN El estudio tuvo el objetivo de evaluar el aprendizaje en la Educación Física escolar, en una interfaz en los principios de enseñanza de la teoría del desarrollo de Davydov. La investigación es cualitativa, con la metodología del experimento didáctico formativo, realizada en una escuela publica y los participantes fueron alumnos de la clase de Formación Docente Integrado. Se cree que el estudio comprendió y consideró la evaluación como una herramienta para ayudar a la práctica docente y el seguimiento de la enseñanza y el aprendizaje de los estudiantes. Se confia que el estudio contribuyó para realizar el experimento y brindó acciones que subsidiaron el aprendizaje de los participantes de manera integral.

ABSTRACT The objective of the study is to evaluate learning in school Physical Education classes, grounded in the teaching principles of Davydov’s Developmental Theory. The research design is qualitative, with the methodology of the educational didactic formative experiment. It was conducted in a public school and the participants were students in the Integrated Teacher Education class. The study understood and related evaluation as a tool to assist in the teaching practice, and in the monitoring of the teaching and learning of the students. It is believed that the present study contributed to the conduct of the experiment and to the learning of the participants in an integral way.

SCHOOLING IN RURAL AREAS: AGE-GRADE DISTORTION FROM THE ADMINISTRATORS’ POINT OF VIEW

RESUMO O artigo apresenta resultados de uma pesquisa que investigou as condições em que ocorrem as situações de distorção idade-série entre estudantes que residem em territórios rurais. Foram analisadas as percepções de gestores escolares sobre esse fenômeno, em especial o modo como eles explicam sua ocorrência nas escolas. A metodologia utilizada foi qualitativa e envolveu a realização de entrevistas com os gestores de cinco unidades escolares. Os resultados indicam que, na ótica desses profissionais, dois conjuntos de fatores estariam na base do fracasso escolar dos estudantes: fatores extraescolares e fatores escolares, sintetizados como descompassos entre a modalidade de oferta escolar (currículos, tempos e espaços) e a realidade social e cultural vivenciada pelos estudantes em contextos rurais.

RESUMEN El artículo presenta resultados de una investigación que averiguó las condiciones en las que ocurren las situaciones de distorsión entre edad-año escolar entre estudiantes que residen en territorios rurales. Se analizaron las percepciones de gestores escolares sobre dicho fenómeno, sobre todo el modo en el que ellos explican su ocurrencia en las escuelas. La metodología utilizada fue cualitativa e involucró la realización de entrevistas con los gestores de cinco unidades escolares. Los resultados indican que, desde la óptica de estos profesionales, dos conjuntos de factores estarían en la base del fracaso escolar de los estudiantes: factores extraescolares y factores escolares, sintetizados como descompases entre la modalidad de oferta escolar (currículos, tiempos y espacios) y la realidad social y cultural vivenciada por los estudiantes en contextos rurales.

ABSTRACT This article presents results of a study that investigated the conditions in which situations of age-grade distortion occur among students living in rural areas. The perceptions of school administrators about this phenomenon were analyzed, particularly, how they explain its occurrence in the schools where they work. The methodology used was qualitative and mainly involved interviews with the administrators of five schools. The results indicate that, from the administrators’perspective, two sets of factors would be at the base of the students’ school failure: extra-curricular factors and in-school factors, synthesized as mismatches between the modality of school offer (curriculum, times and spaces) and the social and cultural reality experienced by students in rural contexts.

EVALUATION OF REMOTE TUTORING AS A RESOURCE FOR LEARNING IN A PANDEMIC CONTEXT

RESUMO Este trabalho objetivou avaliar a tutoria, implementada remotamente em razão da pandemia de covid-19, como instrumento didático de ensino e aprendizagem para superação e/ou amenização das dificuldades elementares dos discentes no componente curricular cálculo diferencial e integral I (CDI I) de uma instituição de ensino superior pública. Caracterizado como uma pesquisa-ação, apresentou um viés quanti-qualitativo. Utilizaram-se questionários para coleta de dados, interpretados por meio da análise de conteúdo. Concluiu-se que a tutoria contribui para superação e/ou amenização das dificuldades elementares referentes à disciplina de CDI I, além de promover a ambien- talização dos tutores com recursos tecnológicos mediadores, preparando-os para o retorno do calendário letivo remotamente.

RESUMEN Este trabajo tuvo como objetivo evaluar la tutoría, implementada de forma remota debido a la pandemia del covid-19, como herramienta didáctica de enseñanza y aprendizaje para superar y/o mitigar las dificultades elementales de los estudiantes en el componente curricular de cálculo diferencial e integral I (CDI I) de una institución pública de educación superior. Caracterizada como una investigación-acción, presentó un sesgo cuanti-cualitativo. Se utilizaron cuestionarios para recoger datos, que se interpretaron por medio de un análisis de contenido. Se concluyó que la tutoría contribuye a superar y/o aliviar las dificultades elementales relacionadas con la disciplina del CDI I, además de promover la ambientalización de los tutores con recursos tecnológicos mediadores, preparándolos para el retorno del calendario lectivo a distancia.

ABSTRACT The present study aimed to evaluate tutoring, implemented remotely due to the Covid-19 pandemic, as a teaching and learning tool for overcoming and/or alleviating students’ fundamental difficulties in the curricular component of integral and differential calculus I (IDC I), at a public institution of higher education. This study has a quantitative and qualitative bias, and is characterized as action research. Questionnaires were used for data collection, interpreted through content analysis. It can be concluded that tutoring contributes to overcoming and/or easing the fundamental difficulties related to IDC I, in addition to promoting the acclimation of the tutors to the technological mediating resources, preparing them for the return to the academic calendar, remotely.

FORMATIVE ASSESSMENT IN DIGITAL CONTEXT WITH INTERACTIVE DIGITAL TECHNOLOGIES

RESUMO Este artigo trata da avaliação formativa on-line em contexto digital com tecnologias digitais interativas no ensino remoto emergencial durante a pandemia de covid-19. O relato de experiência descreve aulas de Língua Portuguesa, a partir da Base Nacional Comum Curricular no ensino fundamental. As tecnologias digitais interativas elencadas tiveram caráter pedagógico e avaliativo para acompanhar, refletir, personalizar e avaliar os estudantes nas aulas on-line. O estudo evidenciou que a adoção de estratégias pedagógicas para autoavaliação, participação, desempenho e colaboração dos estudantes na disciplina constituiu elemento indispensável para a formação integral e curricular.

RESUMEN Este artículo trata de la evaluación formativa en contexto digital con tecnologías digitales interactivas en la educación remota de emergencia durante la pandemia de covid-19. El informe de tal experiencia describe las clases de Lengua Portuguesa, basadas en la Base Nacional Comum Curricular [Base Nacional Curricular Común] en la educación básica. Las tecnologías digitales interactivas enumeradas tuvieron un carácter pedagógico y evaluativo para acompañar, reflexionar, personalizar y evaluar a los estudiantes en las clases en línea. El estudio mostró que la adopción de estrategias pedagógicas de autoevaluación, participación, desempeño y colaboración de los estudiantes en la disciplina constituían un elemento indispensable para la formación integral y curricular.

ABSTRACT The present paper deals with online, formative assessment in digital context with interactive digital technologies for emergency, remote instruction during the Covid-19 pandemic. The experience report describes Portuguese Language classes from the Base Nacional Comum Curricular [National Common Curricular Base] in elementary school. The interactive digital technologies listed had a pedagogical and evaluative character to accompany, reflect, personalize and evaluate the students in online classes. The study showed that the adoption of pedagogical strategies for self-assessment, participation, performance, and collaboration of students in the discipline was an indispensable element for integral and curricular training.

ASSESSMENT IN TIMES OF EMERGENCY REMOTE TEACHING

RESUMO O ensino remoto emergencial levou a escola a buscar outras possibilidades de avaliação enquanto acompanhamento dos processos de ensino e aprendizagem. Com o intuito de compreender como os processos avaliativos formativos têm ocorrido nesse período, cinco professores da educação básica foram entrevistados. Este trabalho qualitativo, com objetivo descritivo, teve os dados gerados por meio de narrativas. Os relatos demonstram incertezas e alguns caminhos delineados para avaliar. Conclui-se que algumas tecnologias, quando disponíveis, auxiliam na avaliação dos processos de ensino e aprendizagem. Contudo, para as realidades em que essas tecnologias não são uma possibilidade à integralidade dos estudantes, os professores têm recorrido a diferentes estratégias para propor atividades de aprendizagem.

RESUMEN La enseñanza remota de emergencia llevó a la escuela a buscar otras posibilidades de evaluación mientras monitoreaba los procesos de enseñanza y aprendizaje. Con el fin de entender cómo se han producido los procesos de evaluación formativa durante este periodo, se entrevistó a cinco docentes de la educación básica. Este trabajo cualitativo, con objetivo descriptivo, tuvo los datos generados a través de narrativas. Los informes muestran incertidumbres y algunos caminos diseñados para evaluar. Se concluye que algunas tecnologías, cuando están disponibles, ayudan en la evaluación de los procesos de enseñanza y aprendizaje. Sin embargo, para las realidades en las que estas tecnologías no son una posibilidad para la integralidad de los estudiantes, los docentes han recurrido a diferentes estrategias para proponer actividades de aprendizaje.

ABSTRACT Emergency remote teaching has led schools to search for other assessment possibilities with regard to monitoring the teaching and learning processes. In order to understand how formative assessment processes have occurred in this period, five basic education teachers were interviewed. The data of this qualitative study, with a descriptive objective, were generated through narratives. The reports show uncertainties, and some paths outlined for assessment. We conclude that some technologies, when available, aid in assessing the teaching and learning processes. However, for the situations in which these technologies are not a possibility for all the students, teachers have turned to different strategies to propose learning activities.

EVALUATION AND MILITARIZATION OF SCHOOLS IN THE DISTRITO FEDERAL: RELATIONSHIPS AND IMPLICATIONS

RESUMO Compreender o trabalho pedagógico e a avaliação desenvolvida em uma escola pública do Distrito Federal onde foi implantado o Projeto Escola de Gestão Compartilhada (modelo cívico-militar de organização escolar) e suas implicações para a conquista de aprendizagens constituem objetivos deste artigo. Delineado como estudo de caso e de abordagem qualitativa, para o levantamento de dados foram aplicados questionários e realizados grupos focais. As análises revelaram interesses que subjazem as políticas de responsabilização e controle hierárquico nas relações estabelecidas no contexto es- colar. Dissonâncias entre a proposta de militarização de escolas e a de organização escolar em ciclos também foram identificadas, entre elas, práticas avaliativas voltadas à subserviência e conformação dos sujeitos.

RESUMEN Comprender el trabajo pedagógico y la evaluación desarrollada en una escuela pública del Distrito Federal donde se implantó el Proyecto Escuela de Gestión Compartida (modelo cívico-militar de organización escolar) y sus implicaciones para la conquista de aprendizajes constituyen los objetivos del presente artículo. Delineado como estudio de caso y de abordaje cualitativo, para el levantamiento de datos se aplicaron cuestionarios y se realizaron grupos focales. Los análisis revelaron intereses que subyacen en las políticas de responsabilización y control jerárquico en las relaciones establecidas en el marco escolar. Disonancias entre la propuesta de militarización de escuelas y de organización escolar en ciclos también se identificaron, entre ellas, prácticas evaluativas volcadas al servilismo y a la conformación de los sujetos.

ABSTRACT The aim of this article is to understand the pedagogical work and the evaluation developed in a public school in the Distrito Federal [Federal District], where the Shared Management School Project (civic-military model of school organization) was implemented, as well as its implications for the mastery of learning. Designed as a case study with a qualitative approach, questionnaires were applied and focus groups were held to collect data. The analyses revealed interests that underlie policies of accountability and hierarchical control in the relationships established in the school context. Conflicts between the proposal of the militarization of schools and school organization in cycles were also identified; among them, evaluation practices aimed at the subservience and conformity of subjects.

PRODUCTION ON ASSESSMENT OF LEARNING AND DEVELOPMENT IN EARLY CHILDHOOD EDUCATION

RESUMO O objetivo deste artigo é analisar a produção científica sobre avaliação do desenvolvimento e aprendizagem na educação infantil. Para tanto, procedeu- -se à busca bibliográfica no banco de teses e dissertações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). Os resultados apontaram a relevância das pesquisas para a constituição do corpus de referenciais que abordam o tema em âmbito nacional, sobretudo em razão do reduzido número de estudos encontrados. Também se identificou a necessidade de pesquisas que contemplem as especificidades dos processos avaliativos realizados com a primeiríssima infância, visto que nenhuma tese se dedica a essa faixa etária e apenas três dissertações se direcionam à avaliação da aprendizagem de bebês e do contexto da creche.

RESUMEN El objetivo de este artículo es analizar la producción científica sobre la evaluación del desarrollo y el aprendizaje en la educación infantil. Para ello, se realizó una búsqueda bibliográfica en la Base de Datos de Tesis y Disertaciones de la Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). Los resultados señalaron la relevancia de las investigaciones para la constitución del corpus de referentes que abordan el tema a nivel nacional, principalmente por el escaso número de estudios encontrados. También se identificó la necesidad de investigaciones que aborden las especificidades de los procesos de evaluación que se llevan a cabo con la primera infancia, ya que ninguna tesis se dedica a este grupo de edad y solo tres disertaciones evalúan el aprendizaje infantil y el contexto de la guardería.

ABSTRACT This article aims to analyze the scientific production on the assessment of development and learning at this level of education. For this purpose, a bibliographic search was carried out in the Capes Theses and Dissertations Database. The results pointed to the relevance of the research findings for creating a corpus of reference addressing the theme at a national scale, mainly due to the small number of studies available. They also show the need for further research on the specificities of evaluation processes in very early childhood, since no thesis is dedicated to this age group and only three dissertations concern the assessment of early childhood learning and the daycare context.

NINTH GRADE PUPILS’ UNDERSTANDING ABOUT THE PORTUGUESE TEST OF PROVA BRASIL

RESUMO Este artigo tem como objetivo compreender a função da Prova Brasil de língua portuguesa, sob a ótica dos estudantes do 9º ano do ensino fundamental. Os dados são oriundos de uma pesquisa qualitativa concluída no mestrado em educação em 2017, realizada por meio de entrevistas coletivas com estudantes de uma escola do Médio Vale do Itajaí. Os aportes teóricos dialogam com a teoria enunciativa do círculo de Bakhtin. Os resultados indicam que, para os sujeitos investigados, a Prova Brasil tem como papel o controle das escolas, centrando-se no “ensinar certo”, atrelando a qualidade da educação aos resultados obtidos no Índice de Desenvolvimento da Educação Básica.

RESUMEN Este artículo tiene el objetivo de comprender la función de la Prova Brasil de Idioma Portugués desde la perspectiva de los alumnos del noveno año de primaria. Los datos provienen de una investigación cualitativa finalizada en la maestría en educación en el 2017, que se llevó a cabo a través de entrevistas colectivas con alumnos de una escuela del Médio Vale do Itajaí. Los aportes teóricos dialogan con la teoría enunciativa del círculo de Bakhtin. Los resultados indican que, para los sujetos investigados, el papel de la Prova Brasil es el de controlar las escuelas, centrándose en la “enseñanza correcta”, vinculando la calidad de la educación a los resultados obtenidos en el Índice de Desenvolvimento da Educação Básica [Índice de Desarrollo de la Educación Básica].

ABSTRACT This article aims to understand the role of the Portuguese test of Prova Brasil from the perspective of ninth grade pupils. The data come from qualitative research conducted in the master’s degree in Education in 2017 and used collective interviews with pupils from a school in the Médio Vale do Itajaí. The theoretical contributions dialogue with Bakhtin’s circle enunciation theory. The results indicate that, for the subjects investigated, Prova Brasil’s role is to control schools, focusing on “teaching correctly”, linking the quality of education to the results obtained in the Índice de Desenvolvimento da Educação Básica [Basic Education Development Index].

ONLINE FEEDBACK IN THE INITIAL TRAINING OF LANGUAGE TEACHERS: STATE OF THE ART

RESUMO Este artigo tem como objetivo investigar os efeitos da prática de feedback on-line na formação inicial de professores de línguas, sob a ótica dos licenciandos, tanto no Brasil quanto no exterior. Para isso, baseamo-nos em uma pesquisa de estado da arte, cuja temporalidade foi o período de 2001 a 2021. Os dados revelaram a necessidade de equilíbrio entre feedback geral e personalizado, seu uso com finalidade formativa, além da importância de vivenciá-lo durante seu processo de formação e estudá-lo de modo aprofundado, a fim de conseguirem oferecê-lo com mais consistência e plausibilidade.

RESUMEN Este artículo tiene el objetivo de investigar los efectos de la retroalimentación en línea en la formación inicial de profesores de idiomas, desde la perspectiva de los licenciados, ya sea en Brasil o en el exterior. Para ello, nos basamos en una investigación del estado del arte, cuya temporalidad fue del 2001 al 2021. Los datos revelaron la necesidad de equilibrar la retroalimentación general y personalizada con fines formativos, además de la importancia de vivirlo durante su proceso de formación y de estudiarlo con profundidad para poder ofrecerlo con mayor consistencia y plausibilidad.

ABSTRACT This article aims to investigate the effects of online feedback on the initial training of language teachers, from the perspective of undergraduate students, both in Brazil and abroad. To do so, we conducted state-of-the-art research from 2001 to 2021. The data revealed the need for a balance between general and personalized feedback, its use for training purposes, in addition to the importance of experiencing it during their development process as well as studying it in depth in order to be able to offer it with more consistency and plausibility.

HIGHER EDUCATION QUALITY ASSURANCE: THE CASE OF THE UNITED STATES

ABSTRACT The purpose of this article is to provide an overview and critique of higher education quality assurance in the context of the United States (US), reviewing the US model in terms of its history, characteristics, problems and controversies, in an effort to extract lessons that are applicable to other countries, including Brazil. The study examines topics such as institutional rankings, student learning assessment, the role of government in the university accreditation process and the challenge of assuring the quality of for-profit institutions. The article concludes with a list of recommendations extracted from the US experience that could conceivably contribute to the improvement of quality assurance frameworks in other parts of the world.

RESUMEN Este artículo presenta un panorama crítico sobre la garantía de calidad de la educación superior en Estados Unidos, analizando su historia, características, problemas y controversias, en un esfuerzo para extraer lecciones que sean aplicables a otros países, como Brasil. Se analizaron los rankings institucionales, la evaluación del aprendizaje de los estudiantes, el papel de los gobiernos en el proceso de acreditación universitaria y el desafío de asegurar la calidad de las instituciones con fines de lucro. Aunque se reconoce que no hay un modelo ideal para evaluar las instituciones de educación superior, se enumeran las recomendaciones extraídas de la experiencia norteamericana que posiblemente aporten contribuciones para mejorar los marcos de garantía de calidad en otras partes del mundo.

RESUMO Neste artigo, apresenta-se um panorama crítico sobre a garantia de qualidade do ensino superior nos Estados Unidos, analisando sua história, características, problemas e controvérsias, em um esforço para extrair lições que sejam aplicáveis a outros países, como o Brasil. Foram analisados rankings institucionais, a avaliação de aprendizagem dos alunos, o papel dos governos no processo de acreditação das universidades e o desafio de assegurar a qualidade de instituições com fins lucrativos. Embora se reconheça que não existe um modelo ideal de avaliação de instituições de ensino superior, são relacionadas recomendações extraídas da experiência norte-americana que trazem possíveis contribuições para o aprimoramento dos marcos de garantia de qualidade em outras partes do mundo.

CONTRIBUTIONS OF DATA ENVELOPMENT ANALYSIS IN STUDIES ON SCHOOL EFFECTIVENESS

RESUMO Neste artigo foi realizada uma revisão sistemática da literatura utilizando os descritores “Data Envelopment Analysis” AND “School Effectiveness” para investigar como a Análise Envoltória de Dados tem sido empregada em estudos sobre eficácia escolar. Foram selecionados dez artigos, mediante buscas nas bases de dados Scopus e Web of Science, entre 2010 e 2019. Como resultados, observaram-se a predominância da abordagem VRS output-oriented e a opção pela realização de procedimentos em dois estágios, que utilizam técnicas de regressão para complementar os resultados obtidos. Ademais, não houve uma conclusão equânime acerca dos fatores de maior influência no desempenho das unidades, o que pode ser reflexo da diversidade de realidades, culturas e populações investigadas nos estudos mapeados.

RESUMEN En este artículo ha sido realizada una revisión sistemática de la literatura por medio de los descriptores “Data Envelopment Analysis” AND “School Effectiveness”, para investigar cómo el Análisis Envolvente de Datos ha sido utilizado en estudios de eficacia escolar. Se han seleccionado diez artículos por medio de búsquedas en las bases de datos Scopus y Web of Science, entre 2010 y 2019. Como resultado, se observó un predominio del enfoque VRS output-oriented y la opción de realizar procedimientos en dos etapas, utilizando técnicas de regresión para complementar los resultados obtenidos. Además, no hubo una conclusión equitativa sobre los factores que más influyen en el desempeño de las unidades, lo que puede ser un reflejo de la diversidad de realidades, culturas y poblaciones investigadas en los estudios mapeados.

ABSTRACT This article presents a systematic literature review conducted according to Prisma guidelines, using the descriptors ‘Data Envelopment Analysis’ AND ‘School Effectiveness’ in order to investigate how data envelopment analysis has been used in studies on school effectiveness. Searches were carried out in the Scopus and Web of Science databases for the period between 2010 and 2019, and 10 articles were selected. The findings were a predominance of the VRS output-oriented approach and a preference for two-stage procedures using statistical regression techniques to complement results. Furthermore, no uniformity was observed regarding the factors that most influence units’ performance, which may reflect the diversity of realities, cultures and populations investigated in the mapped studies.

ACADEMIC PRODUCTION ON EVALUATION IN TEACHER TRAINING IN LATIN AMERICA

RESUMO Este artigo analisa a produção acadêmica sobre avaliação educacional na formação de professores envolvendo países hispanofalantes da América Latina. De natureza qualitativa, fundamenta-se na análise crítico-documental. Adota como fontes 14 artigos, publicados em 13 revistas. A análise constatou que: o fluxo de produção corresponde aos anos de 2013-2020; as publicações se concentram em revistas da Colômbia e do Brasil; os autores são de diferentes nacionalidades, com recorrência dos chilenos; o vínculo institucional deles está em universidades; alguns fazem parte de grupos e redes de pesquisa. Conclui-se que os artigos abordam: concepções e/ou percepções sobre avaliação; o modo como se constituem práticas avaliativas; e prescrição e ensino da avaliação nos cursos de formação de professores.

RESUMEN Este artículo analiza la producción académica sobre evaluación educacional en la formación de docentes en países hispanohablantes de América Latina. De naturaleza cualitativa, se basa en el análisis crítico-documental. Adopta como fuentes a 14 artículos, publicados en 13 revistas. El análisis constató que el flujo de producción corresponde a los años de 2013-2020; las publicaciones se concentran en revistas de Colombia y Brasil; los autores poseen distintas nacionalidades, con prevalencia de chilenos; su vínculo institucional se encuentra en las universidades; algunos forman parte de grupos y redes de investigación. Se concluye que los artículos abordan: concepciones y/o percepciones sobre evaluación; el modo en el que se constituyen prácticas evaluativas; y prescripción y enseñanza de la evaluación en los cursos de formación de docentes.

ABSTRACT The present paper analyzes the academic production on educational evaluation in teacher training in Spanish-speaking countries in Latin America. This is a qualitative study, based on critical-documentary analysis. It uses as its sources 14 articles, published in 13 journals. The analysis found that: the production flow corresponds to the years 2013-2020; the publications are mainly in journals from Colombia and Brazil; the authors are of different nationalities, with recurrence of Chileans; their institutional link is in universities; some are part of research groups and networks. We concluded that the articles address: conceptions and/or perceptions about evaluation; what evaluative practices are; and, prescription and teaching of evaluation in teacher training courses.

THE DISCOURSE OF DEMOCRATIC SCHOOL MANAGEMENT IN A PARTICIPATORY EVALUATION POLICY

RESUMO Este estudo analisa as repercussões de uma política de avaliação participativa da educação sobre o discurso de atores escolares quanto às percepções e práticas de gestão democrática. Trata-se de ação pública que propõe a avaliação de indicadores educacionais com participação de todos os segmentos da comunidade escolar. Utilizam- -se pressupostos da análise crítica do discurso. A fonte empregada compõe-se pelas justificativas emitidas por 232 escolas sobre metas e ações de gestão democrática para a rede estadual de ensino do Rio Grande do Sul. A análise aponta a predominância de discursividades sobre as dificuldades para a implementação da gestão democrática na escola pública. Reproduzem-se discursos que preservam certa estrutura hierárquica de posições institucionalizadas nas tomadas de decisões.

RESUMEN Este estudio analiza las repercusiones de una política de evaluación participativa de la educación sobre el discurso de actores escolares en lo que se refiere a las percepciones y prácticas de gestión democrática. Se trata de una acción pública que propone la evaluación de indicadores educativos con la participación de todos los segmentos de la comunidad escolar. Se utilizan suposiciones del análisis crítico del discurso. La fuente utilizada se compone de las justificaciones emitidas por 232 escuelas sobre metas y acciones de gestión democrática para la red estadual de enseñanza de Rio Grande do Sul. El análisis apunta el predominio de discursividades sobre las dificultades para implementar la gestión democrática en la escuela pública. Se reproducen discursos que preservan alguna estructura jerárquica de posiciones institucionalizadas en las tomas de decisión.

ABSTRACT The present study analyzes the impacts of a participatory evaluation policy of education on the discourse of school actors regarding perceptions and practices of democratic management. This is a public action that proposes the evaluation of educational indicators, with the participation of all segments of the school community. The present study uses assumptions of critical discourse analysis. The source consists of the justifications issued by 232 schools about goals and actions of democratic management for the state school system of Rio Grande do Sul. The analysis points to the predominance of discourses about the difficulties of implementing democratic management in public schools. Discourses that preserve some hierarchical structure of institutionalized positions in decision- -making are reproduced.

EVALUATION IN HIGHER EDUCATION: A REVIEW OF THE PRACTICE

RESUMO O objetivo deste artigo é analisar como acontece a avaliação de desempenho dos acadêmicos nos cursos de graduação em Engenharia Civil, de Computação, Elétrica, Eletrônica e Mecânica em três campi de uma universidade pública do sul do Brasil. A metodologia de pesquisa utilizada foi o delineamento misto sequencial explanatório. Os principais resultados mostram que os professores diversificam as estratégias de avaliação utilizadas, mas, apesar disso, o processo de avaliação é centrado no professor e não corresponde a conhecimentos pautados em discussões atuais da área da didática do ensino superior e de ensino de engenharia, como a avaliação formativa.

RESUMEN El objetivo del presente artículo es analizar cómo se lleva a cabo la evaluación de desempeño de los académicos en los cursos de graduación en Ingeniería Civil, de Computación, Eléctrica, Electrónica y Mecánica en tres campi de una universidad pública del sur de Brasil. La metodología investigativa utilizada fue la delineación mixta secuencial explicatoria. Los principales resultados muestran que los profesores diversifican las estrategias de evaluación utilizadas, pero a pesar de ello el proceso de evaluación se centra en el docente y no corresponde a conocimientos que se basan en actuales discusiones del área de didáctica de la educación superior y de enseñanza de ingeniería, como la evaluación formativa.

ABSTRACT The objective of this article is to identify how students’ performance in undergraduate courses in Civil, Computing, Electrical, Electronic and Mechanical Engineering is evaluated in three campuses of a public university in southern Brazil. The research methodology used was the explanatory sequential mixed design. The main results show that teachers diversify the assessment strategies used, but, despite this, the evaluation process is centered on the teacher and does not correspond to knowledge based on current discussions around the didactics of higher education and engineering education, as in formative evaluation.

LITERATURE IN THE ENADE AND LITERARY EDUCATION IN COURSES OF LANGUAGE AND LITERATURE

RESUMO Este artigo traz uma análise do Exame Nacional de Desempenho dos Estudantes aplicado em 2017 aos alunos dos cursos de Licenciatura em Letras. Com base em discussões dos campos de pesquisa sobre ensino de literatura e acerca da relação teoria-prática na formação de professores, apresenta-se um estudo das questões ligadas à literatura a fim de compreender a concepção de formação literária pressuposta na avaliação. Os resultados são apresentados em comparação com um estudo das quatro edições anteriores, feito em 2019. As constatações apontam uma diversidade de autores, um discurso de flexibilização em relação ao cânone e uma concepção de educação literária voltada para o letramento crítico dos estudantes.

RESUMEN Este artículo contiene un análisis del Exame Nacional de Desempenho dos Estudantes [Examen Nacional de Desempeño de los Estudiantes] aplicado en el 2017 a los alumnos de los cursos de Licenciatura en Letras. En base a las discusiones en los campos de investigación sobre la enseñanza de literatura y sobre la relación teoría-práctica en la formación de profesores, se presenta un estudio de los temas vinculados a la literatura con el propósito de comprender la concepción de la formación literaria que se presupone en la evaluación. Los resultados son comparados con un estudio de las cuatro ediciones anteriores, efectuado en 2019. Las constataciones señalan una diversidad de autores, un discurso de flexibilización en lo que se refiere al canon y una concepción de educación literaria destinada al letramiento crítico de los estudiantes.

ABSTRACT The present paper analyzes the Exame Nacional de Desempenho dos Estudantes [National Student Performance Examination], applied in 2017 to undergraduate students in Language and Literature courses. Based on the reflections in the fields of research on literature teaching and on the theory-practice relationship in teacher training, a study of the issues related to literature is presented to understand the conception of literary education assumed in the evaluation. The results are presented in comparison with a study of the four previous editions, carried out in 2019. The findings point to a diversity of authors, a discourse of flexibilization in relation to the canon, and a conception of literary education focused on the critical literacy of students.

EVALUATING A TEACHING CERTIFICATION PROGRAM IN RURAL EDUCATION: AN EXPERIENCE REPORT

RESUMO O artigo relata uma avaliação de Licenciatura em Educação do Campo a partir de um modelo específico de formação, propondo a utilização do dispositivo de triângulo da formação como grade de leitura e guia avaliativo. Ilustra o potencial do dispositivo em processos avaliativos aplicados a uma Licenciatura em Educação do Campo ministrada em 5 cidades do Pará. Um questionário distribuído a 182 alunos e um conjunto de entrevistas com 19 graduandos permitiram a coleta de dados para avaliação discente da formação. A análise mostrou uma ênfase em aspectos cognitivos e socioprofissionais, negligenciando os aspectos psicológicos da formação. Mesmo as articulações expli-citamente desenhadas entre aspectos epistêmicos e profissionais foram criticadas pelos alunos, pois se desviavam da realidade local.

RESUMEN El artículo presenta una evaluación de una Licenciatura en Educación Rural basada en un modelo de formación específico que propone la utilización del dispositivo de triángulo de formación como guía de lectura y de evaluación. Ilustra el potencial del dispositivo en un proceso de evaluación aplicado a una Licenciatura en Educación Rural impartida en 5 ciudades del estado de Pará, Brasil. Un cuestionario distribuido a 182 estudiantes y un conjunto de entrevistas con 19 graduandos permitieron una recogida de datos para efectuar una evaluación no docente de la formación. El análisis puso énfasis en aspectos cognitivos y socioprofesionales, dejando de lado los aspectos psicológicos de la formación. Incluso las articulaciones explícitamente diseñadas entre aspectos epistémicos y profesionales fueron criticadas por los estudiantes porque se desviaron de la realidad local.

ABSTRACT The article presents an evaluation report of a Teaching Certification program in Rural Education, based on a specific training model. It uses the training triangle as a reading grid and assessment guide. To illustrate its potential for evaluation processes, it was applied to a Teaching Certification program in Rural Education, taught in 5 different cities in Pará, Brazil. The data comes from a questionnaire distributed to 182 undergraduate students and a set of interviews with 19 of them. The analysis showed an emphasis on the cognitive and socio-professional dimensions, and neglect of the psychological aspects, of the training. Even the initiatives that explicitly articulated epistemic and professional elements were criticized by the students for deviating from the local reality.

DISCOURSES ON EDUCATIONAL EVALUATION IN THE MUNICIPAL SCHOOL NETWORK OF SÃO PAULO

RESUMO A avaliação educacional tornou-se uma das categorias centrais na elaboração das políticas educacionais. Este artigo faz uma análise dos discursos que influenciaram a trajetória da avaliação educacional da rede municipal de ensino de São Paulo, no período de 1990 a 2016. Fundamentadas nos pressupostos teórico-metodológicos desenvolvidos por Stephen Ball, são examinadas entrevistas com 12 dos principais operadores das políticas educacionais dessa rede de ensino. Conclui-se que, mesmo com resistência e negação em alguns momentos, essa rede de ensino passou a adotar um discurso de viés neoliberal, reduzindo a concepção de educação e avaliação somente à necessidade de melhoria nos resultados dos exames externos.

RESUMEN La evaluación educacional se convirtió en una de las categorías centrales en la elaboración de las políticas educativas. El presente artículo analiza los discursos que influyeron la trayectoria de evaluación educacional de la red municipal de educación de São Paulo, en el periodo de 1990 a 2016. En base a los presuposiciones teórico-metodológicas desarrolladas por Stephen Ball, se examinan entrevistas con 12 de los principales operadores de las políticas educativas de esta red de educación. Se concluye que, a pesar de la resistencia y la negación en algunos momentos, dicha red de educación pasó a adoptar un discurso de sesgo neoliberal, reduciendo la concepción de educación y evaluación tan solo a la necesidad de mejorar los resultados de los exámenes externos.

ABSTRACT Educational evaluation has become one of the central categories in the development of educational policies. This article analyzes the discourses that have influenced the direction of educational evaluation in the municipal school network of São Paulo, from 1990 to 2016. Based on the theoretical and methodological assumptions developed by Stephen Ball, we analyzed interviews with 12 of the main actors of educational policies of this school network. We concluded that, even with occasional resistance and denial, this school network has adopted a discourse of neoliberal bias, reducing the conception of education and evaluation only to the need for improvement in the results of external tests.

CONCEPTIONS AND PERSPECTIVES OF THE NILO PEÇANHA PLATFORM: REGULATION AND EMANCIPATION

RESUMO Este artigo analisa a implantação da Plataforma Nilo Peçanha e suas implicações para a Rede Federal de Educação, considerando o contexto de efetivação das políticas de avaliação, monitoramento e controle, fundamentadas no uso de indicadores de gestão baseados apenas em resultados mensuráveis, que podem se tornar mecanismos de controle para a manutenção de determinada ordem social. A pesquisa é qualitativa, em uma abordagem descritiva exploratória, articulada a uma pesquisa bibliográfica e documental. O estudo indica que os sistemas de avaliação podem constituir, de um lado, um mecanismo de controle e regulação e, de outro lado, instrumento de emancipação, a depender dos princípios que norteiam a análise e a aplicação dos resultados que subsidiarão as novas políticas públicas educacionais.

RESUMEN Este artículo analiza la implementación de la Plataforma Nilo Peçanha y sus implicaciones para la Red Federal de Educación, considerando el contexto de implementación de las políticas de evaluación, monitoreo y control, que se basan solamente en el uso de indicadores de gestión que dependen de resultados mensurables, que pueden convertirse en mecanismos de control para el mantenimiento de un determinado orden social. La investigación es cualitativa, en un enfoque descriptivo exploratorio, vinculada a una investigación bibliográfica y documental. El estudio indica que los sistemas de evaluación pueden constituir, por un lado, un mecanismo de control y regulación, y, por otro, un instrumento de emancipación, en función de los principios que orientan el análisis y la aplicación de los resultados que subsidiarán las nuevas políticas públicas educativas.

ABSTRACT The present article analyzes the implementation of the Nilo Peçanha Platform and its implications for the Federal Education Network. It takes into consideration the context of implementing policies of evaluation, monitoring and control, based on management indicators using measurable results only, which can become control mechanisms for the maintenance of a certain social order. This is a qualitative study with an exploratory, descriptive approach, articulated to a bibliographic and documentary study. The study indicates that evaluation systems can constitute, on the one hand, a mechanism of control and regulation and, on the other hand, an instrument of emancipation. This depends on the principles that guide the analysis and application of the results that will subsidize the new public educational policies.

HETERONOMOUS-AUTONOMY IN POSTGRADUATE MANAGEMENT IN BRAZIL: THE CASE OF PPGE-UFSCAR

RESUMO O artigo aborda os desafios da gestão dos programas de pós-graduação em educa- ção (PPGE) em face do sistema de avaliação da pós-graduação brasileira, coordenado pela Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior). As discussões se fundamentam em fontes documentais e bibliográficas. O cotejamento e a análise das fontes permitiram concluir que a gestão do PPGE-UFSCar (Universidade Federal de São Carlos) se pautou no exercício da autonomia-heterônoma, cujo fundamento é o redirecionamento progressivo das políticas internas ao atendimento das prerrogativas externas, como recurso de adaptação, considerando-se as particularidades institucionais.

RESUMEN El artículo aborda los desafíos de administrar los programas de posgrado en educación (PPGE) frente al sistema de evaluación del posgrado brasileño, coordinado por Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) [Coordinación de Perfeccionamiento de Personal de Nivel Superior]. Las discusiones se basan en fuentes documentales y bibliográficas. La comparación y el análisis de las fuentes nos permitieron concluir que la gestión de PPGE-UFSCar (Universidade Federal de São Carlos) se basó en el ejercicio de la autonomía-heterónoma, cuyo fundamento es la redirección progresiva de las políticas internas para cumplir con las prerrogativas externas como un recurso de adaptación, considerando las particularidades institucionales.

ABSTRACT The present paper addresses the challenges of managing Postgraduate Education programs (PPGE) before the Brazilian postgraduate evaluation system coordinated by CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) [Coordination for the Improvement of Higher Education Personnel]. Discussions are based on documentary and bibliographic sources. The collation and analysis of the sources allowed us to conclude that the management of PPGE-UFSCar (Universidade Federal de São Carlos) was based on the exercise of heteronomous autonomy, whose foundation is the progressive redirection of internal policies to the fulfillment of external prerogatives, as a resource for adaptation, considering the institutional particularities.

EDUCATIONAL EVALUATION IN BRAZIL: ACADEMIC ARTICLES FROM 1997 TO 2018

RESUMO Este artigo tem o propósito de analisar resultados de levantamento bibliográfico de artigos acadêmicos sobre avaliação educacional no Brasil, no período de 1997 a 2018, em periódicos classificados como A1, A2, B1 e B2 (Qualis Periódicos 2013-2016). Apresenta- -se um breve panorama de estudos anteriores que efetuaram mapeamento de produções sobre o objeto em tela. Os resultados quantitativos e a análise do levantamento evidenciam possíveis tendências do campo, dentre as quais destaca-se um aumento substancial de produções a partir de meados dos anos 2000, mormente aquelas que tratam da avaliação em larga escala e, ainda, sobre diferentes dimensões da avaliação educacional, o que indica um caráter de consolidação desse campo do conhecimento.

RESUMEN El presente artículo tiene el propósito de analizar resultados del levantamiento bibliográfico de artículos académicos sobre la evaluación educativa en Brasil, durante el periodo del 1997 al 2018, en revistas clasificadas como A1, A2, B1 y B2 (Qualis Periódicos 2013-2016). Presenta un breve panorama sobre estudios anteriores que efectuaron un mapeo de producciones sobre el objeto en estudio. Proporciona resultados cuantitativos y análisis del levantamiento realizado, de modo a poner en evidencia posibles tendencias del campo, entre las que se destaca un aumento sustancial de producciones desde mediados de los años 2000, sobre todo las que se ocupan de la evaluación a gran escala, así como de distintas dimensiones de la evaluación educacional, lo que indica un carácter de consolidación de dicho campo del conocimiento.

ABSTRACT This article aims to analyze the results and insights of a bibliographical survey of academic articles about educational evaluation published in Brazil, from 1997 to 2018, in journals classified as A1, A2, B1 and B2 (Qualis Periodicals 2013-2016). It presents a brief overview of similar studies, details the methodological approach and explores initial findings, highlighting trends in the field such as an increasing number of articles from mid-2000s onward, especially those dealing with large-scale assessment systems mainly those discussing different aspects of educational evaluation, which indicates a consolidation of educational evaluation of this field of knowledge.

MUNICIPAL SCHOOLS OF FORTALEZA: TWO INSTANCES OF SCHOOL NETWORK REORGANIZATION

RESUMO O artigo analisa a organização da rede escolar do município de Fortaleza, Ceará, no período de 1996 a 2019. O estudo é de natureza quantitativa, de caráter descritivo e explicativo, baseado em dados obtidos nas secretarias estadual e municipal de educação, provenientes do censo escolar e do Índice de Desenvolvimento da Educação Básica do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. A análise mostra que a rede municipal passou por dois momentos de reordenamento: o primeiro, associado ao processo de municipalização do ensino fundamental, e o segundo, a especialização das escolas na oferta de um único segmento do ensino fundamental, vinculado às políticas de avaliação em larga escala e a mecanismos de accountability implementados na educação básica do Ceará.

RESUMEN El artículo analiza la organización de la red escolar en el municipio de Fortaleza, Ceará, del 1996 al 2019. El estudio es de carácter cuantitativo, descriptivo y explicativo, en base a datos obtenidos en las secretarías de educación estatal y municipal, del censo escolar y del Índice de Desenvolvimento da Educação Básica [Índice de Desarrollo de la Educación Básica] del Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [Instituto Nacional de Estudios e Investigaciones Educativas Anísio Teixeira]. El análisis muestra que la red municipal ha pasado por dos momentos de reorganización: el primero, asociado al proceso de municipalización de la educación básica y el segundo relativo a la especialización de las escuelas al ofrecer un segmento único de educación básica, vinculado a políticas de evaluación amplias y a mecanismos de accountability implementados en la educación básica de Ceará.

ABSTRACT The present paper analyzes the organization of the school network in Fortaleza, Ceará, from 1996 to 2019. The study is quantitative, descriptive, and explanatory in nature, based on data obtained from the state and municipal education departments, from the school census and Índice de Desenvolvimento da Educação Básica [Basic Education Development Index] of the Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [Anísio Teixeira National Institute of Educational Studies and Research]. The analysis shows that the municipal network has been through two instances of reorganization: the first one is associated with the municipalization process of elementary education and the second, with the specialization of schools in offering a single segment of elementary education related to large-scale evaluation policies and accountability mechanisms, implemented in elementary education in Ceará.

IMPROVEMENT OF THE CT PUZZLE TEST FOR COMPUTATIONAL THINKING ASSESSMENT

RESUMO O pensamento computacional é uma competência ligada à resolução de problemas que mobiliza o pensamento algorítmico, a identificação de padrões, a abstração e a modula- rização de problemas e suas soluções. Esse tema tem sido incorporado em currículos escolares de vários países, incluindo o Brasil, mas são poucos os instrumentos de mensuração validados. Este artigo trata da busca de evidências de validade do CT Puzzle Test, um instrumento de diagnóstico do pensamento computacional baseado em puzzles. Foi avaliada a validade convergente com um teste que já tem evidências de validade estabelecidas. Os resultados confirmam a convergência entre os instrumentos. Por fim, foi aprimorado o cálculo do escore do CT Puzzle Test e evidenciada a validade do uso de puzzles como instrumento de avaliação.

RESUMEN El pensamiento computacional es una competencia conectada a la resolución de problemas que moviliza el pensamiento algorítmico, la identificación de estándares, la abstracción y la modularización de problemas y sus soluciones. Este tema ha sido incorporado a currículos escolares de varios países, incluso de Brasil, pero hay pocos instrumentos válidos para medirlo. Este artículo trata de la búsqueda de evidencias de validez del CT Puzzle Test, un instrumento de diagnóstico del pensamiento computacional basado en puzzles. La validez convergente se evaluó con otro test que ya ha establecido evidencia de validez. Los resultados confirman la convergencia entre los instrumentos. Además, se mejoró el cálculo del escore del CT Puzzle Test y se evidenció la validez del uso de puzzles como instrumento de evaluación.

ABSTRACT Computational thinking is a problem-solving skill that involves algorithmic thinking, pattern identification, abstraction, and the modularization of problems and their solutions. This subject has been incorporated into school curricula in several countries, including Brazil, but there are few instruments validated to measure it. The present article deals with searches for evidence of the validity of the CT Puzzle Test, a puzzle-based tool to diagnose computational thinking. Convergent validity was verified with another test that already has the evidence of its validity established. The results confirm the convergence between the instruments. In addition, the score calculation for the CT Puzzle Test items was improved and the validity of adopting puzzles as an assessment tool was evidenced.

SELF-ASSESSMENT AND HETERO-ASSESSMENT: PRACTICAL APPROACH IN HIGHER EDUCATION

RESUMO Esta pesquisa-ação teve como objetivo compreender o impacto dos mecanismos de autoavaliação e heteroavaliação no ensino superior, por meio de abordagem prática num curso de engenharia. Para tal, foram realizadas experiências em cinco semestres, sendo três ocorridos presencialmente e dois como ensino remoto (devido à pandemia de covid-19), na mesma disciplina do curso superior de Engenharia de Produção de uma instituição pública de ensino no Brasil. Como principais resultados, observou-se que as práticas de heteroavaliação e autoavaliação proporcionaram transparência ao processo de avaliação, potencializaram o aprendizado dos acadêmicos e fizeram com que eles mantivessem o comprometimento na tarefa proposta.

RESUMEN Esta investigación-acción tuvo el objetivo de comprender el impacto de los mecanismos de autoevaluación y heteroevaluación en la educación superior por medio de un abordaje práctico en un curso de ingeniería. Para ello, se realizaron experimentos en cinco semestres; três de los cuales se realizaron presencialmente y dos como educación remota (debido a la pandemia de Covid-19), en la misma disciplina del curso superior de Ingeniería de Producción de una institución de educación pública en Brasil. Como principales resultados, se observó que los procesos de heteroevaluación y autoevaluación brindaron transparencia al proceso de evaluación, potenciaron el aprendizaje de los estudiantes y los hicieron mantener el compromiso en la tarea propuesta.

ABSTRACT This research aimed to understand the impact of self-assessment and hetero-assessment mechanisms in a higher education engineering course, through a practical approach. To this end, experiments in the same discipline of the Production Engineering higher course of a public education institution in Brazil were carried out in five semesters, three of which took place in person and two as remote teaching (due to the Covid-19 pandemic). The main results show that the processes of hetero-evaluation and self- evaluation provided transparency to the evaluation process, enhanced students’ learning and made them maintain their commitment to the proposed task.

ACCOUNTABILITY POLICIES IN STATE EDUCATION IN CEARÁ, PERNAMBUCO AND PARAÍBA

RESUMO O texto analisa as políticas de accountability implantadas nas redes estaduais de ensino do Ceará, Pernambuco e Paraíba. Examina suas disposições e como articulam os pilares da avaliação externa, prestação de contas e responsabilização, distinguindo os desenhos das políticas de accountability em formas parcelares, de modelos e de sistemas. O estudo é de natureza qualitativa, de caráter descritivo e explicativo e utilizou como procedimentos revisão bibliográfica e análise de documentos de política educacional. Como resultado averiguou-se que os estados adotam políticas de “alta responsabilização”, em diferentes estágios de complexidade, revelando modelos e sistema de accountability com o uso de ferramentas do modelo gerencial orientado por resultados.

RESUMEN El texto analiza las políticas de accountability implantadas en las redes estaduales de educación de Ceará, Pernambuco y Paraíba. Examina sus disposiciones y verifica cómo articulan los pilares de la evaluación externa, rendición de cuentas y responsabilización, al distinguir los diseños de las políticas de accountability en formas de parcelas, modelos y sistemas. El estudio es de naturaleza cualitativa, de carácter descriptivo y explicativo, y utilizó como procedimientos la revisión bibliográfica y el análisis de documentos de política educacional. Como resultado se averiguó que los estados adoptan políticas de “alta responsabilización” en distintas etapas de complejidad, que revelan modelos y sistema de accountability mediante el uso de herramientas del modelo de gestión orientado por resultados.

ABSTRACT The present text analyzes the accountability policies implemented in the state education systems of Ceará, Pernambuco and Paraíba (Brazil). It evaluates their provisions and how they articulate the pillars of external evaluation, accountability and responsibility, differentiating the designs of accountability policies in piecemeal forms, models and systems. The study is qualitative, descriptive and explanatory in nature, and is based on literature review and analysis of educational policy documents. As a result, it was found that states adopt “high accountability” policies in different stages of complexity, revealing models and systems of accountability, using tools of the results-oriented managerial model.

A DAYCARE NEED INDEX FOR BRAZILIAN MUNICIPALITIES, 2018-2020

ABSTRACT This article aims to present the Daycare Need Index [Índice de Necessidade de Creches - INC] for Brazilian municipalities from 2018 to 2020. The INC is built according to priority criteria for daycare provision, which include children living in urban areas, from families who fall under the following categories: poor; single-parented; and with an economically active mother or primary caregiver. The analysis for 2018 showed that, in the North and Northeast regions, municipalities with higher rates in the poverty component of the INC were more prevalent, while single parenthood and labor market were more important in the other regions. In addition, the largest differentials between INC and daycare enrollment rate were found mainly in the North and Northeast regions in 2018.

RESUMEN Este artículo tiene el objetivo de presentar el Índice de Necesidad de Guarderías [Índice de Necessidade de Creches - INC] para los municipios brasileños entre el 2018 y el 2020. El INC se construye según criterios que se destinan a priorizar la atención, que incluyen a los niños que viven en áreas urbanas pertenecientes a familias pobres; con padres o madres solteros; y con una madre o principal cuidador(a) económicamente activo(a). El análisis de 2018 mostró que, en las regiones Norte y Noreste, prevalecieron los municipios con elevados índices en el componente de pobreza del INC, mientras la monoparentalidad y el mercado laboral fueron más importantes en las demás regiones. Además, las mayores diferencias entre el INC y las tasas de matrícula en guarderías se encontraron sobre todo en el Norte y el Noreste en el 2018.

RESUMO Este artigo tem como objetivo apresentar o Índice de Necessidade de Creches (INC) para municípios brasileiros entre 2018 e 2020. O INC é construído de acordo com critérios de priorização de atendimento, que englobam as crianças residentes em zonas urbanas pertencentes a famílias: pobres; monoparentais; e com mãe ou principal cuidador(a) economicamente ativo(a). A análise de 2018 mostrou que, nas regiões Norte e Nordeste, municípios com altos índices no componente de pobreza do INC foram mais prevalentes, enquanto monoparentalidade e mercado de trabalho tiveram maior importância nas demais regiões. Além disso, os maiores diferenciais entre INC e taxa de matrícula em creches foram encontrados, principalmente, no Norte e Nordeste em 2018.