Estudos em Avaliação Educacional

SELF-ASSESSMENT: OBSERVING AND ANALYZING THE TEACHING PRACTICE

ABSTRACT Teachers’ activities involve, among others, analyzing, assessing, reflecting on and improving their own classroom practice. Self-assessment may contribute to teaching and learning processes, as well as to personal development. This study presents the results of reflection about two classes where the SATS (Self-Assessment of Teaching Statement) model was applied. The use of the SATS tool was qualitatively analyzed based on the recording of two different classes at two distinct Higher Education Institutions, thus giving rise to metatexts. Based on these, the study describes the “Warm-Up”, i.e., the class’ introductory stage in which students are prepared for the day’s learning; and the “Classroom Development” itself, with particular attention to the following characteristics: teacher-student interaction, didactic strategies, timing, and the real contexts used. The results indicate the possibilities of reflection enabled by the tool on and in pedagogical practice.

RESUMEN Este estudio presenta los resultados de la reflexión realizada en dos clases, a través de la herramienta SATS (Self-assessment of Teaching Statement). El análisis cualitativo del uso de la herramienta se realizó a partir del registro de estas clases en dos Instituciones de Educación Superior diferentes, originando metatextos , a partir de los cuales se describe la “Preparación”, periodo inicial de la clase en la que se sitúa al estudiante en relación con el aprendizaje de ese día y el “Desarrollo de la clase”, con una mirada cuidadosa a las características: interacción profesor-alumno, empleo de estrategias didácticas, tiempo y contextos reales utilizados. Los resultados señalan las posibilidades de reflexión en la acción pedagógica proporcionada por la herramienta.

RESUMO Este estudo apresenta os resultados da reflexão conduzida em duas aulas, por meio da ferramenta SATS (Self-assessment of Teaching Statement). A análise qualitativa da utilização da ferramenta foi realizada com base na gravação dessas aulas em duas IES (Instituições de Ensino Superior) distintas, originando metatextos. A partir dos quais descreve-se o “Aquecimento”, período inicial da aula em que se situa o estudante em relação à aprendizagem daquele dia; e o “Desenvolvimento da Aula”, com olhar atento às características: interação professor-aluno, uso de estratégias didáticas, tempo, e contextos reais utilizados. Os resultados apontam para as possibilidades de reflexão em e na ação pedagógica proporcionada pela ferramenta.

AN ANALYSIS OF STUDENT PARTICIPATION IN TEACHER EVALUATION IN HIGHER EDUCATION

ABSTRACT The article aims to understand which factors are associated with student participation in teaching evaluations by identifying students’ profiles that are more and less likely to participate. We consider students’ characteristics and programs’ characteristics. The data are from the semiannual teaching evaluation from a private higher education institution between 2016 and 2018. We used multilevel logistic regression and the results indicate that both individual and program characteristics can affect the probability of student participation in teaching evaluation, i.e., being female, over 41 years old, receiving funding or scholarship, as well as being enrolled in a teacher licensure program or a full-time program are associated to a higher probability of participating in teaching evaluations.

RESUMEN El objetivo del artículo es comprender qué factores influyen en la participación de los estudiantes en un proceso de evaluación docente, identificando los perfiles con mayor y menor probabilidad de participar, incluyendo las características individuales y los cursos a los que están vinculados. Los datos analizados provienen de la evaluación docente semestral de una IES privada entre los años 2016 y 2018. El modelo de análisis es la regresión logística multinivel. Los resultados muestran que las características individuales, así como las de los cursos, afectan a la probabilidad de participación discente en la evaluación de los profesores: el ser de género femenino, mayor de 41 años, beneficiario de programas de financiamiento o becas, en un curso de licenciatura o en un curso integral, aumenta la probabilidad de participar en la evaluación docente.

RESUMO O objetivo do artigo é compreender quais fatores influenciam a participação dos alunos em um processo de avaliação docente, identificando os perfis mais e menos propensos a participar, incluindo características individuais e dos cursos aos quais estão vinculados. Os dados analisados são da avaliação docente semestral de uma IES privada entre 2016 e 2018. O modelo de análise é a regressão logística multinível. Os resultados apontam que características individuais e também dos cursos, afetam a probabilidade de participação discente na avaliação dos professores: ser mulher, acima de 41 anos de idade, beneficiário de programas de financiamento ou bolsa de estudos, em um curso de licenciatura ou em um curso integral tendem a aumentar a probabilidade de participação na avaliação docente.

TRAINING TRAINERS: TEXTUAL PRODUCTION TEACHING AND ASSESSMENT IN A MUNICIPAL EDUCATION SYSTEM

RESUMO Este estudo averigua percepções de participantes de formação em contexto sobre ensino e avaliação da produção textual, que tiveram por incumbência constituírem-se como multiplicadores dos docentes de Língua Portuguesa de rede municipal na região Sudeste. A análise dos dados aponta que as percepções dos sujeitos (i) destacam a colaboração como princípio estruturante da formação, compartilhando saberes e experiências entre formandos e formador em interatuação; (ii) espelham o papel da teoria de base sociointeracionista, sustentando a reflexão sobre a prática; (iii) elegem a transformação da prática pelo pressuposto teórico-metodológico da avaliação para a aprendizagem como processo formativo, evidenciando que a qualidade da avaliação do texto do estudante pode ser auferida pela compatibilização da abordagem criterial com as perspectivas experienciais dos sujeitos-professores.

RESUMEN Este estudio indaga en la percepción de los participantes de formación dentro del contexto de la enseñanza y la evaluación de la producción de textos, que han tenido como objetivo constituirse en multiplicadores de los docentes de Lengua Portuguesa en la red municipal de la región Sudeste. Los análisis de los datos arrojan que en la percepción de los sujetos (i) se destaca la colaboración, como principio estructurante de la formación, compartiendo saberes y experiencia entre el formador y los que se forman; (ii) se refleja el papel de la teoría basada en la interacción social que sostiene la reflexión sobre la práctica; (iii) se elige la transformación de la práctica por el presupuesto teórico-metodológico de la evaluación para el aprendizaje como proceso formativo, evidenciando que la calidad de la evaluación del texto del estudiante, se puede obtener a través de la compatibilización del abordaje criterial con las perspectivas de las experiencias de los sujetos-profesores.

ABSTRACT This study examines the perceptions of training participants in a context of textual production teaching and assessment; the participants were being trained to be Portuguese teacher trainers for a municipal education system in Brazil’s Southeast region. The data analysis shows that the participants’ perceptions (i) highlight collaboration as a structuring principle of training, through the sharing of knowledge and experiences between participants and the trainer; (ii) reflect the role of social interactionist theory in supporting reflection about practice; (iii) choose the transformation of practice through the theoretical-methodological assumption of assessment for learning as a training process, thus showing that the quality of assessment of students’ texts can be reached by making the criterial approach compatible with the experiential perspectives of subject-teachers.

LEARNING, TEACHER EXPECTATIONS AND TEACHER-STUDENT RELATIONSHIP

RESUMO Este artigo analisa as inter-relações entre o desempenho escolar e fatores que caracterizam os processos e ambiente da sala de aula, se concentrando nos efeitos diretos e indiretos das atitudes docentes (relação professor-aluno percebida e expectativas docentes) sobre proficiência em Matemática de estudantes do ensino fundamental. A análise empírica contou com a estimação de um modelo estatístico de equações estruturais ajustado a partir de dados do Estudo Longitudinal da Geração Escolar (Geres) realizado nas cidades do Rio de Janeiro, Belo Horizonte, Campinas, Campo Grande e Salvador, entre 2005 e 2008. Os resultados indicaram que: as expectativas docentes possuem efeitos diretos sobre o desempenho do aluno; fatores de composição das turmas afetam a formação das expectativas; e a relação professor-aluno afeta diretamente os ganhos de aprendizado, sendo influenciada pelo sexo, situação de atraso escolar do aluno e clima disciplinar da turma.

RESUMEN Este artículo analiza las interrelaciones entre el rendimiento escolar y los factores que caracterizan a los procesos y al ambiente del aula, centrándose en los efectos directos e indirectos de las actitudes docentes (relación profesor-alumno percibida y expectativas docentes) sobre la proficiencia en Matemáticas de estudiantes de la enseñanza fundamental. El análisis empírico contó con la estimación de un modelo estadístico de ecuaciones estructurales ajustado a partir de datos del Estudio Longitudinal de Generación Escolar (Geres) realizado en las ciudades de Río de Janeiro, Belo Horizonte, Campinas, Campo Grande y Salvador, entre los años 2005 y 2008. Los resultados indicaron que: las expectativas docentes tienen efectos directos en el rendimiento del alumno; los factores de composición de los grupos afectan a la formación de expectativas; y que la relación profesor-alumno afecta directamente a los beneficios del aprendizaje, siendo influenciada por el género, el atraso escolar del estudiante y el ambiente disciplinario de la clase.

ABSTRACT This article analyzes the relationships between student performance and factors that characterize classroom processes and environment by focusing on the direct and indirect effects of teachers' attitudes (perceived teacher-student relationship and teacher expectations) on primary students’ proficiency in mathematics. The empirical analysis involved the estimation of an adjusted structural equations model using data from the Estudo Longitudinal da Geração Escolar [Longitudinal Study of School Generation] (Geres) conducted in the cities of Rio de Janeiro, Belo Horizonte, Campinas, Campo Grande and Salvador from 2005 to 2008. Results indicated that i) teacher expectations have a direct effect on student performance; ii) factors related to the composition of classes affect expectations; iii) and the teacher-student relationship directly affects learning gains and is influenced by sex, age/grade lag and disciplinary climate.

IDEB AND EDUCATION POLICIES IN FOUR MUNICIPALITIES IN GREATER VITÓRIA

RESUMO Este estudo objetivou analisar políticas educacionais e ações criadas a partir do Índice de Desenvolvimento da Educação Básica (Ideb) em quatro municípios da Região Metropolitana da Grande Vitória: Cariacica, Serra, Vila Velha e Vitória. A abordagem qualitativa empreendida fez uso da análise documental e de entrevistas com gestores das Secretarias de Educação. Os resultados indicam contradições nas políticas e nas ações implementadas. Por um lado, constatam-se práticas que buscam envolver e subsidiar a escola na reflexão de seus resultados e processos de trabalho com vistas à promoção de melhorias. Por outro lado, criam mais avaliações, mais exames e mais divulgação de índices e rankings, ampliando a submissão da organização e funcionamento da escola aos resultados de avaliações externas.

RESUMEN Este estudio ha tenido como objetivo analizar políticas educacionales y acciones creadas a partir del Índice de Desenvolvimento da Educação Básica [Índice de Desarrollo de la Educación Básica] (Ideb) en cuatro municipios del Área Metropolitana de Vitória: Cariacica, Serra, Vila Velha y Vitória. El abordaje cualitativo realizado hizo uso del análisis documental y de entrevistas con gestores de las Secretarías de Educación. Los resultados señalan contradicciones en las políticas y en las acciones implementadas. Por un lado, se constatan prácticas que buscan involucrar y subsidiar a la escuela en la reflexión de sus resultados y procesos de trabajos con la finalidad de promoción de mejoras. Por otro lado, crean más evaluaciones, más exámenes y más divulgación de índices y rankings, ampliando la sumisión de la organización y el funcionamiento de la escuela a los resultados de evaluaciones externas.

ABSTRACT This study aimed to analyze education policies and actions that were designed based on the Índice de Desenvolvimento da Educação Básica [Basic Education Development Index] (Ideb) in four municipalities in the Vitória metropolitan area: Cariacica, Serra, Vila Velha and Vitória. Our qualitative approach used documentary analysis and interviews with managers at the Education Departments. The results indicate contradictions in the implemented policies and actions. On the one hand, we found practices that seek to support the school and engage it in reflections about its results and work processes in order to drive improvements. On the other hand, these measures create more evaluations, exams ratings and rankings, thus increasing the school’s submission to external evaluation results.

SCHOOL SUCCESS IN SOCIALLY DISADVANTAGED CONTEXTS: AN ANALYSIS BASED ON THE ENEM TEST

RESUMO As razões que levam uma criança a ter bom desempenho na escola são muito complexas. As múltiplas formas de configurações familiares fazem com que seja possível, porém estatisticamente improvável, a existência de casos de sucesso escolar em contextos sociais desfavoráveis. Por isso, neste trabalho nos propomos a analisar quantitativamente o perfil dos candidatos que obtiveram desempenho satisfatório no Enem apesar da sua situação econômica e social adversa. Para isso, utilizamos como base de dados os microdados do Enem de 2009, dos quais constam as respostas dos candidatos a um questionário socioeconômico. Metodologicamente, valemo-nos de métodos estatísticos articulados com referenciais da sociologia da educação, como Pierre Bourdieu e Bernard Lahire. Os resultados sugerem que o tamanho da família dos candidatos, o gosto pela leitura e o interesse pela política são fatores muito associados com um bom desempenho no Enem.

RESUMEN Las razones que llevan a un(a) niño(a) a tener un buen rendimiento escolar son muy complejas. Las múltiples formas de configuraciones familiares hacen posible, aunque estadísticamente improbable, que se produzcan casos de éxito escolar en contextos sociales desfavorables. Por esta razón, en este trabajo proponemos analizar cuantitativamente el perfil de los candidatos que obtuvieron un rendimiento satisfactorio en el Enem a pesar de su situación económica y social adversa. Para ello, hemos utilizado los microdatos del Enem de 2009 como una base de datos, que incluye las respuestas de los candidatos a un cuestionario socioeconómico. Metodológicamente hemos empleado métodos estadísticos articulados con referencias a la sociología educativa, como Pierre Bourdieu y Bernard Lahire. Los resultados sugieren que el tamaño de la familia de los candidatos, el gusto por la lectura y el interés en la política son factores muy asociados con un buen desempeño en el Enem.

ABSTRACT The reasons behind a child’s good performance at school are very complex. Given the multiple forms of family configuration, cases of school success in unfavorable social contexts are possible, even if statistically improbable. For this reason, this study aims to quantitatively analyze the profile of candidates who had a satisfactory performance in the Enem test despite their adverse economic and social situation. To that end, we used a database consisting of microdata from Enem 2009, which includes candidates’ answers to a socioeconomic questionnaire. Methodologically, we used statistical methods combined with theoretical framework in the field of sociology of education, such as Pierre Bourdieu and Bernard Lahire. The results suggest that candidates’ family size, taste for reading and interest in politics are factors significantly associated with a good performance in the Enem test.

THE IMPACT OF PROUNI ON ACADEMIC PERFORMANCE: AN ANALYSIS OF GENDER AND RACE

RESUMO Este estudo objetivou realizar uma avaliação do impacto do Programa Universidade para Todos (Prouni) no desempenho dos alunos bolsistas entre os grupos de gênero, homem e mulher, e raça, brancos e negros. A metodologia utilizada foi o propensity score matching utilizando os microdados do Enade de 2016. A análise descritiva mostrou um aumento no número de bolsas integrais e parciais ofertadas ao longo dos anos e uma concentração de bolsas na região Sudeste. Verificou-se que ser homem, negro e ter renda familiar menor que 1,5 salário mínimo aumentam a probabilidade de ser beneficiário do programa. Os resultados sugerem que o impacto do Prouni no desempenho dos alunos das universidades privadas foi significativo. Observou-se que o Prouni aumenta o desempenho médio dos alunos que recebem a bolsa integral, principalmente entre homens e negros e que, na análise dos quatro cursos com maior número de bolsas integrais, o maior impacto foi entre mulheres.

RESUMEN Este estudio tuvo como objetivo llevar a cabo una evaluación del impacto del Programa Universidad para Todos (Prouni) en el desempeño de los alumnos becados entre los grupos de género, hombre y mujer, y raza, blancos y negros. La metodología utilizada fue el propensity score matching utilizando los microdatos del Examen Nacional de Desempeño Estudiantil de 2016. El análisis descriptivo mostró un aumento en el número de becas integrales y parciales ofrecidas a lo largo de los años y una concentración de becas en la región Sudeste. Se verificó que ser hombre, negro y tener una renta familiar inferior a 1,5 salario mínimo aumenta la probabilidad de ser beneficiario del programa. Los resultados sugieren que el impacto del Prouni en el desempeño de los alumnos en universidades privadas fue significativo. Se observó que el Prouni aumenta el desempeño promedio de los alumnos que reciben la beca completa, principalmente entre hombres y negros y que, en el análisis de los cuatro cursos con el mayor número de becas completas, el mayor impacto fue entre mujeres.

ABSTRACT This study aimed to assess the impact of the Programa Universidade para Todos [University for All Program] (Prouni) on the performance of the students served by the program’s scholarships between gender (male and female) and race (blacks and whites) groups. The study used propensity score matching with microdata from Enade 2016. The descriptive analysis showed an increase in the number of full and partial scholarships provided over the years and a concentration of scholarships in the Brazil’s Southeast region. We found that being a man, black and with a family income of less than 1.5 minimum wage increases the probability of being served by the program. The results suggest that Prouni’s impact on students’ performance in private universities was significant. The Prouni increases the average performance of students receiving full scholarship, mainly for men and for blacks; moreover, in the analysis of the four undergraduate programs with the largest number of full scholarships, the greatest impact was among women.

POLICY, ACTORS AND IMPLEMENTATION: AN ANALYSIS OF SPECIAL EDUCATION SERVICE

RESUMO Este artigo analisa as especificidades do Atendimento Educacional Especializado (AEE) no Brasil e a sua organização na rede pública do Estado de São Paulo a partir da implementação em uma escola pública da Política Nacional de Educação Especial na Perspectiva da Educação Inclusiva, utilizando a pesquisa qualitativa de intervenção em três fases: 1) observação das práticas pedagógicas no AEE e na sala de aula comum; 2) entrevista com duas professoras colaboradoras da pesquisa; e 3) intervenção na sala de aula comum por meio da Metodologia de Projetos. Concluiu-se que a implementação da política ocorria no funcionamento do atendimento especializado; no entanto, a segregação dos espaços escolares dificultava um trabalho pedagógico inclusivo e colaborativo entre os profissionais.

RESUMEN El presente artículo analiza la implementación, en una escuela pública en São Paulo, de la Política Nacional de Educación Especial desde la perspectiva de la Educación Inclusiva sobre las especificidades del Atendimiento Educacional Especializado (AEE) en Brasil y su organización en la red pública del Estado de São Paulo. Se utilizó la investigación cualitativa del tipo de intervención desarrollada en base a tres fases: 1) observación de las prácticas pedagógicas en el AEE y en el aula común; 2) entrevista con dos profesoras colaboradoras en la investigación; y 3) intervención en el aula común por medio de la Metodología de Proyectos. Se concluyó que la implementación de la política ocurría en el funcionamiento de la atención especializada; en cambio, la segregación de los espacios escolares obstaculizaba un trabajo pedagógico inclusivo y colaborativo entre los profesionales.

ABSTRACT This article analyzes the specific features of Special Education Service (AEE) in Brazil and its organization in the São Paulo state education system based on its implementation in a public school in the National Special Education Policy from the perspective of Inclusive Education. The study used a qualitative intervention approach in three phases: 1) observation of pedagogical practices in the AEE and in the regular classroom; 2) interviews with two teachers who collaborated with the study; and 3) intervention in the regular classroom through the Project Methodology. We concluded that the policy was being implemented in the context of special education; however, the segregation of school spaces hindered an inclusive and collaborative pedagogical work between the professionals involved.

META-EVALUATION IN HIGHER EDUCATION: CLINICAL REASONING IN MEDICINE TESTS

RESUMO A formação superior deve ser vista como o desenvolvimento de um profissional capaz de lidar com situações complexas. A revisão do processo avaliativo pode identificar lacunas no processo de formação e levantar propostas de correção. Esta pesquisa objetivou analisar a prevalência de questões de prova que exijam raciocínio clínico e a sua progressão durante o curso. As questões foram avaliadas por período, área de conhecimento e complexidade. De 429 questões, 99 (23,1%) foram consideradas de raciocínio clínico, sendo 330 (76,9%) de raciocínio teórico. A maior taxa de raciocínio teórico ocorreu na área básica (86,2%), e a de raciocínio clínico, na Pediatria (31%). Os resultados apontam expressiva prevalência de cobrança de conteúdos em detrimento do raciocínio clínico. Embora o aumento da cobrança do segundo seja evidente, o resultado final ainda está aquém do esperado. Pesquisas voltadas para esse tema são necessárias para o mapeamento e a elaboração de propostas de intervenção.

RESUMEN La formación superior debe verse como el desarrollo de un profesional capaz de hacer frente a situaciones complejas. La revisión del proceso de evaluación puede identificar brechas en el proceso de capacitación y plantear propuestas de corrección. Este estudio tuvo como objetivo analizar la prevalencia de las cuestiones de examen que exigen un razonamiento clínico y su progresión durante el curso. Las cuestiones fueron evaluadas por periodo, área de conocimiento y complejidad. De 429 cuestiones, 99 (23.1%) se consideraron de razonamiento clínico y 330 (76.9%) de razonamiento teórico. La tasa más alta de razonamiento teórico se produjo en el área básica (86.2%), y la de racionamiento clínico en Pediatría (31%). Los resultados muestran una prevalencia expresiva en la demanda de contenido en detrimento de razonamiento clínico. Aunque el aumento en la demanda de lo segundo es evidente, el resultado final todavía está por debajo de lo esperado. Estudios centrados en este tema se hacen necesarios para identificar y elaborar propuestas de intervención.

ABSTRACT Higher education should be viewed as the development of a professional capable of dealing with complex situations. Reviewing evaluation processes can identify gaps in training and drive correction initiatives. This study aimed to analyze the prevalence of test questions that require clinical reasoning and its progression during programs. The questions were assessed by period, knowledge area and complexity. Of 429 questions, 99 (23.1%) were considered as related to clinical reasoning, and 330 (76.9%) to theoretical reasoning. The highest rate of theoretical reasoning questions was found for the basic area (86.2%), whereas with clinical reasoning questions, the highest rate was found for pediatrics (31%). The results point to a significant prevalence of content-based questions to the detriment of questions related to clinical reasoning. Although an increase in the latter type is evident, the final result is still below expectations. Research on this topic is necessary for mapping and designing intervention initiatives.

SCHOOL INFRASTRUCTURE AND PHYSICAL EDUCATION: TENSIONS AND CONFLICTS

RESUMO Pretende-se, neste artigo, estudar a influência das infraestruturas escolares desportivas no cumprimento do currículo de Educação Física, na qualidade do processo de ensino e nas aprendizagens realizadas pelos alunos. Trata-se de um estudo de metodologia investigativa qualitativa que utilizou a entrevista semiestruturada como instrumento de coleta e produção de dados. A pesquisa empírica contemplou entrevistas com os cinco diretores das escolas públicas municipais dos anos finais do ensino fundamental da cidade de Armação dos Búzios-RJ. Os dados obtidos pela análise de conteúdo foram organizados em três categorias, sendo a categoria “Descaso Público” elucidativa e didática. Infere-se que o ambiente de aprendizagem existente (as quadras polidesportivas em praças públicas) e a infraestrutura escolar disponibilizada para as aulas de Educação Física inviabilizam o cumprimento do currículo em sua integralidade, afetam os conteúdos de ensino e, por conseguinte, os objetivos educacionais não são atingidos.

RESUMEN Se preconiza, en este artículo, estudiar la influencia que tienen las infraestructuras deportivas de las escuelas en el cumplimiento de la asignatura de Educación Física, en la calidad del proceso de enseñanza y en el aprendizaje realizado por los estudiantes. Este es un estudio de metodología de investigación cualitativa que utilizó, como instrumento de recolección y producción de datos, la entrevista semiestructurada. La investigación empírica incluyó entrevistas con los cinco directores de las escuelas públicas municipales de los últimos años de la enseñanza primaria en la ciudad de Armação dos Búzios-RJ. El análisis de contenidos nos hizo llegar a tres categorías, siendo la categoría “Desconsideración Pública” esclarecedora y didáctica. Se infiere que el ambiente de aprendizaje (las instalaciones polideportivas en plazas públicas) existente y la infraestructura escolar disponible para las clases de Educación Física, hacen que sea imposible cumplir el plan de actividades en su totalidad, afectan a los contenidos de enseñanza y, por consiguiente, no se logran los objetivos educacionales.

ABSTRACT It is recommended, in this article, to study the influence that sports school infrastructures have on the fulfillment of the Physical Education curriculum, on the quality of the teaching process and on the learning carried out by the students. This is a qualitative research methodology that used as a data collection and production tool, the semi-structured interview. The empirical research included interviews with the five directors of municipal public schools in the final years of elementary education in the city of Armação dos Búzios-RJ. The content analysis brought us to three categories, being the category “Public Neglect”, elucidative and didactic. It is inferred that the existing learning environment (the multi-sports courts in public squares) and the school infrastructure made available to the Physical Education classes make it impossible to comply with the curriculum in its entirety, affects the contents of teaching and, therefore, the objectives are not reached.