Estudos em Avaliação Educacional

A COMPUTERIZED ADAPTIVE TEST OF PROVINHA BRASIL - LEITURA: RESULTS AND PERSPECTIVES

RESUMO Este artigo descreve um Teste Adaptativo Informatizado (TAI) da Provinha Brasil - Leitura, com base na Teoria da Resposta ao Item. Detalham-se o funcionamento e o desenvolvimento do algoritmo. O TAI foi aplicado com o uso de tablets a 1.983 alunos dos 1o e 2o anos do ensino fundamental, em 15 escolas da Rede Municipal de Ensino de São Paulo. Os resultados confirmam a qualidade dos itens da Provinha Brasil, do trabalho realizado nas escolas e, sobretudo, do TAI. Em relação à gestão do tempo de prova, conclui-se que há uma associação positiva entre proficiência e tempo, mas só até certo ponto; os alunos tendem a demorar mais nos itens mais difíceis; essa tendência é mais intensa nos alunos mais proficientes, confirmando a hipótese de que eles tendem a gerir melhor o tempo de prova.

RESUMEN Este artículo describe un Test Adaptativo Informatizado (TAI) del la Provinha Brasil- Leitura, con base en la Teoría de la Respuesta al Ítem. Se detalla el funcionamiento y el desarrollo del algoritmo. El TAI fue aplicado con el uso de tablets a 1.983 alumnos del primero y segundo año de la enseñanza primaria, en 15 Escuelas de la Red Municipal de Enseñanza en San Pablo, Brasil. Los resultados confirman la calidad de los ítems del la Provinha Brasil, del trabajo realizado en las escuelas y, especialmente, del TAI. En relación con la administración del tiempo del examen, se concluye que hay una asociación positiva entre proficiencia y tiempo, pero solo hasta cierto punto; los alumnos tienden a demorarse más en los ítems más difíciles; esta tendencia es más intensa en los alumnos más proficientes, confirmando la hipótesis de que ellos tienden a administrar mejor el tiempo del examen.

ABSTRACT This article describes a Computerized Adaptive Test (CAT) of Provinha Brasil - Leitura,1 based on Item Response Theory. We detail the operation and development of the algorithm. The CAT was administered by means of tablet computers to 1,983 students in the 1st and 2nd grades of primary education, in 15 schools of the Municipal Education System of São Paulo. Results confirm the quality of Provinha Brasil’s items, of the work done in schools and, mainly, of the CAT. As to the management of test time, we found a positive association between proficiency and time, but only to a certain extent; students tend to take longer on the more difficult items; this tendency is stronger in more proficient students, thus confirming the hypothesis that they tend to manage test time better.

ARE THE TESTS OF THE NATIONAL EXAM OF UPPER SECONDARY EDUCATION UNIDIMENSIONAL?

RESUMO O modelo de Teoria da Resposta ao Item utilizado em muitos testes educacionais no Brasil, como o Exame Nacional do Ensino Médio, exige que os itens sejam unidimensionais. Assim, esta pesquisa teve o objetivo de analisar se os itens desse exame apresentam essa suposição. Para tanto, com base em uma amostra aleatória de participantes que realizaram a prova em 2017, foi investigada a dimensionalidade das provas do exame por meio do teste de Análise Paralela e Análise Fatorial de Informação Plena. Os resultados encontrados indicam que alguns itens não são unidimensionais.

RESUMEN El modelo de Teoría de la Respuesta al Ítem utilizado en muchas pruebas educacionales en Brasil, como el Exame Nacional do Ensino Médio [Examen Nacional de la Secundaria Superior], exige que los ítems sean unidimensionales. De este modo, este estudio tuvo el propósito de analizar si los ítems de este examen presentan dicha suposición. Para ello, en base a una muestra aleatoria de participantes que realizaron la prueba en 2017, se investigó la dimensionalidad de las pruebas del examen por medio del test de Análisis Paralelo y Análisis Factorial de Información Plena. Los resultados encontrados indican que algunos de los ítems no son unidimensionales.

ABSTRACT The Item Response Theory model used in many educational tests in Brazil, such as the Exame Nacional do Ensino Médio [National Exam of Upper Secondary Education], requires that items be unidimensional. This research therefore aimed to analyze whether the items of this exam contain such an assumption. Based on a random sample of participants who took the exam in 2017, the dimensionality of its tests was investigated using the Parallel Analysis test and the Full Information Factor Analysis. The results show that some items are not unidimensional.

WHAT DIFFERENTIATES SCHOOLS WITH GOOD PERFORMANCE IN THE FINAL YEARS OF ELEMENTARY EDUCATION?

RESUMO O artigo identifica escolas de anos finais do ensino fundamental no Brasil com bons resultados escolares e que atendem alunos de baixo nível socioeconômico. Foram identificadas 329 escolas que atendiam os critérios propostos (baseados em proficiência e evasão escolar) em 2015. Por meio de análise de diferenças em diferenças, foram investigados fatores associados ao melhor desempenho dessas escolas. Os resultados mostram que elas apresentam menores índices de violência, mais crença dos professores no potencial futuro dos alunos, menor indisciplina, mais alunos que fazem lição de casa, maior correção dessas tarefas e menor absenteísmo discente. Salário, formação e experiência de professores/diretores não foram diferentes entre as escolas que se destacaram e as demais.

RESUMEN El artículo identifica escuelas de los últimos años de la enseñanza primaria en Brasil con buenos resultados escolares y que atienden a alumnos de bajo nivel socioeconómico. Se identificaron 329 escuelas que respetaban los criterios propuestos (basados en proficiencia y evasión escolar) en 2015. Por medio del análisis de diferencias, se investigaron factores vinculados al mejor desempeño en esas escuelas. Los resultados muestran que ellas presentan menores índices de violencia, más creencia de los profesores en el potencial futuro de los alumnos, menos indisciplina, más alumnos que hacen sus deberes para casa, menos errores en esas tareas y menos ausentismo de alumnos. Sueldos, formación y experiencia de profesores/directores no fueron diferentes entre las escuelas que se destacaron y las otras.

ABSTRACT The article identifies schools in the final years of elementary education in Brazil, with good academic results, and that serve students from low socioeconomic levels. 329 schools were identified that met the proposed criteria (based on proficiency and dropouts) in 2015. Factors associated with the better performance of these schools were investigated through the analysis of differences-in-differences. The results show that they have lower rates of violence, more teachers belief in the students’ future potential, better discipline, more students doing homework, more correction of these tasks and less student absenteeism. There were no differences of salary, training and experience of teachers and principals between the schools that stood out and the others.

EMPIRICAL EVIDENCE OF THE IMPACT OF LITERACY ON ECONOMIC GROWTH

RESUMO Esta pesquisa usou uma versão espacial do modelo proposto por Mankiw, Romer e Weil [MRW (1992)] para avaliar o impacto da alfabetização sobre a renda per capita dos municípios brasileiros no período de 1980 a 2010. Os resultados indicam que o efeito da alfabetização é maior em regiões mais homogêneas e transborda para a vizinhança. Em média, um crescimento de 1% na taxa de alfabetização faria a renda crescer 1,684%. Portanto, o produto interno bruto (PIB) brasileiro poderia ser 15,91% maior caso o Brasil atingisse a taxa de alfabetização europeia. Alternativamente, Alagoas, Piauí, Paraíba e Maranhão (e outros dez estados) poderiam aumentar suas respectivas rendas em 32,77%, 29,09%, 26,53% e 23,97%, caso atingissem a média nacional de alfabetização.

RESUMEN Esta investigación utilizó una versión espacial del modelo propuesto por Mankiw, Romer y Weil [MRW (1992)] para evaluar el impacto de la alfabetización sobre los ingresos per capita de los municipios brasileños en el periodo de 1980 a 2010. Los resultados indican que el efecto de la alfabetización es mayor en regiones más homogéneas y transborda hacia la vecindad. En promedio, un crecimiento del 1% en la tasa de alfabetización haría que los ingresos aumentaran en 1,684%. Por lo tanto, el producto interno bruto (PIB) brasileño podría ser 15,91% mayor en el caso que alcanzase el nivel de la alfabetización europea. Alternativamente, Alagoas, Piauí, Paraíba y Maranhão (así como otros 10 estados) podrían aumentar sus respectivos ingresos en un 32,77, 29,09, 26,53 e 23,97%, si alcanzasen el promedio nacional de alfabetización.

ABSTRACT This research used a spatial version of the model developed by Mankiw, Romer and Weil [MRW (1992)] to assess the literacy impact on the per capita income of Brazilian municipalities between 1980 and 2010. The results show that the effect of literacy is greater in regions that are more homogeneous and it spillover to the neighborhood. On average, a 1% increase in literacy rate would increase income by 1.684%. Therefore, the Brazilian gross domestic product (GDP) could be 15.91% higher if it reached the level of European literacy. On the other hand, Alagoas, Piauí, Paraíba and Maranhão (and 10 other states) could increase their respective incomes by 32.77%, 29.09%, 26.53% and 23.97%, respectively, if they reached the national literacy average.

HETEROGENEITY OF THE IMPACT OF CHILD LABOR ON SCHOOL PERFORMANCE IN PARANÁ

RESUMO Neste estudo, estimou-se o impacto do trabalho infantil sobre o desempenho escolar em discentes do ensino fundamental público no estado do Paraná, avaliando a existência da heterogeneidade na magnitude do impacto. Para tanto, foram utilizados dados da Prova Brasil de 2007 a 2015, considerando os discentes da 5ª e 9ª séries. O impacto foi mensurado com o método Propensity Score Matching (PSM). Os resultados mostram que não houve mudanças temporais significativas nos níveis de trabalho infantil no estado nos anos avaliados, embora haja uma leve tendência de redução. Discentes que trabalham em casa e no mercado tendem a ter um pior desempenho acadêmico. Tal efeito negativo é menor em algumas mesorregiões, evidenciando que há heterogeneidade nesse impacto.

RESUMEN En este estudio se estimó el impacto del trabajo infantil sobre el desempeño escolar en estudiantes de la educación básica pública en el estado de Paraná, evaluando la existencia de heterogeneidad en la magnitud del impacto. Para ello se utilizaron datos de la Prueba Brasil del 2007 al 2015, considerando los alumnos del 5º al 9º año. El impacto fue mensurado con el método Propensity Score Matching (PSM). Los resultados muestran que no hubo cambios temporales significativos en los niveles de trabajo infantil en el estado para los años evaluados, aunque se verificó una leve tendencia a la reducción. Estudiantes que trabajan en casa y en el mercado tienden a tener un peor desempeño académico. Tal efecto negativo es menor en algunas mesorregiones, lo que pone de manifiesto que hay heterogeneidad en este impacto.

ABSTRACT In this study we estimated the impact of child labor on school performance among elementary public-school students in the state of Paraná, assessing the role of heterogeneity in the magnitude of the impact. For this purpose, we used data from Prova Brasil from 2007 to 2015, concerning 5th and 9th grade students. The impact was measured with the Propensity Score Matching (PSM) method. Results show that there is no evidence of significant temporal changes in child labor levels in the state, although a slight tendency to its reduction is observed. Students who work at home and in the market tend to have a worse academic performance. Such negative effect is less clear in some mesoregions, proving that this impact is heterogeneous.

EVALUATION AND RESULTS POLICIES: CONDITIONING OF THE COORDINATOR'S PERFORMANCE

RESUMO Este artigo traz recortes de uma pesquisa de doutorado cujo objetivo foi conhecer e analisar as práticas formativas empregadas por coordenadores pedagógicos das escolas públicas da rede estadual de ensino na cidade de São Paulo. Os sujeitos participantes foram 402 coordenadores dos ensinos fundamental e médio e foram utilizados como procedimentos metodológicos os métodos mistos (survey, observação e entrevista narrativa), que permitiram combinar olhares quantitativos e qualitativos à pesquisa. Dentre outros aspectos, o estudo revelou que as demandas políticas para alcance de metas e resultados das avaliações exercem influência na atuação do coordenador pedagógico na escola e condicionam as ações de formação docente.

RESUMEN Este artículo contiene recortes de una investigación de doctorado cuyo objetivo fue el de conocer y analizar las prácticas formativas empleadas por coordinadores pedagógicos de las escuelas públicas de la red estadual de enseñanza en la ciudad de São Paulo. Los participantes fueron 402 coordinadores de la educación básica y media y se utilizaron como procedimientos metodológicos los métodos mixtos (survey, observación y entrevista narrativa), que permitieron combinar miradas cuantitativas y cualitativas al estudio. Entre otros aspectos, el estudio reveló que las demandas políticas para alcanzar metas y resultados de las evaluaciones ejercen influencia en la actuación del coordinador pedagógico en la escuela y condicionan las acciones de formación docente.

ABSTRACT This article provides pieces of a doctoral research aimed to know and analyze the formative practices employed by pedagogical coordinators of public schools of the state school system in the city of São Paulo. The study used 402 coordinators from elementary and high schools as subjects. Mixed methods (survey, observation and narrative interview) were used as methodological procedures allowing the combination of quantitative and qualitative methods in the research. Among other aspects, the study revealed that the political demands to achieve goals and results in the evaluations influence the pedagogical coordinator performance in the school and condition the teacher training actions.

INDICATORS OF ENROLLMENT OF SPECIAL EDUCATION STUDENTS IN SAO PAULO STATE (BRAZIL)

RESUMO Este artigo tem como objetivo analisar os indicadores de matrículas do Público-Alvo da Educação Especial no estado de São Paulo no período de 2007 a 2015. Para tanto, utilizamos como fonte de informações os microdados dos censos escolares do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira dos anos de 2007, 2011 e 2015, bem como as principais legislações e normas orientadoras de políticas nacionais e do estado de São Paulo no período analisado. Os dados demonstram que, se por um lado tem crescido o acesso do Público-Alvo da Educação Especial na rede estadual de ensino de São Paulo, por outro lado há, internamente, processos marcadamente excludentes, segundo os dados de fluxo escolar. Com efeito, desenvolvemos algumas hipóteses interpretativas para essa realidade educacional e concluímos que são muitos os desafios e barreiras que inviabilizam a efetivação da educação como direito social ao Público-Alvo da Educação Especial na rede estadual de ensino de São Paulo.

RESUMEN Este artículo analiza los indicadores de matrículas del Público-Meta de la Educación Especial en el Estado de San Pablo en el período de 2007 a 2015. Para tanto, utilizamos los microdatos de los censos escolares del Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [Instituto Nacional de Estudios e Investigaciones Educacionales Aníso Teixeira] de los años de 2007, 2011 y 2015, así como legislaciones y normas orientadoras de Políticas Nacionales y del Estado de San Pablo. Los datos demuestran que creció el acceso del Público- -Meta de la Educación Especial en la red estadual de enseñanza de San Pablo, sin embargo, hay, internamente, procesos notoriamente excluyentes según los datos de flujo escolar. En efecto, concluimos que son muchos los desafíos y las barreras que no hacen viable la efectivización de la educación como derecho social para ese Público-Meta en la red de enseñanza analizada.

ABSTRACT This article analyzes indicators of enrollment of Special Education students in Sao Paulo state from 2007 to 2015. To this end, we used the microdata from 2007, 2011 and 2015 school censuses of Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira [Anísio Teixeira National Institute of Educational Studies and Research], as well as laws and guidelines of national and Sao Paulo state policies. The data shows that the access of Special Education students (in Brazil called “Público-Alvo da Educação Especial”, which loosely translates as Target Public of Special Education) has grown in Sao Paulo state school system. However, according to student flow data, internally there are marked exclusion processes. Indeed, many challenges and barriers prevent the realization of the right to education of the target public of Sao Paulo state school system.

A (SELF)ASSESSMENT MATRIX OF THE INTERNATIONALIZATION OF HIGHER EDUCATION IN BRAZIL

RESUMO O estudo apresenta uma proposta de matriz de (auto)avaliação do processo de internacionalização de instituições de ensino superior, pilotada em uma universidade federal brasileira. A matriz engloba 86 indicadores, distribuídos nos três pilares da universidade, a saber, nas dimensões Ensino, Pesquisa e Extensão, analisadas em relação às categorias Política Linguística, Mobilidade Acadêmica e Internacionalização em Casa, sugerindo três possíveis classificações: Internacionalizada, Engajada e Emergente. Os resultados da análise da matriz sugerem que ela representa uma contribuição relevante para a (auto)avaliação das instituições de ensino superior brasileiras como um instrumento unificado pertinente de (auto)avaliação da internacionalização.

RESUMEN El estudio presenta una propuesta de matriz de (auto)evaluación del proceso de internacionalización de instituciones de educación superior, aplicada en una universidad federal brasileña. La matriz engloba 86 indicadores, distribuidos en los tres pilares de la universidad, a saber, en las dimensiones de Enseñanza, Investigación y Extensión, analizadas en relación a las categorías de Política Lingüística, Movilidad Académica e Internacionalización en Casa, sugiriendo tres posibles clasificaciones: Internacionalizada, Comprometida y Emergente. Los resultados del análisis de la matriz sugieren que ella representa una contribución relevante para la (auto)evaluación de las instituciones de educación superior brasileñas como un instrumento unificado pertinente de (auto)evaluación de la internacionalización.

ABSTRACT The study proposes a matrix of (self)evaluation of the process of internationalization of higher education institutions piloted in a Brazilian federal university. The matrix comprises 86 indicators, distributed in the three pillars of the university, namely, Teaching, Research and Outreach dimensions analyzed in relation to Language Policy, Academic Mobility and Internationalization at Home, suggesting three possible classifications: Internationalized, Engaged and Emerging. The analysis of the matrix suggests that it represents a relevant contribution to the (self)evaluation of Brazilian higher education institutions as a unified instrument for (self)evaluation of internationalization.

OUTLINE OF THE EVALUATIVE STATE IN BRAZIL

RESUMO Este texto tem por objetivo discutir alguns aspectos relacionados às conformações do Estado Avaliador no Brasil pela análise da evolução histórica do Sistema de Avaliação da Educação Básica (Saeb). No plano teórico-conceitual, evidencia relações entre as reconfigurações globais do papel do Estado, os modos de regulação da administração pública que emergem em consonância a essas reconfigurações, o conceito de governança e a constituição de um determinado modelo de Estado Avaliador. O estudo assume uma perspectiva explanatória fundamentada na análise da política educacional e de seus mecanismos fundamentais, para o que se vale de levantamento e análise de portarias e de um decreto promulgados pelos órgãos de regulação do Saeb, no período compreendido entre 1994 e 2020.

RESUMEN El estudio tiene como objetivo discutir algunos aspectos relacionados con las configuraciones del Estado Evaluador en Brasil, mediante el análisis de la evolución histórica del Sistema de Evaluación de la Educación Básica (Saeb). A nivel teórico-conceptual, destaca la correlación entre la remodelación global del rol del Estado, los medios de regulación de la gestión pública que surgen en consecuencia de esa remodelación, el concepto de gobernanza y la constitución de un modelo particular de Estado Evaluador. El estudio toma una perspectiva explicativa basada en el análisis de la política educativa y de sus mecanismos fundamentales, por medio de encuesta y análisis de ordenanzas y de un decreto promulgado por los órganos reguladores del Saeb entre 1994 y 2020.

ABSTRACT The present study aims to discuss some aspects of the Evaluative State structure in Brazil, by analyzing the historical evolution of the Sistema de Avaliação da Educação Básica [Basic Education Assessment System] (Saeb). At the theoretical-conceptual level, it shows the correlation between the global reshaping of the role of the state, the means of regulation of public administration that emerge accordingly, the concept of governance and the establishment of a particular model of the Evaluative State. The study takes on an explanatory perspective based on the analysis of educational policy and its leading mechanisms, through the survey and analysis of ordinances and a decree promulgated by the regulatory bodies of the Saeb between 1994 and 2020.

ANALYSIS OF THE EDUCATIONAL RESULTS OF BRAZILIAN STATES

RESUMO O objetivo deste trabalho é analisar os indicadores da qualidade educacional dos estados brasileiros entre os anos de 2007 e 2017, bem como apresentar uma medida de eficiência técnica para eles. Utilizou-se o método de fronteira estocástica para os anos finais do ensino fundamental e o ensino médio, encontrando evidências que favorecem a importância da qualificação do docente e do tamanho da turma para melhores desempenhos no Índice de Desenvolvimento da Educação Básica. O estudo também mostra que a estrutura escolar obteve resultados negativos para o desempenho no ensino médio e que as escolas responsáveis pelos anos finais do ensino fundamental foram eficientes na realização do gasto, enquanto o ensino médio apresentou ineficiência dos gastos públicos estaduais em educação.

RESUMEN El objetivo de este trabajo es analizar los indicadores de la calidad educacional de los estados brasileños entre los años de 2007 y 2017, así como presentar una medida de eficiencia técnica para ellos. Se utilizó el método de frontera estocástica para los años finales de la educación básica y media, encontrando evidencias que favorecen la importancia de la cualificación del docente y del tamaño del grupo para mejorar el desempeño en el Índice de Desarrollo de la Educación Básica. La estructura escolar obtuvo resultados negativos para el desempeño en la educación media, y las escuelas responsables por los años finales fueron eficientes en la realización del gasto, mientras la educación media presentó ineficiencia de los gastos públicos estaduales en educación.

ABSTRACT This study aims to analyze the educational quality indicators of Brazilian states between 2007 and 2017, as well as to present a measure for their technical efficiency. The stochastic frontier method was used for the final years of elementary school and high school, and showed the importance of teacher qualification and class size to achieve better performances in the Basic Education Development Index. School structure obtained negative results for high school performance. The elementary schools responsible for the final years were efficient in terms of education spending, contrary to high schools that proved inefficient regarding the states’ public education spending.