Estudos em Avaliação Educacional

Editorial

Evaluation of teaching digital technologies: brazilian and portuguese indicators

Resumo: Este artigo apresenta um grupo de indicadores voltados para avaliar o uso das Tecnologias da Informação e Comunicação na docência, que foram sugeridos por professores do Brasil e Portugal que atuaram em programas de uso de tecnologias digitais em seus países. A pesquisa constitui uma investigação qualitativa, com aplicação de questionários e realização de entrevistas e grupos focais, junto a professores da região da cidade de Aveiro, norte de Portugal, e dos municípios de Nossa Senhora da Glória, Tobias Barreto e Itabaiana, no estado de Sergipe, Brasil. As respostas desses professores ressaltam a necessidade do estabelecimento de indicadores avaliativos que considerem aspectos qualitativos da docência mediada por tecnologias digitais.

Resumen: Este artículo presenta un grupo de indicadores que se destinan a evaluar el uso de las Tecnologías de Información y Comunicación en la docencia, sugeridos por profesores de Brasil y Portugal que actuaron en programas de uso de tecnologías digitales en sus países. La investigación constituye un estudio cualitativo, con aplicación de cuestionarios y realización de entrevistas y grupos focales junto a profesores de la región de la ciudad de Aveiro, norte de Portugal, y de los municipios de Nossa Senhora da Glória, Tobias Barreto y Itabaiana, en el estado de Sergipe, Brasil. Las respuestas de tales docentes subrayaron la necesidad de establecer indicadores evaluativos que consideren aspectos cualitativos de la docencia mediada por tecnologías digitales.

Abstract: This article presents a set of indicators suggested by teachers and aimed to evaluate the use of information and communication technologies in teaching practices. These indicators were selected by teachers from Brazil and Portugal working with digital technology programs in their countries. The study is a qualitative research that contains questionnaires, interviews and focus groups with teachers in the region of Aveiro, Northern Portugal and in the cities of Nossa Senhora da Glória, Tobias Barreto and Itabaiana, in the State of Sergipe, Brazil. The teachers’ responses highlight the need for establishing evaluative indicators that consider qualitative aspects of teaching mediated by digital technologies.

Institutional assessment and pedagogical political project: two sides of the same coin

Resumo: Este artigo pretende analisar a articulação entre avaliação institucional (AVI) e projeto político-pedagógico (PPP), a partir de projeto realizado em um município brasileiro, onde uma amostra de escolas desenvolveu um processo de avaliação institucional com vistas a reelaborar seu PPP. Buscou-se analisar se e como as escolas utilizaram os dados provenientes dessa avaliação para reformular seus projetos pedagógicos. O texto traz uma reflexão a respeito dos princípios que norteiam e perpassam os dois processos, para se pensar sobre a razão de existirem tantas dificuldades para desenvolvê-los bem como sobre suas possibilidades.

Resumen: Este artículo pretende analizar la articulación entre evaluación institucional (AVI) y proyecto político-pedagógico (PPP), a partir de un proyecto realizado en un municipio brasileño, donde una muestra de escuelas desarrolló un proceso de evaluación institucional con miras a reelaborar su PPP. Se trató de analizar si y cómo las escuelas utilizaron los datos provenientes de tal evaluación para reformular sus proyectos pedagógicos. El texto reflexiona sobre los principios que orientan y permean los dos procesos, para pensar sobre el motivo de que existan tantas dificultades para desarrollarlos, así como sobre sus posibilidades.

Abstract: This article intends to analyze the articulation between institutional assessment (IAS) and pedagogical political project (PPP) based on a project conducted in a Brazilian municipality. It involved a sample of schools that developed a process for institutional assessment, in order to re-shape their PPP. We sought to examine whether and how these schools used the data from this assessment to reformulate their pedagogic projects. The text brings a reflection about the principles that guide and surpass the two processes. It aims both to evaluate the reason why it is so difficult to develop them and what their possibilities are.

Teachers of basic education: profile and perceptions about student success

Resumo: O trabalho aprofunda interfaces entre formação docente, avaliações de larga escala e políticas educacionais. Analisa estudos sobre características docentes associadas à melhoria do desempenho de estudantes em tais avaliações, cotejando-as com dados de professores brasileiros obtidos no Questionário do Professor da Prova Brasil/ Avaliação Nacional da Educação Básica 2013. A amostra, submetida à análise estatística descritiva, é formada por 107.278 docentes do 5º ano e 118.772 do 9º ano. Os resultados evidenciam alguns elementos do perfil docente, tais como sexo, idade, tempo de exercício profissional, raça e formação. Dentre os problemas identificados, está o descompasso entre a formação e as orientações legais vigentes. Outra questão a considerar refere-se às percepções docentes de que os fatores externos à escola são mais relevantes que os fatores internos nas deficiências de aprendizagem. Reverter tais expectativas é questão a ser considerada na formulação de políticas de formação docente.

Resumen: El trabajo profundiza las interfaces entre formación docente, evaluaciones de amplia escala y políticas educacionales. Analiza estudios sobre características docentes asociadas a la mejora en desempeño de los alumnos, comparándolas con datos de profesores brasileños del Cuestionario del Profesor de la Prueba Brasil/ Evaluación Nacional de la Educación Básica 2013. La muestra, sometida al análisis estadístico descriptivo, tiene 107.278 docentes del 5º año y 118.772 del 9º año. Los resultados señalan elementos del perfil docente, como sexo, edad, tiempo del ejercicio profesional, raza y formación. Es posible notar incompatibilidad entre la formación y las orientaciones legales vigentes. Los docentes perciben los factores externos a la escuela como más relevantes en el aprendizaje que los factores internos. Hay que considerar la reversión de tales expectativas en la formulación de políticas de formación docente.

Abstract: This paper discusses interfaces between teacher training and educational policies. It analyses studies about teacher characteristics associated with improvements in student performance, by matching them with data of Brazilian teachers obtained from the Questionário do Professor da Prova Brasil/Avaliação Nacional da Educação Básica 2013 [Teacher of the Prova Brasil Test/National Assessment of Basic Education]. The sample is composed of 107,278 fifth grade teachers and 118,772 ninth grade teachers. The results show aspects of the teaching profile, including sex, age, professional practice, race and training. Some important gaps deserve attention, such as the training non-compliant with current legal guidelines. Faculty perceptions about student learning problems point to factors external to school, as more relevant to learning than internal factors. Reversing such expectations is a matter to be considered in the development of training policies.

Preschool and the right to education: contributions to a debate

Resumo: O objetivo deste artigo é refletir, com base em números do Instituto Brasileiro de Geografia e Estatística (IBGE), sobre o processo de oferta da educação pré-escolar no período de 2003 a 2014, tendo em vista o conjunto de leis que determina a sua universalização obrigatória dessa etapa até o fim de 2016. Assim, ainda que o avanço nesse atendimento tenha sido expressivo, constatou-se um déficit de cobertura superior a 600 mil crianças de 4 e 5 anos. Os mais excluídos são os sujeitos provenientes do estrato dos 25% mais pobres da população, de raça/ cor preta e residentes em áreas rurais, sobretudo nas regiões Norte e Centro-Oeste. Não foi percebido maior impacto nem com a adoção de novos parâmetros para o financiamento educacional nem com a promulgação das leis que obrigam tal oferta universal, no sentido de alterar o ritmo progressivo das matrículas verificado, como também não se percebeu relação direta entre maior cobertura e melhores indicadores de qualidade.

Resumen: El objetivo de este artículo es el de reflexionar, en base a números provenientes del Instituto Brasileiro de Geografia e Estatística (IBGE), sobre el proceso de oferta de la educación preescolar entre 2003 y 2014, teniendo en cuenta el conjunto de leyes que determina su universalización obligatoria hasta fines del 2016. Aunque el avance en dicha atención fue expresivo, se constató un déficit de cobertura superior a 600 mil niños entre 4 y 5 años. Los principales excluidos son los sujetos provenientes del estrato 25% más pobre de la población, de raza/color negro y residentes en las áreas rurales, sobre todo en las regiones Norte y Centro Oeste. No se detectó un gran impacto tanto con la adopción de nuevos parámetros para la financiación educacional como con la promulgación de las leyes que obligan tal oferta universal, en el sentido de alterar el ritmo progresivo de las matrículas que se verificó durante los años investigados, así como tampoco se percibió una relación directa entre mayor cobertura y mejores indicadores de calidad.

Abstract This article aims to reflect on the process of offering pre-school education from 2003 to 2014. It is based on figures from the Brazilian Institute of Geography and Statistics (IBGE) and guided by the set of laws that determine the compulsory universalization of pre-school education by the end of 2016. Thus, even if the number of children attending school has been expressive, there is a deficit of more than 600,000 places for 4 and 5 year-old children. Most of the children excluded come from the poorest 25% stratum of the population, who are black and reside in rural areas, especially in the North and Midwest regions. No impact was detected in the change of the progressive pace of enrollment, neither with the adoption of new parameters for the educational funding nor with the legislation that establishes preschool education as universal and compulsory. Also, no direct relationship between more places and better quality indicators was detected.

Understanding the SIMAVE in the light of the three generations of basic education evaluation

RESUMO: Este artigo apresenta um panorama do processo de implantação do Sistema Mineiro de Avaliação da Educação Pública (Simave), com objetivo de compreender sua trajetória à luz das três gerações de avaliação da educação básica no Brasil, no período entre 2000 e 2013. Por meio de estudo bibliográfico, constatou-se a existência dessas gerações no processo de implantação do Simave. A primeira foi identificada em experiências anteriores ao Simave e nos primeiros anos do referido sistema (2000-2002), período pautado pelo caráter diagnóstico das avaliações. Entre 2003 e 2007, foi identificada a segunda geração, marcada pelo início do programa Acordo de Resultados do Governo de Minas Gerais, envolvendo metas de desempenho e gestão por resultados. A terceira, iniciada em 2007, foi marcada pela segunda fase do Acordo de Resultados, envolvendo o pagamento do prêmio por produtividade atrelado ao desempenho dos alunos nos testes avaliativos do Simave.

RESUMEN: Este artículo presenta un panorama del proceso de implantación del Sistema Mineiro de Avaliação da Educação Pública (Simave), con el objetivo de comprender su trayectoria a la luz de las tres generaciones de evaluación de la educación básica en Brasil en el periodo que abarca del 2000 al 2013. Por medio de estudio bibliográfico, se constató la existencia de dichas generaciones en el proceso de implantación del Simave. La primera fue identificada en experiencias anteriores al Simave y en los primeros años del referido sistema (2000-2002), periodo pautado por el carácter diagnóstico de las evaluaciones. Entre 2003 y 2007 se identificó la segunda generación, marcada por el inicio del programa Acuerdo de Resultados del Gobierno de Minas Gerais, que involucraba metas de desempeño y gestión por resultados. La tercera, iniciada en 2007, fue marcada por la segunda fase del Acuerdo de Resultados e implicaba el pago del premio por productividad vinculado al desempeño de los alumnos en las pruebas evaluativas de Simave.

ABSTRACT: This article presents an overview of the deployment process of the Sistema Mineiro de Avaliação da Educação Pública (Simave), in order to understand its development in the light of three generations of evaluation of Basic Education in Brazil. These generations were identified through a bibliographical study of the Simave deployment process. The first generation was identified in experiments undertaken before Simave and in the first years of this system (2000-2002), period guided by the diagnostic nature of the evaluations. The second generation of evaluation was identified between 2003 and 2007 and marked by the beginning of the Results Agreement Program of the Government of Minas Gerais involving performance targets and results management. The third generation, started in 2007, was marked by a second phase of the Results Agreement Program, involving the payment of the productivity bonus linked to the performance of students in the Simave evaluation tests.

Trends in knowledge production in learning evaluation in Brazil (2010-2014)

Resumo: O presente artigo é fruto de uma revisão bibliográfica cujo objetivo foi identificar aspectos relevantes da produção científica brasileira sobre avaliação das aprendizagens, no período de 2010 a 2014, em onze periódicos da área educacional com reconhecida relevância. Foram analisados 174 trabalhos, divididos em cinco eixos: avaliação no ensino superior, avaliação na educação básica, avaliação externa, avaliação e formação continuada de professores, e outras dimensões. Os resultados demonstraram que o tema avaliação está sendo contemplado em diversos periódicos, com um número considerável de artigos que tratam da avaliação das aprendizagens. Muitos desses artigos indicam que na vida escolar ainda predomina a avaliação como medida, ou seja, a avaliação vista como uma questão essencialmente técnica. A proposta é trazer elementos que contribuam com o entendimento das práticas avaliativas em nossa realidade e inspirar outros pesquisadores, colaborando para a expansão do conhecimento acerca da avaliação no campo educacional brasileiro.

Resumen: El presente artículo es fruto de una revisión bibliográfica cuyo objetivo fue el de identificar aspectos relevantes de la producción científica brasileña sobre evaluación de los aprendizajes en el periodo de 2010 a 2014, en once renombradas revistas del área educacional. Se analizaron 174 trabajos, divididos en cinco ejes: evaluación en la educación superior, evaluación en la educación básica, evaluación externa, evaluación y formación continuada de profesores y otras dimensiones. Los resultados demostraron que el tema evaluación se contempla en diversas revistas, con un considerable número de artículos que tratan de la evaluación de los aprendizajes. Muchos de estos artículos indican que en la vida escolar todavía predomina la evaluación como medida, es decir, la evaluación vista como un tema esencialmente técnico. La propuesta es aportar elementos que contribuyan para entender las prácticas evaluativas en nuestra realidad e inspirar a otros investigadores, colaborando para expandir el conocimiento acerca de la evaluación en el campo educacional brasileño.

Abstract: This article is the result of a bibliographical review aiming to identify relevant aspects of Brazilian scientific production on learning evaluation, which was carried out in eleven well-known education journals from 2010 to 2014. We evaluated 174 studies divided into five areas: higher education evaluation, basic education evaluation, external evaluation, evaluation and continuous training of teachers and other dimensions. The results showed that the evaluation theme is currently discussed in various periodicals, with a considerable number of articles dealing with learning evaluation. Many of these articles show that, in school life, evaluation is still the standard, i.e. evaluation is regarded as essentially a technical issue. This article proposes to bring elements that contribute to the understanding of evaluation practices and inspire other researchers, contributing to the expansion of knowledge evaluation in the Brazilian educational field.

An analysis of the concepts that permeate the Pronatec professional training

Resumo: Este artigo tem como objetivo compreender e discutir algumas das principais concepções de educação e trabalho que permeiam a formação do trabalhador brasileiro, com base na análise da criação do Programa Nacional de Acesso ao Ensino Técnico e Emprego, o Pronatec, instituído em 2011. O texto apresenta um breve histórico das concepções que envolvem a formação do trabalhador presentes no final da década de 1980 e 1990, no âmbito da elaboração e aprovação da Lei n. 9.394/1996, que se estabelece até a primeira década do século XXI. Com base em análise documental e na legislação do período, dialoga com a produção acadêmica que permeia os campos da educação e trabalho e educação de jovens e adultos, analisando em que medida o Pronatec tende a fortalecer a dualidade estrutural do capitalismo ou a criar espaços emancipatórios, que possibilitem uma educação pautada na integração entre formação profissional e formação básica.

Resumen: Este artículo tiene el objetivo de entender y discutir algunas de las principales concepciones de educación y trabajo que permean la formación del trabajador brasileño, en base al análisis de la creación del Programa Nacional de Acesso ao Ensino Técnico e Emprego, Pronatec, que se instituyó en el 2011. El texto presenta un breve historial de las concepciones relacionadas con la formación del trabajador a fines de las décadas de 1980 y 1990, en el marco de la preparación y aprobación de la Ley n. 9.394/1996, que se establece hasta la primera década del siglo XXI. En base al análisis documental y a la legislación del periodo, dialoga con la producción académica que permea los campos de la educación y trabajo y de la educación de jóvenes y adultos, analizando en qué medida Pronatec tiende a fortalecer la dualidad estructural del capitalismo o a crear espacios de emancipación, que posibiliten una educación basada en la integración entre formación profesional y formación básica.

Abstract: This article aims to understand and discuss some of the main concepts of education and work involving the training of the Brazilian worker based on the analysis of the creation of the Programa Nacional de Acesso ao Ensino Técnico e Emprego [National Program of Technical Education and Employment Access], Pronatec, established in 2011. The text presents a brief account of the ideas involved in the training of the worker at the end of the 1980s and 1990s, amid the drafting and approval of Law 9394/96 instituted by the end of the first decade of the 21st century. The article is based on documentary analysis and on the education laws of that period. It interacts with academic work in the fields of education and work, as well as the education of youth and adults. It examines the extent to which Pronatec strengthens the structural duality of capitalism, or creates emancipative spaces which allow education to be based on the integration between professional and basic training.

Global educational governance and the genesis of the socio-emotional skills tests

Resumo: O discurso de que as economias estão cada vez mais inter-relacionadas tem justificado o papel de destaque que a Organização para a Cooperação e Desenvolvimento Econômico (OCDE) tem desempenhado em relação à educação e, especialmente no que tange à investigação que originou este texto, o enaltecimento que a Organização tem dado às habilidades socioemocionais. Propomo-nos a investigar em que medida seria possível identificar na atuação da OCDE mecanismos que comprovem a existência de um projeto de governança educacional global. A aplicação do instrumental analítico proposto por Charaudeau (2014) aos documentos que compuseram nosso corpus permitiu-nos afirmar que a OCDE tem posto em prática um verdadeiro projeto de governança educacional global, constituindo os três mecanismos de governança apontados por Jakobi e Martens (2010): a produção de ideias, a avaliação de políticas e a geração de dados; assim como os modos de governança cognitivo e normativo, concebidos por Woodward (2009).

Resumen: El discurso de que las economías están cada vez más interrelacionadas ha justificado el papel de destaque que la Organización para la Cooperación y Desarrollo Económico (OCDE) viene jugando en relación a la educación y especialmente en lo que atañe a la investigación que originó este texto, el enaltecimiento que la Organización ha dado a las habilidades socioemocionales. Nos proponemos a investigar en qué medida sería posible identificar en la actuación de la OCDE mecanismos que comprueben la existencia de un proyecto de gobernanza educacional global. La aplicación del instrumental analítico propuesto por Charaudeau (2014) a los documentos que compusieron nuestro corpus nos permitió afirmar que la OCDE ha puesto en práctica un verdadero proyecto de gobernanza educacional global, constituyendo los tres mecanismos de gobernanza señalados por Jakobi y Martens (2010): la producción de ideas, la evaluación de políticas y la generación de datos, así como los modos de gobernanza cognitivo y normativo, concebidos por Woodward (2009).

Abstract: The discourse that the economies are ever more interrelated has justified the major role played by the Organization for Economic Co-operation and Development (OECD) in relation to education and, especially regarding the investigation that led to this text, i.e., the importance the Organization has given to socio-emotional skills. We propose to investigate to what extent it would be possible to identify mechanisms that confirm the existence of a global educational governance project in OECD activities. The application of the analytical framework to the documents that composed our corpus, which was proposed by Charaudeau (2014), allowed us to affirm that the OECD has put into practice a real educational global governance project. This project not only deploys the three mechanisms of educational governance proposed by Jakobi and Martens (2010); the production of ideas, policy assessment and data generation, but also the cognitive and normative modes of governance, designed by Woodward (2009).

Contributions to the study of Generalized Partial Credit Model

Resumo: Este artigo aborda os mais importantes aspectos inferenciais do Modelo de Crédito Parcial Generalizado (MCPG), da Teoria da Resposta ao Item (TRI). É mostrado um estudo sobre uma das principais dificuldades encontradas no processo de estimação e inferência dos modelos da TRI, que é a falta de identificabilidade. Além disso, apresenta-se a interpretação dos parâmetros do modelo e da função de informação do item e do teste.

Resumen: Este artículo aborda los más importantes aspectos inferenciales del Modelo de Crédito Parcial Generalizado (MCPG), de la Teoría de la Respuesta al Ítem (TRI). Se presenta un estudio sobre una de las principales dificultades encontradas en el proceso de estimación e inferencia de los modelos de la TRI, que es la falta de identificabilidad. Por otra parte, se expone la interpretación de los parámetros del modelo y de la función de información del ítem y el test.

Abstract: This article covers the most important inferential aspects of the Generalized Partial Credit Model (GPCM) of the Item Response Theory (IRT). It presents a study on one of the main difficulties encountered in the process of estimation and inference of the IRT models, which is the lack of identifiability. In addition, it presents the interpretation of the model parameters and the information function of the item and the test.

Evaluation of Enem (2009 and 2011) quality with psychometric techniques

Resumo: Foi realizada uma meta-avaliação do Exame Nacional do Ensino Médio (Enem) de 2009 e 2011, aplicando-se técnicas psicométricas em 2.025.268 provas. Algumas técnicas foram exemplificadas com a apresentação da análise do conteúdo de itens, mostrando sua utilidade aos educadores. Comparou-se indicadores relacionados à prova (coeficiente α e correlação interitem média), mas principalmente relativos aos itens (correlação item-total, coeficiente bisserial - CB -, discriminação e ajuste do modelo logístico de dois parâmetros). A prova de Matemática de 2009 apresentou confiabilidade insuficiente (α < 0,6). As provas de Linguagens e Códigos e Ciências Humanas apresentaram, nos dois anos, melhores indicadores de qualidade. Ao todo, foram encontrados 25% de itens com comportamento empírico fora do esperado em 2009, e 17% em 2011.

Resumen: Se llevó a cabo una metaevaluación del Exame Nacional do Ensino Médio (Enem) de 2009 y 2011 por medio de la aplicación de técnicas psicométricas en 2.025.268 pruebas. Algunas de estas técnicas se ejemplificaron con la presentación del análisis del contenido de ítems, lo que puso de manifiesto su utilidad a los educadores. Se compararon indicadores relacionados con la prueba (coeficiente α y correlación inter-ítem media), pero sobre todo los relativos a los ítems (correlación ítem-total, coeficiente biserial - CB -, discriminación y ajuste del modelo logístico de dos parámetros). La prueba de Matemáticas de 2009 presentó confiabilidad insuficiente (α < 0,6). Las pruebas de Lenguajes y Códigos y Ciencias Humanas presentaron, en los dos años de estudio, mejores indicadores de calidad. En total se encontró un 25% de ítems con comportamiento empírico fuera de lo esperado en 2009, y un 17% en 2011.

Abstract: This study is a meta evaluation of the Exame Nacional do Ensino Médio [National Secondary Education Examination] (Enem) of 2009 and 2011, applying psychometric techniques to 2.025.268 tests. Some techniques were illustrated by analysis of item content, showing their usefulness to educators. We compared indicators related to the tests (α coefficient and average inter-item correlation), but mainly related to the items (item-whole correlation, biserial coefficient, discrimination and fit of two-parameter logistic model). The 2009 Mathematics test showed insufficient reliability (α <0.6). The Language and Human Sciences tests showed better quality indicators in both years. In total, we found 25% of items with anomalous empirical behavior in 2009 and 17% in 2011.