Estudos em Avaliação Educacional

AVALIAÇÃO EXTERNA DA EDUCAÇÃO SUPERIOR IN LOCO: PARECERES DOS AVALIADORES

RESUMO Este estudo tem o intuito de analisar os pareceres emitidos pelos avaliadores do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), que compõem a comissão de avaliação in loco, durante o processo de renovação de reconhecimento dos cursos superiores relativos ao conceito final conferido para cada dimensão avaliada e seus respectivos indicadores. A pesquisa caracteriza-se como qualitativa e a análise documental foi realizada pela técnica de análise de conteúdo. Conforme as evidências apuradas nas análises, a falta de indícios ou circunstâncias encontrados valida a hipótese sugerida: os pareceres emitidos pelas comissões de avaliadores do Inep durante o processo de renovação de reconhecimento dos cursos superiores, que resultam no conceito final do curso avaliado, usualmente não trazem elementos que circunstanciam os critérios escolhidos pelos avaliadores para cada indicador do instrumento.

RESUMEN Este estudio tiene el objetivo de analizar los dictámenes emitidos por los evaluadores del Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), quienes componen la comisión de evaluación in loco, durante el proceso de renovación de reconocimiento de los cursos superiores con referencia al concepto final concedido para cada dimensión evaluada y sus respectivos indicadores. La investigación se caracteriza como cualitativa y el análisis documental fue realizado mediante la técnica de análisis de contenido. Según las evidencias obtenidas en los análisis, la falta de indicios o fundamentos encontrados valida la hipótesis sugerida: los dictámenes emitidos por las comisiones de evaluadores del Inep durante el proceso de renovación de reconocimiento de los cursos superiores, que resultan en el concepto final del curso evaluado, usualmente no contienen elementos que fundamentan los criterios seleccionados por los evaluadores para cada indicador del instrumento.

ABSTRACT The present study aims to analyze opinions issued by the evaluators of the Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) [Anísio Teixeira National Institute of Educational Studies and Research], who compose the on site evaluation committee, during the process of renewing the accreditation of higher education programs related to the final score conferred upon each dimension evaluated, and the respective indicators. The present study is characterized as qualitative, and the document analysis was conducted using the content analysis technique. Based on the evidence seen in the analyses, the lack of indicators or circumstances found validates the suggested hypothesis: the opinions issued by the evaluating committees of Inep during the process of renewing the accreditation of higher education programs, which result in the final score of the evaluated program, usually do not involve elements that set the criteria selected by the evaluators for each indicator of the instrument.

ESTRATÉGIAS ORGANIZACIONAIS NO CONTEXTO DA AVALIAÇÃO DA PÓS-GRADUAÇÃO BRASILEIRA

RESUMO Esta pesquisa identifica estratégias de um Programa de Pós-Graduação em Administração de uma universidade federal para atender ao Sistema de Avaliação da Pós-graduação no Brasil. Os dados foram coletados em documentos e entrevistas com integrantes da gestão do Programa no quadriênio de avaliação 2013-2016. A partir da elucidação das estratégias vigentes, descreveu-se a dimensão teórica da gestão estratégica que contemplou as ações que materializaram o processo de sua formação e implementação. Constatou-se fragilidades quanto aos indicadores Corpo Docente e Inserção Social e predominância de estratégias deliberadas, indicando o caráter coercitivo da avaliação sobre a gestão estratégica do Programa. Concluiu--se que uma revisão do processo estratégico, em diálogo com os agentes sociais que compõem o Programa, poderá colaborar para melhores resultados no sistema de avaliação.

RESUMEN Esta investigación identifica las estrategias de un Programa de Posgraduación en Administración de una universidad federal para atender al Sistema de Evaluación de la Posgraduación en Brasil. Los datos fueron recolectados en documentos y entrevistas con integrantes de la gestión del Programa en el cuadrienio de evaluación 2013-2016. A partir de la elucidación de las estrategias vigentes, se describió la dimensión teórica de la gestión estratégica que consideró las acciones que materializaron el proceso de su formación e implementación. Se constataron fragilidades cuanto a los indicadores Cuerpo Docente e Inserción Social y predominancia de estrategias deliberadas, indicando el carácter coercitivo de la evaluación sobre la gestión estratégica del Programa. Se concluyó que una revisión del proceso estratégico, en diálogo con los agentes sociales que componen el Programa, podrá colaborar para obtener mejores resultados en el sistema de evaluación.

ABSTRACT This study identifies strategies used in a graduate program in Administration, at a federal university, to meet the requirements of the Graduate Evaluation System in Brazil. Data were collected from documents and interviews with members of the program’s management, in the 2013-2016 quadrennial evaluation. Based on the current strategies, the theoretical dimension of strategic management was described, which included the actions that established the process of its formation and implementation. Weaknesses were observed in relation to the Teaching Staff and Social Insertion indicators, as well as the predominance of deliberate strategies, indicating the coercive nature of the evaluation on the strategic management of the program. It was concluded that a review of the strategic process, in dialogue with the social agents that make up the program, could help achieve better results in the evaluation system.

ALGORITMOS DE AVALIAÇÃO: MODELAGEM E APLICAÇÃO NO ESTUDO DA EVASÃO DISCENTE

RESUMO O presente artigo objetiva aplicar o conceito de algoritmo de avaliação no estudo da evasão, retenção e formados do Instituto Federal de Educação, Ciência e Tecnologia do Ceará, campus Sobral, entre 2009.1 e 2015.1, identificando, na perspectiva dos gestores, os fatores que influenciam esses fenômenos e, consequentemente, o desempenho dessa instituição de ensino. Trata-se de um estudo avaliativo apresentado com base em estratégia metodológica quanti--qualitativa e tem como categorias teóricas o planejamento estratégico, a autoavaliação e a qualidade educacional. Para tanto, realizou-se triangulação dos dados da análise documental com os sinais trazidos da entrevista semiestruturada. Os principais resultados da aplicação do algoritmo e geração de um Indicador de Qualidade do Curso (IQC) apontaram que os cursos analisados não se mostraram muito eficientes, dado que mais da metade obteve o menor conceito (E) e nenhum dos cursos em análise alcançou conceito A ou B de eficiência.

RESUMEN Este artículo tiene como objetivo aplicar el concepto de algoritmo de evaluación en el estudio de la evasión, retención y egresados del Instituto Federal de Educación, Ciencia y Tecnología, campus de Sobral, entre 2009.1 y 2015.1, e identificar, desde la perspectiva de los gestores, los factores que influyen en estos indicadores y, en consecuencia, en el desempeño de esta institución de enseñanza. Este es un estudio evaluativo presentado basado en una estrategia metodológica cuantitativa y cualitativa y tiene como categorías teóricas el planeamiento estratégico, la autoevaluación y la calidad educativa. Con este fin, los datos del análisis documental se triangularon con las indicaciones aportadas en la entrevista semiestructurada. Los principales resultados de la aplicación del algoritmo y la generación de un Indicador de Calidad del Curso indicaron que los cursos analizados no fueron muy eficientes, ya que más de la mitad obtuvo el concepto más bajo (E) y ninguno de los cursos analizados obtuvo un concepto de eficiencia A o B.

ABSTRACT This paper aims to apply the concept of evaluation algorithms in the study of evasion, retention and graduation rates at the Sobral campus of the Instituto Federal de Educação, Ciência e Tecnologia do Ceará [Federal Institute of Education, Science and Technology of Ceará] between 2009.1 and 2015.1. It identifies, from management’s perspective, factors that influence these phenomena and, consequently, the performance of this educational institution. This is an evaluative study based on a quantitative-qualitative methodological approach. Its theoretical categories comprise strategic planning, self-assessment and educational quality. To this end, data from documentary analysis was triangulated with indications derived from the semi- -structured interview. The main results of the application of the algorithm and the generation of a Course Quality Indicator indicated that the analyzed courses were not very efficient, since more than half received the lowest grade (E) and none of the courses under analysis obtained a grade of (A) or (B) for efficiency.

REDES SOCIAIS NO ACOMPANHAMENTO DE EGRESSOS DO ENSINO MÉDIO INTEGRADO: OPORTUNIDADES E LIMITAÇÕES

RESUMO O objetivo deste artigo é apresentar uma pesquisa sobre a viabilidade do uso de dados públicos da rede social Facebook para identificar a trajetória acadêmica e profissional de egressos do ensino médio integrado. Para efeito de comparação do alcance do método na coleta de dados, utilizou-se, também, a aplicação de questionário. O estudo foi realizado com 244 egressos de um instituto federal, dentre os quais 195 foram localizados na rede social e apenas 21 responderam ao questionário. Os resultados demonstraram que o Facebook é uma ferramenta muito interessante para o acompanhamento de egressos: 61% disponibilizaram informações sobre o itinerário formativo e 20% sobre atuação profissional. Entretanto, o uso de questionário ainda se faz necessário para obter a opinião dos egressos.

RESUMEN Este artículo presenta una investigación que tuvo el objetivo de analizar la viabilidad del uso de datos públicos de la red social Facebook para identificar la trayectoria universitaria y profesional de egresados de la enseñanza secundaria integrada. Se utilizó, también, la aplicación de un cuestionario para comparación del alcance de los dos métodos de recolección de datos. El estudio fue realizado con 244 egresados de un instituto federal. De esos, 195 fueron localizados en la red social y solo 21 respondieron al cuestionario. Los resultados demostraron que el Facebook es muy interesante para el acompañamiento de egresados, 61% de ellos dieron informaciones sobre el itinerario de estudios y 20% sobre actuación profesional. Aun considerando esto, el uso de cuestionario todavía se hace necesario para obtener la opinión de los egresados.

ABSTRACT This article presents a study that aimed to assess the possibility of using public data from the social network Facebook to identify the academic and professional paths of graduates of an integrated high school. A questionnaire was also used to compare the scope of two data collection methods. The study was carried out with 244 graduates from a federal institute. Of these, 195 were found on the social network and only 21 responded to the questionnaire. The results showed that Facebook is very interesting for monitoring graduates, 61% of whom provided information on their education itinerary and 20% on professional performance. However, the use of a questionnaire is still necessary to obtain the graduates’ opinion.

O PROCESSO DE ALFABETIZAÇÃO E A FORMAÇÃO DOCENTE

RESUMO Trata-se de uma pesquisa qualitativa-descritiva sobre a diversidade de resultados de quatro escolas públicas de uma mesma rede de ensino - duas escolas com as maiores e duas com as menores pontuações na Avaliação Nacional da Alfabetização 2014. Participaram da pesquisa docentes do ciclo de alfabetização que atuaram nessas escolas, no triênio 2012-2014. O instrumento utilizado para a coleta de dados consistiu em uma entrevista semiestruturada focalizada nos processos de ensino realizados, na formação docente e nas experiências profissionais. Os resultados revelam diferenças, quanto à ênfase na continuidade do processo de alfabetização no ensino em ciclos, favoráveis às escolas com os maiores desempenhos, apesar das semelhanças de nível socioeconômico dos alunos, tempo de experiência e formação, sobretudo contínua, das professoras.

RESUMEN Se trata de una investigación cualitativa-descriptiva sobre la diversidad de resultados de cuatro escuelas públicas de una misma red de enseñanza - dos escuelas con las mayores y dos con las menores puntuaciones en la Avaliação Nacional da Alfabetização 2014. En la investigación participaron docentes del ciclo de alfabetización que actuaron en esas escuelas, en el trienio 2012-2014. El instrumento utilizado para la recolección de datos consistió en una entrevista semiestructurada enfocada en los procesos de enseñanza realizados, en la formación docente y en las experiencias profesionales. Los resultados revelan diferencias, en cuanto al énfasis en la continuidad del proceso de alfabetización en la enseñanza en ciclos, favorables a las escuelas con los mayores desempeños, a pesar de las semejanzas de nivel socioeconómico de los alumnos, tiempo de experiencia y formación, sobre todo continua, de las profesoras.

ABSTRACT This is a qualitative-descriptive study on the diversity of the results of 4 public schools from the same teaching network: 2 schools with the highest and 2 with the lowest scores in the Avaliação Nacional da Alfabetização 2014 [Brazilian National Literacy Assessment]. The participants in the study were teachers from the literacy cycle that worked in these schools, in the 2012-2014 triennium. The instrument used for data collection consisted of a semi-structured interview focusing on their teaching processes, on teacher training and on their professional experiences. The results reveal differences regarding the emphasis on the continuity of the literacy process in cyclic education, favoring the schools with the highest performances, despite the similarities of the students’ socioeconomic level and the teachers’ experience and, above all, ongoing training.

DEFASAGEM IDADE-SÉRIE E LETRAMENTO CIENTÍFICO NO PISA

RESUMO O artigo analisa a preparação científica de estudantes brasileiros participantes do Pisa (Programme for International Student Assessment - em português Programa Internacional de Avaliação dos Estudantes), considerando a defasagem idade-série. Foram realizadas uma análise exploratória dos resultados e uma regressão linear para investigar o efeito da variável repetência sobre o desempenho em ciências dos estudantes brasileiros. O estudo mostra que: os estudantes brasileiros estão em desvantagem em relação aos estudantes dos países da Organização para Cooperação e Desenvolvimento Econômico (OCDE); a maioria dos estudantes brasileiros não é capaz de realizar as tarefas mais simples estabelecidas pelo Pisa; a diferença entre estudantes brasileiros defasados e estudantes da OCDE alcança 150 pontos em algumas competências; apenas os estudantes brasileiros das séries finais do ensino médio atingem os níveis esperados pelo Pisa.

RESUMEN El artículo analiza la preparación científica de los estudiantes brasileños que participan en el PISA (Programme for International Student Assessment - en español, Programa Internacional de Evaluación de Estudiantes), teniendo en cuenta la distorsión de grado y edad. Se realizó un análisis exploratorio de los resultados y una regresión lineal para investigar el efecto de la variable de repetición en el rendimiento en ciencias de los estudiantes brasileños. El estudio muestra que: los estudiantes brasileños están en desventaja en comparación con los estudiantes de los países de la Organización para Cooperación y Desarrollo Económico (OCDE); la mayoría de los estudiantes brasileños no puede realizar las tareas más simples establecidas por el PISA; la diferencia entre estudiantes brasileños que presentan distorsión de grado y edad y estudiantes de la OCDE alcanza a 150 puntos en algunas competencias; solo los estudiantes brasileños en los años finales de la escuela secundaria alcanzan los niveles esperados por el PISA.

ABSTRACT The article analyzes the scientific preparation of Brazilian students participating in PISA, taking into account the age-grade distortion. An exploratory analysis of the results and a linear regression were carried out to investigate the effect of the grade repetition variable on Brazilian students’ performance in Science. The study shows that: Brazilian students are at a disadvantage compared to students from Organization for Economic Cooperation and Development (OECD) countries; the majority of Brazilian students are not able to perform the simplest tasks defined by PISA; the difference between Brazilian over-age students and OECD students reaches 150 points in some competencies; only Brazilian students in the final grades of secondary education reach the levels expected by PISA.

CONCEÇÕES E PRÁTICAS DE AVALIAÇÃO DA ESCRITA: FORMAÇÃO EM SÃO TOMÉ E PRÍNCIPE

RESUMO Neste artigo analisam-se conceções e práticas relatadas de 19 professores de Língua Portuguesa em São Tomé e Príncipe, como ponto de partida de uma oficina de formação. Numa abordagem qualitativa, privilegiou-se a análise de conteúdo dos dados de diversas fontes (questionário, reflexões em diário de bordo e registos da investigadora). Os principais resultados revelam que o ensino e a avaliação da produção escrita não estão totalmente ausentes das práticas destes professores, mas esta é ocasional e frequentemente não programada, resultando em constrangimentos. Crendo que lacunas de formação dos professores sobre avaliação têm influência nas conceções e práticas, defende-se que a formação contínua, partindo das necessidades dos professores, contribuirá para o seu desenvolvimento profissional.

RESUMEN En este artículo, se analizan las concepciones y prácticas reportadas de 19 profesores de Portugués en Santo Tomé, como punto de partida para un taller de capacitación. En un enfoque cualitativo, el análisis del contenido de datos de diferentes fuentes (cuestionario, reflexiones en el cuaderno de anotaciones diarias y registros de la investigadora) fue privilegiado. Los principales resultados revelan que la enseñanza y la evaluación de la producción escrita no están completamente ausentes de las prácticas de estos profesores, pero son ocasionales y, a menudo, no están programadas, lo que genera limitaciones. Pensando que las lagunas en la formación del profesorado cuanto a la evaluación influyen en las concepciones y prácticas, se argumenta que la formación continuada, basada en las necesidades de los profesores, contribuirá a su desarrollo profesional.

ABSTRACT In this article, the concepts and reported practices of 19 Portuguese Language teachers in Sao Tome and Principe are analyzed as a starting point for a training workshop. A qualitative approach favored the content analysis of data from different sources (questionnaire, reflections in the logbook and researcher records). The main results reveal that the teaching and assessment of writing are not totally absent from the practices of these teachers. However, they are occasional and often not planned, resulting in constraints. As we believe that gaps in teacher training on evaluation influence concepts and practices, we argue that ongoing training, based on teachers’ needs, will contribute to their professional development.

A FACE OCULTA DA AVALIAÇÃO EM ANGOLA

RESUMO O objetivo deste artigo é analisar e compreender as práticas presentes nos processos da avaliação da aprendizagem em Angola. A pesquisa foi realizada com professores e alunos de duas escolas secundárias da província de Cabinda. Para a coleta de dados foram utilizados questionários, entrevistas, observações e análise de documentos. A pesquisa evidencia que, apesar de os professores adotarem conceitos mais contemporâneos sobre avaliação, predominam na prática cotidiana as avaliações somativas em que as provas são também utilizadas como forma de controle da disciplina. Os dados mostram a permanência, nas escolas pesquisadas, de práticas de avaliação que envolvem a troca de notas por dinheiro, embora, por diferentes razões, essas práticas estejam diminuindo.

RESUMEN El objetivo de este artículo es analizar y comprender las prácticas presentes en los procesos de evaluación del aprendizaje en Angola. La encuesta se realizó con maestros y estudiantes de dos escuelas secundarias en la provincia de Cabinda. Para la recolección de datos, se utilizaron cuestionarios, entrevistas, observaciones y análisis de documentos. La investigación muestra que, aunque los maestros adoptan conceptos más contemporáneos sobre la evaluación, en la práctica diaria predominan las evaluaciones sumativas, en las que las pruebas también se utilizan como una forma de control de la materia. Los datos muestran que las prácticas de evaluación, que implican el intercambio de calificaciones por dinero, permanecen en las escuelas encuestadas, aunque estas prácticas, por diferentes razones, están disminuyendo.

ABSTRACT The aim of this article is to analyze and understand the practices present in the learning assessment processes in Angola. The research was conducted with teachers and students from two secondary schools in the Cabinda province. Questionnaires, interviews, observations and document analysis were used for data collection. The research shows that, although teachers adopt more contemporary assessment concepts, summative assessments in which tests are also used as a form of discipline control predominate in their daily practice. The data show the continuity of assessment practices involving the exchange of grades for money in the surveyed schools, although these practices are on decline for different reasons.

TRIAGEM DE INDICADORES DE ALTAS HABILIDADES/SUPERDOTAÇÃO: VALIDADE DE CRITÉRIO

RESUMO O estudo buscou investigar as evidências de validade de critério de um instrumento intitulado Triagem de Indicadores de Altas Habilidades/Superdotação (AH/S). A escala, respondida pelo professor, avalia o desenvolvimento do estudante em cinco áreas: capacidade intelectual geral, habilidades acadêmicas específicas, liderança, criatividade e talento artístico. A amostra foi composta por 568 participantes: 213 do grupo-controle e 355 do grupo-critério. Os resultados da análise de variância fatorial e do teste t de Student indicaram diferenças de médias significativas entre os grupos, confirmando o tipo de evidência de validade investigada. A regressão logística também foi conduzida visando identificar o quanto a pontuação em cada área específica da escala conseguiria prever a área de identificação do indivíduo com AH/S.

RESUMEN El estudio procuró investigar las evidencias de la validez de criterio de un instrumento llamado Identificación de Indicadores de Altas Habilidades/Superdotación. La escala, respondida por el profesor, evalúa el desarrollo del estudiante en cinco áreas: capacidad intelectual general, habilidades específicas para estudios, liderazgo, creatividad y talento artístico. La muestra fue compuesta por 568 participantes: 213 del grupo-control y 355 del grupo-criterio. Los resultados del análisis de varianza factorial y del Test t de Student indicaron diferencias significativas de promedios entre los grupos, confirmando las evidencias investigadas. La regresión logística también fue realizada, teniéndose el objetivo de identificar cuánto la puntuación en cada área específica de la escala conseguía prever el área de identificación del individuo con altas habilidades/superdotación.

ABSTRACT The study aimed to investigate evidence of criterion validity of an instrument named Screening of Indicators of High Skills/Giftedness. The scale, answered by the teacher, evaluates the student’s development in five areas: general intellectual ability, specific academic abilities, leadership, creativity and artistic talent. The sample consisted of 568 participants: 213 in the control group and 355 in the criterion group. The results of factorial variance analysis and the Student t-test indicated significant differences of the means between groups, confirming the evidence investigated. Logistic regression analysis was also conducted to identify how much the score in each specific area of the scale could predict the area high skills/giftedness identified for the individual.

ADOLESCENTE NO CONTEXTO DAS ALTAS HABILIDADES/SUPERDOTAÇÃO: AVALIAÇÃO PSICOPEDAGÓGICA

RESUMO Trata-se de estudo de caso, objetivando-se pôr à prova a suspeita de características de altas habilidades/superdotação (AH/SD) em um adolescente de 12 anos, do sexo masculino, realizando-se dez sessões de avaliação psicopedagógica. Após anamnese detalhada com a mãe e com o adolescente, foram empreendidos testes psicopedagógicos e um de eficiência intelectual, aplicado por uma psicóloga colaboradora, como forma de avaliação multirreferencial e multimétodos. O adolescente foi avaliado com bons recursos intelectuais; todavia, características de AH/SD foram vistas apenas pela mãe, e não pelos professores participantes. Acompanhamento assistido em atividades e oferecimento de enriquecimento curricular nas áreas de seu interesse (dentro ou fora da sala de aula) e no nível de seu desempenho foram prescritos.

RESUMEN Se trata de un estudio de caso, que tuvo el objetivo de poner a prueba la sospecha de características de altas habilidades/superdotación (AH/SD) en un adolescente de 12 años, del sexo masculino; se realizaron diez sesiones de evaluación psicopedagógica. Después de anamnesis detallada con la madre y el adolescente, se realizaron tests psicopedagógicos y uno de eficiencia intelectual, aplicado por una psicóloga colaboradora, como forma de evaluación multirreferencial y multimétodos. El adolescente fue evaluado como teniendo buenos recursos intelectuales; aun considerando esto, características de AH/SD fueron vistas solo por la madre y no por los profesores participantes. Se prescribió acompañamiento asistido en actividades y ofrecimiento de enriquecimiento del plan de estudios en las áreas de interés del adolescente (dentro o fuera del aula) y en el nivel de su desempeño.

ABSTRACT This is a case study aiming to test suspected characteristics of high ability/giftedness (HA/G) in a 12-year-old male adolescent, comprising ten psycho-pedagogical assessment sessions. After a detailed anamnesis with the mother and the adolescent, a collaborating psychologist applied psycho-pedagogical tests and one of intellectual efficiency as a form of multi-referential and multimethod assessment. The adolescent was evaluated as having good intellectual resources. However, HA/G characteristics were seen only by the mother, and not by the participating teachers. Assisted monitoring of activities and offering of curricular enrichment in the areas of interest (inside or outside the classroom) and at the level of his performance were prescribed.