Scielo RSS <![CDATA[Estudos em Avaliação Educacional]]> http://educa.fcc.org.br/rss.php?pid=0103-683120170003&lang=en vol. 28 num. 69 lang. en <![CDATA[SciELO Logo]]> http://educa.fcc.org.br/img/en/fbpelogp.gif http://educa.fcc.org.br <![CDATA[Editorial]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312017000300646&lng=en&nrm=iso&tlng=en <![CDATA[Do public university quotas lower the quality of entrants?]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312017000300652&lng=en&nrm=iso&tlng=en Resumo Este artigo utiliza os microdados do Exame Nacional do Ensino Médio (Enem) e do Censo da Educação Superior para, através de simulações sobre os efeitos das cotas, quantificar e qualificar estimativas do impacto causado pela política de cotas para acesso às universidades federais sobre a distribuição de notas do Enem de cotistas e não cotistas, as notas de corte e as médias de notas dos ingressantes. Os resultados mostram que a maior diversidade (de categoria administrativa do ensino médio, de renda e de raça) nas universidades federais, introduzida pelas cotas, não acarreta ingresso de alunos com notas significativamente menores quando comparado com o cenário sem cotas. Isso ocorre devido à existência de potenciais cotistas cujas notas se encontravam acima do último decil (décimo) de notas em número suficiente para preencher as vagas reservadas.<hr/>Resumen Este artículo utiliza los microdatos del Examen Nacional de la Enseñanza Media (Enem) y del Censo de Educación Superior para, a través de simulaciones sobre los efectos de las cuotas, cuantificar y calificar estimaciones del impacto causado por la política de cuotas para acceso a las universidades federales sobre la distribución de notas del Enem de cuotistas y no cuotistas, las notas de corte y los promedios de notas de los ingresantes. Los resultados muestran que la mayor diversidad (de categoría administrativa de la enseñanza media, de renta y de raza) en las universidades federales, introducida por las cuotas, no acarrea ingreso de alumnos con notas significativamente menores cuando es comparado con el escenario sin cuotas. Esto ocurre debido a la existencia de potenciales cuotistas cuyas notas se encontraban por encima del último decil (décimo) de billetes en número suficiente para llenar las vacantes reservadas.<hr/>Abstract This article uses microdata from the National High School Exam (Enem) and the Higher Education Census to make simulations of the effects of quotas, and quantifies and qualifies their estimated effects on the access of students to federal universities, including the distribution of Enem scores as well as the cutoff and average scores for quota and non-quota students. The results show that the greater diversity (in terms of public school, poor and minority students) in federal universities caused by the introduction of the quota system has not led to the admission of students with significantly lower scores when compared to the scenario without quotas. This is due to the existence of potential quota students whose scores are in the highest score decile in sufficient numbers to fill the reserved places. <![CDATA[Monitoring the school environment for physical education in elementary school]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312017000300686&lng=en&nrm=iso&tlng=en Resumo A Educação Física escolar contribui para o enriquecimento da experiência dos alunos na educação básica, viabilizando o seu acesso a um vasto universo cultural. Assim, para que seus conteúdos sejam explorados pelos professores e sua experiência seja apreendida de maneira positiva pelos alunos, é importante a existência de condições materiais e de infraestrutura, as quais convencionamos chamar ambiente escolar para a Educação Física. Destarte, a proposta deste trabalho consistiu na estruturação de um instrumento de coleta de informações para o monitoramento do ambiente escolar para o ensino e prática da Educação Física, tendo como referencial os conteúdos propostos nos Parâmetros Curriculares Nacionais. A metodologia de construção do instrumento contou com duas etapas: 1) procedimentos teóricos via revisão de literatura e sistematização teórica e sua operacionalização em itens do questionário; 2) submissão à análise de especialistas para validação semântica e teórica.<hr/>Resumen La Educación Física escolar contribuye para enriquecer la experiencia de los alumnos en la educación básica, viabilizando su acceso a un vasto universo cultural. De este modo, para que sus contenidos sean explorados por los profesores y su experiencia sea aprehendida de manera positiva por los alumnos, es importante que haya condiciones materiales y de infraestructura, que decidimos llamar de ambiente escolar para la Educación Física. Así, la propuesta de este trabajo consistió en la estructuración de un instrumento de recogida de informaciones para el monitoreo del ambiente escolar destinado a la enseñanza y práctica de la Educación Física, siendo su referente los contenidos propuestos en los Parámetros Curriculares Nacionales. La metodología de construcción del instrumento contó con dos etapas: 1) procedimientos teóricos vía revisión de literatura y sistematización teórica y su operacionalización en ítems del cuestionario; 2) sumisión al análisis de especialistas para su validación semántica y teórica.<hr/>Abstract School Physical education contributes to the enrichment of students’ experience in basic education, giving them access to a large cultural universe. Therefore, for teachers to exploit its content and students to benefit from the experience, the material conditions and infrastructure are important. We would conventionally call this the school environment for physical education. Thus, the purpose of this study consisted in developing an instrument for gathering information to monitor this school environment, for the teaching and practice of physical education. It uses the content proposed in the national curriculum parameters as a reference. The methodology for developing the instrument involved two steps: 1) theoretical procedures, from a literature review and a theoretical systematization and operationalization of items of the questionnaire; 2) submission to expert analysis for semantic and theoretical validation. <![CDATA[More is less? The impact of the experimental 6th grade project - SME/RJ]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312017000300718&lng=en&nrm=iso&tlng=en Resumo O objetivo deste estudo é avaliar o impacto de curto prazo do Projeto 6º Ano Experimental e os fatores que mediam esse impacto. Proposto pela Secretaria Municipal de Educação do Rio de Janeiro em 2011, sua principal característica é a ampliação para seis anos do primeiro ciclo do ensino fundamental, com a presença de um único professor- -regente lecionando as principais disciplinas. Para avaliar o projeto, foi utilizado o método de diferenças-em-diferenças com pré-pareamento por escore de propensão. Os resultados indicam melhora de 0,16 desvios-padrão para Matemática ao final do primeiro semestre do projeto, para as escolas que ingressaram no 6º Ano Experimental em 2014. Os principais mecanismos que explicam o aumento de desempenho são a melhora no clima em sala de aula, na autonomia pedagógica e na capacitação dos professores.<hr/>Resumen El objetivo de este estudio es evaluar el impacto de corto plazo del Proyecto 6º Año Experimental y los factores mediadores en dicho impacto. Propuesto por la Secretaría Municipal de Educación de Rio de Janeiro en 2011, su principal característica es la ampliación para seis años del primer ciclo de la educación fundamental, con la presencia de tan solo un profesor-regente impartiendo las principales asignaturas. Para evaluar el proyecto se utilizó el método de diferencias-en-diferencias con pre pareado por escore de propensión. Los resultados indican una mejora de 0,16 desviaciones estándar para Matemáticas a fines del primer semestre del proyecto, para las escuelas que ingresaron en el 6º Año Experimental en 2014. Los principales mecanismos que explican el aumento de desempeño son la mejora del clima en el aula, en la autonomía pedagógica y en la capacitación de los profesores.<hr/>Abstract The aim of this study is to assess the short-term impact of the sixth-grade experimental project and the factors that mediate this impact. The main feature of the project proposed by the Department of Municipal Education (SME) of Rio de Janeiro, in 2011, is its expansion up to the 6th grade the elementary education, with only one lead teacher to teach the main subjects. To evaluate the project, we used the differences-in-differences method with propensity scorematching. The results indicate an improvement of 0.16 standard deviations in mathematics at the end of the first half of the project, for the schools that entered in the 6th Grade Experimental, in 2014. The main mechanisms that explain performance improvement are the improved climate in the classroom, in pedagogical autonomy and in the training of teachers. <![CDATA[Preliminary course concept: unique concept for a multiple educational reality]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312017000300748&lng=en&nrm=iso&tlng=en Resumo Investigou-se o Sistema Nacional de Avaliação da Educação Superior e seu principal indicador de regulação, o Conceito Preliminar de Curso. Utilizou-se um ciclo trienal do Exame Nacional dos Estudantes (Enade), englobando 55 áreas de graduação. As relações entre os insumos e a nota do concluinte foram examinadas por regressão linear múltipla, retendose aquelas que apresentaram correlações semiparciais significativas a 5%. O resultado mostrou ausência de relação em 11 das 55 áreas. Nas demais, os insumos com maior frequência de correlações foram a nota da infraestrutura e dos doutores. A frequência de correlações foi maior para as Universidades, apontando que o indicador tem mais propriedade para estas. Os resultados demonstram que o indicador não exibe uma relação entre input e output independente das áreas e instituições, de modo que não pode ser utilizado como indicador de qualidade sem uma avaliação qualitativa do contexto da instituição e do curso.<hr/>Resumen Se investigó el Sistema Nacional de Evaluación de la Educación Superior y su principal indicador de regulación, el Concepto Preliminar de Curso. Se utilizó un ciclo trienal del Exame Nacional dos Estudantes (Enade), que engloba a 55 áreas de graduación. Las relaciones entre los insumos y la nota del concluyente fueron examinadas por regresión lineal múltiple, reteniéndose aquellas que presentaron correlaciones semiparciales significativas a un 5%. El resultado mostró ausencia de relación en 11 de las 55 áreas. En las demás, los insumos con mayor frecuencia de correlaciones fueron la nota de la infraestructura y de los doctores. La frecuencia de correlaciones fue mayor para las universidades, señalando que el indicador es más adecuado a estas. Los resultados demuestran que el indicador no exhibe una relación independiente entre input y output de las áreas e instituciones, de modo que no se lo puede utilizar como indicador de calidad sin una evaluación cualitativa del contexto de la institución y del curso.<hr/>Abstract This article investigated the National Evaluation System for Higher Education and its primary regulation indicator, the Preliminary Course Concept. A three-year cycle of the Exame Nacional dos Estudantes (Enade), encompassing 55 areas of undergraduate education, was used. The relationship between the inputs and the graduates’ grades was analyzed using multiple linear regression, retaining those grades which presented semi-partial correlations, significant at 5%. The results showed a lack of relationship in 11 of the 55 areas. In the others, the inputs with higher frequency of correlations were the grades for infrastructure and doctors. The correlation frequency was higher for universities, demonstrating that the indicator is more appropriate for these. The results demonstrate that the indicator does not show a relationship between input and output independent of the areas and institutions. Therefore, it cannot be used as an indicator of quality without a qualitative assessment of the context of the institution and the course. <![CDATA[Quality of teaching in higher education: meanings on the evaluation process]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312017000300774&lng=en&nrm=iso&tlng=en RESUMO A prática de avaliar o ensino docente é largamente utilizada na educação superior sob o argumento de assegurar e aperfeiçoar a qualidade da formação, entretanto, está permeada por uma série de tensões e conflitos. Com objetivo de apreender os sentidos atribuídos à avaliação do ensino, estudantes e professores de uma universidade pública foram entrevistados e, para enquadramento das entrevistas, o Manual da Qualidade da universidade foi analisado. Estudantes e professores são favoráveis à avaliação do ensino, mas ressaltam a pouca difusão dos resultados e a fraca utilização do feedback recolhido. Os professores requerem estratégias de apoio institucional. A universidade tem um complexo sistema de qualidade centrado na coleta da informação, carecendo de medidas de apoio e promoção do ensino. Identificam-se como desafios a efetiva implementação da aprendizagem centrada no estudante e a capacidade de reunir evidências que a demonstrem, tomando as práticas de ensino-aprendizagem.<hr/>RESUMEN La práctica de evaluar la enseñanza es ampliamente utilizada en la educación superior para asegurar y mejorar la calidad de la formación, sin embargo, está impregnada por una serie de tensiones y conflictos. Para aprehender los significados atribuidos a la evaluación de la enseñanza, se entrevistó a estudiantes y profesores de una universidad pública. Como marco de las entrevistas se analizó el Manual de Calidad de la universidad. Estudiantes y profesores son favorables a la evaluación de la enseñanza, pero subrayan la poca difusión de los resultados y el poco uso práctico del feedback que se obtiene. Los docentes requieren estrategias de apoyo institucional. La universidad posee un complejo sistema de calidad centrado en la recogida de la información, y carece de implementación de medidas de apoyo y promoción de la enseñanza. Se identifican como desafíos la efectiva implantación del aprendizaje centrado en el estudiante y la capacidad de reunir evidencias que lo demuestren, por medio de las prácticas de enseñanza-aprendizaje.<hr/>ABSTRACT Teaching evaluation is widely used in higher education under the argument of ensuring and improving the quality of student experience; however, it is embedded in a series of tensions and conflicts. With the objective of understanding the meanings attributed to teaching evaluation, students and professors of a public university were interviewed. In addition, the Manual of the Quality of the university for framing such interviews was analyzed. Students and professors are in favor of teaching evaluation, but they emphasize the lack of publicity given to the results, and the weak practical use of the feedback collected. Professors require institutional support. The university has a complex system of quality centered around the collection of information, lacking both support measures and the promotion of teaching. The effective application of student-centered learning, and the ability to gather evidence to demonstrate it using teaching-learning practices, are identified as the challenges. <![CDATA[Educatio nal indicators and school accounta bility: a st udy about the “Prêmio Escola Nota Dez”]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312017000300804&lng=en&nrm=iso&tlng=en Resumo O artigo focaliza o impacto do uso do Indicador de Desempenho Escolar - Alfabetização (IDE-Alfa) pela política “Prêmio Escola Nota Dez” do estado do Ceará, empregado para estabelecer pontos de corte para premiação e apoio financeiro para escolas públicas. Utilizam-se os métodos de Propensity Score Matching e regressões múltiplas para observar o efeito da política sobre desempenho, equidade e taxa de participação dos alunos na avaliação externa da alfabetização das escolas premiadas e apoiadas de 2009 a 2011, com base nos resultados do Índice de Desempenho Escolar no 2º ano do Ensino Fundamental (IDE-Alfa) de 2008 a 2010. Os resultados das análises sugerem um efeito positivo no desempenho, equidade e taxa de participação das escolas premiadas e no desempenho das escolas com características similares às premiadas. Para as escolas apoiadas, foram observados efeitos significativos positivos somente para a taxa de participação na avaliação externa do estado do Ceará.<hr/>Resumen El artículo enfoca el impacto del uso del Indicador de Desempeño Escolar - Alfabetización (IDE-Alfa) por la política “Prêmio Escola Nota Dez” del estado de Ceará, utilizado para establecer puntos de corte para premiación y apoyo financiero a escuelas públicas. Se emplean los métodos de Propensity Score Matching y regresiones múltiples para observar el efecto de la política sobre desempeño, equidad e índice de participación de los alumnos en la evaluación externa de la alfabetización de las escuelas premiadas y apoyadas del 2009 al 2011, en base a los resultados del Índice de Desempeño Escolar en el 2º año de Educación Fundamental (IDE-Alfa) del 2008 al 2010. Los resultados de los análisis sugieren un efecto positivo en el desempeño, equidad e índice de participación de las escuelas premiadas y en el desempeño de las escuelas con características similares a las premiadas. Para las escuelas apoyadas, se observaron efectos significativos positivos tan solo para el índice de participación en la evaluación externa del estado de Ceará.<hr/>Abstract The paper focuses on the impact of the use of the School Performance Index - Literacy (IDE-Alfa) by the “Prêmio Escola Nota Dez”, a policy of the State of Ceará, that establishes cut-off points to award and to allocate financial support to public schools. It uses the Propensity Score Matching and multiple regressions methods to observe the effects of the reward/financial support on school performance, equity, and student participation rate on the external assessment of schools awarded and supported from 2009 to 2011, based on schools´ Index of school Performance results (IDE-Alfa) from 2008 to 2010. The results suggest a positive effect on the performance, equity and participation rate of the awarded schools and a smaller, but also positive, effect on performance of the schools with similar characteristics to the awarded ones. The results show a statistically significant impact only on the participation rate of the schools that received financial support. <![CDATA[PAIC and equity in Elementary Schools in Ceará]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312017000300848&lng=en&nrm=iso&tlng=en RESUMO O objetivo deste artigo é verificar se o Programa Alfabetização na Idade Certa (Paic) contribuiu para a melhoria da equidade nas redes municipais de ensino do estado do Ceará. Conceituou-se equidade como uma situação em que todos os alunos, independentemente de sua situação de origem, atingem níveis apropriados de resultado. Como medida de resultado, usou-se a proficiência dos alunos em Língua Portuguesa (LP) na Prova Brasil. Avaliou-se o impacto do Paic sobre a probabilidade de um aluno atingir um desempenho adequado pelo método de diferenças-em-diferenças. Concluiu-se que o Paic melhorou a equidade na coorte analisada, pois aumentou a proporção de alunos que atingem a proficiência apropriada em LP, em especial em escolas cuja maioria dos alunos é pobre. A análise da política revelou que o Paic apresenta componentes alinhados com princípios de justiça que se ajustam ao objetivo de equidade na escola de educação básica.<hr/>RESUMEN El propósito de este artículo es verificar si el Programa de Alfabetización en la Edad Cierta (Paic) contribuyó para mejorar la equidad en las redes municipales de enseñanza del estado de Ceará. La equidad se conceptualizó como una situación en la que todos los estudiantes, independientemente de su situación de origen, alcanzan niveles adecuados de resultado. Para medir el resultado se utilizó la proficiencia de los alumnos en Lengua Portuguesa (LP) en la Prueba Brasil. Se evaluó el impacto del Paic sobre la probabilidad de que un estudiante lograra un desempeño adecuado por el método de diferencias en diferencias. La conclusión es que hubo mejora de la equidad debido al Paic en la cohorte analizada, ya que aumentó la proporción de alumnos que alcanzaron el nivel de competencia esperado en LP, sobre todo en escuelas que poseen una mayoria de estudiantes pobres. El análisis de la política reveló que el Paic presenta componentes que están en línea con principios de justicia que se ajustan al objetivo de equidad en la escuela de educación básica.<hr/>ABSTRACT The aim of this paper is to verify if the Programa Alfabetização na Idade Certa [Literacy in the Right Age Program] (Paic) has contributed to improving the equity in Ceará’s municipal schools. Equity is defined as a situation in which all students, regardless of their social origin, achieve appropriate results. The evaluation of our results is a pedagogical interpretation that indicates adequate proficiency in the Portuguese language of students in Prova Brasil. We investigated the impact of Paic’s on the probability of students achieving satisfactory performance in Portuguese using the Differences-in-Differences (DID) method. The equity concept, operationalized through DID, led us to conclude that the program improved equity in the analyzed cohort because it increased the proportion of students that reached the adequate level of Portuguese proficiency, especially in schools where the majority of students are poor. The analysis revealed that Paic presented elements aligned with principles of justice which adjust to the objective of equity in elementary school. <![CDATA[Psychosocial indicators: a wide view of evaluation processes]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312017000300874&lng=en&nrm=iso&tlng=en Resumo Questões voltadas para o encadeamento de relações em que a pertinência dos indicadores ganha sentido e legitimação - tais como as condições sociais de produção, difusão, reprodução e transformação - foram abordadas com vistas a introduzir uma discussão teórico- -metodológica que abarque a construção de indicadores psicossociais. Ao adotar a teoria das representações sociais, o estudo identificou que sua fecundidade para o desenvolvimento de avaliações educacionais ainda é insuficientemente explorada, apesar de o fenômeno das representações sociais conter o ato de avaliar. Nesse sentido, a proposição de adoção de um paradigma psicossocial para a elaboração de indicadores avaliativos no âmbito educacional foi entendida a partir de um novo ethos, bem como de uma renovada postura epistêmica, sem desconsiderar o rigor e a seriedade indispensáveis às pesquisas avaliativas.<hr/>Resumen Cuestiones relacionadas con el encadenamiento de relaciones en que la pertinencia de los indicadores gana sentido y legitimación - como las condiciones sociales de producción, difusión, reproducción y transformación - fueron abordadas con miras a introducir una discusión teórico-metodológica a fin de abarcar la construcción de indicadores psicosociales. Al adoptar la teoría de las representaciones sociales, el estudio identificó que su fecundidad para el desarrollo de evaluaciones educacionales todavía es insuficientemente explotada, a pesar de que el fenómeno de las representaciones sociales contenga el acto de evaluar. En este sentido, la proposición de adopción de un paradigma psicosocial para elaborar los indicadores evaluativos en el ámbito educacional fue entendida desde un nuevo ethos, así como la adopción de una postura epistémica, sin desconsiderar el rigor y la seriedad indispensables a las investigaciones evaluativas.<hr/>Abstract Questions associated with the binding of relations, in which the pertinence of indicators gain meaning and legitimization such as social conditions of production, promotion, reproduction and transformation, were raised in order to present a theoretic-methodological discussion about the construction of psychosocial indicators. Adopting the theory of social representations, the study identified that its contribution to the development of educational evaluation is insufficiently explored, even if the phenomenon of social representations is suitable to assess it. In this respect, the proposal to adopt a psychosocial paradigm with the aim of elaborating evaluation indicators in the educational context was understood from a new ethos, as well as from a renewed epistemic attitude, without ignoring the necessary rigor and seriousness for the studies. <![CDATA[A multilevel analysis of students’ transition from technical courses to higher education]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312017000300896&lng=en&nrm=iso&tlng=en Resumo Este artigo analisa fatores do estudante e do contexto escolar associados à transição da formação técnica de nível médio para o ensino superior. Um survey foi conduzido com 1.570 alunos que concluíram ou abandonaram cursos técnicos entre 2006 e 2010, abrangendo 37 instituições da Rede Federal de Educação Profissional de Minas Gerais. Os dados foram analisados por meio de um modelo estatístico hierárquico, que abrangeu três níveis: estudantes, cursos técnicos e instituições de educação profissional. Os resultados apontam que a transição para o ensino superior está associada a fatores dos estudantes (pessoais, socioeconômicos, profissionais e acadêmicos), dos cursos e das instituições técnicas (curso médio concluído na mesma instituição de educação profissional e localização da instituição). Os resultados contribuem para a reflexão sobre estratégias e políticas de melhoria da qualidade do ensino técnico e do acesso à educação superior.<hr/>Resumen Este artículo analiza factores relativos al estudiante y al contexto escolar asociados a la transición de la formación técnica de nivel medio a la educación superior. Se realizó una encuesta con 1.570 alumnos que concluyeron o abandonaron cursos técnicos entre el 2006 y el 2010, abarcando a 37 instituciones de la Red Federal de Educación Profesional de Minas Gerais. Los datos se analizaron por medio de un modelo estadístico jerárquico, que comprendió tres niveles: estudiantes, cursos técnicos e instituciones de educación profesional. Los resultados señalan que la transición a la educación superior está asociada a factores que afectan a los estudiantes (personales, socioeconómicos, profesionales y académicos), a los cursos y a las instituciones técnicas (curso medio concluido en la misma institución de educación profesional y localización de la institución). Los resultados contribuyen para la reflexión sobre estrategias y políticas de mejora de la calidad de la enseñanza técnica y del acceso a la educación superior.<hr/>Abstract This article examines factors related to students and the school context associated with the transition from secondary technical schools to higher education. A survey was conducted with 1,570 students who completed or abandoned technical courses between 2006 and 2010, in 37 Federal Institutions of Vocational Education of Minas Gerais. Data were analyzed by means of a hierarchical statistical model comprising three levels: students, technical courses and vocational education institutions. The results show that the transition to higher education is linked to students’ personal, socioeconomic, professional and academic factors, as well as to courses and technical institutions (secondary school completed at the same institution of vocational education, and location of institution). The results contribute to the reflection on strategies and policies to improve the quality of technical education and access to higher education. <![CDATA[Knowledge and use of educational indicators in the Municipality of Rio de Janeiro]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312017000300926&lng=en&nrm=iso&tlng=en RESUMO O objetivo do artigo é descrever e analisar os resultados de uma pesquisa em que buscávamos saber se havia relação entre o conhecimento técnico sobre as avaliações em larga escala e o uso efetivo dos indicadores por elas produzidos. Articulamos abordagem qualitativa - grupos focais e observação sistemática no âmbito de um curso de formação para gestores escolares - e quantitativa - web survey realizado com diretores, vice-diretores e coordenadores pedagógicos de escolas da rede municipal de educação do Rio de Janeiro. Nosso principal argumento é que a ampliação do conhecimento sobre os sistemas de avaliação em larga escala tende a reduzir as resistências e permitir que as equipes de gestão escolar incorporem os dados como orientadores de suas ações práticas.<hr/>RESUMEN El objetivo del artículo es describir y analizar los resultados de una investigación en la que intentábamos saber si había una relación entre el conocimiento técnico sobre las evaluaciones a gran escala y el uso efectivo de los indicadores que producen. Articulamos un abordaje cualitativo - grupos focales y observación sistemática en el marco de un curso de formación para gestores escolares - y cuantitativo - web survey realizado con directores, vicedirectores y coordinadores pedagógicos de escuelas de la red municipal de educación de Rio de Janeiro. Nuestro principal argumento es que la ampliación del conocimiento sobre los sistemas de evaluación a gran escala tiende a reducir las resistencias y permitir que los equipos de gestión escolar incorporen los datos como orientadores de sus acciones prácticas.<hr/>ABSTRACT This article aims to describe and analyze the results of a study that attempted to determine whether there was a relationship between technical knowledge on large-scale assessments and the effective use of indicators produced by them. We carried out a qualitative approach - focus groups and systematic observation in the context of a training course for school managers -, as well as a quantitative approach - a web survey conducted with principals, co-principals and pedagogical coordinators of municipal schools in Rio de Janeiro. Our main argument is that the expansion of knowledge on large-scale assessment systems tends to reduce resistance and allows the school management teams to use the data to guide their practical actions. <![CDATA[Evaluation of the organization of municipal education plans related to the PNE 2014-2024]]> http://educa.fcc.org.br/scielo.php?script=sci_arttext&pid=S0103-68312017000300970&lng=en&nrm=iso&tlng=en RESUMO O presente artigo se propõe a avaliar a organização interna dos Planos Municipais de Educação (PMEs) da Região Metropolitana do Rio de Janeiro, de modo a verificar sua consonância em relação ao Plano Nacional de Educação (PNE) 2014-2024. Elege como dimensões de análise a normatização jurídica, o diagnóstico da situação educacional e a definição das metas e estratégias. Constata que dos 19 PMEs analisados, apenas nove não expõem maiores problemas em relação à sua estrutura e organização, enquanto que os outros dez apresentam adversidades significativas concernentes a uma ou mais dimensões examinadas, sendo que, desses, três exibem importantes desalinhamentos em relação a esse novo PNE. Em contrapartida, destaca os avanços expostos por esses planos, também salientando a pertinência da continuidade e aprofundamento de suas avaliações, indicando outras dimensões analíticas possíveis de serem contempladas.<hr/>RESUMEN El presente artículo tiene el objetivo de evaluar la organización interna de los Planes Municipales de Educación (PMEs) de la región metropolitana de Río de Janeiro, a fin de comprobar si están conformes con el Plan Nacional de Educación (PNE) 2014-2024. Elige como dimensiones de análisis la regulación jurídica, el diagnóstico de la situación educativa y la definición de las metas y estrategias. Constata que de los 19 PMEs analizados, solamente nueve no exponen problemas importantes en lo que concierne a su estructura y organización, mientras que los otros diez presentan adversidades significativas relativas a una o más dimensiones examinadas, y, de éstos, tres exponen importantes desajustes en relación al nuevo PNE. En contrapartida, destaca los avances expuestos por estos planes, enfatizando también la importancia de la continuidad y la profundización de sus evaluaciones, indicando otras dimensiones analíticas a considerar.<hr/>ABSTRACT The present article aims to evaluate the internal organization of Municipal Education Plans (PMEs) of the Metropolitan Region of Rio de Janeiro, in order to check its alignment with the National Education Plan (PNE) 2014-2024. The legal norms as well as the diagnosis of the education situation and the definition of the goals and strategies are used as instruments of analysis. It was observed that, of the 19 PMEs analyzed, only nine do not present major problems in relation to their structure and organization, while the other ten have significant problems related to one or more dimensions examined and, of these, three present important misalignments relative to this new PNE. On the other hand, the advances made by these plans are emphasized, also stressing the importance of continuity and deepening of their evaluations, indicating other analytical dimensions to be considered.