Estudos em Avaliação Educacional

ASPECTOS DA PROFISSÃO DOCENTE NO BRASIL: ANÁLISES EXPLORATÓRIAS DO PISA 2015

ABSTRACT This paper analyzes the association between different variables of the teaching profession: professional affective engagement, job satisfaction, interactions with peers and school management, perceptions about working conditions and the desire to become a teacher. To that end, we use the answers of Portuguese (N = 1,346) and Mathematics (N = 816) teachers to the teacher questionnaire administered by the Program for International Student Assessment (Pisa 2015). The study reveals that interactions in school and teachers’ positive perception about the career are very important for job satisfaction and professional engagement. Results contribute to the discussion process about teacher recognition policies.

RESUMEN El presente artículo analiza la asociación existente entre distintas variables de la profesión docente: el compromiso profesional afectivo de los docentes, la satisfacción en el trabajo, las interacciones con colegas y dirección de la escuela, la percepción sobre las condiciones laborales y el deseo de convertirse en profesor. Para ello, se utilizan las respuestas de los docentes de Portugués (N=1.346) y de Matemáticas (N= 816) al cuestionario del profesor aplicado por el Programa Internacional de Avaliação de Estudantes (Pisa 2015). El estudio revela cómo son importantes las interacciones establecidas en la escuela y la percepción positiva de los docentes en relación a la carrera para la satisfacción laboral y el compromiso profesional. Los resultados contribuyen para el proceso de discusión sobre las políticas de valorización del docente.

RESUMO O presente artigo analisa a associação existente entre diferentes variáveis da profissão docente: o engajamento profissional afetivo dos docentes, a satisfação no trabalho, as interações com colegas e direção da escola, a percepção sobre as condições de trabalho e o desejo de tornar-se professor. Para isso, utilizam-se as respostas dos docentes de Português (N = 1.346) e de Matemática (N = 816) ao questionário do professor aplicado pelo Programa Internacional de Avaliação de Estudantes (Pisa 2015). O estudo revela quão importantes são as interações estabelecidas na escola e a percepção positiva dos docentes em relação à carreira para a satisfação no trabalho e o engajamento profissional. Os resultados contribuem para o processo de discussão sobre as políticas de valorização do docente.

A LITERATURA EM PROVAS E EXAMES: VESTIBULAR DA UFPE E ENEM

RESUMO O objetivo deste artigo é analisar as provas de literatura do Exame Nacional do Ensino Médio (Enem) e do vestibular da Universidade Federal de Pernambuco (UFPE) para averiguar se ambas estão em consonância com o princípio teórico-metodológico do letramento literário. Realizou-se uma pesquisa quanti-qualitativa, descritiva e interpretativa, mediante análise de um corpus formado pelas provas de literatura da UFPE e do Enem, aplicadas, respectivamente, em dezembro e outubro de 2013. Os resultados indicaram que os exames são condizentes com os seus documentos normatizadores; que a prova de literatura do Enem mais se aproxima da ideia de letramento literário e que entre elas há mais diferenças: a prova de literatura da UFPE é mais conteudista e valora mais o cânone do que a prova do Enem, que é mais construtivista e cognitivista.

RESUMEN El objetivo de este artículo es analizar las pruebas de literatura del Exame Nacional do Ensino Médio (Enem) y del examen de ingreso de la Universidade Federal de Pernambuco (UFPE) para averiguar si ambas están en consonancia con el principio teórico-metodológico de cultura literaria. Se realizó un estudio cuanti-cualitativo, descriptivo e interpretativo, mediante análisis de un corpus formado por la prueba de literatura de la UFPE y del Enem aplicadas, respectivamente, en diciembre y octubre de 2013. Los resultados indicaron que los exámenes resultan acordes con sus documentos reguladores; que la prueba de literatura del Enem se acerca más a la idea de cultura literaria y que entre ellas hay más diferencias: la prueba de literatura de la UFPE está más relacionada con el contenido y valora más el canon que la prueba del Enem, que es más constructivista y cognitivista.

ABSTRACT The aim of this article is to analyze the literature exams of the National Secondary School Exam (ENEM) and the entrance exam of the Federal University of Pernambuco (UFPE) to determine if both are consistent with the theoretical and methodological principle of literary literacy. A quantitative-qualitative, descriptive and interpretative study was conducted by analyzing a corpus formed by the UFPE and ENEM literature tests applied in December and October 2013, respectively. The results indicated that the exams are consistent with their standardizing documents; that the ENEM literature test is closer to the idea of literary literacy. Also, that there are other differences between them: the UFPE literature test is more content-oriented and gives more weight to the standard texts than the ENEM test, which is more constructivist and cognitivist.

DIMENSIONALIDADE E ESCALA DE PROFICIÊNCIA EM UMA PROVA INTERDISCIPLINAR

ABSTRACT This paper analyzes the dimensionality of the general knowledge test for admission into the Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp) and consolidates the construction of a scale in a test that includes items associated with the various subjects forming the high school curriculum in the state of São Paulo. Although the test is an interdisciplinary one, this study shows the feasibility of adopting a one-dimensional measure through item response theory. In addition, we used full information factor analysis to map the skills and competencies measured by the test. The main factors found were logical reasoning, proficiency in English and knowledge of Humanities.

RESUMEN En este trabajo se presenta un análisis de la dimensionalidad de la prueba de conocimientos generales del examen de ingreso a la Universidad Estadual Paulista “Júlio de Mesquita Filho” (Unesp) y se consolida la construcción de una escala en un test que incluye ítems asociados a las diferentes disciplinas que forman parte del currículo de la educación secundaria en el estado de São Paulo. Aunque la prueba es interdisciplinaria, este estudio demuestra la viabilidad de adoptar una medida unidimensional por la Teoría de Respuesta al Ítem. Además, por medio de un análisis factorial de información completa fue posible conocer las habilidades y competencias que la prueba mide. Los factores que más se destacaron fueron el razonamiento lógico, el dominio del idioma inglés y el conocimiento de Humanidades.

RESUMO O artigo apresenta uma análise da dimensionalidade da prova de conhecimentos gerais do vestibular da Universidade Estadual Paulista “Júlio de Mesquita Filho” (Unesp) e consolida a construção de uma escala em uma prova que inclui itens associados às diferentes disciplinas integrantes do currículo do ensino médio no Estado de São Paulo. Embora a prova seja interdisciplinar, esse estudo mostra a viabilidade de se adotar uma medida unidimensional pela teoria da resposta ao item. Além disso, por meio de uma análise fatorial de informação completa, foi possível identificar quais habilidades e competências a prova está medindo. Os fatores que mais se destacaram foram o raciocínio lógico, a proficiência em Língua Inglesa e o conhecimento em Humanidades.

MINERAÇÃO DE DADOS ORIENTADA PELO DOMÍNIO EDUCACIONAL: UMA PROVA DE CONCEITO

RESUMO Este trabalho propõe uma metodologia para identificação de padrões relacionados ao aprendizado de matemática e às características do ambiente escolar, a qual foi aplicada aos dados da Prova Brasil 2013, com ênfase nos estudantes do 9º ano do ensino fundamental do estado do Rio de Janeiro. A abordagem, apoiada pelo conhecimento de especialistas em educação, consistiu na proposição de um processo de redução de dimensionalidade integrado à mineração de dados, sendo sua avaliação efetuada por intermédio de medidas técnicas em conjunto com medidas de interesse do domínio educacional. Foi possível identificar ações, bem como analisar sua viabilidade para solução das questões educacionais. A metodologia, orientada pela área de aplicação e cuja avaliação não se restringiu ao uso de métricas técnicas da mineração de dados, pode servir como referência - uma prova de conceito - a outras pesquisas em ações e políticas educacionais.

RESUMEN Este trabajo tiene el objetivo de proponer una metodología para identificar patrones relacionados con el aprendizaje de matemáticas y con las caracteristicas del ambiente escolar, que fue aplicada a los datos de la Prova Brasil 2013, específicamente a los alumnos del 9º año de la educación fundamental del estado de Rio de Janeiro. El enfoque, apoyado por el conocimiento de especialistas en el área de educación, consistió en proponer un proceso de reducción de dimensionalidad integrado a la minería de datos, y su evaluación fue efectuada por medio de medidas técnicas en conjunto con medidas de interés del dominio educativo. Este abordaje permitió identificar acciones y analizar su viabilidad para solucionar algunos problemas de la educación básica. La metodología, orientada por el área de aplicación y cuya evaluación no se restringió al uso de métricas técnicas de la mineria de datos, puede servir de referencia - una prueba de concepto - a otras investigaciones en acciones y políticas educativas.

ABSTRACT This paper aims to propose a methodology for identifying patterns related to learning mathematics and the characteristics of the school environment. It was applied to the data of the Prova Brasil 2013, focusing on students in their 9 th year of education, in the state of Rio de Janeiro. The approach, supported by education experts, consists of proposing a dimensionality reduction process integrated to data mining. Its evaluation was conducted using technical measures together with measures of interest to the educational domain. This approach made it possible to identify actions, as well as to analyze their viability, to solve educational issues. The methodology, guided by the area of application and the evaluation of which is not restricted to the use of technical metrics of data mining, can serve as a reference - a proof of concept - for other studies of educational actions and policies.

A POLÍTICA PAULISTANA DE EJA: TERRITÓRIOS E DESIGUALDADES

RESUMO O artigo realiza um diagnóstico dos níveis de alfabetização e escolaridade da população jovem e adulta paulistana, analisa a evolução da cobertura escolar nessa modalidade educativa e faz recomendações para a política educacional do município de São Paulo. Por meio de levantamento de dados referentes às matrículas, evasão e desempenho dos estudantes jovens e adultos na rede municipal no período de 2014 a 2016, além dos dados sobre analfabetismo na cidade, verifica-se que pequena parte da demanda é atendida. Embora exista uma positiva diversidade de formas de atendimento, há grande concentração em um único modelo, o que faz com que não se consiga, efetivamente, atrair a diversidade de sujeitos presentes nas diferentes regiões da cidade.

RESUMEN El artículo realiza un diagnóstico de los niveles de alfabetización y escolaridad de la población joven y adulta paulistana (nacida en la capital del estado de São Paulo), analiza la evolución de la cobertura escolar en dicha modalidad educativa y efectúa recomendaciones para la política educativa del municipio de São Paulo. Por intermedio de un levantamiento de datos relativos a las matrículas, la deserción y el desempeño de los estudiantes jóvenes y adultos en la red municipal en el periodo de 2014 a 2016, además de los datos sobre analfabetismo en la ciudad, se verifica que se atiende tan solo a una pequeña parte de la demanda. Aunque hay una positiva diversidad de formas de atención, también hay una gran concentración en un solo modelo, lo que hace que efectivamente no se logre atraer la diversidad de sujetos presentes en las distintas regiones de la ciudad.

ABSTRACT The article assesses the literacy and education levels of the youth and adult population of the city of São Paulo, it also analyses the evolution of school coverage regarding this educational mode and makes recommendations for the city’s educational policy. The data collection related to registration, dropout rates and performance of youth and adult students in the municipal network from 2014 to 2016, in addition to the data on illiteracy in the city, show that only a small part of the demand is met. Although there is a positive variety of forms of service, there is a large concentration in a single model. This means that we cannot effectively attract the diversity of subjects of the different regions of the city.

DISTORÇÃO IDADE-SÉRIE DE ESTUDANTES PAULISTAS COM E SEM NECESSIDADES EDUCACIONAIS ESPECIAIS

RESUMO O estudo visou a analisar a distorção idade-série de estudantes paulistas da educação básica, comparando-se aqueles designados como público-alvo da educação especial (PAEE) em relação aos demais. Os dados foram extraídos do Censo Escolar, com amostra segmentada de estudantes de 48 cidades paulistas, no período histórico de 2008 a 2014, considerando-se o ano de nascimento e a série do estudante. Os resultados evidenciaram, em relação ao PAEE, entrada tardia na educação infantil, proporção muito mais elevada de distorção idade-série concentrada já nos anos iniciais do ensino fundamental, e falta de evolução nesses indicadores ao longo da série histórica dos sete primeiros anos de vigência da política de inclusão escolar. Conclui-se que é preciso avançar para que, mais do que uma carteira em uma classe comum, o país assegure de fato o direito à educação para o público-alvo de educação especial e torne suas escolas mais inclusivas.

RESUMEN El estudio tuvo el propósito de analizar la distorsión edad-año escolar de estudiantes de São Paulo de educación básica, comparando los designados como público-objetivo de la educación especial (PAEE) a los demás. Los datos se obtuvieron en el Censo Escolar, con una muestra segmentada de alumnos de 48 ciudades de São Paulo, en el periodo histórico de 2008 a 2014, considerándose el año de nacimiento y el año escolar del estudiante. Los resultados pusieron de manifiesto en relación ao PAEE un ingreso tardío en educación infantil, proporción mucho más elevada de distorsión edad-año escolar concentrada ya en los primeros años de educación fundamental, y falta de evolución en estos indicadores a lo largo de la serie histórica de los siete primeros años de vigencia de la política de inclusión escolar. Se concluye que hay que avanzar para que, más que un asiento en una clase común, el país con efecto asegure el derecho a la educación al público-objetivo de educación especial y haga que sus escuelas sean más inclusivas.

ABSTRACT This study aimed to analyze the age-grade distortion of basic education students from the state of São Paulo, comparing the target population of special education (PAEE) to the others. The data were collected from the School Census, with a quota sample of students from 48 cities in São Paulo, in the historical period from 2008 to 2014, considering the student’s birth year and grade. In relation to the PAEE, the results showed a late entry into early childhood education, a much higher proportion of age-grade distortion concentrated already in the initial years of basic education, and a lack of evolution in these indicators along the historical series of the first seven years of the school inclusion policy. It can be concluded that there is a need to move forward so that, more than simply providing a desk in a regular classroom, the country can effectively ensure the right to education for the target population of special education and make its schools more inclusive.

APONTAMENTOS PARA UMA AVALIAÇÃO DE CURRÍCULOS NO BRASIL: A BNCC EM QUESTÃO

RESUMO A recente publicação da Base Nacional Comum Curricular (BNCC), no contexto brasileiro, adquiriu intensa visibilidade pública e, por variadas abordagens, tornou-se alvo privilegiado dos estudos acadêmicos acerca da implementação das políticas curriculares em nosso país. Este artigo busca identificar alguns elementos que podem vir a guiar um processo de avaliação dessa política curricular segundo, por um lado, a aposta presente na BNCC e, por outro, o panorama de críticas delineado na produção acadêmica. Para isso, a análise partirá do reconhecimento e discussão dos conceitos de qualidade da educação e competência mobilizados no documento e em materiais utilizados para a sua divulgação, e da leitura de artigos produzidos sobre o tema. Dessas ponderações são destacadas questões para a avaliação do processo de transformação dessas promessas em currículo real.

RESUMEN La reciente publicación de la Base Nacional Comum Curricular (BNCC) en el contexto de Brasil, adquirió una intensa visibilidad pública y, por medio de varios enfoques, se convirtió en objeto privilegiado de los estudios académicos acerca de la implementación de las políticas curriculares en nuestro país. Este artículo intenta identificar algunos elementos que pueden guiar un proceso de evaluación de tal política curricular de acuerdo, por un lado, a la apuesta presente en la BNCC y, por otro, el panorama de críticas delineado en la producción académica. Para ello, el análisis partirá del reconocimiento y discusión de los conceptos de calidad de la educación y competencia movilizados en el documento y en materiales utilizados para su divulgación, y de la lectura de artículos producidos sobre el tema. De dichas ponderaciones se destacan puntos para la evaluación del proceso de transformación de tales promesas en currículo real.

ABSTRACT The recent publication of the National Common Curricular Base (Base Nacional Comum Curricular) (BNCC), in the Brazilian context, has gained intense public visibility and, through various approaches, has become a prime target of academic studies on the implementation of curricular policies in our country. The present article seeks to identify some elements that may guide an evaluation process of this curricular policy according to, on the one hand, the belief in the BNCC and, on the other hand, the panorama of criticism outlined in the academic output. In order to do this, an analysis based on the recognition and discussion of the concepts of quality of education and competence outlined in the document and in materials used for its dissemination as well as on articles on the subject will be conducted. From these considerations, issues for the evaluation of the process of transforming these promises into real curricula are highlighted.

AVALIAÇÃO EXTERNA DAS ESCOLAS: LÓGICAS POLÍTICAS DE AVALIAÇÃO INSTITUCIONAL

RESUMO Em tempos de políticas educativas pautadas pela accountability, o aumento de sistemas de avaliação institucional é um aspeto marcante dos sistemas educativos. Neste artigo apresentam-se os resultados de uma investigação realizada em Portugal, baseada nas perceções dos atores educativos em resposta ao problema: que impacto e efeitos produz a Avaliação Externa das Escolas (AEE), considerando a melhoria da escola, o envolvimento da comunidade e a implementação de políticas de accountability. Apesar do posicionamento crítico dos atores educativos face à AEE, os resultados indiciam a aceitação do quadro de referência do modelo, provocando os efeitos de legitimação e procedimentais que promovem a ossificação de práticas curriculares e pedagógicas, destacando-se a importância da ênfase numa avaliação institucional formativa.

RESUMEN En épocas de políticas educativas guiadas por la accountability, el aumento de sistemas de evaluación institucional es un aspecto significativo de los sistemas educativos. En este artículo presentamos los resultados de una investigación llevada a cabo en Portugal, basada en las percepciones de los actores educativos como respuesta al problema: ¿qué impacto y efectos produce la Evaluación Externa de Escuelas (AEE), considerando la mejora escolar, la implicación de la comunidad e la implementación de políticas de accountability? A pesar del posicionamiento crítico de los actores educativos en relación a la AEE, los resultados indican la aceptación del marco de referencia del modelo, provocando los efectos de legitimación y procedimentales que promueven la osificación de prácticas curriculares y pedagógicas, destacando la importancia del énfasis en la evaluación institucional formativa.

ABSTRACT In times of educational policies guided by accountability, the increase of institutional evaluation systems is a striking aspect of the educational systems. This article presents the results of a study conducted in Portugal, based on the perceptions of educational actors in response to the problem: What impact and effects do the External Evaluation of Schools (AEE) produce, regarding school improvement, community involvement and implementation of accountability policies?. Despite the critical positioning of the educational actors concerning the AEE, results indicate acceptance of the framework model triggering the legitimation and the procedural effects that promote the ossification of curricular and pedagogical practices, highlighting the importance of the emphasis on formative institutional evaluation.

AUTOAVALIAÇÃO INSTITUCIONAL: OUTROS SENTIDOS DE AVALIAÇÃO (IM)POSSÍVEIS?

RESUMO Neste artigo, analisamos a autoavaliação institucional que integra o Sistema de Avaliação da Educação de Niterói (Saen), estado do Rio de Janeiro. O objetivo é discutir seu processo de constituição num contexto de centralidade das políticas de avaliação, defendendo essa como possibilidade de produção de políticas pelas escolas, como produção de sentidos de avaliação para além da lógica de accountability, colocando outros sentidos de qualidade em disputa. A partir de aportes pós-estruturais, assumimos o entendimento da política como luta pela significação, que se dá entre tensões, negociações, traduções. Concluímos argumentando que a experiência posta em análise nos permite problematizar de forma propositiva as políticas de avaliação centralizadas e centralizadoras que têm ganhado destaque no cenário educacional.

RESUMEN En este artículo analizamos la autoevaluación institucional que integra el Sistema de Evaluação da Educação de Niterói (Saen), estado de Rio de Janeiro. El objetivo es discutir su proceso de constitución en un contexto de centralidad de las políticas de evaluación, defendiendo a ésta como una posibilidad de producción de políticas por las escuelas, como producción de sentidos de evaluación más allá de la lógica de accountability, colocando otros sentidos de calidad en disputa. A partir de aportes post-estructurales, asumimos el entendimiento de la política como lucha por la significación, que se da entre tensiones, negociaciones, traducciones. Concluimos argumentando que la experiencia en análisis nos permite problematizar de forma propositiva las políticas de evaluación centralizadas y centralizadoras que han ganado destaque en el escenario educacional.

ABSTRACT In this article, we analyze the institutional self-assessment that integrates the Education Evaluation System of Niterói (SAEN) in the state of Rio de Janeiro. The aim is to discuss its constitution process in a context of centrality of evaluation policies, supporting it as a possibility for the schools to produce policies as production of meanings of evaluation beyond the logic of accountability, putting other meanings of quality in dispute. From post-structural contributions, we assume the understanding of the policies as the struggle for meaning, which occurs between tensions, negotiations, and translations. We conclude by arguing that the analytical experience allows us to propose centered and centralized evaluation policies that have gained prominence in the educational field.

PLANEJAMENTO DA AVALIAÇÃO INSTITUCIONAL NA EDUCAÇÃO INFANTIL: MOVIMENTOS PARTICIPATIVOS

RESUMO No contexto de políticas avaliativas, este artigo aborda o movimento de planejamento e elaboração de instrumento de avaliação institucional realizado com a participação de docentes atuantes na educação infantil de um município do Espírito Santo. Com ancoragem em referenciais teórico-metodológicos bakhtinianos, a pesquisa, de abordagem qualitativa e de caráter exploratório, desenvolveu procedimentos de análise documental e realização de entrevistas. Os resultados evidenciam que a etapa de planejamento com elaboração de um instrumento próprio é primordial para o encadeamento das demais etapas relacionadas à avaliação institucional. Conclui-se que, embora permaneçam desafios quanto às condições de participação de todos os envolvidos, a perspectiva de trabalho coletivo na preparação dessa ação avaliativa constitui um importante movimento de formação para os participantes.

RESUMEN En el contexto de políticas evaluativas, este artículo aborda el movimiento de planificación y elaboración de un instrumento de evaluación institucional realizado con la participación de docentes actuantes en la educación infantil de un municipio del Estado de Espírito Santo. Con anclaje en referentes teórico-metodológicos bakhtinianos, la investigación, de abordaje cualitativo y carácter exploratorio, desarrolló procedimientos de análisis documental y realización de entrevistas. Los resultados evidencian que la etapa de planificación con elaboración de un instrumento propio es primordial para el encadenamiento de las demás etapas relacionadas con la evaluación institucional. Se concluye que, aunque permanecen desafíos relacionados con las condiciones de participación de todos los involucrados, la perspectiva de trabajo colectivo en la preparación de esa acción de evaluación es un importante movimiento de formación para los participantes.

ABSTRACT In the context of assessment policies, the present article approaches the planning and development of an instrument of institutional evaluation, carried out with the participation of teachers working in early childhood education, in a municipality of the state of Espírito Santo. Anchored in Bakhtinian theoretical-methodological references, the present study, following a qualitative and exploratory methodology, developed procedures and interviews for document analysis. The results show that the planning stage of the development of an instrument is essential for linking the other stages related to institutional evaluation. It is concluded that, although challenges remain regarding the conditions of participation of all involved, the perspective of a collective work in the preparation of this assessment action constitutes important training for the participants.

POLÍTICAS DE COTAS: UM ESTUDO DE META-AVALIAÇÃO NAS UNIVERSIDADES ESTADUAIS PARANAENSES

RESUMO O texto apresenta uma meta-avaliação das políticas de cotas em universidades estaduais paranaenses. O objetivo foi analisar os processos avaliativos dessas políticas quanto a semelhanças e diferenças, potencialidades e limites, estratégias e procedimentos utilizados. Foram realizadas análise documental e entrevistas, sistematizadas com a análise do conteúdo. Utilizou-se ainda o ciclo de políticas para análise dos dados. Observou-se a necessidade de qualificação dos processos avaliativos, formação de corpo técnico, desenvolvimento de métodos e estratégias de avaliação de políticas de cotas adequadas às diferentes situações e produção de conhecimento acerca da avaliação enquanto campo epistemológico. Conclui-se que o processo de avaliação não ocorreu efetivamente pelo receio de que a avaliação fosse usada como uma forma de recuar na reserva de vagas. Destaca-se a importância de que sejam realizadas discussões mais aprofundadas sobre as cotas.

RESUMEN El texto presenta una metaevaluación de las políticas de cuotas en universidades provinciales de Paraná. El objetivo fue el de analizar los procesos evaluativos de tales políticas en lo que concierne a similitudes y diferencias, potencialidades y límites, estrategias y procedimientos utilizados. Se realizaron análisis documental y entrevistas, sistematizadas con el análisis del contenido. Se utilizó asimismo el ciclo de políticas para análisis de datos. Se observó la necesidad de cualificación de los procesos evaluativos, formación de cuerpo técnico, desarrollo de métodos y estrategias de evaluación de políticas de cuotas adecuadas a las distintas situaciones y producción de conocimiento acerca de la evaluación como campo epistemológico. Se concluye que el proceso de evaluación no ocurrió efectivamente en función del temor de que la evaluación se utilizara como una forma de retroceso en la reserva de plazas. Se destaca la importancia de tener discusiones más profundas sobre las cuotas.

ABSTRACT The present text provides a meta-evaluation of quota policies in Paraná state universities. The aim was to analyze the evaluation processes of these policies regarding similarities and differences, potential and limits, strategies and procedures used. We also conducted document analysis and interviews, systematized through content analysis. The policy cycle was also used for data analysis. We observed the need to qualify the evaluation processes, train a technical staff, and develop evaluation methods and strategies for quota policies appropriate to the different situations and production of knowledge about evaluation as an epistemological field. We concluded that the evaluation process did not actually occur because of the fear that the evaluation would be used as a step backward in the process of reserving vacancies. The study highlight the importance of more in-depth discussions about quotas.

LIMITES DO SINAES NA PERSPECTIVA DE GESTORES DA EDUCAÇÃO SUPERIOR

RESUMO O objetivo do artigo é analisar a influência da avaliação externa - parte integrante do atual Sistema Nacional de Avaliação da Educação Superior - realizada in loco em duas instituições de ensino superior, uma pública e uma privada, situadas no estado do Paraná. Trata-se de uma pesquisa empírica, cujos dados foram coletados por meio de entrevistas semiestruturadas realizadas com diretores institucionais e coordenadores de cursos de graduação. A análise nos permitiu verificar alguns limites do atual sistema de avaliação relacionados: ao desconhecimento dos pressupostos da avaliação pelos sujeitos participantes; ao tempo destinado ao processo avaliativo; ao método de escolha dos avaliadores em cada etapa; à ausência de políticas amparadas nos dados gerados pelo sistema; e à conversão, cada vez mais explícita, da avaliação em mecanismo de controle das práticas institucionais, que impossibilitam a autonomia dos sujeitos que atuam na educação superior.

RESUMEN El objetivo del artículo es el de analizar la influencia de la evaluación externa - parte integrante del actual Sistema Nacional de Evaluación de la Educación Superior - realizada in loco en dos instituciones de educación superior, una pública y otra privada, situadas en el estado de Paraná. Se trata de una investigación empírica, cuyos datos se recogieron por medio de entrevistas semiestructuradas realizadas con directores institucionales y coordinadores de cursos de graduación. El análisis nos permitió verificar algunos límites del actual sistema de evaluación relacionados al desconocimiento de las presuposiciones de la evaluación por los sujetos participantes; al tiempo destinado al proceso evaluativo; al método de elección de los evaluadores en cada etapa; a la ausencia de políticas amparadas en los datos generados por el sistema; y a la conversión, cada vez más explícita, de la evaluación en mecanismo de control de las prácticas institucionales, que imposibilitan la autonomía de los sujetos que actúan en la educación superior.

ABSTRACT The aim of the present article is to analyze the influence of external assessment, an essential part of the current Sistema Nacional de Avaliação da Educação Superior [National System of Evaluation in Higher Education]. It was conducted in loco in two institutions of higher education, one public and one private, in the state of Paraná. It is an empirical study, and the data were collected through semi-structured interviews conducted with institutional directors and coordinators of graduate programs. The analysis permitted the authors to verify some limits of the current assessment system, related to: the participating subjects’ lack of knowledge of the assessment assumptions; the time allocated to the assessment process; the method of choice of evaluators at each stage; the lack of policies based on data generated by the system; and, the increasingly explicit conversion of assessment into a control mechanism of institutional practices, which makes the autonomy of the subjects, who work in higher education, impossible.