Revista de Educação PUC-Campinas

Educational Evaluation: Groundings and policies of basic and higher education

Responsibilisation policies. Semantic misconceptions or political-ideological ambiguities?

Resumo A partir de uma breve revisão da literatura, o autor considera que existem alguns equívocos e ambiguidades em muitas das análises disponíveis sobre as chamadas políticas de responsabilização. Esses equívocos e ambiguidades resultam, em grande medida, da tradução redutora e simplista da palavra accountability e, simultaneamente, da não problematização ou da naturalização da palavra responsabilização. Como antídoto metodológico, este estudo propõe uma maior clarificação dos termos usados nos trabalhos de pesquisa, de modo a densificar as análises críticas relativas às políticas educacionais, principalmente as que dizem respeito à avaliação. O pressuposto é o de que o rigor teórico-conceptual é (também) uma forma de resistência às incursões de simplificação neoliberal.

Abstract Based upon a brief literature review, the author considers misconceptions and ambiguities in many available analyses of the so-called responsibilisation policies. These misconceptions and ambiguities result, to a great extent, from the reductive and simplistic translation of the word ‘accountability’ and, at the same time, the lack of problematization, or naturalisation of the word ‘responsibilisation’. As a methodological antidote, the author proposes further clarification of the expressions used in research work, in order to produce denser critical analyses pertaining to educational policies, namely those regarding evaluation. The assumption is that theoretical-conceptual accuracy is (also) a way to resist the incursions of neo-liberal simplification.

Towards an understanding of the relationships among evaluation, ethics, and public policy

Resumo O principal propósito deste artigo é contribuir para discernir e compreender relações entre Avaliação, Ética e Política Pública, como forma de suscitar reflexões sobre questões teóricas e práticas inerentes a qualquer processo de avaliação. Nesse sentido, além de se discutirem perspectivas constantes na literatura acerca de cada um daqueles três conceitos, analisam-se as relações entre eles e faz-se uma sistematização do que se considerou ser mais relevante na discussão desenvolvida ao longo do artigo. Conclui-se que as reflexões teóricas são um contributo indispensável para que as relações entre a avaliação, a política pública e a ética possam ser mais transparentes e, consequentemente, para que a avaliação possa, cada vez mais, ser um poderoso processo a serviço da melhoria e transformação das pessoas, das instituições e das sociedades. Desse modo, está-se a trabalhar para vir a ter políticas públicas mais éticas, mais orientadas para o bem público e para a construção de uma democracia empenhada nas questões sociais e no bem-estar responsável dos cidadãos.

Abstract The main purpose of this paper is to contribute for discerning and understanding relationships among Evaluation, Ethics, and Public Policy as a means to bring up reflections about theoretical and practical questions that are inherent to any evaluation process. Thus, beyond discussing literature perspectives on each of those three concepts, relations among them will be analysed, and a systematization of what has been considered most relevant in the discussion provided will also be made. Conclusions showed that theoretical reflections provide a fundamental contribution towards the transparency of the relations among evaluation, public policy, and ethics. Consequently, those reflections might contribute for evaluation to become a powerful process aimed to improve and transform people, institutions, and society. Therefore, we will be working to get more ethical public policies oriented towards the public good and the building of a democracy engaged in social questions and in the responsible well-being of all citizens.

Educational evaluation in Brazil beyond cognitive tests

Resumo O texto, com base em revisão da bibliografia, analisa o movimento da avaliação educacional no Brasil e discute uma proposta de incluir no processo avaliativo outros aspectos que não somente os resultados dos testes. Inicialmente, destaca o movimento das políticas educacionais brasileiras em direção aos testes cognitivos, principal instrumento das avaliações educacionais produzidas pelos diferentes níveis de governo. Aborda os principais movimentos que permitiram o desenvolvimento da avaliação, tanto aqueles relativos à construção de seus instrumentos, como a discussão da legislação educacional. Também destaca os princípios basilares do Sistema de Avaliação da Educação Básica, e como esse instrumento foi-se modificando ao longo do tempo para permitir a criação de um indicador educacional como o Índice de Desenvolvimento da Educação Básica, e para a definição de metas por escolas. Por fim apresenta a proposta do Sistema Nacional de Avaliação da Educação Básica, proposto pelo Plano Nacional de Educação, que amplia a avaliação para outras dimensões, que não apenas os resultados nos testes, e cria um comitê de governança, trazendo outros atores, além do governo federal, para a discussão sobre os seus instrumentos e os usos de seus resultados.

Abstract Based on a bibliographic review, the text analyzes the movement of educational evaluation in Brazil and discusses a proposal to include aspects other than test results in the evaluation process. Initially, the text highlights the movement of Brazilian educational policies towards cognitive tests, the main instrument of educational evaluations produced by different governmental levels. It addresses the main movements that allowed the development of evaluations, including those related to the construction of instruments and the discussion of the educational legislation. It also highlights the basic principles of the Basic Education Assessment System (Sistema de Avaliação da Educação Básica), and how this instrument was modified both to allow the creation of an educational indicator such as the Index of Basic Education Development (Índice de Desenvolvimento da Educação Básica), and for the definition of goals by federal schools. Finally, it presents the proposal of the National System of Evaluation of Basic Education, (Sistema Nacional de Avaliação da Educação Básica), proposed by the National Education Plan (Plano Nacional de Educação), that extends evaluation to other dimensions beyond the results in the tests, and creates a governance committee, bringing other actors, in addition to the federal government, to discuss their instruments and the uses of their results.

IDEB and the priorities in educational planning. Actions for which quality?

Resumo O texto tensiona duas importantes peças das atuais políticas governamentais para a melhoria da qualidade educacional em municípios brasileiros: o Índice de Desenvolvimento da Educação Básica e o Plano de Ações Articuladas. Tem por objetivo verificar em que medida os resultados do Índice de Desenvolvimento da Educação Básica, obtidos por escolas públicas de redes municipais de ensino, servem de orientação para o planejamento de ações destinadas à melhoria da qualidade na educação básica. Toma como instrumento de recolha de dados o Plano de Ações Articuladas de onze municípios do estado de Santa Catarina, para o quadriênio 2011– 2014. Com base em estudo documental, delimita correlações entre dimensões e áreas consideradas prioritárias, ações eleitas por gestões municipais visando ao atendimento de prioridades e os resultados obtidos em avaliações do Índice de Desenvolvimento da Educação Básica. Evidencia tendência, nos municípios amostrados, a uma concepção de qualidade educativa reduzida às condições de melhoria da infraestrutura física e de ampliação dos recursos pedagógicos das escolas das respectivas redes, manifestada pela (falta de) correlação entre dimensões e áreas prioritárias e ações eleitas por gestões municipais para assegurar resultados intermediários do Índice de Desenvolvimento da Educação Básica.

Abstract The study contemplates two key assets of the current governmental policies for improving educational quality in Brazilian municipalities: the Basic Education Development Index (IDEB, in Portuguese) and the Articulated Action Plan (PAR, in Portuguese). The goal is to verify to what extent the results of Basic Education Development Index gathered from public schools from the municipal education network are suitable for planning actions aimed to improve the quality of basic education. Data were collected from the Articulated Action Plans of eleven municipalities of the state of Santa Catarina between the years of 2011 and 2014. Based on the desk study, it draws connections between dimensions and areas considered as priorities, actions selected by municipal administrations aiming to meet priorities, and the results of Basic Education Development Index evaluations. In the sampled cities, it stresses a trend towards reducing the quality of education to the improvement of physical infrastructure and to the expansion of teaching resources in schools of the respective networks, as evidenced by the (lack of ) connections between dimensions and priority areas and actions selected by municipal administrations to ensure intermediate results in Basic Education Development Index.

Evaluation of early childhood education. Controversial issues and their educational and social implications

Resumo O texto apresenta e discute proposições e iniciativas de avaliação da Educação Infantil que se fazem presentes no debate nacional, difundidas por gestores públicos, trabalhadores, estudiosos e pesquisadores da área. São encaminhamentos que expressam controvérsias sobre como a avaliação pode induzir a melhoria da qualidade da Educação Infantil e que, no limite, representam projetos educacionais e sociais distintos. As evidências que apoiam as considerações sobre possíveis caminhos a serem trilhados pela avaliação têm como fontes documentos produzidos por órgãos governamentais e não governamentais. Antecedendo a essas considerações, são sucintamente mencionados dados que permitem aferir a realidade da Educação Infantil no Brasil e que necessariamente devem ser tomados em conta ao se escolher qual trilha será adotada para a sua avaliação. Os elementos debatidos no texto propiciam subsídios para apontar distintas perspectivas no que concerne à incorporação da educação infantil no Sistema Nacional de Avaliação da Educação Básica, como prevê o Plano Nacional de Educação 2014–2024.

Abstract The text presents and discusses proposals and initiatives of evaluation on early childhood education present in the national debate, promoted by public managers, workers, scholars, and researchers in the field of early childhood education. They are inputs which express controversies on how the evaluation can improve the quality of early childhood education and, at most, represent distinctive educational and social projects. The evidences that support the considerations on possible paths to be followed by the evaluation have as sources documents produced by governmental and non-governmental organisations. Preceding these considerations, data is succinctly mentioned, allowing to approach the reality of early childhood education in Brazil, which should necessarily be taken into account when choosing the path of evaluation to be adopted. The elements brought in the text provide subsidies to an approach with distinctive perspectives to the accomplishment of incorporation in the National Evaluation System of Basic Education, as predicted in the 2014–2024 National Education Plan.

Origin of life in the students’ perspective. Relations between social knowledge and cognitive development

Resumo Fundamentado na teoria piagetiana, o artigo apresenta dados parciais de um estudo que investigou a relação entre a construção do conhecimento social e o desenvolvimento cognitivo. A noção social pesquisada foi a origem da vida, um conteúdo trabalhado em aulas da disciplina de Ciências no ensino fundamental II. Recorre-se à entrevista clínica para avaliar as ideias que os participantes possuem sobre o assunto, bem como à aplicação da prova operatória da flutuação dos corpos, na intenção de observar o desenvolvimento cognitivo dos sujeitos. Participaram do estudo 60 escolares entre 10 e 16 anos, em recortes etários de 10, 12, 14 e 16 anos, cada qual com 15 participantes, todos eles matriculados em escolas públicas estaduais de uma cidade do interior do estado de São Paulo. Os resultados indicaram que existe um progresso na construção do conhecimento social referente à origem da vida, conforme as idades avançam, mas grande parte dos estudantes apresentou interpretações bastante rudimentares sobre essa noção social. Observou-se também que poucos participantes atingiram o nível das operações formais, na prova estudada. A análise quantitativa demonstrou que houve uma relação altamente significativa entre a construção do conhecimento social e o desenvolvimento cognitivo. O artigo discute ainda as implicações pedagógicas decorrentes, sobretudo a necessidade de proposições metodológicas que respeitem os processos de construção de conhecimentos.

Abstract Based on Piaget’s theory, this article presents partial data obtained in a study that investigated the relationship between the construction of social knowledge and cognitive development. The social notion explored here was “the origin of life”, as worked in Science classes of the elementary school II. We resorted to clinical interviews to evaluate the ideas participants have about this matter, as well as to the floating bodies operative test, with the intention of observing subjects’ cognitive development. The study included students enrolled in public schools in a city of São Paulo, 60 of them between 10 and 16 years-old and 15 subjects in each of the following age groups: 10, 12, 14 and 16. Results indicated progress in social knowledge construction concerning the origin of life as the ages advance, but still, most students have fairly rudimentary interpretations of this social notion. It was also observed that few participants achieved the level of formal operations on the evaluated test. Quantitative analysis showed a highly significant relationship between the construction of social knowledge and cognitive development. The article also discusses the pedagogical implications, above all, of the need for methodological proposals that respect knowledge construction processes.

Ideology and power relations in (anti)democratic discourses/practices in school

Resumo Este artigo apresenta um recorte de pesquisa de mestrado, financiada pela Fundação de Amparo à Pesquisa do Estado de São Paulo, em que se analisam discursivamente as relações entre dizeres e fazeres docentes no que concerne à construção de práticas democráticas no espaço escolar. O estudo toma por base entrevistas semiestruturadas, realizadas com professores, gestores e funcionários, apresentando observações acerca do último ano do ensino fundamental (9º ano) em três escolas municipais de uma cidade do interior do estado de São Paulo. A pesquisa apoiase no arcabouço teórico-metodológico da Análise de Discurso de matriz francesa, com o objetivo geral de analisar discursivamente as relações entre, de um lado, o interdiscurso que sustenta as falas a respeito do ideal de escola democrática corrente no meio educacional e, de outro, as práticas de fato concretizadas, apontando convergências e divergências constitutivas dos contextos estudados, bem como possíveis atravessamentos ideológicos. Buscou-se, ainda, corroboração nas obras de Foucault, Pêcheux, Gregolin, Orlandi, Assolini, Tfouni e Apple, dentre outros, para problematizar ‘se’ e ‘como’ a escola cria oportunidades para que os estudantes sejam sujeitos críticos de seus dizeres e fazeres. As análises mostram que, mesmo a escola ainda sendo um dispositivo disciplinar, voltado para a forma(ta) ção dos sujeitos estudantes e legitimação de verdades e ideologias, muitas vezes constitui um espaço para a problematização das relações de poder e formação de sujeitos críticos.

Abstract This paper presents some of the results of a Master’s Degree research funded by the Foundation of São Paulo thatinvestigated the relationship between teachers’ “sayings” and “doings” about democratic issues in school. The research uses semi-structured interviews with teachers, managers and employees, and observations in three municipal elementary schools in a city in the state of São Paulo. It also relies on the theoretical and methodological grounds of the French Discourse Analysis to analyze the relation between the interdiscourse about the current ideals of democratic school in the educational environment and what is in fact put to practice, pointing out convergences and constitutive differences of the contexts, as well as possible ideological influences. We seek corroboration in the works of Foucault, Pêcheux, Gregolin, Orlandi, Assolini, Tfouni, Apple, among others, to analyze if and how the school opens opportunities for students to be critical subjects towards its own sayings and doings. The analysis showed that despite being a disciplinary device formatting students and legitimating truths and ideologies, the school often constitutes a space for questioning power relations and forming critical subjects.

Assessment of children’s figural creativity in non-formal education

Resumo Este estudo buscou avaliar a criatividade de crianças que frequentam, além da escola regular, um contexto educacional não formal no contraturno escolar. O objetivo foi investigar a influência que as variáveis Tipo de Organização não governamental e Tempo de Permanência no contexto não formal exercem sobre o desempenho criativo. Participaram do estudo 49 sujeitos na faixa etária de 9 a 11 anos, matriculados entre o quarto e o sétimo ano do Ensino Fundamental, selecionados em duas instituições do tipo Organização não governamental (instituição 1: n=26 e instituição 2: n=23). Para avaliação, foi utilizado o Teste de Criatividade Figural Infantil, composto por três atividades de estímulos incompletos, que devem ser respondidas sob a forma de desenhos. Essa ferramenta permite avaliar 12 características criativas, agrupadas em 4 fatores: Enriquecimento de Ideias, Emotividade, Preparação Criativa e Aspectos Cognitivos. Os resultados mostraram que, de modo geral, as variáveis investigadas não exerceram influência significativa em nenhum dos fatores criativos, excetuado o fato de que a variável Tempo de Permanência exerceu influência significativa nas características de Movimento (F=5,26; p≤0,001) e de Fluência (F=3,16; p≤0,05), ambas na atividade 2. Conclui-se que os meios de educação não formal ainda têm se mostrado pouco explorados nas pesquisas brasileiras, e maiores estudos como esses precisam ser desenvolvidos.

Abstract Creativity has been investigated in a very intense way in different contexts, especially education. Considering that most studies developed by take regular education, this study evaluated the creativity of children attending non-formal educational contexts after school, as an addition to the regular context. The objective was to investigate the influence of the type of non-governmental organization and time frequenting the non-formal context in creative performance. Forty nine subjects of both sexes, aged between nine and 11, from 4th to 7th year of primary school students, selected from two non-formal educational institutions (institution 1: n=26 and institution 2: n=23). The Figural Child Creativity Test was used and consisted of three incomplete stimulation activities which should be completed in the form of drawings. It allows the evaluation of creative characteristics grouped into four factors (Enrichment of Ideas, Emotionality, Creative Preparation, and Cognitive Aspects). The results showed that the type of non-formal educational and frequency of time variables did not exert significant influence on any of the creative factors, and only the second variable exerted significant influence on the movement characteristic (F=5.26; p≤0.001) and Fluency (F= 3.16; p=0.05), both in activity 2. It should be noted that, given the small sample, caution is advised when interpreting the results. It follows that the means of non-formal education still have not been sufficiently explored in Brazilian research since their influence on creativity is unclear.

The initial preparation of multifunctional resource room teachers in the perspective of working teachers

Resumo A questão sobre a formação do professor de Educação Especial é controversa; alguns defendem que seja na formação inicial enquanto outros apontam a formação continuada. O presente estudo teve como objetivo investigar o que os professores que atuam no atendimento educacional especializado pensam sobre como deve ser a formação inicial em Educação Especial. O estudo, de natureza qualitativa, baseado na metodologia de pesquisa colaborativa, teve a realização de grupos focais com professores de 14 cidades do Brasil. Os dados se referem a 134 excertos, analisados e codificados no software ATLAS.ti, selecionados por se referirem especificamente à formação inicial ideal para atuar em Educação Especial. Os resultados mostram que os professores tendem a valorizar a própria formação, em sua maioria a Pedagogia. Ao mesmo tempo que defendem suas graduações como o melhor lócus de formação, também demandam muitas mudanças, como a inserção de conteúdos teórico-práticos específicos da Educação Especial, a ponto de se questionar se seria viável, e se a solução da formação seria a base generalista. Muitas dessas mudanças são decorrentes da complexidade do papel do professor de Educação Especial conforme a atual política de inclusão escolar, mas pouco se questiona se as atribuições que lhe são impostas são viáveis, se existe algum tipo de formação que leve a esse superprofissional, ou mesmo se é essa a política de atendimento que garante o direito à educação de alunos público-alvo da Educação Especial.

Abstract The issue of training teachers to work in Special Education, of whether it should take place in the initial training or continuing education, is a controversial one. This study aimed to investigate what teachers who work in specialized educational services think about how their initial training in special education should be. The qualitative study was based on collaborative research methodology, with teachers in focus groups from 14 cities of Brazil. The data analyzed refers to 134 excerpts, analyzed and codified with the software ATLAS.ti. The selected excerpts contain specific mentions to their thoughts about the ideal initial training for Special Education. Results show that teachers tend to value their training, which is predominantly in Pedagogy. Although pedagogue teachers defend their training as the best training locus, they also believe a lot of changes are needed, such as the inclusion of specific theoretical and practical Special Education content, even questioning if general training is the best option and yet if it would be feasible. Many changes were due to the complexity of the special education teacher’s role in the current school inclusion policy, but without a reflection on whether the duties imposed on them are viable, if there is some kind of training that would give rise to this super professional, or even if this policy guarantees Special Education students their right to education.

Affirmative Action in focus: Tactics and strategies for bypassing Quota Laws in a public university

Resumo O presente artigo aborda as Ações Afirmativas no Ensino Superior, mais especificamente a aplicação da Lei nº 12.711, de 29 de agosto de 2012. Para a construção deste estudo, foram revistas discussões polarizadas que trouxeram argumentos favoráveis e contrários à implantação das Ações Afirmativas, buscando-se compreender o ciclo de desenvolvimento dessa política pública. Para além das discussões teóricas e políticas sobre a implementação da Política de Ação Afirmativa nas Instituições Federais de Ensino Superior, buscou-se verificar estratégias e táticas empreendidas pelos sujeitos de modo a se beneficiarem de tal política de acesso. Com base na pesquisa de mestrado “Caminhos de estudantes participantes da política de ação afirmativa: oportunidades e desafios no ensino superior”, realizada por Mariza Aparecida Costa Pena, a partir de levantamento feito no Registro Acadêmico, de denúncias e de percepções de funcionários, foram selecionados três casos diferenciados de estudantes de cursos da Universidade investigada, ingressantes por meio da Política de Ação Afirmativa entre 2013 e 2016, os quais utilizaram táticas para se beneficiarem da referida política. Os casos apresentados servem, principalmente, para a reflexão sobre a necessidade de uma ação conjunta de diversos agentes no sentido de coibir as táticas para ocupação de vagas em curso de graduação por estudantes que indevidamente se beneficiam da Política de Ação Afirmativa implementada a partir dessa Lei.

Abstract This article discusses Affirmative Actions in Higher Education and, more specifically, the application of Law 12,711, as of August 29, 2012. For the construction of this study were revised polarized discussions that brought arguments for and against the implementation of Affirmative Actions, trying to understand the development cycle of that public policy. In addition to the theoretical and political discussions on the implementation of the Affirmative Action Policy in Federal Institutions of Higher Education, we sought to find strategies and tactics undertaken by the subjects in order to benefit from such access policy. We selected three different cases of students entering Federal University courses through the Affirmative Action Policy between 2013 and 2016, who used tactics to take advantage of the policy. The selection was based on the Master’s research entitled “Paths of students participating in the affirmative action policy: opportunities and challenges in higher education” made by Mariza Aparecida Costa Pena, and on the Academic Registry of employees’ perceptions and complaints. The cases presented mainly serve to reflect on the need for joint action to curb the tactics employed for undue occupation of vacancies in undergraduation courses.