Ensaio: Avaliação e Políticas Públicas em Educação

O desenvolvimento da capacidade de avaliação no Século XXI: enfrentando o desafio através da meta - avaliação

Meta-Avaliação é a avaliação da avaliação. O presente trabalho descreve o processo de meta-avaliação conduzido numa instituição universitária (Centro Universitário Newton Paiva, Minas Gerais, Brasil) pela Fundação Cesgranrio, Rio de Janeiro, Brasil, sendo o foco da meta-avaliação a auto-avaliação do referida instituição. O princípio desencadeador da tarefa foi o entendimento da meta-avaliação como atividade crucial para assegurar a integridade de uma avaliação, desde a sua concepção até seus resultados. Nesse sentido, a meta-avaliação verificou até que ponto a auto-avaliação em questão correspondeu às quatro categorias de standards ou padrões de programas avaliativos (Joint Commitee on Standards for Educational Evaluation, 1994) em termos de utilidade (atendendo às necessidades de informação dos interessados), viabilidade (sendo realística, prudente, diplomática e simples), ética (sendo legal e ética) e precisão (revelando de forma técnica e adequada informações sobre como o julgamento de mérito e de relevância foram feitos). Tais padrões foram verificados ao longo da avaliação em curso (meta-avaliação formativa) e ao final (meta-avaliação formativa). Os passos metodológicos (Stufflebeam, 2000) incluíram a interação inicial com os envolvidos e interessados na missão, a escolha de uma equipe qualificada para a condução do processo, a definição das questões de meta-avaliação, o acordo quanto aos padrões de julgamento da avaliação do Centro Universitário Newton Paiva, a elaboração do contrato de meta-avaliação, a coleta e revisão da informação acessível e necessária, a análise e interpretação de informações quantitativas e qualitativas à luz dos padrões, a elaboração de informes e a colaboração, junto à instituição-cliente e aos interessados em geral, na interpretação e aplicação dos resultados. Tão importante quanto a constatação do sucesso na execução da avaliação do Centro Universitário Newton Paiva foi o fortalecimento da capacidade avaliativa entre os envolvidos, através de uma abordagem inovadora de empowerment (Fetterman, 2001) assegurada ao longo de toda a missão - um resultado que emerge como um dos maiores desafios da avaliação no século XXI.

Meta-evaluation is evaluation of an evaluation (Stufflebeam & Shinkfield, 1985). This paper describes the meta-evaluation conducted by the Cesgranrio Foundation, Rio de Janeiro, Brazil, which focused on the self-evaluation conducted by Newton Paiva University Center in Minas Gerais, Brazil. In seeking to assure the integrity of the Newton Paiva University Center evaluation from conception to results, the meta-evaluation verified how far the four Program Evaluation Categories of Standards (Joint Committee on Standards for Educational Evaluation, 1 994) were met in the Newton Paiva University Center evaluation - utility (serving user needs), feasibility (being realistic, prudent, diplomatic and frugal); propriety (legal and ethical implementation); and accuracy (revealing technically adequate information about how merit and worth judgments were made). The verification was carried out throughout its process (formative metaevaluation) and again at its conclusion (summative metaevaluation). The methodological steps (Stufflebeam, 2000) included: initial interactions with pertinent stakeholders; organizing a qualified meta-evaluation team; formulating meta-evaluative questions; agreeing on standards to judge the Newton Paiva University Center evaluation; framing the meta-evaluation contract; collecting and reviewing available and additional information; applying the standards to analyze and interpret (qualitative and quantitative) information; preparing and submitting reports; and helping the client and other stakeholders to interpret and use results. An outcome just as important as the success of the Newton Paiva University Center evaluation was strengthening the evaluation capacity of its stakeholders - the foremost challenge posed for evaluation in the 21st Century - by following an empowerment (Fetterman, 2001) approach throughout the process.

Meta-Evaluación es la evaluación de la evaluación. Este trabajo describe el proceso de meta-evaluación llevada acabo en una institución universitaria (Centro Universitario Newton Paiva, Minas Gerais, Brasil) por la Fundación Cesgranrio, Rio de Janeiro, Brasil, siendo et foco de la Meta-evaluación, la auto-evaluación de la referida institución. El principio desencadenador de la tarea fue el entendimiento de la meta-evaluación como actividad crucial para asegurar la integridad de una evaluación, desde su concepción hasta sus resultados. En este sentido, la meta-evaluación verificó hasta que punto la auto evaluación en cuestión correspondió a las cuatro categorías de programas Standard evaluativos (Joint Commitee on Standards for Educational Evaluation, 1994) en términos de utilidad, (atendiendo a las necesidades de información de los interesados) viabilidad, (siendo realista, prudente, diplomática y sencilla), ética (siendo legal y ética) y precisión (revelando de forma técnica y adecuada, informaciones sobre como el juzgamiento de mérito y de relevando fueron hechos). Tales modelos fueron verificados a lo largo de la evaluación en curso (meta-evaluación formativa) y al final (meta-evaluación sumativa). Los pasos metodológicos (Stufflebeam, 2000) incluyeron la interacción inicial con los envueltos e interesados en la misión, la elección de un equipo cualificado paro la conducción del proceso, la definición de las cuestiones de meta-evaluación, el acuerdo cuanto a los modelos de juzgamiento de la evaluación del Centro Universitario Newton Paiva, la elaboración del contrato de meta-evaluación, la colecta y revisión de la información accesible y necesaria, el análisis e interpretación de información cuantitativas y cualitativas a la luz de los padrones, a elaboración de informes y la colaboración, junto a la institución cliente y a los interesados en general, en la interpretación y aplicación de los resultados. Tan importante como la constatación del éxito en la ejecución de la evaluación del Centro Universitario Newton Paiva fue el fortalecimiento de la capacidad evaluadora entre los envueltos, a través de un abordaje innovador de empowerment (Fetterman, 2001) asegurado a lo largo de toda la misión - un resultado que emerge como uno de los mayores desafíos de la evaluación en siglo XXI.

Justiça e educação: para uma organização ética da escola

A partir de uma concepção plural de justiça, o autor caracteriza a escola como "lugar de vários mundos", perpassado por várias racionalidades e princípios de justiça, fato que torna pertinente quer a análise do sentido da construção de acordos e compromissos no seu interior, quer a reflexão sobre a ética da justiça, designadamente ao nível da gestão escolar.

The article pretends, of the first moment, re-situate on education agenda, the complex justice issue in the context of school, structured as "various worlds' site". In the second part, the author, based on the idea of justice intimately connected to ethical position concerning the way of thinking and acting in education, purposes to analyze some applications of justice in ethical organization of school, and especially, in the school management.

A partir de una concepción plural de justicia, el autor caracteriza la escuela como "lugar de varios mundos", pasando a lo largo de varias racionalidades y principios de justicia, hecho que torna pertinente quiere el análisis del sentido de la construcción de acuerdos y compromisos en su interior, quiere la reflexión sobre la ética de la justicia, designadamente al nivel de la gestión escolar.

El enfoque interpretativo en la investigación en educación en ciencias

Una integración de enfoques tanto teóricos como metodológicos en la investigación en educación en ciencias exige conocer dichos enfoques con profundidad. En esta presentación se analiza la perspectiva interpretativa y los métodos cualitativos. La presentación abarca un análisis de las cuestiones generales relativas a la investigación cualitativa: sus orígenes, sus presupuestos filosóficos y epistemológicos, sus características y tipos que se presentan así como su potencialidad para la investigación en la enseñanza de las ciencias, los aspectos metodológicos y el papel del profesor en esta investigación.

Integration of theoretic and methodological approaches in science education research demands knowing them deeply. The presentation deals with interpretative perspective and qualitative methods. Generalities of qualitative research are analyzed: its origins, its philosophical and epistemological foundations, its characteristics and types. Potentiality of qualitative research in research in science teaching as well as methodological aspects and the role of professor in qualitative research are also considered.

Efeitos de um programa de enriquecimento: descrição e resultados parciais

A pesquisa "Follow-up"- Efeitos de um programa de enriquecimento surgiu como um desdobramento do Programa de Enriquecimento PEDI, desenvolvido entre 1983 e 1986, concomitantemente no Colégio de Aplicação da Universidade do Estado do Rio de Janeiro (CAP-UERJ) e na Universidade do Estado do Rio de Janeiro (cursos de graduação). O PEDI teve como objetivo oportunizar aos alunos com indicadores de altas habilidades/superdotação, dessas instituições de ensino, atividades enriquecedoras que possibilitassem o desenvolvimento do seu potencial e de suas necessidades especiais, conforme a Lei de Diretrizes e Bases da Educação n° 9394/96, Cap. V. Educação Especial, Art. 59, incisos II e III. Assim, o Projeto "Follow-up" reunirá informações sobre os ex-participantes de um Programa de Enriquecimento ao longo de dez (10) anos de sua vida social, acadêmica, não acadêmica e profissional, permitindo novas perspectivas relacionadas ao conhecimento, atuação e produtividade dos mesmos, bem como à validade do Programa de Enriquecimento PEDI/CAP/ UERJ (1983/1986). A principal conclusão preliminar dessa pesquisa ainda em andamento é que o indivíduo portador de altas habilidades, quando bem orientado e com acompanhamento de uma equipe especializada, pode desenvolver suas potencialidades e direcioná-las para sua melhoria de vida e das demais pessoas da sociedade.

The research entitled "Follow-up" - Effects of an Enrichment Program is a development of the Enrichment Program PEDI carried out from 1983 to 1986 concurrently at the "Colégio de Aplicação da Universidade do Estado do Rio de Janeiro (CAP-UERJ)" High School and at the University of the State of Rio de Janeiro - UERJ (undergraduate courses). PEDI Program aimed at giving the opportunity to these school's students with giftedness and talent indicators of performing enrichment activities which would permit the development of their potential and the service of their special needs in accordance with the Brazilian Guidelines and Bases Education Law no. 9394/96, Chapter V on Special Education. In this manner, "Follow-up" Project will gather information about former participant of an Enrichment Program along tem years of their social, academic, non-academic and professional lives permitting new perspectives related to their knowledge, activity and productivity as well as to the validity of the PEDI /CAP / UERJ (1983-86) Enrichment Program. The main preliminary conclusion of this research which still is under progress is that when the gifted and talented individual is guided and serviced by specialized personnel, he/she can develop his/her potential and direct them to the enhancement of their own lives and of society as a whole.

La pesquisa "Follow-up Efectos de un programa de enriquecimiento surgió como un despliegue del Programa de Enriquecimiento PEDI desarrollado entre 1983 y 1986, concomitantemente en el Colegio de Aplicación de la Universidad del Estado do Rio de Janeiro (CAP-UERJ) y en la Universidad del Estado do Rio de Janeiro (cursos de graduación). El PEDI tuvo como objetivo dar/es la oportunidad a los alumnos con indicadores de altas habilidades/superdotación de estas instituciones de enseñanza, actividades enriquecedoras que posibilitasen el desarrollo de su potencial y de sus necesidades especiales conforme la Ley de Directrices y Bases de la Educación n° 9394/96, Cap. V. Educación Especia/, Art. 59, incisos II e III. De esta forma, el Proyecto "Follow-up" reunirá informaciones sobre los ex participantes de un Programa de Enriquecimiento a lo largo de diez (10) años de su vida social, académica, no académica y profesional permitiendo nuevas perspectivas relacionadas al conocimiento, actuación y productividad de los mismos, así como la validad del Programa de Enriquecimiento PEDI / CAP / UERJ (1983/1986). La principal conclusión preliminar de esta pesquiso aún en andamiento es que el individuo portador de altas habilidades, cuando está bien orientado y con acompañamiento de un equipo especializado, puede desarrollar sus potencialidades y dirigidas para su mejora de vida y de las demás personas de la sociedad.

Curso Pró-Técnico no CEFET/RJ - desafios e contradições da democratização do acesso às escolas técnicas federais

Este artigo analisa a elitização do acesso às Escolas Técnicas Federais e ressalta, por meio de um estudo de caso, a experiência, no início dos anos 90, na Escola Técnica Federal do Rio de Janeiro - hoje, CEFET/RJ - de desenvolvimento do Curso Pró-técnico, com o objetivo de ampliação do acesso a seus cursos técnicos dos alunos de escolas públicas de ensino fundamental. Questiona, a partir da análise dessa experiência, o argumento da democratização do acesso aos cursos técnicos, utilizado para justificar na reforma da educação profissional - Decreto 2.208/97 - a separação entre ensino médio e ensino técnico.

This article analyses the access to Federal Technical Schools by an elite and points out the experience carried out in the early 1990s by the Federal Technical School of Rio de Janeiro - currently named CEFET, about the development of preparatory technical courses. Its major goal was to widen the enrolment of students coming from Rio de Janeiro public schools. This case study discusses the democratization or the technical courses used to justify the Technical Education Reform - Decret n° 2208/97 that of focuses the distinction between technical education and secondary school.

Este articulo analiza lo elitización del acceso o las Escuelas Técnicas Federales y resalta, por medio de un estudio de coso, la experiencia desarrollada, al inicio de los anos 90, en lo Escuela Técnica Federal de Rio de Janeiro - hoy, CEFET/RJ - de desarrollo del Curso Pro-Técnico con o objetivo de ampliación del acceso a sus cursos técnicos de los alumnos de escuelas públicas de enseñanza fundamental. Cuestiona, o partir del análisis de esta experiencia, el argumento de la democratización del acceso a los cursos técnicos utilizado para justificar en la reforma de la educación profesional - Decreto 2.208/97 - lo separación entre enseñanza media y enseñanza técnica.

Avaliação do ensino: mito ou realidade?

O objetivo principal que se definiu para este artigo é provocar discussões sobre os equívocos que levam instituições do ensino superior ao desenho de perfis de desempenhos docentes com viés. Para tanto, pesquisou-se o Curso de Administração de Empresas de uma universidade do sul do país. O universo da pesquisa é constituído de 761 discentes dos cursos de graduação, de 21 discentes do mestrado e de 70 docentes. Foram selecionados 30% do corpo discente por meio de sorteio e o mesmo percentual de docentes, por conveniência. Responderam à pesquisa 242 pessoas. Constatou-se, utilizando o método "Qui2", que em todas as comparações da amostra total houve relação estatisticamente significativa. Semelhantemente, na maioria esmagadora dos cruzamentos das variáveis dos extratos houve dependência muito significativa. Ou seja, as variáveis demográficas-idades, estado civil, papel na instituição e sexo - se relacionam com diversos fatores do processo aprendizagem-ensino, como conteúdo, didática e relacionamento. Verificaram-se diferenças relevantes nas percepções das partes quanto aos fatores que facilitam a aprendizagem, as características do "bom" professor e o que o discente leva em consideração no ato de avaliar o professor.

The main objective that it was defined to write this article is to provoke discussions about the mistakes that lead universities to design sloping performance. To reach that, the administration course of a Brazilian south university was investigated. The research universe is constituted for 761 pupils of graduate's courses, 21 of the master degree and 70 teachers. Simple random selected 30% of pupil board and; the same percentage of teachers was investigated by convenience. 242 people answered the forms. It was finding out, using the "Qui2" statistical method, that in the total sample all compared variables related significantly. Similar relationships occurred at the major total sample extracts confronts. That is, the demographic variables-chronological age, married status, role and sex - significantly related to several learning-teaching process factors, as contents, didactics and relationships. It was find out relevant differences on the parts perceptions - pupils and teachers - in terms of learning facilitation factors; the "good" teacher characteristics and; what do the pupil take in account at the moment to appraise teachers.

El objetivo principal que se definió para este artículo es provocar discusiones sobre los equívocos que llevan a las instituciones de enseñanza superior al diseño de perfiles de desempeños docentes con bies. Con este fin, se pesquiso el Curso de Administración de Empresas de una universidad del sur del país. El universo de la pesquisa está constituido de 761 discentes de los cursos de graduación, de 21 discentes de la maestría y de 70 docentes. Fueron seleccionados el 30% del cuerpo discente por medio de sorteo y el mismo porcentual de docentes, por conveniencia. Respondieron a la pesquisa 242 personas. Se Constato, utilizando el método "Qui2", que en todas las comparaciones de la muestra total hubo relación estadísticamente significativamente. Semejantemente, en la mayoría de los cruzamientos de las variables de los extractos hubo dependiendo muy significativa. O sea, las variables demográficas - edad, estado civil, papel en la institución y sexo - se relacionaron con diversos factores del proceso aprendizaje- enseñanza, como contenido, didáctica y relación. Se verificaron diferencias relevantes en las percepciones de las partes cuanto a los factores que facilitan el aprendizaje, las características del "buen" profesor y lo que el discente lleva en consideración en el acto de evaluar al profesor.

Modelos socioculturais na família e na escola, segundo autodefinição étnica

Analisamos, entre professores e alunos, representações sobre seus familiares (RF) e sobre papéis escolares (RPE) de melhor/pior professor/aluno, segundo a autodefinição étnica. Observamos alunos de 2º grau (A) (n=121) e professores (P) (n=48), negros (N), mestiços(M), broncos (B) e indefinidos (I), de 9 escolas públicas do Rio de Janeiro. As RF de PB e AB enfatizaram relações interpessoais; PN e AN, indivíduos; PI e Al, contextos e indivíduos; PM e AM, sem conteúdos comuns. As RPE indicaram complementaridade entre liderança/submissão, oferta/demanda de serviços de professores/alunos, exceto entre PN e AN, que partilharam discursos em direitos humanos e autonomia individual. As RF de alunos com maior desempenho foram sobre personalidade global individual (N), formação de parentes (B, M), interação/ contexto (M), família ampliada (N), formação do sujeito (M). Assim, a ênfase dos cristãos/brancos em relações interpessoais, na família e na escola, constitui-se em um obstáculo maior para o reconhecimento social da importância dada pelos negros ao indivíduo e ao grupo discriminado/negativamente entre seus pares.

We analyzed, among teachers and students, the representations of family members (RF) and school roles (RSR) of the best/worst teacher/student, according to ethnic self-definition. We observed students from high school (H, n=121) and teachers (Z n=48). They were black people (B), crossbred people (C), white people (W) and undefined people (U), from nine public schools from Rio de Janeiro. RF of WT and WS emphasized the interpersonal relations; BT and BS, the individuals; UT and US, emphasized both, contexts and individuals; CT and CS did not have common contents. RSR indicated that leadership/submission, and offer/demand of teachers/students' services were complementary, except for BT and BS, who shared the same speech on human rights and individual autonomy. Students' RFs with better school performance were about global individual personality (B), relatives' education (W, C), interaction/context (C), enlarged family (B) and subject education (C). Thus, white-christian emphasis on interpersonal relations both in family and at school, constitute one of the major obstacle for the social recognition of black people stress on individual and cultural group. We suggest studies about the bad performance students, whom have been negatively discriminated among their peers.

Analizamos, entre profesores y alumnos, las representaciones sobre familiares (RF) y papeles escolares (RPE) del mejor/peor profesor/estudiante, de acuerdo con la auto-definición étnica. Observamos estudiantes de enseñanza media (E, n= 121) y profesores (T, n=48), negros (N), mestizos (M), blancos (B) e indefinidos (I), de nueve escuelas públicas de Rio de Janeiro. Las RF de PB y AB enfatizaron relaciones interpersonales; PN y EN, individuos; PI y El, contextos e individuos; PM y EM, sin contenidos comunes. Las RPE indicaron complementariedad entre liderazgo/sumisión, y oferta/demanda de servidos por parte de profesores/estudiantes, menos entre profesores negros y estudiantes negros, que compartieron el mismo discurso de derechos humanos y autonomía individual. Las RF de estudiantes con mejor desempeño escolar fueron sobre personalidad global individual (N), formación de los familiares (B, M), interacción/contexto (M), familia ampliada (N), formación del sujeto (M). Así, el énfasis de los cristianos-blancos en relaciones interpersonales, en la familia y en la escuela, constituye un obstáculo mayor para el reconocimiento social de la importando dada por los negros al individuo y al grupo cultural. Sugerimos estudios sobre el alumno con mal desempeño, que fue negativamente discriminado entre sus pares.