SciELO - Scientific Electronic Library Online

 
vol.30 número74PLANIFICACIÓN DE LA EVALUACIÓN INSTITUCIONAL EN LA EDUCACIÓN INFANTIL: MOVIMIENTOS PARTICIPATIVOSLÍMITES DEL SINAES DESDE LA PERSPECTIVA DE GESTORES DE LA EDUCACIÓN SUPERIOR índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Compartir


Estudos em Avaliação Educacional

versión impresa ISSN 0103-6831versión On-line ISSN 1984-932X

Est. Aval. Educ. vol.30 no.74 São Paulo mayo/ago 2019  Epub 22-Oct-2019

https://doi.org/10.18222/eae.v30i74.5831 

ARTIGOS

POLÍTICAS DE COTAS: UM ESTUDO DE META-AVALIAÇÃO NAS UNIVERSIDADES ESTADUAIS PARANAENSES

POLÍTICAS DE CUOTAS: UN ESTUDIO DE METAEVALUACIÓN EN LAS UNIVERSIDADES PROVINCIALES DE PARANÁ

QUOTA POLICIES: A META-EVALUATION STUDY OF PARANÁ STATE UNIVERSITIES

ANDRELIZA CRISTINA DE SOUZAI 
http://orcid.org/0000-0002-4860-7608

JOSÉ CARLOS ROTHENII 
http://orcid.org/0000-0002-5360-1913

IUniversidade Estadual do Oeste do Paraná (Unioeste), Campus Marechal Cândido Rondon-PR, Brasil; andrelizacsouza@gmail.com

IIUniversidade Federal de São Carlos (UFSCar), São Carlos-SP, Brasil; jcr3219@yahoo.com.br


RESUMO

O texto apresenta uma meta-avaliação das políticas de cotas em universidades estaduais paranaenses. O objetivo foi analisar os processos avaliativos dessas políticas quanto a semelhanças e diferenças, potencialidades e limites, estratégias e procedimentos utilizados. Foram realizadas análise documental e entrevistas, sistematizadas com a análise do conteúdo. Utilizou-se ainda o ciclo de políticas para análise dos dados. Observou-se a necessidade de qualificação dos processos avaliativos, formação de corpo técnico, desenvolvimento de métodos e estratégias de avaliação de políticas de cotas adequadas às diferentes situações e produção de conhecimento acerca da avaliação enquanto campo epistemológico. Conclui-se que o processo de avaliação não ocorreu efetivamente pelo receio de que a avaliação fosse usada como uma forma de recuar na reserva de vagas. Destaca-se a importância de que sejam realizadas discussões mais aprofundadas sobre as cotas.

PALAVRAS-CHAVE: AVALIAÇÃO DA EDUCAÇÃO; META-AVALIAÇÃO; COTAS; ENSINO SUPERIOR.

RESUMEN

El texto presenta una metaevaluación de las políticas de cuotas en universidades provinciales de Paraná. El objetivo fue el de analizar los procesos evaluativos de tales políticas en lo que concierne a similitudes y diferencias, potencialidades y límites, estrategias y procedimientos utilizados. Se realizaron análisis documental y entrevistas, sistematizadas con el análisis del contenido. Se utilizó asimismo el ciclo de políticas para análisis de datos. Se observó la necesidad de cualificación de los procesos evaluativos, formación de cuerpo técnico, desarrollo de métodos y estrategias de evaluación de políticas de cuotas adecuadas a las distintas situaciones y producción de conocimiento acerca de la evaluación como campo epistemológico. Se concluye que el proceso de evaluación no ocurrió efectivamente en función del temor de que la evaluación se utilizara como una forma de retroceso en la reserva de plazas. Se destaca la importancia de tener discusiones más profundas sobre las cuotas.

PALABRAS CLAVE: EVALUACIÓN DE LA EDUCACIÓN; METAEVALUACIÓN; CUOTAS; EDUCACIÓN SUPERIOR.

ABSTRACT

The present text provides a meta-evaluation of quota policies in Paraná state universities. The aim was to analyze the evaluation processes of these policies regarding similarities and differences, potential and limits, strategies and procedures used. We also conducted document analysis and interviews, systematized through content analysis. The policy cycle was also used for data analysis. We observed the need to qualify the evaluation processes, train a technical staff, and develop evaluation methods and strategies for quota policies appropriate to the different situations and production of knowledge about evaluation as an epistemological field. We concluded that the evaluation process did not actually occur because of the fear that the evaluation would be used as a step backward in the process of reserving vacancies. The study highlight the importance of more in-depth discussions about quotas.

KEYWORDS: EDUCATION EVALUATION; META-EVALUATION; QUOTAS; HIGHER EDUCATION.

INTRODUÇÃO

O presente trabalho discute os resultados de uma pesquisa de doutorado que teve como objetivo analisar os processos avaliativos das políticas de cotas de instituições de ensino superior (IES) públicas do estado do Paraná quanto a semelhanças e diferenças, potencialidades e limites, estratégias e procedimentos utilizados. Para que fosse possível atingir tal objetivo, os procedimentos metodológicos adotados atenderam aos pressupostos da meta-avaliação e aos critérios do ciclo de políticas.

A meta-avaliação realizada congregou os aspectos qualitativos e quantitativos, pois ambos trouxeram importantes contribuições às novas descobertas. Para tanto, optou-se por um estudo de casos múltiplos, já que, mesmo com similaridades entre as IES, estas são ao mesmo tempo distintas, únicas, com interesses próprios e singulares. Os documentos institucionais foram utilizados como fonte de dados, assim como as entrevistas realizadas com atores institucionais envolvidos na implantação, implementação e avaliação das políticas.

Para análise dos dados utilizou-se o ciclo de políticas, no qual inicialmente foram explorados os contextos da influência, produção do texto e prática, para compreender os processos de atuação das políticas de cotas (BOWE; BALL; GOLD, 1992; BALL; MAGUIRE; BRAUN, 2016). Para a meta-avaliação foram adotados os seguintes critérios: precisão, importância dos dados, confiabilidade, credibilidade, relevância, disseminação e custo versus eficiência (SCRIVEN, 2009; STUFFLEBEAM, 1981, 2001, 2011; WORTHEN; SANDERS; FITZPATRICK, 2004).

As instituições analisadas estão localizadas em diferentes regiões do estado do Paraná e têm diferentes modelos de políticas de cotas. Esse recorte permitiu compreender como os processos avaliativos das políticas de cotas foram realizados em diferentes IES públicas de um mesmo estado. É preciso destacar que há diferenças e particularidades nessas IES, desde a criação até o modelo de reserva de vagas adotado. Essa multiplicidade constituiu um universo rico para a pesquisa, pois proporcionou a análise de diferentes realidades e a possibilidade de observar como a política de cotas se efetivou em diferentes regiões do estado do Paraná.

Destaca-se que a avaliação da política de cotas possui fragilidades por não ser realizada conforme os fundamentos teóricos e metodológicos da avaliação em função da tensão política em torno das cotas. Não há a compreensão de que a avaliação da execução seja uma proposta para melhoria da execução da política, por isso destaca-se a necessidade de qualificação dos processos avaliativos, formação de corpo técnico, desenvolvimento de métodos e estratégias adequados às diferentes situações e produção de conhecimento acerca da avaliação enquanto campo epistemológico.

Esta meta-avaliação não tem como pretensão decidir pelo sucesso ou fracasso das avaliações empreendidas. Ela buscou investigar as potencialidades e fragilidades dos processos empreendidos, contribuindo para que as fragilidades observadas possam servir como mote impulsionador para a qualificação das avaliações, a fim de que se possa compreender o impacto das políticas educacionais na sociedade para a democratização do ensino superior e a promoção da igualdade e da justiça social.

FUNDAMENTOS E REFERENCIAIS PARA A REALIZAÇÃO DA META-AVALIAÇÃO

Há que se considerar que a avaliação é um ato político, uma vez que estão envolvidos múltiplos fatores que possibilitam diferentes visões sobre o tema. Dessa forma, para se realizar estudos em avaliação, e também a meta-avaliação, é necessário conhecer os fundamentos que embasam a área, assim como ter clareza dos caminhos que serão traçados em função dos fins buscados.

É sabido que uma avaliação pode trazer como frutos o aperfeiçoamento de programas e políticas e a recondução de caminhos com base em seus resultados. Contudo, o contrário também é verdadeiro, ou seja, quando uma avaliação é mal conduzida, há a real possibilidade de que os caminhos percorridos tragam mais desvantagens que vantagens, atrasando o sucesso ou até mesmo inviabilizando-o. Daí a necessidade de se buscar a qualificação da avaliação.

O termo meta-avaliação tem sido utilizado com maior frequência nos últimos anos pela necessidade de se qualificar os procedimentos avaliativos nas mais diversas áreas. No Brasil, a realização de meta-avaliações vem aumentando paulatinamente, o que também eleva a produção de conhecimento sobre o tema.

Mesmo com o aumento do número de meta-avaliações no âmbito nacional, as maiores referências continuam sendo as internacionais, como Scriven (1981, 2009, 2015), Stufflebeam (1981, 2000, 2001, 2011) e as contribuições do Joint Committee on Standards for Educational Evaluation (1981).

Entre as potencialidades que a meta-avaliação pode trazer estão a qualificação dos processos avaliativos, a formação de corpo técnico mais qualificado, o desenvolvimento de métodos e estratégias adequados a diferentes situações e a produção de conhecimento acerca da avaliação enquanto campo epistemológico.

O termo meta-avaliação, introduzido para se referir à avaliação de planos para avaliações educacionais, foi definido por Scriven (1981, 2009) como a “avaliação de uma avaliação”. O autor defendia em seus argumentos que avaliações imprecisas ou relatórios tendenciosos poderiam induzir os avaliadores ao erro, levando-os a confiar em resultados inferiores às expectativas. Daí a necessidade de se avaliar as avaliações, visando à confiabilidade efetiva.

Em suas produções, Scriven procura elucidar o que é, como pode ser justificada e utilizada a meta-avaliação. Para ele, esse conceito explicita uma versão revisada da avaliação, sendo muito útil para revisitar os dados antes da publicação de resultados (SCRIVEN, 2009).

Scriven (2015) explica que algumas das habilidades necessárias à avaliação são formalmente ensinadas em faculdades (para avaliação de programa, análise de políticas e testes educacionais). No entanto, a meta-avaliação, que é uma especialidade de avaliação de importância única para o campo, bem como de considerável dificuldade, tende a ser o tipo menos estudado, mesmo no âmbito universitário. Esse tipo de avaliação é importante porque incorpora os padrões necessários para o empreendimento de avaliação de avaliações, a fim de beneficiar os cidadãos, gestores, profissionais e teóricos (SCRIVEN, 2015).

Elliot (2011, p. 943) descreve a meta-avaliação como uma “verificação da qualidade da própria avaliação à luz de diversos critérios”. Para Stufflebeam (2001, p. 185, tradução livre), meta-avaliação pode ser definida como:

[…] o processo de delinear, obter e aplicar informação descritiva e de julgamento - sobre a utilidade, a viabilidade, adequação e precisão de uma avaliação e sua natureza sistemática, competente conduta, integridade/honestidade, respeitabilidade e responsabilidade social - para orientar a avaliação e divulgar publicamente seus pontos fortes e fracos.1

Para Berends e Roberts (2003), as razões para se empreender uma meta-avaliação são: verificar se houve um código de comportamento por parte dos avaliadores e como ele foi praticado; conceber a meta-avaliação como uma prática reflexiva sobre os procedimentos avaliativos, possibilitando a produção de novos conhecimentos.

Scriven (2009) explica que algumas pessoas encaram a realização de uma meta-avaliação como uma fraqueza da avaliação primária, pois pode parecer que os avaliadores assumiram a fragilidade da avaliação que realizaram e precisam de uma avaliação do processo já encerrado. Contudo, para o autor, a meta-avaliação serve para obter comentários de um especialista sobre esse trabalho antes de publicá-lo. Portanto, a meta-avaliação não é uma confissão de fraqueza, mas o reconhecimento de que um olhar especialista e independente muitas vezes gera insights que ajudam a melhorar o processo avaliativo (SCRIVEN, 2009).

Embora o prefixo meta reflita a conotação temporal “depois de”, a meta-avaliação pode acontecer depois ou durante a realização da avaliação (DAVOK, 2006). Isso leva à compreensão das duas formas de empreender esse processo: a somativa, que ocorre após a finalização da avaliação e a formativa, que ocorre durante o processo de avaliação.

No aspecto somativo, são utilizados todos os produtos da avaliação: relatórios, banco de dados, documentos, registros, depoimentos, enfim, tudo o que possa retratar a avaliação desenvolvida. Já em seu caráter formativo, a meta-avaliação busca verificar se o procedimento adotado é o mais apropriado, assim como se as informações resultantes atendem às necessidades dos stakeholders. A meta-avaliação formativa ocorre para fornecer informações aos avaliadores enquanto a avaliação ainda está sendo realizada, isso permite que as correções necessárias sejam realizadas já no início do processo (STUFFLEBEAM, 2001).

A meta-avaliação realizada neste trabalho é somativa, pois busca mostrar como foram realizados os processos avaliativos das políticas de cotas nas IES paranaenses e apresenta as dimensões e indicadores mais utilizados pelas próprias IES na avaliação das políticas de cotas, ou seja, o que as instituições consideram importante avaliar em uma política de cotas, tendo como base os principais aspectos abordados em diferentes processos avaliativos.

Neste trabalho se considera a meta-avaliação como a avaliação de todas as práticas e funções da avaliação. Por isso, uma meta-avaliação necessita ser realizada contemplando diferentes dimensões do objeto, tornando possível o estudo dos significados, das interações e das interferências da vida real com relação ao objeto estudado, abrangendo as condições sociais, institucionais e ambientais.

Para Furtado e Laperrière (2012, p. 696):

A meta-avaliação se caracteriza por ter a avaliação como objeto de interesse. É de natureza qualitativa e pretende estabelecer um julgamento de valor, com critérios pré-definidos, com base em informações existentes ou construídas sobre uma determinada avaliação (em curso ou já realizada) para subsidiar eventuais tomadas de decisão.

Nesse caminho, a meta-avaliação abrange um permanente movimento entre as partes e o todo, pois a interpretação de uma avaliação requer a apreensão do contexto no qual está situada. Dessa forma, a meta-avaliação não pode ser entendida exclusivamente como uma narrativa cronológica da avaliação primária, mas como uma abordagem ligada às explicações para compreender os sentidos e significados.

Depreende-se então que a meta-avaliação pode desenvolver novos conceitos, novas formas de explicar os processos sociais. Por isso, cada uma das instituições pesquisadas foi submetida a um minucioso estudo refletido qualitativamente, pois os resultados não são generalizados, mas individualizados em suas particularidades.

Uma importante característica que sustenta a compreensão de meta-avaliação deste estudo é a relação entre objeto, contexto, atores e a sociedade em geral. Isso aponta para a multiplicidade dos fatores que interferem na realização da pesquisa e mostra a inexorável ligação entre as abordagens qualitativa e quantitativa na realização da meta-avaliação. As intersecções entre o particular e o geral, o coletivo e o individual, o científico e o profissional, a micro e a macroanálise ressignificam a investigação na perspectiva crítica, emergindo novas formas de observar o objeto (STAKE, 2011).

As duas abordagens, qualitativa e quantitativa, apontam como a pesquisa, apoiada nos dados e nos pressupostos teórico-metodológicos, busca explicar as causas dos fatos sociais, de forma dialética, articulada e contínua. Os aspectos contemplados nesta pesquisa estão voltados à compreensão/interpretação da avaliação das políticas de cotas das IES pesquisadas.

Para tanto, as evidências não são interpretadas de forma independente, uma vez que cada instituição utilizou metodologias diferentes para avaliar sua política de cotas, e essa riqueza de instrumentos e dados é primordial na realização da meta-avaliação.

Conforme já assinalado, este estudo não pretende discutir o sucesso ou fracasso das avaliações das políticas de cotas e das avaliações empreendidas pelas IES, mas, sim, apresenta-se como uma ferramenta de reflexão sobre a avaliação.

A meta-avaliação é um mecanismo de compreensão acerca da importância e necessidade da avaliação de políticas enquanto instrumento que possibilita a transformação. Ela favorece a tomada de consciência dos caminhos da política, uma transformação positiva aos olhos da igualdade de oportunidades, a qual permite a participação dos sujeitos para que as políticas sejam acompanhadas com vistas à maior democratização do ensino superior. Nesse sentido, no contexto deste artigo se ousa afirmar que a meta-avaliação poderá ser a consciência da avaliação, assim como a avaliação é a consciência da sociedade (SCRIVEN, 2009).

CONSIDERAÇÕES SOBRE AS AÇÕES AFIRMATIVAS NO ENSINO SUPERIOR BRASILEIRO

As ações afirmativas surgiram com o intuito de aumentar a representação de minorias perante instituições e posições de poder na sociedade. Embora tenham caráter provisório, criam incentivos a determinados grupos desfavorecidos e historicamente discriminados.

Ações afirmativas são entendidas como medidas de caráter especial e temporário, adotadas espontaneamente ou determinadas compulsoriamente pelo Estado, e que trazem em seu bojo o propósito de eliminar as desigualdades acumuladas ao longo da história (CASHMORE, 2000). Essas medidas compreendem o planejamento e a operação para promover a representação de pessoas que pertencem a grupos subordinados ou excluídos (BERGMANN, 1996).

Podem ser consideradas também como medidas redistributivas que objetivam alocar bens para grupos discriminados, vítimas de exclusão passada ou presente, socioeconômica e/ou cultural. Entre essas ações afirmativas, podem ser encontrados diferentes procedimentos que atendam a reivindicações coletivas para erradicação da desigualdade, como distribuição de terras, de moradias, medidas de proteção a estilos de vida ameaçados e políticas de identidade (DAFLON; FERES JÚNIOR; CAMPOS, 2013).

Perfazendo uma retomada histórica acerca das discussões sobre ações afirmativas no Brasil, observa-se que a partir da década de 1980 diversos foram os setores da sociedade que adotaram ações afirmativas em áreas como saúde, emprego e educação. Com a promulgação da Constituição Federal de 1988 e o contexto em que o Brasil se encontrava na década de 1990, as discussões acerca do reconhecimento da discriminação racial/social e sobre a adoção de políticas e programas de ação afirmativa se intensificaram. No entanto, em países como Estados Unidos, Índia e África do Sul esse debate já ocupava algum espaço entre governo e sociedade há pelo menos 30 anos (ZONINSEIN; FERES JÚNIOR, 2006; MOEHLECKE, 2004).

Guimarães (2015) explica que no Brasil o debate aberto concernente às ações afirmativas demorou a tomar corpo, embora o tema começasse a emergir no movimento negro desde o início do século XX. A ênfase das discussões nas oportunidades nos diversos âmbitos da vida fazia com que se destacassem as consequências sucedidas das limitações impostas pela discriminação (GUIMARÃES, 2015).

Na década de 1980, o debate recebeu atenção por parte do poder público, com a redemocratização do Brasil e com projetos de lei que propunham ações compensatórias. A partir dessa década o tema aparece com maior ênfase no cenário brasileiro pelas reivindicações do Movimento Negro Unificado (MNU), que, ressurgido como expressão pública, a partir de 1978 solicitava a adoção de ações afirmativas (MOEHLECKE, 2004; NEVES, 2008). Já o debate sobre cotas só se projetou na sociedade brasileira na forma de discussões que tinham como foco as experiências internacionais e a viabilidade da adoção de modelos semelhantes no Brasil e, até meados de 1990, o debate ficou efetivamente restrito ao movimento negro (MOEHLECKE, 2004).

Iniciativas não governamentais também contribuíram para discussões acerca das ações afirmativas no Brasil com projetos de lei de inspiração antidiscriminatória, com destaque para a Coleção de Combate ao Racismo, datada de 1983/1984. Os textos que compunham essa coleção continham projetos que previam a punição da discriminação racial e propunham a alteração de currículos educacionais. Dentre os projetos citados pelos autores, destaca-se o de reserva de vagas no mercado de trabalho para negros e a oferta de bolsas de estudos universitários para negros (CONTINS; SANT’ANA, 1996).

Somente no início dos anos 2000 e com a III Conferência Mundial contra o Racismo, Discriminação Racial, Xenofobia e Intolerância Correlata, realizada em 2001, em Durban, na África do Sul, o Brasil mostrou uma postura mais significativa diante das desigualdades raciais (FERES JÚNIOR et al., 2013).

Esse cenário evidencia que romper com uma tradição social e educacional excludente é um processo longo e eivado de tensões. Isso pode ser percebido pela trajetória da constituição da educação superior no Brasil, uma vez que do ponto de vista da formação histórica, o próprio Estado brasileiro foi se constituindo com uma base conservadora. Nesse processo, a discussão e adoção de políticas de ação afirmativa no Brasil foram complexas, lentas e cautelosas. Iniciaram-se os debates na década de 1990, mas a discussão avançou somente nos anos seguintes.

Entre as ações afirmativas adotadas no Brasil se destacam: as cotas na educação superior; o reconhecimento dos valores afrodescendentes; a aprovação da Lei n. 12.288/2010, a qual instituiu o Estatuto da Igualdade Racial; a Lei n. 10.639/2003, que incluiu no currículo oficial da rede de ensino fundamental e médio a obrigatoriedade da temática história e cultura afro-brasileira; e a criação da Secretaria Especial de Políticas de Promoção da Igualdade Racial da Presidência da República (Seppir) (CALDAS; SANTOS; SANTOS, 2011). Lima (2010) destaca que, além das ações citadas, utiliza-se o critério racial para os, já existentes, Programa de Financiamento Estudantil (Fies) e Programa Universidade para Todos (Prouni).

Importante destacar que ação afirmativa não significa cotas, pois as políticas públicas de ação afirmativa admitem inúmeros programas, sendo que a maioria deles não tem nenhuma relação com cotas (DA SILVA, 2000), que são uma consequência da adoção de ações afirmativas.

A política de cotas vem propiciando maior inclusão no ensino superior de estudantes que antes delas não teriam acesso a esse nível de ensino. É possível observar que, por meio das cotas, brancos e negros passam a ter oportunidades educacionais mais igualitárias. Diversos autores (QUEIROZ, 2004; BRANDÃO, 2005; ZONINSEIN; FERES JÚNIOR, 2006; DUARTE; BERTÚLIO; SILVA, 2009; JENSEN, 2010; HERINGER, 2014; SOUZA; BRANDALISE, 2015) comprovam em seus estudos que tais políticas têm favorecido a elevação dos índices de ingresso de classes historicamente excluídas nas universidades.

As primeiras instituições de ensino superior públicas a implantar políticas de cotas raciais no Brasil foram a Universidade do Estado do Rio de Janeiro (UERJ) e a Universidade Estadual do Norte Fluminense (UENF). A Universidade do Estado da Bahia (Uneb), em 2002, foi pioneira em adotar a reserva de vagas para negros em seus cursos de graduação e pós-graduação. A Universidade Estadual do Mato Grosso do Sul (UEMS) instituiu em 2002 a reserva de vagas para indígenas e em 2003 para estudantes negros. Em 2003, a Universidade Federal de Alagoas (Ufal) e a Universidade de Brasília (UnB) adotaram sistemas de reserva de vagas, e a partir de 2004 diversas outras IES aderiam ao sistema, como a Universidade Federal do Paraná (UFPR).

No ano de 2012, o Supremo Tribunal Federal decidiu pela constitucionalidade da adoção do sistema de cotas nas universidades públicas (LEWANDOWSKI, 2012). Nesse mesmo ano, a Lei n. 12.711 foi sancionada, garantindo a reserva de 50% das matrículas por curso e turno nas universidades e institutos federais a alunos oriundos integralmente do ensino médio público, e desses 50%, um percentual mínimo correspondia à soma de pretos, pardos e indígenas no estado, de acordo com o último censo demográfico do Instituto Brasileiro de Geografia e Estatística (IBGE). Feres Júnior, Daflon e Campos (2012) salientam que, antes da sanção dessa lei, 64% das universidades federais já tinham algum tipo de ação afirmativa, e que, se consideradas as instituições públicas estaduais e federais, esse percentual chegava a 71% das universidades públicas brasileiras. Além disso, mais de 50% das universidades tinham programas para negros e indígenas.

Nesse horizonte, o presente estudo contribui com a questão, realizando um trabalho de meta-avaliação das políticas de cotas adotadas pelas IES públicas paranaenses. Esta pesquisa em avaliação permite analisar o caminho de cada instituição na adoção de políticas afirmativas, quais os aspectos que impulsionaram a discussão no âmbito interno, assim como identificar os aspectos positivos da avaliação e sua influência para o público beneficiário. Sendo assim, a próxima seção apresenta os resultados da meta-avaliação das políticas de cotas das IES, produzindo conhecimento sobre avaliação e desvelando como foram os processos avaliativos das políticas de cotas no estado do Paraná.

METODOLOGIA

A meta-avaliação realizada congregou os aspectos qualitativos para coleta dos dados, mas não excluiu os aspectos quantitativos, pois estes trouxeram importantes contribuições às novas descobertas. Para tanto, optou-se por um estudo de casos múltiplos, já que, mesmo com similaridades entre as IES, estas são ao mesmo tempo distintas, únicas, com interesses próprios e singulares (STAKE, 2011). Como o estudo de caso enfatiza a complexidade das situações analisadas, evidenciando a inter-relação com os componentes, recorreu-se a uma variedade de fontes de dados e à coleta em diferentes momentos, situações e com uma pluralidade de informantes.

Para realização desta pesquisa, foram analisados os processos avaliativos das políticas de cotas em cinco universidades públicas estaduais do Paraná. Ao todo, no Paraná existem sete universidades públicas mantidas pelo governo do estado, entretanto duas delas estiveram em processo de discussão sobre a adoção de cotas no ano de 2017 e, portanto, não fizeram parte da investigação.

No contexto deste estudo, os dados que compõem a pesquisa foram documentais e se basearam em depoimentos dos atores institucionais envolvidos com as políticas de cotas, obtidos por meio de entrevista parcialmente estruturada. Os dados foram coletados entre o segundo semestre de 2016 e o primeiro semestre de 2017.

Para realizar o estudo dos processos avaliativos das políticas de cotas, foi necessário estabelecer um diálogo com a produção da política, ou seja, analisar o contexto que influenciou a adoção das políticas de cotas avaliadas e seu desenvolvimento. A intenção não foi realizar uma descrição das políticas, mas, sim, pensá-las e saber como foram discutidas, escritas e atuadas. Isso evitou a linearidade e contribuiu para compreendê-las como processo multifacetado, dialético, que articula as dimensões micro e macrossociais.

Foi mantido sigilo quanto ao nome das universidades participantes, por isso optou-se por designar as instituições com nomes de personagens do livro O Pequeno Príncipe, de Antoine de Saint-Exupéry. As designações das IES foram organizadas da seguinte forma: sigla IES seguida pelo nome do personagem definido por sorteio.

  • IES Serpente;

  • IES Geógrafo;

  • IES Rei;

  • IES Astrônomo;

  • IES Vaidoso.

Os dados documentais analisados foram referentes aos processos de atuação e avaliação das políticas de cotas. Os documentos contemplaram processos institucionais sobre as políticas de cotas; relatórios sobre ingresso, evasão, origem dos estudantes; resoluções; atas; pareceres; relatórios das avaliações. Já as entrevistas, parcialmente estruturadas, permitiram maior conhecimento sobre a atuação e avaliação das políticas. Ao todo, foram realizadas 20 entrevistas nas cinco IES. A escolha dos entrevistados foi feita com base na participação, na atuação e na avaliação das políticas de cotas, observadas na análise dos documentos. A cada entrevistado também foi garantido o direito de sigilo da identidade.

Para esta análise utilizou-se o ciclo de políticas proposto por Bowe, Ball e Gold (1992). Essa é uma ferramenta teórico-conceitual que auxilia na sistematização da pesquisa, análise de dados e exposição de resultados. Amplamente discutido no mundo acadêmico, o ciclo de políticas oferece importantes elementos conceituais que permitem compreender o processo de produção das políticas, seus objetivos e resultados.

Bowe, Ball e Gold (1992) propõem um ciclo contínuo composto por três contextos principais que envolvem as políticas públicas: o contexto de influência, o contexto da produção de texto e o contexto da prática. Tais contextos não envolvem uma dimensão temporal ou sequencial, pois não são etapas lineares, esses contextos estão inter-relacionados.

O contexto da influência representa a etapa na qual as políticas são pensadas e os discursos políticos são construídos. É nesse momento que surgem as disputas para definição das finalidades sociais da política, e esse contexto está diretamente relacionado com as ideologias predominantes. Para empreender a análise do contexto da influência é necessário considerar a historicidade da política, por isso faz-se fundamental explorar as inter-relações existentes entre as escalas global, nacional e local, além da superação do desafio de síntese da realidade existente com objetividade em busca de novas descobertas e novas análises.

O segundo contexto proposto, da produção do texto, representa os textos políticos. Esses não são articulados e não raro apresentam contradições, por isso é necessário que sejam lidos de acordo com o momento histórico de sua produção. Na perspectiva do ciclo de políticas, é fundamental compreender a política analisada como texto e como discurso, por isso o pesquisador deve buscar uma análise verdadeiramente crítica e não uma mera descrição dos textos políticos (BOWE; BALL; GOLD, 1992).

O terceiro contexto é o da prática, em que a política está sujeita a interpretações pelos atores, nas quais ela é recriada e produz seus efeitos (esperados ou não), que poderão influenciar as transformações na política original. É nesse contexto que a política é atuada, quando os embates e tensões são vividos e problematizados. Essa atuação ocorre como em uma peça teatral: a política atua no sujeito assim como o sujeito atua na política. Há uma mútua transformação, em movimento constante (BALL; MAGUIRE; BRAUN, 2016).

Na abordagem do ciclo de políticas a implementação não acontece em um determinado momento, de forma delimitada e pontual. O que há é a política em atuação, ou seja, a política sendo vivida dentro dos espaços pelos diferentes grupos envolvidos, podendo ser também encenada ou atuada de formas diferentes dentro de uma mesma instituição. Para Ball, Maguire e Braun (2016, p. 29-30) as políticas são personalizadas, construídas e reconstruídas, por isso são atuadas e não implementadas, “nós não vemos a atuação como um ‘momento’, mas sim como parte de um processo de interpretação que se enquadraria por fatores institucionais que envolvem uma gama de atores”.

Essa abordagem estimula a análise do sistema social e do contexto mais amplo, principalmente na análise do contexto da influência (que pressupõe um retorno ao macrocontexto social), bem como leva o pesquisador a assumir compromissos éticos com os temas investigados, seja por meio do desvelamento (explicitação) do impacto das políticas sobre grupos específicos (classes sociais, raça, etc.) ou por meio da apresentação de recomendações ou propostas de intervenção para enfrentar as desigualdades criadas ou reproduzidas pela política. Essa contribuição está relacionada com as discussões sobre “reflexividade ética” e sobre a importância de se fazer uma “auditoria ética” do impacto e do resultado das políticas, e com os princípios e finalidades da pesquisa crítica.

Nesse horizonte, documentos e depoimentos se mostram importantes para a compreensão de quais foram as influências e de como foi o processo de discussão para a adoção das políticas de cotas nas IES. Isso levou a analisar o conteúdo das falas dos atores institucionais numa perspectiva de complementaridade e novas descobertas.

Foi utilizada a metodologia da análise do conteúdo, proposta por Bardin (2011), que consiste no estudo do significado do que os entrevistados manifestaram em seus discursos, pela ausência ou presença de determinadas características no conteúdo da entrevista. Essa metodologia adota normas para extrair os significados temáticos por meio dos elementos do texto.

Para realizar uma melhor análise dos dados, foram contemplados os documentos em interação com as entrevistas, pois as técnicas de coleta de dados oferecem complementaridade uma à outra. Os dados obtidos foram combinados e reorganizados de acordo com as questões norteadoras utilizadas para a coleta dos dados e essas questões foram refletidas mediante análise interpretativa com base no referencial teórico adotado. As questões norteadoras para análise do ciclo de políticas podem ser observadas no Quadro 1.

QUADRO 1 Sistematização das questões norteadoras na análise das políticas 

CICLO DE POLÍTICAS
Influências institucionais e sociais
Objetivo das discussões
Embates vivenciados
Modelo adotado
Dificuldades encontradas

Fonte: Souza (2018, p. 143).

A discussão dos dados utilizando o ciclo de políticas foi organizada no sentido de compreender os processos que influenciaram a discussão, formulação e vida da política (BOWE; BALL; GOLD, 1992). Já para a meta-avaliação, os critérios adotados foram elencados utilizando como fonte os referenciais de Scriven (2009), Stufflebeam (1981, 2001, 2011) e do Joint Committee (WORTHEN; SANDERS; FITZPATRICK, 2004). Os critérios utilizados para realização da meta-avaliação foram:

  • precisão;

  • importância dos dados;

  • confiabilidade;

  • credibilidade;

  • relevância;

  • disseminação;

  • custo/eficácia.

Utilizando esses critérios como guia para a realização das entrevistas e organização dos dados documentais, emergiram as questões norteadoras observadas no Quadro 2.

QUADRO 2 Sistematização das questões norteadoras da meta-avaliação 

META-AVALIAÇÃO
Intenções/objetivos da avaliação
Processo de discussão
Dificuldades
Potencialidades
Avaliadores (atores/relação com a política/formação)
Instrumentos de coleta e análise
Planejamento da avaliação
Disseminação dos resultados
Relação custos versus qualidade

Fonte: Souza (2018, p. 144).

As questões norteadoras foram então realocadas nos critérios, conforme descrito no Quadro 3.

QUADRO 3 Inserção das questões norteadoras da meta-avaliação por critérios 

META-AVALIAÇÃO
Precisão Intenções/objetivos da avaliação
Importância dos dados Relevância dos dados
Confiabilidade Instrumentos de coleta e análise
Credibilidade Quem foram os avaliadores
Relevância Planejamento/dificuldades/potencialidades
Disseminação Disseminação dos resultados
Custo/eficácia Relação custos versus qualidade

Fonte: Souza (2018, p. 145).

Dessa forma, a meta-avaliação foi realizada utilizando os critérios selecionados (SCRIVEN, 2009; STUFFLEBEAM, 1981, 2001, 2011; WORTHEN; SANDERS; FITZPATRICK, 2004), articulando-os com o ciclo de políticas (BOWE; BALL; GOLD, 1992; BALL; MAGUIRE; BRAUN, 2016), o que possibilitou compreender não só os resultados das avaliações, mas todo o processo de atuação das políticas de cotas. Foi possível entender a previsão de avaliação das políticas, a participação dos sujeitos nos processos, a concepção/perspectiva de avaliação utilizada nas avaliações e quais metodologias foram utilizadas pelas instituições.

META-AVALIAÇÃO DAS POLÍTICAS DE COTAS

Apenas três das cinco IES pesquisadas realizaram avaliações de suas políticas. Isso levou à reorganização dos dados, analisando as políticas de cotas segundo o ciclo de políticas nas cinco instituições conforme previsto e, posteriormente, fazendo a meta-avaliação nas três IES. O Quadro 4 apresenta um comparativo dos modelos de políticas de cotas das instituições.

QUADRO 4 Comparativo entre os modelos de políticas de cotas nas IES pesquisadas 

IES INÍCIO MODELO AVALIAÇÃO
Serpente 2004 Estudantes oriundos de escola pública
Estudantes negros oriundos de escola pública
Estudantes negros oriundos de outros percursos formativos
SIM
Geógrafo 2010 Estudantes oriundos de escola pública SIM
Rei 2006 Estudantes oriundos de escola pública
Estudantes autodeclarados negros oriundos de escola pública
SIM
Astrônomo 2008 Estudantes oriundos de escola pública NÃO
Vaidoso 2008 Estudantes oriundos de escola pública NÃO

Fonte: Souza (2018, p. 205).

As informações que os dados trouxeram foram sistematizadas e interpretadas, realizando uma leitura flutuante dos dados, que permitiu sua organização. Posteriormente, estes foram codificados, classificados e categorizados. Por fim, deu-se a interpretação referencial, que estabeleceu relações entre os dados e a fundamentação teórica do estudo (BARDIN, 2011).

Os dados foram sistematizados com base no referencial teórico que sustentou a coleta dos dados. Tanto na análise da política quanto na meta-avaliação foram apresentadas questões norteadoras, que trouxeram os elementos discutidos: os termos e/ou expressões. Esses termos são expressões ou palavras identificadas nos depoimentos e documentos, as quais ofereceram maior materialidade para a interpretação e a fundamentação dos dados. O Quadro 5 apresenta um panorama dos termos e/ou expressões identificados.

QUADRO 5 Panorama da organização dos dados  

CICLO DE POLÍTICAS META-AVALIAÇÃO
Questão norteadora Termos/expressões Critérios avaliados Questão norteadora
Influências institucionais e sociais Debate nacional Precisão Intenções/objetivos da avaliação
Movimento Negro
Manifestação de atores institucionais
Escola pública
Democratização
Objetivo das discussões Inclusão do negro na universidade Importância dos dados Relevância dos dados
Democratizar o acesso à universidade para estudantes de escola pública
Embates vivenciados Racismo Confiabilidade Instrumentos de coleta e análise
Qualidade
Resistência
Conservadorismo
Modelo adotado Criou seu modelo próprio Credibilidade Quem foram os avaliadores
Modelo possível
Dificuldades encontradas Dificuldades na produção do texto Relevância Planejamento
Dificuldades
Potencialidades
Condições de permanência
Falta de avaliação/acompanhamento
Sem dificuldades na execução
Disseminação Disseminação dos resultados
Custo/eficácia Relação custos versus qualidade

Fonte: Souza (2018, p. 206-207).

Esta meta-avaliação considerou a historicidade e a totalidade dos fatos e os processos de mudança, superando a visão de avaliação enquanto mera seleção, accountability e regulação, mas visando à construção de condições mais emancipatórias nas tomadas de decisões em políticas públicas.

Este estudo de meta-avaliação esteve ancorado em uma concepção de avaliação enquanto instrumento emancipatório e de transformação. Não foi um processo isento de valores e contradições, ao contrário, esteve situado em um campo de disputas e mergulhado em ideologias e em contraditórios jogos de poder. Por isso, uma avaliação, como a de cotas, é uma questão política e tem uma dinâmica atravessada de contradições. Por tais motivos, não se deve compreender a avaliação em abstrato, mas no contexto das relações sociais em que está inserida, no macro e microcontexto.

AS POLÍTICAS DE COTAS SEGUNDO O CICLO DE POLÍTICAS

Na análise do contexto da influência, os dados apontaram que as discussões que ocorriam à época no país, no estado do Paraná e em outras instituições, exerceram forte influência no debate sobre ações afirmativas nas universidades pesquisadas. Todos os depoimentos afirmaram que havia o reconhecimento da importância das cotas, pois grande parte das IES públicas e até mesmo instâncias governamentais estavam organizando discussões sobre o tema.

Os dados permitiram observar também uma aproximação, maior ou menor nas diferentes realidades, da sociedade civil com as instituições, para trazer a questão das cotas para o debate institucional. Na IES Serpente a discussão sobre reserva de vagas iniciou-se a partir de reivindicações do Movimento Negro junto à administração universitária. Já nas IES Geógrafo, Rei e Astrônomo houve a participação do Movimento Negro somente quando as discussões já estavam em curso. No entanto, tal participação na IES Astrônomo foi de maneira mais tímida e na IES Vaidoso não houve nenhuma participação.

Observou-se que o papel desempenhado pelos atores institucionais, entre eles professores, reitores e conselheiros institucionais, ocorreu no sentido de inserir a temática na ordem do dia. Esses atores influenciaram na formulação e nas metas do programa, pois estiveram envolvidos com a criação e recriação da política, formando redes complexas na atuação da política (BALL; MAGUIRE; BRAUN, 2016).

Nesse contexto, as discussões sobre as cotas nas instituições tomaram o viés de democratização do acesso ao ensino superior, especialmente para estudantes de escola pública. Quanto aos objetivos propostos, estavam relacionados à inclusão do negro na universidade e à democratização do acesso à universidade para estudantes de escola pública. Embora pareçam redundantes, tais objetivos trazem diferenças marcantes em sua essência.

Em todo o estado, apenas as IES Serpente e Rei incluíram cotas raciais em sua política. Da análise dos dados depreendeu-se que na IES Serpente o objetivo sempre foi incluir o negro no ensino superior. Em contrapartida, na IES Rei, o movimento foi diferente: a discussão iniciou-se com o objetivo de democratizar o acesso para estudantes oriundos de escola pública. Somente no decorrer dos debates a cota racial foi considerada. Nas IES Geógrafo e Astrônomo a cota racial esteve em pauta, mas foi voto vencido. Já na IES Vaidoso, o objetivo sempre foi o ingresso de estudantes oriundos de escola pública.

Os dados mostraram ainda que os embates vivenciados nas discussões iniciais nas IES estiveram relacionados a racismo, queda da qualidade do ensino e resistências internas, muitas vezes afetas ao conservadorismo institucional.

O reconhecimento da presença do preconceito e do racismo ainda é tema que gera desconforto em grande parte das pessoas. Quando essa questão foi trazida à tona, muito conhecimento se produziu, opiniões e percepções foram refletidas e medidas para desconstrução do racismo foram adotadas em diversos contextos. É evidente que isso não erradicou o racismo, mas proporcionou um novo pensamento sobre o tema.

Os dados apontam que nas IES Serpente e Rei, esses embates foram e ainda são muito acirrados em virtude da não aceitação do critério racial na reserva de vagas. Na IES Rei, as cotas raciais somente foram aprovadas na última reunião do ano do Conselho Universitário (COU), com diferença de apenas um voto, ao final de uma reunião de quase dez horas de duração. Isso mostra que valores e posicionamentos daqueles que aprovam ou não as leis interferem diretamente na realidade da população.

Percebe-se nos documentos e depoimentos da IES Geógrafo que demorou mais de três anos para se chegar a um consenso sobre a reserva de vagas em virtude da não aceitação da cota racial. Essa divergência favoreceu a implantação apenas de cotas sociais, pois o discurso institucional se fortaleceu na questão da exclusão social e econômica.

É de conhecimento público que a educação básica brasileira tem qualidade bastante aquém do que os impostos podem pagar. Por sua vez, as IES não poderiam se furtar ao seu papel de inclusão social, relegando-se ao debate nacional. Aqui não se defende uma cota em detrimento de outra. O ideal é que houvesse investimento suficiente na educação básica para que os estudantes tivessem as mesmas oportunidades educacionais. Contudo, a realidade não é essa e as IES devem considerar seu papel social e agir no âmbito que cabe a elas. Nesse sentido, a crítica aqui estabelecida envolve silenciamento ou a supressão da questão racial nos debates sobre cotas nas IES pesquisadas.

Tais ideias se evidenciam na IES Astrônomo, que instituiu a Comissão para Estudos e Elaboração de Políticas Afirmativas, a qual encaminhou uma minuta que propunha cotas para estudantes de escola pública, negros e indígenas. No entanto, a reserva de vagas para negros e indígenas foi retirada de pauta pelos conselhos superiores. Importante destacar que, mesmo tendo havido alguma indicação de cota racial, não houve embates, discussões ou argumentações que impedissem que a questão racial fosse retirada de pauta.

Na IES Vaidoso houve manifestação da reitoria para a democratização da universidade para os estudantes de escola pública. Nessa IES não foi levantada a hipótese de cotas raciais, porém nos depoimentos foram encontrados argumentos de que a questão racial seria atendida com as cotas para escola pública.

Há grande preocupação com a queda da qualidade das IES, que está registrada nos processos e foi reiterada em todas as entrevistas. Daflon e Feres Júnior (2013) realizaram um estudo que apresenta dados sobre a relação qualidade versus cotas. O estudo mostra que quanto mais alto o índice geral de cursos (IGC) da instituição, maior resistência existe com relação à reserva de vagas; e em IES com IGC 4 e 5, a resistência é ainda maior com relação às cotas raciais. Isso indica que a preocupação com a redução da qualidade da instituição não é algo exclusivo das paranaenses. Atualmente, inúmeras pesquisas contrariam o senso comum inicial e comprovam que os estudantes ingressantes por sistemas de reserva de vagas têm acompanhamento médio igual aos não cotistas (SOUZA; BRANDALISE, 2015).

Na análise dos dados verificou-se ainda que os entrevistados apontaram que cada IES criou o modelo possível perante os embates vividos. Entre as dificuldades apontadas, destacam-se os textos políticos produzidos que materializavam as cotas e refletiam as disputas e tensões vividas durante sua produção. Na IES Geógrafo, na fase de produção do texto, o relator da minuta da resolução apontou a falta de proposição de ações de acompanhamento. Na minuta constava a expressão “estudantes em desvantagem socioeconômica” e, nesse raciocínio, os ingressantes por cotas não teriam condições financeiras próprias para permanecer no ensino superior.

Os processos da IES Vaidoso mostram um embate dessa mesma natureza. Nas primeiras minutas constava um artigo que atribuía à universidade a responsabilidade de implementar medidas de apoio e acompanhamento dos cotistas. Esse artigo foi retirado após parecer da assessoria jurídica da IES, que questionava o deslocamento de função da universidade: “de instituição de ensino superior para instituição assistencialista”.

Ainda com relação às dificuldades encontradas, dos depoimentos emergiram as expressões “falta de avaliação/acompanhamento” e “sem dificuldades na execução”. As considerações sobre essas duas expressões, nesta análise, se mesclam em virtude da ausência de avaliação. Importante salientar que todos os depoimentos que apresentaram essas expressões fazem parte das IES Astrônomo e Vaidoso.

Fernandes (2010) alerta que a avaliação não é um ato neutro, uma vez que, sendo prática social, carrega consigo questões éticas, políticas e sociais. Da mesma forma, a não realização de avaliação também tem significado. Santos (2013) explica que há um receio de tornar públicos os resultados negativos das cotas, pois mesmo a política de cotas estando implantada, ainda há uma tensão política em torno da aprovação da reserva de vagas que se reverbera nos processos de avaliação e acompanhamento. Essa tensão não se manifesta em conflitos abertos, mas é subjetiva ao discurso institucional. Assim, há a preocupação de que, havendo uma avaliação, a cota seja questionada ou até mesmo extinta em função de seus resultados, caso eles sejam negativos.

As tensões, conflitos e ambiguidades se refletem na não realização de avaliações. As forças que se contrapõem no ambiente político, as alianças e a concepção de democratização do Estado impõem que a avaliação seja compreendida enquanto instrumento político. Nesse sentido, a avaliação da política de cotas deveria servir para desvelar questões relacionadas ao seu funcionamento para que fossem aprimoradas, de forma que os recursos públicos fossem destinados efetivamente para promoção da igualdade e não como meio para se extinguir uma política.

Nesta pesquisa compreende-se que a avaliação vem no sentido de possibilitar o fortalecimento e a recondução dos caminhos. Quando realizada de forma consciente, a avaliação traz benefícios como a compreensão sobre o objeto avaliado e o reconhecimento das fragilidades existentes, permitindo uma retomada dos objetivos iniciais e novas definições no processo de gestão.

Há ainda uma segunda razão para a não realização de avaliações, que é a falta de cultura de avaliação nas instituições brasileiras. Essa afirmação pode ser questionada por muitos estudiosos, ainda mais no contexto do Estado-avaliador.

A perspectiva da prática avaliativa nas instituições muitas vezes é encarada como uma questão administrativa ou técnica, e isso deixa uma grande lacuna nos processos institucionais (AFONSO, 2013). Hoje, grande parte das avaliações são realizadas para ranqueamento e tomam fins de comparação entre instituições não comparáveis entre si. Ou seja, esse tipo de avaliação não é objeto de produção de conhecimento com potencial para a emancipação e não é compreendido como elemento constitutivo das transformações sociais.

Nos depoimentos foi apontado que uma grande dificuldade para realização de avaliações está relacionada a recursos (humanos, financeiros e de tempo). Os depoimentos não afirmam que a avaliação da política de cotas é desnecessária, ao contrário, observou-se que a avaliação teve sua importância reconhecida, mas contraditoriamente não foi realizada.

Ainda nos depoimentos, alguns atores afirmaram que não houve dificuldades no contexto da prática da política. Esses depoimentos afirmam que a política de cotas teve êxito em sua execução, contudo não existem dados que comprovem essa afirmação.

No entanto, se não houver avaliação e acompanhamento das políticas de cotas com ênfase na melhoria dos processos para promoção da igualdade, não será possível desconstruir os argumentos contrários às políticas afirmativas. Acredita-se que, com diálogo aberto, realização de acompanhamento, avaliação e análise dos resultados numa perspectiva emancipatória, será possível melhorar as políticas afirmativas em curso quanto à sua efetividade, em prol da construção de uma sociedade mais justa, democrática e igualitária.

AVALIANDO AS AVALIAÇÕES

Perante as individualidades institucionais das políticas de cotas, esta pesquisa permitiu refletir sobre os processos avaliativos das IES de forma contextualizada e dialética, pois as contradições, singularidades e significados são desvelados no processo contínuo de construção do conhecimento.

Na análise dos documentos referentes à avaliação da política de cotas nas IES, foi possível perceber que em todas houve a previsão de avaliação, mesmo naquelas que não realizaram avaliação, entretanto, somente as IES Serpente, Geógrafo e Rei tiveram processos avaliativos.

Na análise observou-se que não houve uma regularidade temporal na realização dessas avaliações, ou seja, não ocorreram tal como foram previstas. Quanto à participação dos atores institucionais nas avaliações, esta aconteceu em maior ou menor grau em cada instituição. Os dados mostraram que em todas as instituições houve mobilização da comunidade interna e externa: estudantes, professores, funcionários, centros de estudo, sociedade civil, contudo, embora a participação fosse muito estimulada, era bastante reduzida. A hipótese apontada pelos entrevistados para o baixo índice de participação estudantil é que o fato de ser cotista constrangia os estudantes, em virtude do preconceito experienciado por eles no âmbito institucional.

As avaliações realizadas nas IES classificam-se como ex-post, pois ocorreram depois do projeto ser colocado em ação e possuíram a dimensão temporal de avaliação de processos, pois foram realizadas durante a prática da política. Já na diferenciação de Faria (2007), as avaliações foram de monitoramento, pois buscaram elementos que permitiram intervir e corrigir os rumos e desvios detectados.

Na análise dos dados, observou-se que especialmente a avaliação da IES Geógrafo teve o objetivo de reorganizar as ações. Já nas IES Serpente e Rei, a busca foi por desvelar as dificuldades que não foram percebidas durante a fase de discussão e produção do texto e possibilitar que as políticas fossem corrigidas em momento oportuno.

Tipificando a avaliação em função de quem as realizou, o acompanhamento e a avaliação nas IES foram internos, pois foram realizados pelos envolvidos com a política. Nos relatórios das IES Serpente e Rei foi possível perceber uma tendência participativa, pois os processos buscaram envolver os beneficiários da política de cotas, embora os depoimentos tenham trazido elementos que apontaram as dificuldades em envolver os estudantes cotistas, como já citado anteriormente.

As avaliações realizadas se mostraram em uma perspectiva ora quantitativa, ora qualitativa, com fins de diagnosticar avanços e dificuldades, promover o debate sobre cotas e racismo. Para tanto, utilizaram-se de métodos quantitativos e qualitativos combinados - depoimentos, análise de conteúdo, estatística -, possibilitando correções e organização de aspectos práticos da política.

Os dados apresentados mostram que, embora haja a previsão de avaliação nos textos das políticas de cotas, esta não foi realizada conforme foi preconizada. Isso reforça a ideia de falta de cultura de avaliação de políticas públicas e o não reconhecimento da importância da avaliação enquanto instrumento que proporciona melhorias nas políticas.

Importante destacar que nos documentos das IES Astrônomo e Vaidoso havia a previsão de avaliação, contudo, na primeira ela nunca ocorreu, já na segunda, o artigo que tratava sobre o acompanhamento foi retirado da resolução institucional de cotas em uma de suas atualizações.

Quanto à participação, embora tenha sido pequena nos momentos avaliativos, é sempre fundamental que seja estimulada no âmbito institucional, pois somente com a participação os preconceitos podem ser trazidos para discussão, com vistas à sua erradicação.

Conforme apontado, a perspectiva de avaliação adotada na pesquisa preconizou uma perspectiva emancipatória, que envolve um movimento dialético na produção de conhecimento. Por isso, tais processos podem ser cada vez mais burilados, envolvendo novas formas de produção de conhecimento a fim de incentivar novas formas de avaliação.

Apresentadas as dimensões que contextualizam a realização das avaliações na IES, os dados mostraram que estas tiveram características de movimento, o que, em maior ou menor grau, estabeleceu diálogo com os textos escritos. Em continuidade, este estudo segue para a avaliação das avaliações, conforme os critérios estabelecidos.

Os resultados da meta-avaliação mostraram que as avaliações das IES Serpente, Rei e Geógrafo atenderam ao critério de Precisão. Embora as avaliações não tenham tido os mesmos objetivos em todas as suas edições e sido realizadas com a periodicidade prevista nas resoluções, o sistema de cotas foi avaliado e os resultados responderam aos objetivos propostos. Pode-se afirmar ainda que, nas IES Serpente e Rei, a avaliação procurou uma tendência de recondução dos caminhos em busca do fortalecimento das cotas e maior promoção de condições de acesso, uma vez que ofereceu subsídios para nortear as tomadas de decisões futuras. Já na IES Geógrafo, a avaliação teve como fim a regulamentação.

Uma vez que as avaliações das políticas de cotas das IES não tiveram sempre os mesmos objetivos, houve também uma alternância na seleção dos dados. No entanto, é possível afirmar que, diante dos objetivos propostos para cada processo avaliativo, o critério Importância dos dados foi atendido. Esse critério também permitiu inferir que há um problema com o formato das avaliações, pois importantes dimensões não foram contempladas.

Conforme apontamos, a avaliação é uma ação que sofre influências internas e externas. Essa é uma prática social e como tal está permeada pela historicidade e concretude do contexto em que está inserida. Por isso as avaliações das políticas de cotas nas IES foram realizadas conforme as compreensões e possibilidades de cada comissão, de acordo com as demandas sociais e/ou institucionais do momento, contemplando aspectos quantitativos e qualitativos, tanto na coleta quanto na análise dos dados. No entanto, as IES Serpente e Rei não atenderam ao critério Confiabilidade, pois houve dificuldades no acesso e dados quantitativos foram insuficientes; e, se há falta de dados, há grande risco de a avaliação estar comprometida. Além disso, as metodologias nem sempre tiveram rigorosidade científica e o tempo para realização da avaliação foi escasso. Essas questões interferem diretamente no resultado da avaliação, pois, se os caminhos de coleta e análise fossem refeitos, produziriam outros resultados.

Outra fragilidade das avaliações nas IES paranaenses está na quase ausência de especialistas em avaliação na realização da avaliação de suas políticas de cotas. As avaliações não atenderam ao critério Credibilidade em nenhuma IES. Em uma instituição pública, uma avaliação interna é a melhor, senão a única opção, mas a realização dessa prática sem a devida formação do corpo técnico sacrifica a credibilidade. Destaca-se a importância de haver especialistas e membros engajados com a política de cotas. Entretanto, a falta de profissionais que conhecem o campo da avaliação, bem como suas especificidades, torna as avaliações suscetíveis a erros conceituais e metodológicos.

Sobre o critério Relevância, embora os planejamentos não tenham sido rigorosamente delineados, responderam aos objetivos propostos para as avaliações, bem como atenderam às necessidades de informações. Isso leva a refletir que se, caminhando por vias desconhecidas, os atores que compunham as comissões conseguiram planejar uma avaliação que respondeu às questões iniciais, um corpo técnico instrumentalizado, tanto com a teoria quanto com a prática da avaliação, têm um amplo potencial para produzir um vasto e consistente conhecimento sobre avaliação de políticas de cotas.

A meta-avaliação revelou ainda que todas as IES atenderam ao critério Disseminação, pois os resultados da avaliação foram comunicados aos interessados (comunidade interna e externa e órgãos da sociedade civil). Os meios para divulgação foram internet, eventos, reuniões e entrevistas. Entretanto, a participação da comunidade universitária e da sociedade em geral foi diferente em cada instituição. Isso reforça que os contextos em que as instituições estão inseridas interferem no delineamento de políticas públicas.

Outra questão extremamente delicada foi a relação Custo versus Eficiência das avaliações. Conforme destacado, o objetivo da avaliação desse critério no contexto da administração pública brasileira não é a redução dos custos, pois isso pode gerar a redução dos investimentos em educação. O que se defende é uma utilização dos recursos com mais eficiência, pois, quando há clareza sobre o quanto uma política pública custou, há a possibilidade de se utilizar os recursos sobressalentes para potencializar o atendimento aos beneficiários, redirecionar esforços e elevar os resultados, além do fato de a avaliação desse critério poder evidenciar que a falta de qualidade das avaliações está relacionada à falta de recursos.

Para finalizar a discussão dos dados, reiteramos que este estudo de casos múltiplos possibilitou compreender as políticas de cotas e suas avaliações na particularidade e complementaridade de cada contexto. As influências que cada IES teve, os embates na produção dos textos e a atuação dos atores institucionais mostraram que a política de cotas está permeada por fatores políticos, sociais, institucionais e particulares. Muitas vezes o antagonismo social se reproduziu no interior das instituições, materializando sistemas de reserva de vagas limitados e contraditórios, interpretados e reconfigurados em resposta à complexidade da realidade atual. Nesse movimento paradoxalmente frágil e resistente, esta meta-avaliação reiterou a complexidade da avaliação de políticas públicas, bem como a necessidade de teorias, métodos, técnicas e formação adequada para empreender processos avaliativos que possam representar mudanças sociais.

CONCLUSÃO

Percebeu-se nesta meta-avaliação que o processo de avaliação foi temido pelas instituições, especialmente pelos atores envolvidos na aprovação das políticas. Conclui-se então que as avaliações não ocorreram efetivamente porque as instituições e/ou os atores envolvidos receavam que a avaliação fosse usada como instrumento para negação das cotas, ou seja, uma forma de recuar na reserva de vagas.

Depreendeu-se também que a avaliação da execução não é tratada como uma proposta para melhoria da execução da política, pela forte tensão que permeia a reserva de vagas nas instituições pesquisadas. Por isso, os atores usaram as avaliações no sentido de legitimação das cotas.

Assim, destaca-se a importância de que sejam realizadas discussões mais aprofundadas sobre cotas e defende-se a formação de corpo técnico, desenvolvimento de métodos e estratégias adequados às diferentes situações e produção de conhecimento acerca da avaliação enquanto campo epistemológico, bem como o contínuo debate sobre o papel da política de cotas para redução das desigualdades. Isso tudo para que haja a realização de avaliações críticas, processuais e emancipatórias.

Os dados apresentados indicaram ainda outro fator relevante e que merece reflexão: a fragilidade institucional das universidades públicas brasileiras. Vivemos tempos temerosos, de sucateamento das instituições e um discurso privatizante como nunca antes visto. Neste estudo, ficou claro que a universidade não goza de estrutura adequada para produção e socialização do conhecimento, não tem funcionários em número suficiente, e isso resulta na falta de dados organizados que possibilitem processos avaliativos com mais qualidade.

Embora a visão sobre avaliação adotada a considere um valioso instrumento de transformação das realidades, ela não tem condições de resolver todos os problemas da sociedade. Ressalta-se, então, seu potencial transformador, não seu poder individual.

Essa consciência acerca da limitação da avaliação atribui aos sujeitos a responsabilidade pela sua realização e utilização dos resultados não restritos à regulação, mas de forma que levem à construção de uma sociedade mais justa e consciente.

REFERÊNCIAS

AFONSO, Almerindo Janela. Mudanças no Estado-avaliador: comparativismo internacional e teoria da modernização revisitada. Revista Brasileira de Educação, Rio de Janeiro, v. 18, n. 53, p. 167-184, jun. 2013. [ Links ]

BALL, Stephen J.; MAGUIRE, Meg; BRAUN, Annette. Como as escolas fazem as políticas: atuação em escolas secundárias. Ponta Grossa: Editora UEPG, 2016. [ Links ]

BARDIN, Laurence. Análise de conteúdo. São Paulo: Edições 70, 2011. [ Links ]

BERENDS, Lynda; ROBERTS, Bridget. Evaluation standards and their application to indigenous programs in Victoria, Australia. Evaluation Journal of Australasia, Canberra, Austrália, v. 3, n. 2, p. 54-59, Dec. 2003. [ Links ]

BERGMANN, Barbara. In defense of affirmative action. New York: BasicBooks, 1996. [ Links ]

BOWE, Richard; BALL, Stephen J.; GOLD, Anne. Reforming education & changing schools: case studies in policy sociology. Londres: Routledge, 1992. [ Links ]

BRANDÃO, Carlos da Fonseca. As cotas na universidade pública brasileira: será esse o caminho? Campinas: Autores Associados, 2005. [ Links ]

CALDAS, Alcides dos Santos; SANTOS, Antonio Luiz Moreira; SANTOS, Ramon dos. Conferência de Durban: implementação e desenvolvimento das políticas de promoção da igualdade no Brasil. In: CONGRESSO LUSO AFRO BRASILEIRO DE CIÊNCIAS SOCIAIS, 11., 2011, Salvador. Anais [...]. Salvador: Universidade Federal da Bahia, 2011. [ Links ]

CASHMORE, Ellis. Dicionário das relações étnicas e raciais. São Paulo: Summus, 2000. [ Links ]

CONTINS, Marcia; SANT’ANA, Luiz Carlos. O movimento negro e a questão da ação afirmativa. Estudos Feministas, Florianópolis, v. 4, n. 1, p. 209-220, jan./jun. 1996. [ Links ]

DAFLON, Verônica Toste; FERES JÚNIOR, João; CAMPOS, Luiz Augusto. Ações afirmativas raciais no ensino superior público brasileiro: um panorama analítico. Cadernos de Pesquisa, São Paulo, v. 43, n. 148, p. 302-327, jan./abr. 2013. [ Links ]

DA SILVA, Jorge. Política de ação afirmativa para a população negra: educação, trabalho e participação no poder. In: VOGEL, Arno. Trabalhando com a diversidade no Planfor: raça/cor, gênero e pessoas portadoras de necessidades especiais. São Paulo: Editora Unesp; Brasília: Flacso Brasil/MTE, 2000. p. 5-67. [ Links ]

DAVOK, Delsi Fries. Modelo de meta-avaliação de processos de avaliação da qualidade de cursos de graduação. 2006. Tese (Doutorado) - Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina, Florianópolis, 2006. [ Links ]

DUARTE, Evandro Charles Piza; BERTÚLIO, Dora Lúcia de Lima; SILVA, Paulo Vinícius da. Cotas raciais no ensino superior: entre o jurídico e o político. Curitiba: Juruá, 2009. [ Links ]

ELLIOT, Ligia Gomes. Meta-avaliação: das abordagens às possibilidades de aplicação. Ensaio: avaliação de políticas públicas de Educação, Rio de Janeiro, v. 19, n. 73, p. 941-964, out./dez. 2011. [ Links ]

FARIA, Regina M. Avaliação de programas sociais: evoluções e tendências. In: RICO, Elizabeth Melo. Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 2007. p. 41-49. [ Links ]

FERES JÚNIOR, João; DAFLON, Verônica Toste; CAMPOS, Luiz Augusto. Ação afirmativa, raça e racismo: uma análise das ações de inclusão racial nos mandatos de Lula e Dilma. Revista de Ciências Humanas, Viçosa, v. 12, n. 2, p. 399-414, jul./dez. 2012. [ Links ]

FERES JÚNIOR, João; DAFLON, Veronica Toste; BARBABELA, Eduardo; RAMOS, Pedro. Levantamento das políticas de ação afirmativa nas universidades estaduais. Levantamento das políticas de ação afirmativa (GEMAA). Rio de Janeiro: IESP-UERJ, 2013. [ Links ]

FERNANDES, Domingues. Acerca da articulação de perspectivas e da construção teórica em avaliação educacional. In: ESTEBAN, Maria Teresa; AFONSO, Almerindo Janela. Olhares e interfaces: reflexões críticas sobre a avaliação. São Paulo: Cortez, 2010. p. 15-44. [ Links ]

FURTADO, Juarez Pereira; LAPERRIÈRE, Hélène. Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva. Ciência & Saúde Coletiva, Rio de Janeiro, v. 17, n. 3, p. 695-705, mar. 2012. [ Links ]

GUIMARÃES, Antonio Sérgio Alfredo. Ação afirmativa, autoritarismo e liberalismo no Brasil de 1968. Novos Estudos - Cebrap, São Paulo, n. 101, p. 5-25, mar. 2015. [ Links ]

HERINGER, Rosana. Um balanço de 10 anos de políticas de ação afirmativa no Brasil. TOMO - Revista do Programa de Pós-Graduação em Sociologia da Universidade Federal de Sergipe, Sergipe, n. 24, p. 15-35, jan./jun. 2014. [ Links ]

JENSEN, Geziela. Políticas de cotas raciais em universidades brasileiras: entre a legitimidade e a eficácia. Curitiba: Juruá, 2010. [ Links ]

JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION. Standards for evaluation of educational programs, projects, and materials. Nova York: McGraw-Hill, 1981. [ Links ]

LEWANDOWSKI, Ricardo. Íntegra do voto do ministro Ricardo Lewandoski na ADPF 186 sobre cotas. Brasília, DF: STF, 2012. Disponível em: http://www.stf.jus.br/arquivo/cms/noticiaNoticiaStf/anexo/ADPF186RL.pdf. Acesso em: nov. 2017. [ Links ]

LIMA, Márcia. Desigualdades raciais e políticas públicas: ações afirmativas no governo Lula. Novos estudos - Cebrap, São Paulo, n. 87, p. 77-95, jul. 2010. [ Links ]

MOEHLECKE, Sabrina. Ação afirmativa no ensino superior: entre a excelência e a justiça racial. Educação e Sociedade, Campinas, v. 25, n. 88, p. 757-776, out. 2004. [ Links ]

NEVES, Paulo S. C. Ações afirmativas no Brasil contemporâneo: uma perspectiva comparada. In: REUNIÃO BRASILEIRA DE ANTROPOLOGIA, 26., 2008. Anais [...]. Porto Seguro: Associação Brasileira de Antropologia, 2008. [ Links ]

QUEIROZ, Delcele Mascarenhas. Universidade e desigualdade: brancos e negros no ensino superior. Brasília: Liber Livro, 2004. [ Links ]

SANTOS, Jocélio Teles. O impacto das cotas nas universidades brasileiras (2004-2012). Salvador: CEAO, 2013. [ Links ]

SCRIVEN, Michael. Evaluation Thesaurus. 3. ed. Califórnia: Edgepress, 1981. [ Links ]

SCRIVEN, Michael. Meta-Evaluation Revisited. Journal of MultiDisciplinary Evaluation, Kalamazoo, MI, v. 6, n. 11, p. 3-8, jan. 2009. [ Links ]

SCRIVEN, Michael. The meta-evaluation checklist. Claremont: Claremont Graduate University, 2015. [ Links ]

SOUZA, Andreliza Cristina de. Meta-avaliação das políticas de cotas: um estudo de processos nas universidades estaduais paranaenses. 2018. Tese (Doutorado em Educação) - Universidade Federal de São Carlos, São Carlos, 2018. [ Links ]

SOUZA, Andreliza Cristina de; BRANDALISE, Mary Ângela Teixeira. Democratização, justiça social e igualdade na avaliação de uma política afirmativa: com a palavra, os estudantes. Ensaio: avaliação e políticas públicas em Educação, Rio de Janeiro, v. 23, n. 86, p. 181-212, jan./mar. 2015. [ Links ]

STAKE, Robert. Pesquisa qualitativa: estudando como as coisas funcionam. Porto Alegre: Penso, 2011. [ Links ]

STUFFLEBEAM, Daniel L. Meta-evaluation: concepts, standards and uses. In: BERK, Ronald A. Educational evaluation methodology: the state of the art. Baltimore: The Johns Hopkins University Press, 1981. [ Links ]

STUFFLEBEAM, Daniel L. Personel evatuations metaevaluation checklist: based on the personnel evaluation standards. Kalamazoo, MI: Evaluation Checklists Project, 2000. Disponível em: https://wmich.edu/sites/default/files/attachments/u350/2014/personnel_metaeval.pdf. Acesso em: abr. 2016. [ Links ]

STUFFLEBEAM, Daniel L. The metaevaluation imperative. American Journal of Evaluation, Thousand Oaks, v. 22, n. 2, p. 183-209, June 2001. [ Links ]

STUFFLEBEAM, Daniel L. Meta-Evaluation. Journal of MultiDisciplinary Evaluation, Kalamazoo, MI, v. 7, n. 15, p. 99-158, Feb. 2011. [ Links ]

WORTHEN, Blaine; SANDERS, James R.; FITZPATRICK, James L. Avaliação de programas: concepções e práticas. São Paulo: Gente, 2004. [ Links ]

ZONINSEIN, Jonas; FERES JÚNIOR, João. Ação afirmativa e desenvolvimento. In: FERES JÚNIOR, João; ZONINSEIN, Jonas. Ação afirmativa e universidade: experiências nacionais comparadas. Brasília: Editora Universidade de Brasília, 2006. p. 9-45. [ Links ]

1“[...] the process of delineating, obtaining, and applying descriptive information and judgmental information - about the utility, feasibility, propriety, and accuracy of an evaluation and its systematic nature, competent conduct, integrity/honesty, respectfulness, and social responsibility - to guide the evaluation and/or report its strengths and weaknesses”.

Recebido: 14 de Julho de 2018; Aceito: 26 de Junho de 2019

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons