SciELO - Scientific Electronic Library Online

 
 número46O trabalho docente no magistério superior em tempos de crise e de reconfiguraçãoRelação família-escola: o estado da arte na pós-graduação brasileira índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Eccos Revista Científica

versão impressa ISSN 1517-1949versão On-line ISSN 1983-9278

Eccos Rev. Cient.  no.46 São Paulo maio/ago 2018  Epub 10-Jun-2019

https://doi.org/10.5585/eccos.n46.7947 

Artigos

Situando os debates sobre a avaliação da pós-graduação: os estudos do campo pelo campo

Siting the discussion on the evaluation of postgraduation: the studies of the field by the field

Ana Maria da Silva Magalhães1 

Giselle Cristina Martins Real2 

1Doutoranda em Educação - Universidade Federal da Grande Dourados. Dourados-MS - Brasil. anamariasilva@ufgd.edu.br

2Doutora em Educação. Professora do Programa de Pós-Graduação em Educação da Universidade Federal da Grande Dourados, Dourados-MS - Brasil. gisellereal@ufgd.edu.br


Resumo

Assim como os demais níveis de ensino, a pós-graduação stricto sensu no Brasil tem passado por um processo de significativa expansão e, com isso, ampliam-se os estudos e debates acerca da temática, especialmente no que tange ao seu processo de avaliação. Diante disso, o presente estudo objetiva analisar o debate acerca da avaliação da pós-graduação, a partir do mapeamento da produção bibliográfica de artigos publicados em periódicos qualificados, no período de 1999 a 2017. Além de mapear o tema, o presente trabalho busca trazer as principais discussões presentes nesse tipo de produção. O estudo realizado acerca da produção sobre avaliação da pós-graduação permite afirmar que não existe consenso no debate, sendo que as opiniões sobre a sistemática de avaliação divergem, muito embora se verifique a ênfase para a produção intelectual em seus diversos aspectos. Nesse sentido, ‘o campo’, apesar das disputas e dissensos, ainda tem referenciado a performatividade como estratégia de viabilização da qualidade da pós-graduação brasileira.

Palavras-chave: Avaliação; Mapeamento; Pós-Graduação Stricto Sensu

Abstract

Even as the other levels of education, postgraduate studies in Brazil have undergone a process of significant expansion and with this, studies and debates on the subject have been increased, especially with regard to its evaluation process. Therefore, the present study aims to situate the debate about the evaluation of the postgraduate, based on the survey of the bibliographic production in studies published in qualified journals. Besides mapping the theme, the present analysis seeks to bring the main discussions present in this kind of production. The survey carried out on the evaluation of postgraduate studies allows to assert that there is no consensus in the debate, and opinions about the evaluation system differ, even though there is an emphasis on intellectual production in its different aspects. In this sense, “the field”, despite disputes, has yet to refer to performativity as a strategy to make the quality of Brazilian postgraduate students.

Keywords: Evaluation; Mapping; Postgraduate

Introdução

De modo geral, o sistema educacional brasileiro tem sido ampliado, em número de instituições, cursos e matrículas, em todos os seus níveis e modalidades. Desde finais dos anos 1990 o acesso ao ensino fundamental foi universalizado (OLIVEIRA, 2007); com isso, expandiram-se as matrículas no ensino médio e, consequentemente, na educação superior, que no ano de 2015 contou com mais de oito milhões de matrículas no conjunto de seus cursos de graduação presencial e a distância (INEP, 2016). Com tal ampliação no nível superior da educação (GOMES; MORAES, 2012) foram geradas demandas para a pós-graduação stricto sensu: de um lado, a formação de corpo docente para compor os quadros das instituições de ensino superior e, de outro, uma leva de egressos de cursos de graduação que a cada ano buscam acesso a diplomas mais raros. (BOURDIEU; BOLTANSKI, 2003)

Nesse cenário de significativa expansão da pós-graduação brasileira destaca-se que de pouco mais de 76.000 matrículas em programas stricto sensu em 1998 o Brasil passa a contar, no ano de 2016, com mais de 266.000 matrículas (GEOCAPES, 2016), um incremento de mais de 250% no número de matriculados nesse nível de ensino em um período de menos de 20 anos. Diante desse expressivo crescimento, assim como dos demais níveis e modalidades de educação, a pós-graduação passa a compor o centro dos debates das políticas educacionais, especialmente aquelas relacionadas à avaliação. Nesse sentido, Cury (2010, p. 164) aponta: “A avaliação, sua feitura, sua gestão, é imprescindível para a área, para sua presença dentro do sistema de pós-graduação, porque ela é provocadora de análises e reflexões para um melhor desempenho.”

Diante desse cenário, este estudo objetiva analisar o debate acerca da avaliação da pós-graduação stricto sensu, a partir do mapeamento da produção bibliográfica acerca da temática. Além de mapear o tema, o presente trabalho busca trazer as principais discussões presentes na produção intelectual (acadêmica) consignada na forma de artigos publicados em periódicos qualificados.

O órgão gestor da pós-graduação no Brasil é a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), que é responsável pela avaliação e fomento do sistema nacional de pós-graduação. Somente cursos avaliados e reconhecidos pela Capes podem diplomar, aos quais também são destinadas cotas de bolsas e recursos financeiros para o desenvolvimento de suas atividades de pesquisa e disseminação de conhecimento.

Para o levantamento bibliográfico realizado no presente trabalho optou-se por busca na base de dados Scientific Electronic Library Online (SciELO)1, da qual foram selecionados os artigos que abordam a temática da avaliação da pós-graduação stricto sensu. A busca na biblioteca SciELO foi realizada no mês de agosto de 2017 e teve como descritor o termo ‘Pós-Graduação’, o que resultou num total de 148 artigos publicados que continham o termo em seu título, resumo e/ou palavras chave.

Após a leitura de todos os títulos e resumos, foram considerados os artigos que tratam da avaliação da pós-graduação stricto sensu. Os trabalhos selecionados referem-se àqueles que tratam da avaliação da Capes em si ou aqueles que discutem aspectos vinculados ao contexto dessa avaliação.

A escolha de analisar a temática a partir de artigos publicados em periódicos qualificados é justificada em razão de que a grande maioria dos autores é docente em programa de pós-graduação stricto sensu, sendo que parte deles atua na gestão da pós-graduação, seja como coordenador de curso, consultor, editor de periódicos ou membro de comitê de avaliação da Capes, de modo que as análises contidas nos textos são análises de dentro do processo.

Nesse sentido, as tendências da produção acadêmica expressas nesse conjunto de artigos refletem os conflitos existentes no campo científico/acadêmico, que nos termos de Bourdieu (1983, p. 122) constitui um “[…] universo ‘puro’ da mais ‘pura’ ciência […] é um campo social como outro qualquer, com suas relações de força e seus monopólios, suas lutas e estratégias, seus interesses e lucros, mas no qual todas essas invariantes se revestem de formas específicas.” Os embates nesse campo se dão em função de mantenças ou de mutações no interior do próprio campo, que no caso da avaliação da pós-graduação, embora tenha sofrido várias mudanças, também apresenta muitas permanências em seu processo ao longo do tempo.

Para fins de exposição, o presente trabalho é dividido em duas seções, além desta Introdução e das Considerações Finais. A primeira apresenta os artigos publicados em periódicos que trazem reflexões sobre o processo de avaliação da Capes como um todo; a segunda traz os trabalhos que analisam aspectos do contexto do processo avaliativo.

O campo da avaliação da pós-graduação: ênfase no debate acadêmico

Nos artigos selecionados, a partir da busca na base de dados SciELO, que versam sobre a avaliação da pós-graduação stricto sensu de forma geral (cf. Quadro 1), destacam-se os trabalhos de Fonseca (2001), Arruda (1999) e Horta e Moraes (2005), que tratam das mudanças adotadas a partir de 1998 nas políticas de avaliação do órgão gestor. As principais mudanças apontadas por esses autores referem-se à centralidade dada à pesquisa e ao seu produto, a exigência de organicidade entre áreas de concentração, linhas de pesquisa e produção intelectual, e a valorização da internacionalização.

Quadro 1: Artigos que tratam da avaliação da Pós-Graduação stricto sensu 

MACCARI, E. A. et al. Proposta de um modelo de gestão de programas de pós-graduação na área de Administração a partir dos sistemas de avaliação do Brasil (CAPES) e dos Estados Unidos (AACSB). Rev. Adm. (São Paulo), jun. 2014, vol. 49, n. 2, p. 369-383.
ARRUDA, M. A. N. A nova política de pós-graduação no Brasil. Tempo soc., out 1999, vol.11, n. 2, p.219-229.
SABINO-NETO, M., FERREIRA, L. M. How To Achieve And Maintain Note 6: Postgraduate Program In Translational Surgery - UNIFESP. Rev. Col. Bras. Cir., 2015, vol. 42, suppl.1, p.78-80.
HORTA, J. S. B., MORAES, M. C. M. O sistema CAPES de avaliação da pós-graduação: da área de educação à grande área de ciências humanas. Rev. Bras. Educ., dez. 2005, n. 30, p. 95-116.
MARASCHIN, C., SATO, L. Recuperando leituras críticas sobre a avaliação na pós-graduação: dando continuidade à discussão e ao debate. Psicol. Soc., 2013, vol. 25, n. 1, p. 2-9.
HORTALE, V. A.; KOIFMAN, L. Programas de pós-graduação em Saúde Pública na Argentina e no Brasil: origens históricas e tendências recentes de processos de avaliação de qualidade. Interface (Botucatu), abr. 2007, vol. 11, n. 21, p. 119-130.
FONSECA, C. Avaliação dos programas de pós-graduação: do ponto de vista de um nativo. Horiz. antropol., dez 2001, vol. 7, n. 16, p. 261-275.
MOREIRA, A. F. A cultura da performatividade e a avaliação da Pós-Graduação em Educação no Brasil. Educ. rev., dez. 2009, vol. 25, n. 3, p. 23-42.
MOREIRA, M. L.; VELHO, L. Pós-graduação no Brasil: da concepção “ofertista linear” para “novos modos de produção do conhecimento” implicações para avaliação. Avaliação (Campinas), nov. 2008, vol. 13, n. 3, p. 625-645.
MACEDO, E.; SOUSA, C. P. A pesquisa em educação no Brasil. Rev. Bras. Educ., abr. 2010, vol. 15, n. 43, p. 166-176.
CURY, C. R. J. O debate sobre a pesquisa e a avaliação da pós-graduação em educação. Rev. Bras. Educ., abr. 2010, vol. 15, n. 43, p. 162-165.
MANCEBO, D. Trabalho docente e produção de conhecimento. Psicol. Soc., 2013, vol. 25, n. 3, p. 519-526.
ALMEIDA, N. N.; BORGES, M. N. A pós-graduação em engenharia no Brasil: uma perspectiva histórica no âmbito das políticas públicas. Ensaio: aval. pol. públ. Educ., set. 2007, vol. 15, n. 56, p.323-339.
KUHLMANN JR., M. Produtivismo acadêmico, publicação em periódicos e qualidade das pesquisas. Cad. Pesqui., dez 2015, vol. 45, n. 158, p. 838-855.
KERR-PONTES, L. R. S. et al. Uma reflexão sobre o processo de avaliação das pós-graduações brasileiras com ênfase na área de saúde coletiva. Physis, jun. 2005, vol. 15, n. 1, p. 83-94.

Fonte: Scielo. Elaborado pelas autoras.

Apontam também que nesse movimento de mudanças o processo de avaliação passou a ser trienal e reforçou o vínculo entre avaliação e financiamento. Do mesmo modo, a informatização do sistema de avaliação permitiu certa padronização e objetividade nos critérios de avaliação entre as diversas áreas e programas. Para Fonseca (2001), as mudanças no processo avaliativo, a partir da adoção de critérios mais objetivos, teriam como fim principal garantir maior ingerência da Capes sobre os conceitos dos Programas. Nesse sentido, aponta:

Mas, do MEC e da CAPES, vinham sinais de descontentamento desde 1996. Diziam que este sistema, com tantos programas em conceito A, não avaliava mais nada. A distribuição ideal de conceitos, aquela pirâmide que coloca um pequeno número de programas em cima e a grande massa embaixo, tinha sido praticamente invertida. A mudança radical almejada pela CAPES tinha por objetivo endireitar a pirâmide, o que permitiria uma maior discriminação entre os programas. (FONSECA, 2001, p. 264)

Para Arruda (1999), alguns efeitos decorrentes dessas mudanças no processo avaliativo referem-se à ênfase na produtividade acadêmica e no aligeiramento da formação do pós-graduando, uma vez que a concessão de bolsas passa a ser alinhada ao tempo de titulação, que também vai influenciar no conceito do programa.

Almeida e Borges (2007) tratam da expansão da pós-graduação em Engenharia no Brasil e do papel das agências de fomento à ciência e tecnologia: Capes, Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e Financiadora de Estudos e Projetos (FINEP), nessa expansão. Os autores apontam que, a partir dos anos 1950, essas agências financiaram a titulação de docentes brasileiros no exterior e a contratação de visitantes estrangeiros para atuarem no Brasil. Esses dados explicitam que historicamente a concepção de qualidade da pós-graduação tem em seu bojo a internacionalização, que vem se constituindo como foco.

No entanto, as mudanças na história da pós-graduação brasileira descrevem movimento de desenvolvimento nacional para além do processo que envolveu a busca por qualidade no contexto internacional, podendo ser resumidas da seguinte forma:

Na história da pós-graduação brasileira, constata-se, inicialmente, um movimento nacional para titulação dos docentes das universidades, seguida da regulamentação para criação e reconhecimento dos cursos de mestrado e doutorado, depois a preocupação com o desempenho do sistema de pós-graduação e, finalmente, volta-se para o desenvolvimento da pesquisa na universidade […] (ALMEIDA; BORGES, 2007, p. 337)

Nesse contexto, além da ênfase na pesquisa, a avaliação realizada desde 1976 com base no julgamento pelos pares (CUNHA, 2000), ganhou centralidade no processo avaliativo da Capes. Autores que analisam a questão da avaliação por pares, embora reconheçam sua importância, apontam que ela possui um aspecto controverso, pois o sistema avaliativo segue sua própria lógica, de modo que o envolvimento de docentes (pares) no processo não garante a autonomia das áreas (FONSECA, 2001; HORTA, MORAES, 2005; MARASCHIN, SATO, 2013). Moreira e Velho (2008) problematizam essa questão apontando seu caráter corporativista e fechado, considerando o atual sistema de avaliação da pós-graduação ultrapassado frente aos novos modos de produção de conhecimento. Esses autores acrescentam que a avaliação vinculada aos recursos financeiros gera busca por produtividade e a consequente competitividade.

Assim como esses trabalhos, outros que tratam da questão do poder indutor do sistema de avaliação da Capes observam que a sistemática avaliativa possui viés quantitativo e, com isso, os coordenadores gerenciam os programas de pós-graduação para atender às demandas do sistema de avaliação (MACCARI et al., 2014; SABINO-NETO, FERREIRA, 2015, HORTALE, KOIFMAN, 2007). Nesse sentido, Maraschin e Sato (2013) assinalam que existe uma cultura de auditoria intrínseca ao processo avaliativo da Capes, que visa resultados e não processos. Para Moreira (2009) o processo avaliativo é responsável pela instalação de uma cultura de performatividade na pós-graduação, na medida em que a avaliação modifica comportamentos, tanto dos atores que fazem parte do processo (docentes, discentes, gestores) quanto das instituições. Em ambos os casos, a avaliação incita à produtividade e a competitividade.

Outros autores chamam a atenção para o fato de que o produtivismo acadêmico é induzido não somente pela avaliação da Capes, mas também pelas políticas de financiamento (MANCEBO, 2013) de pesquisa, que aprofundam as desigualdades regionais na distribuição de programas de pós-graduação, seja em número seja em qualidade (KERR-PONTES, 2005).

Nota-se que na maioria dos trabalhos até aqui apresentados existe a tendência de analisar a ênfase na produtividade acadêmica como algo danoso no contexto da avaliação da pós-graduação, mas isso não é consenso em todos os trabalhos. Macedo e Sousa (2010), ao tratarem da pesquisa em educação, discordam da tese de que o formato da avaliação realizada pela CAPES induz ao produtivismo desenfreado. Em pesquisa realizada, a partir dos resultados da avaliação trienal 2004-2006 em programas de pós-graduação em educação, apontam que as médias de produção docente por programa não indicavam excesso de produção. Antes, para essas autoras, é justificável a importância da produção bibliográfica devido à centralidade dada à pesquisa na pós-graduação, contudo, esse não é o único fator responsável pelos conceitos dos programas.

Kuhlmann Junior (2015) chama a atenção para o cuidado que se deve ter com o discurso vigente, que atribui todos os problemas relacionados ao trabalho docente ao produtivismo acadêmico. Nesse sentido, problematiza “Da mesma forma que se fez com o neoliberalismo, em que tudo seria culpa daquele adjetivo, aqui o risco seria tomar o produtivismo como responsável por todas as mazelas da produção de pesquisa e das publicações dela decorrentes.” (KUHLMANN JUNIOR, 2015, p. 842) Acrescenta o autor que, se existem pesquisas de baixa qualidade, isso não pode ser atribuído somente à corrida por produção, uma vez que “A discussão sobre a qualidade da pós-graduação e da pesquisa educacional é mais antiga do que a existente hoje sobre o produtivismo acadêmico, o que também evidencia não ser este a causa última da baixa qualidade e da produção aligeirada.” (op.cit., p. 849)

Cury (2010) observa que a avaliação conduzida pela Capes trouxe um aspecto positivo para a produção de pesquisa acadêmica, embora relativize um pouco a questão, na medida em que afirma a necessidade de se encontrar um equilíbrio entre os aspectos burocráticos do processo de avaliação e a gestão mais democrática desse processo.

De modo geral, no conjunto dos trabalhos aqui expostos que tratam da avaliação da pós-graduação, podem-se observar duas questões centrais que foram enfatizadas pelos pesquisadores da área. A primeira é relativa à significativa inflexão no modelo de avaliação adotado pela Capes ocorrido a partir de finais dos anos 1990, que é demarcado pela crise proveniente das mudanças no processo avaliativo e tende a explicitar conflitos e incertezas frente à nova situação. Conforme Ball (2005, p. 551), “O professor ‘pré-reforma’, em conflito com a autenticidade, experimenta um tipo de ‘esquizofrenia de valores’, quando o compromisso e a experiência da prática precisam ser sacrificados e substituídos pela impressão que deve causar e pelo desempenho.”

Esse movimento controverso entre boas práticas e necessidades (id.ib.) também está relacionado com a segunda questão enfatizada nas publicações que tratam da avaliação da pós-graduação, que se refere ao poder indutor da avaliação realizada pelo órgão gestor.

Grosso modo, pode-se afirmar que, tanto os artigos que tratam da inflexão no modelo de avaliação da Capes quanto os que tratam do poder indutor do órgão gestor, pautam suas discussões na produção intelectual, especialmente a docente. Assim, embora as opiniões sobre o peso que a produção acadêmica representa nas avaliações da Capes divirjam em alguns pontos, é notório que ela constitui preocupação central nos debates sobre a avaliação da pós-graduação brasileira. Essa questão implica um debate mais amplo sobre as mudanças, não somente em termos instrumentais, mas também na cultura das instituições, que passam a enfatizar a performance:

A performatividade é uma tecnologia, uma cultura e um método de regulamentação que emprega julgamentos, comparações e demonstrações como meios de controle, atrito e mudança. Os desempenhos de sujeitos individuais ou de organizações servem de parâmetros de produtividade ou de resultado, ou servem ainda como demonstrações de “qualidade” ou “momentos” de promoção ou inspeção. (BALL, 2005, p. 543)

Nesse sentido, além das querelas relacionadas às lutas pela definição do que é válido no campo da avaliação da pós-graduação, o debate passa pela questão de um modelo de Estado que atribui centralidade à avaliação (LEITE, 2002), que no caso da pós-graduação stricto sensu é vinculada ao financiamento que conduz a uma lógica de controle e responsabilização.

Aspectos da avaliação da Capes: elementos do debate acadêmico

O conjunto dos trabalhos apresentados na presente seção (cf. Quadro 2) traz as referências dos artigos selecionados que tratam de aspectos da avaliação da Capes no contexto da avaliação. Entre eles estão os que analisam determinados comportamentos apresentados pelos programas, em especial as questões relacionadas à pesquisa e à produção científica.

Quadro 2: Artigos que tratam de aspectos da avaliação da Pós-Graduação stricto sensu no contexto da avaliação 

JACON, M. C. M. Base Qualis e a indução do uso de periódicos da área de Psicologia. Transinformação, ago. 2007, vol. 19, n. 2, p. 189-197.
MELLO, C. M., CRUBELLATE, J. M.; ROSSONI, L. Redes de coautorias entre docentes de programas brasileiros de pós-graduação (Stricto Sensu) em Administração: aspectos estruturais e dinâmica de relacionamento. RAM, Rev. Adm. Mackenzie (Online), out. 2009, vol. 10, n. 5, p. 130-153.
FERREIRA NETO, J. L. A experiência da pesquisa e da orientação: uma análise genealógica. Fractal, Rev. Psicol., dez. 2008, vol. 20, n. 2, p. 533-546.
MELLO, C. M., CRUBELLATE, J. M.; ROSSONI, L. Dinâmica de relacionamento e prováveis respostas estratégicas de programas brasileiros de pós-graduação em administração à avaliação da Capes: proposições institucionais a partir da análise de redes de co-autorias. Rev. adm. contemp., jun. 2010, vol. 14, n. 3, p. 434-457.
MENANDRO, P. R. M. et al. Livros à mão cheia: o livro como veículo de produção acadêmica. Psicol. USP, jun. 2011, vol. 22, n. 2, p. 367-386.
LOYOLA, M. A., CORRÊA, M. C. D. V.; GUIMARÃES, E. R. B. Cooperação internacional na área da Saúde Coletiva: propostas para um debate. Ciênc. saúde coletiva, jul. 2010, vol. 15, n. 4, p. 2007-2020.
LEITE, J. P. et al. Pesquisa em epilepsia: da graduação à pós-graduação. J. epilepsy clin. neurophysiol., dez. 2005, vol. 11, n. 4, suppl. 1, p. 11-15.
CARVALHO, A. M. A. Monitoramento e avaliação da pós-graduação: algumas reflexões sobre requisitos e critérios. Psicol. USP, 2001, vol. 12, n. 1, p. 203-221.
KUENZER, A. Z.; MORAES, M. C. M. Temas e tramas na pós-graduação em educação. Educ. Soc., dez 2005, vol.26, n. 93, p.1341-1362.
STEIN, L. M.; et al. A construção de um instrumento de avaliação discente de um programa de pós-graduação. Psico-USF (Impr.), dez. 2005, vol. 10, n. 2, p. 141-147.
ORTIGOZA, S. A. G., POLTRONIÉRI, L. C.; MACHADO, L. M. C. P. A atuação profissional dos egressos como importante dimensão no processo de avaliação de programas de pós-graduação. Soc. nat., ago. 2012, vol. 24, n. 2, p. 243-254.
NASCIMENTO, F. A. M. et al. Scientific Leaders for the Future: Primary and Secondary Education. Rev. Col. Bras. Cir., 2015, vol. 42, suppl. 1, p. 40-43.
BARROS, A. J. D. et al.O Mestrado do Programa de Pós-graduação em Epidemiologia da UFPel baseado em consórcio de pesquisa: uma experiência inovadora. Rev. bras. epidemiol., mai. 2008, vol. 11, suppl.1, p. 133-144.
VIACAVA, F. Produção científica dos cursos de pós-graduação em Saúde Coletiva no período 1998-2006. Ciênc. saúde coletiva, jul. 2010, vol.15, n.4, p.1977-1988.
VIANNA, W. B., ENSSLIN, L.; GIFFHORN, E. A integração sistêmica entre pós-graduação e educação básica no Brasil: contribuição teórica para um “estado da arte”. Ensaio: aval. pol. públ. Educ., Jun. 2011, vol. 19, n. 71, p. 327-344.

Fonte: Scielo. Elaborado pelas autoras.

Ao tratar da questão do aumento da produção científica na área de Epilepsia, Leite et al. (2005) analisam que a avaliação da Capes trouxe um aspecto positivo para a área:

Um ponto que acreditamos ter sido muito positivo para a melhoria da qualidade dos programas de PG no país, […] foi o sistema de avaliação continuada estabelecido nos últimos triênios pela CAPES. Este sistema tem contribuído de forma importante para um aumento da produção científica de todos os programas de PG na área médica. (LEITE et al., 2005, p. 14)

Quanto às mudanças no processo avaliativo da Capes, Kuenzer e Morais (2005, p. 1347) destacam “[…] o caráter positivo da indução que postulou a centralidade da pesquisa na pós-graduação e o seu caráter de cientificidade”, embora os autores apontem a ênfase na quantidade e no consequente produtivismo como aspectos negativos do processo.

Observa-se que, não obstante no primeiro artigo se considerar positivo o aumento da produção e no segundo se criticar a ênfase no quantitativismo, os dois trabalhos compartilham juízos positivos a respeito da indução causada pelo processo avaliativo da Capes.

Outros trabalhos que analisam a indução da avaliação são os de Jacon (2007), Ferreira Neto (2008), Mello, Crubellate e Rossoni (2009, 2010).

O trabalho de Jacon (2007) analisa até que ponto o fator Qualis induz a utilização de revistas mais qualificadas para o desenvolvimento das pesquisas. Para tanto, a autora identificou as citações desses artigos em teses e dissertações defendidas no período de 1997 a 2002 em programas de pós-graduação em Psicologia. A pesquisa aponta que, embora haja concentração de publicação de artigos em periódicos classificados com conceito A, isso não significa que eles sejam utilizados na produção de teses e dissertações; nos trabalhos pesquisados foram encontradas mais citações de artigos publicados em periódicos classificados com conceito B do que de artigos em periódicos A. Diante disso, questiona os critérios utilizados para a classificação desses periódicos e aponta para a necessidade de revê-los: […] “o consenso (avaliação pelos pares) que fundamenta a base Qualis e que é empreendido na classificação de periódicos científicos da área de Psicologia não se reflete no consenso dos segmentos (docentes e discentes) do Programa analisado.” (JACON, 2007, p. 195)

Ferreira Neto (2008) problematiza a questão da elaboração do projeto de pesquisa, frente às exigências tanto da Capes (prazos, vínculo com áreas de concentração e linhas de pesquisa) quanto das demais agências de fomento (temas, problemas etc.). Mello, Crubellate e Rossoni (2009; 2010) analisam o aumento das redes de coautoria em programas de pós-graduação em Administração, que pode ser explicado em razão do aumento de redes e grupos de pesquisa, mas que também pode ser explicado em razão da intenção de aumentar o número de publicações na área.

De certa forma esses trabalhos enfatizam a performance na pós-graduação, na medida em que questionam a indução do processo avaliativo, no sentido de que ele vem gerando estratégias que são utilizadas para atender exigências das avaliações em termos de gestão e de atividades rotineiras de pesquisa e publicação.

A ênfase no desempenho também é evidenciada nos artigos de Loyola, Correa e Guimarães (2010) e de Bullock (2015). O primeiro busca descrever a internacionalização nos programas de Saúde Coletiva, quais as principais agências de fomento, países de convênio e temas mais recorrentes das pesquisas realizadas nesse âmbito. O segundo trata do tema da internacionalização e seu impacto nas pesquisas e publicações brasileiras.

Destaca-se que, além da performance, também são evidenciados na produção acadêmica os embates acerca do que deve ou não ser valorizado no campo da avaliação da pós-graduação. Os artigos de Carvalho (2001) e de Menandro et al. (2011) ilustram um pouco essa questão. Carvalho (2001) questiona a ênfase que as avaliações da Capes dão à produção intelectual, em detrimento de outros indicadores que considera mais relevantes para a aferição da qualidade de um curso:

Os critérios atuais de avaliação priorizam a produção de dissertações/teses e a produção científica. Ora, em primeiro lugar, a produção, seja de dissertações/teses ou científica, é um indicador indireto da qualidade e do desempenho de um curso. O indicador direto é o produto, ou seja, o aluno formado. É relevante desenvolver procedimentos que permitam a obtenção de indicadores quantitativos e qualitativos sobre o impacto do curso na sociedade através do desempenho de seus alunos, além de suas avaliações a respeito do curso. (CARVALHO, 2001, p. 216)

O artigo de Menandro et al. (2011), por sua vez, traz o livro como importante meio de divulgação da produção acadêmica. Para os autores, muitos relatos de pesquisa, especialmente em áreas como a Psicologia, são extensos e a adequação para publicação em periódicos pode comprometer seus conteúdos. Com isso, os autores descrevem a metodologia de avaliação dos livros na Capes adotada pela área e defendem que, embora passível de aperfeiçoamentos futuros, a proposta foi considerada adequada e gerou inclusive efeitos positivos para outras áreas:

Um importante papel que tal metodologia cumpriu foi o de convencer representantes reticentes de outras áreas de conhecimento de que livros podem constituir modalidade cuidadosa e eficiente de produção científica, e de convencê-los de que livros podem ser avaliados de forma válida. A produção científica veiculada em livros não é algo menor a ser tolerado em algumas áreas de conhecimento, mas pode ser produto nobre com grande impacto sobre a produção de conhecimento nessas mesmas áreas e em áreas afins. (MENANDRO et al., 2011, p. 382)

Observa-se, com isso, que a luta pela definição do que é qualidade no campo da pós-graduação enfatiza a avaliação, que passa a gerar seus corolários como é o caso do programa Qualis, que avalia a produção do conhecimento no âmbito dos programas, cujas características são fortemente determinadas pelas políticas de avaliação do órgão gestor.

Ainda no contexto dos trabalhos dessa seção, destacam-se trabalhos mais descritivos, que são produtos de pesquisas sobre determinados aspectos da avaliação da pós-graduação, sem necessariamente discutir o processo avaliativo em si. O trabalho de Viacava (2010) analisa aspectos da produção de artigos publicados em periódicos na área de Saúde Coletiva no período de 1998 a 2006 (periódicos mais frequentemente utilizados, número de autores, idioma etc.). O artigo de Barros et al. (2008) descreve o processo de auto avaliação realizada pelo programa do qual faz parte e que resultou na melhoria de indicadores como produção qualificada, tempo de titulação, publicação de egressos, dentre outros.

Os trabalhos de Stein et al. (2005) e Ortigoza, Poltroniéri, Machado (2012) tratam da questão do discente e do egresso. O primeiro propõe um instrumento para avaliação da satisfação discente em um programa de pós-graduação em Psicologia. O segundo trata da questão dos egressos de um programa de pós-graduação em Geografia, a partir de um instrumento de avaliação com base na procedência, formação acadêmica e destino profissional.

A relação entre pós-graduação e educação básica é tratada nos artigos de Nascimento et al. (2015) e de Vianna, Ensslin e Giffhorn (2011). O primeiro descreve um projeto piloto de inserção de alunos do ensino médio nos programas de pós-graduação, por meio da iniciação científica júnior. O segundo busca na produção acadêmica o estado da arte da integração sistêmica entre esses dois níveis educacionais.

De modo geral e com mais ou menos consenso em torno da avaliação pode-se dizer que esses trabalhos também se inserem naqueles que tratam do desempenho dos programas, sendo que as “[…] tecnologias de política envolvem a utilização calculada de técnicas e artefatos para organizar forças humanas e capacidades em redes de poder funcionais.” (BALL, 2005, p. 545) Nota-se, por outro lado, que, especialmente os últimos trabalhos desta seção, agregam importante valor na discussão sobre a avaliação da pós-graduação, na medida em que trazem a questão do discente e da relação entre pós-graduação e educação básica enquanto elementos importantes desse processo.

Cumpre destacar que a discussão sobre o produtivismo acadêmico, embora tenha sido mais enfática nos trabalhos constantes na seção anterior, também é presente na grande maioria dos artigos desta seção. O assunto é ampliado com a inclusão de outros aspectos como o fator Qualis, que é utilizado para classificação de periódicos, além do processo de classificação de livros pela Capes. Os veículos de divulgação da produção intelectual e as redes de coautorias podem ser estratégias utilizadas no âmbito desses programas de pós-graduação para atender aos critérios de avaliação do órgão gestor.

Nesse sentido, as distintas percepções sobre a avalição da pós-graduação, evidenciadas no presente trabalho, pressupõem um campo repleto de dissensos, ao mesmo tempo em que evidencia um conflito em torno da definição do que é válido/qualificado no campo educacional. Esses conflitos oscilam entre uma cultura mais crítica e outra oposta voltada para a performance, o que potencializa a necessidade de se levantar o debate acerca da temática como forma de transformação em torno de um projeto maior de educação.

Considerações finais

De modo geral, nota-se nos trabalhos apresentados que ao longo dos anos as preocupações expressas na literatura acerca da avaliação da pós-graduação permanecem nos mecanismos utilizados pelo órgão gestor, que acabam por enfatizar mais o produto final do que o processo em si.

Nessa direção, apesar de os processos avaliativos terem sofrido mudanças por incremento, grosso modo pode-se afirmar que sua natureza tem se mantido ao longo do tempo e de certa forma tem internalizado valores e comportamentos no interior dos programas que se refletem na gestão e no desempenho deles. Isso também é evidenciado na produção científica, que oscila entre posturas mais críticas ou de consenso.

O levantamento realizado acerca da temática da avaliação na produção em periódicos permite afirmar que não existe consenso no debate, sendo que as opiniões sobre a sistemática de avaliação, seus efeitos e sua efetividade divergem em alguns casos, muito embora se verifique a ênfase nos diversos aspectos da produção intelectual.

Nota-se que, em perspectiva histórica, o processo avaliativo tem sido cada vez mais enfatizado no campo da pós-graduação, processo que vai ao encontro do conceito de Estado avaliador (AFONSO, 2013), presente no contexto brasileiro desde os anos 1990, e vem se complexificando à medida que novos processos são adotados e ganham centralidade, a exemplo do Qualis periódicos e do Qualis livros.

Com base nas análises feitas das publicações acerca da avaliação da pós-graduação, pode-se afirmar que o campo, mesmo que apresente disputas e dissensos, tem referenciado a performatividade como estratégia de viabilização da qualidade da pós-graduação brasileira.

Frente a essas questões, ainda que se saiba que dificilmente se chegará a um modelo ideal, considera-se importante fomentar o debate acerca da avaliação, para seu aperfeiçoamento em direção a uma educação transformadora e socialmente relevante.

Referências

AFONSO, A. J. Mudanças no Estado-avaliador: comparativismo internacional e teoria da modernização revisitada. Rev. Bras. Educ., Rio de Janeiro, v. 18, n. 53, p. 267-284, jun. 2013. [ Links ]

ALMEIDA, N. N.; BORGES, M. N. A pós-graduação em engenharia no Brasil: uma perspectiva histórica no âmbito das políticas públicas. Ensaio: aval. pol. públ. Educ., set. 2007, vol. 15, n. 56, p.323-339. [ Links ]

ARRUDA, M. A. N. A nova política de pós-graduação no Brasil. Tempo soc., out 1999, vol.11, n. 2, p.219-229. [ Links ]

BALL, S. J.. Profissionalismo, gerencialismo e performatividade. Cad. Pesqu., São Paulo, v. 35, n. 126, p. 539-564, dec. 2005. [ Links ]

BARROS, A. J. D. et al.O Mestrado do Programa de Pós-graduação em Epidemiologia da UFPel baseado em consórcio de pesquisa: uma experiência inovadora. Rev. bras. epidemiol., mai. 2008, vol. 11, suppl.1, p. 133-144. [ Links ]

BOURDIEU, P. O campo científico. In: ORTIZ, Renato (Org.). Pierre Bourdieu: sociologia. São Paulo: Ática, 1983. p. 122-155. [ Links ]

BOURDIEU, P.; BOLTANSKI , L. O diploma e o cargo: relações entre o sistema de produção e o sistema de reprodução. In: NOGUEIRA, M. A.; CATANI, A. M. (Org.). Escritos de Educação. 5. ed. Petrópolis: Vozes, 2003, p. 127-144. [ Links ]

BULLOCK, M. ANPEPP Conference: A View from an International Visitor. Psicol. Reflex. Crit., 2015, vol.28, suppl.1, p.19-22. ISSN 0102-7972 [ Links ]

CARVALHO, A. M. A. Monitoramento e avaliação da pós-graduação: algumas reflexões sobre requisitos e critérios. Psicol. USP, 2001, vol. 12, n. 1, p. 203-221. [ Links ]

CUNHA, L. A. Ensino Superior e a universidade no Brasil. In: LOPES, E. M. T., FARIA FILHO, L. M., VEIGA, C. G. (orgs.). 500 anos de educação no Brasil. 2ªed. Belo Horizonte: Autêntica, 2000. p.151-204. [ Links ]

CURY, C. R. J. O debate sobre a pesquisa e a avaliação da pós-graduação em educação. Rev. Bras. Educ., abr. 2010, vol.15, n. 43, p.162-165. ISSN 1413-2478. [ Links ]

FERREIRA NETO, J. L. A experiência da pesquisa e da orientação: uma análise genealógica. Fractal, Rev. Psicol., dez. 2008, vol. 20, n. 2, p. 533-546. [ Links ]

FONSECA, C. Avaliação dos programas de pós-graduação: do ponto de vista de um nativo. Horiz. antropol., dez 2001, vol. 7, n. 16, p. 261-275. [ Links ]

GEOCAPES. Sistema de Georreferências da Capes. Brasília, DF: Capes, 2016. Disponível em: <http://geocapes.capes.gov.br/geocapes2/>. Acesso em: 18 ago. 2017. [ Links ]

GOMES, A. M., MORAES, K. N. Educação superior no Brasil contemporâneo: transição para um sistema de massa. Educ. Soc., mar 2012, vol.33, n.118, p.171-190. [ Links ]

HORTA, J. S. B., MORAES, M. C. M. O sistema CAPES de avaliação da pós-graduação: da área de educação à grande área de ciências humanas. Rev. Bras. Educ., dez. 2005, n. 30, p. 95-116. [ Links ]

HORTALE, V. A.; KOIFMAN, L. Programas de pós-graduação em Saúde Pública na Argentina e no Brasil: origens históricas e tendências recentes de processos de avaliação de qualidade. Interface (Botucatu), abr. 2007, vol. 11, n. 21, p. 119-130. [ Links ]

INEP. Censo da Educação Superior - 2015. Brasília: INEP, 2016. Disponível em: <http://portal.inep.gov.br/web/guest/sinopses-estatisticas-da-educacao-superior>. Acesso realizado em 18 ago. 2017. [ Links ]

JACON, M. C. M. Base Qualis e a indução do uso de periódicos da área de Psicologia. Transinformação, ago. 2007, vol. 19, n. 2, p. 189-197. [ Links ]

KERR-PONTES, L. R. S. et al. Uma reflexão sobre o processo de avaliação das pós-graduações brasileiras com ênfase na área de saúde coletiva. Physis, jun. 2005, vol. 15, n. 1, p. 83-94. [ Links ]

KUENZER, A. Z.; MORAES, M. C. M. Temas e tramas na pós-graduação em educação. Educ. Soc., dez 2005, vol.26, n. 93, p.1341-1362. [ Links ]

KUHLMANN JR., M. Produtivismo acadêmico, publicação em periódicos e qualidade das pesquisas. Cad. Pesqui., dez 2015, vol. 45, n. 158, p. 838-855. [ Links ]

LEITE, D. Avaliação institucional, reformas e redesenho capitalista das universidades. Avaliação: Revista da Avaliação da Educação Superior, [S.l.], v. 7, n. 2, 2002. [ Links ]

LEITE, J. P. et al. Pesquisa em epilepsia: da graduação à pós-graduação. J. epilepsy clin. neurophysiol., dez. 2005, vol. 11, n. 4, suppl. 1, p. 11-15. [ Links ]

LOYOLA, M. A., CORRÊA, M. C. D. V.; GUIMARÃES, E. R. B. Cooperação internacional na área da Saúde Coletiva: propostas para um debate. Ciênc. saúde coletiva, jul. 2010, vol. 15, n. 4, p. 2007-2020. [ Links ]

MACEDO, E.; SOUSA, C. P. A pesquisa em educação no Brasil. Rev. Bras. Educ., abr. 2010, vol. 15, n. 43, p. 166-176. [ Links ]

MANCEBO, D. Trabalho docente e produção de conhecimento. Psicol. Soc., 2013, vol. 25, n. 3, p. 519-526. [ Links ]

MARASCHIN, C., SATO, L. Recuperando leituras críticas sobre a avaliação na pós-graduação: dando continuidade à discussão e ao debate. Psicol. Soc., 2013, vol. 25, n. 1, p. 2-9. [ Links ]

MELLO, C. M., CRUBELLATE, J. M.; ROSSONI, L. Redes de coautorias entre docentes de programas brasileiros de pós-graduação (Stricto Sensu) em Administração: aspectos estruturais e dinâmica de relacionamento. RAM, Rev. Adm. Mackenzie (Online), out. 2009, vol. 10, n. 5, p. 130-153. [ Links ]

MELLO, C. M., CRUBELLATE, J. M.; ROSSONI, L. Dinâmica de relacionamento e prováveis respostas estratégicas de programas brasileiros de pós-graduação em administração à avaliação da Capes: proposições institucionais a partir da análise de redes de co-autorias. Rev. adm. contemp., jun. 2010, vol. 14, n. 3, p. 434-457. [ Links ]

MENANDRO, P. R. M. et al. Livros à mão cheia: o livro como veículo de produção acadêmica. Psicol. USP, jun. 2011, vol. 22, n. 2, p. 367-386. [ Links ]

MOREIRA, A. F. A cultura da performatividade e a avaliação da Pós-Graduação em Educação no Brasil. Educ. rev., dez. 2009, vol. 25, n. 3, p. 23-42. [ Links ]

MOREIRA, M. L.; VELHO, L. Pós-graduação no Brasil: da concepção “ofertista linear” para “novos modos de produção do conhecimento” implicações para avaliação. Avaliação (Campinas), nov. 2008, vol. 13, n. 3, p. 625-645. [ Links ]

NASCIMENTO, F. A. M. et al. Scientific Leaders for the Future: Primary and Secondary Education. Rev. Col. Bras. Cir., 2015, vol. 42, suppl. 1, p. 40-43. [ Links ]

OLIVEIRA, R. P. Da universalização do ensino fundamental ao desafio da qualidade: uma análise histórica. Educação & Sociedade. Campinas, v. 28, n. 100, p. 661-690, out. 2007. [ Links ]

ORTIGOZA, S. A. G., POLTRONIÉRI, L. C., MACHADO, L. M. C. P. A atuação profissional dos egressos como importante dimensão no processo de avaliação de programas de pós-graduação. Soc. nat., ago. 2012, vol. 24, n. 2, p. 243-254. [ Links ]

SABINO-NETO, M., FERREIRA, L. M. How To Achieve And Maintain Note 6: Postgraduate Program In Translational Surgery - UNIFESP. Rev. Col. Bras. Cir., 2015, vol. 42, suppl.1, p.78-80. [ Links ]

STEIN, L. M.; et al. A construção de um instrumento de avaliação discente de um programa de pós-graduação. Psico-USF (Impr.), dez. 2005, vol. 10, n. 2, p. 141-147. [ Links ]

VIACAVA, F. Produção científica dos cursos de pós-graduação em Saúde Coletiva no período 1998-2006. Ciênc. saúde coletiva, jul. 2010, vol.15, n.4, p.1977-1988. [ Links ]

VIANNA, W. B., ENSSLIN, L.; GIFFHORN, E. A integração sistêmica entre pós-graduação e educação básica no Brasil: contribuição teórica para um “estado da arte”. Ensaio: aval. pol. públ. Educ., jun. 2011, vol. 19, n. 71, p. 327-344. [ Links ]

Nota

1SciELO é uma biblioteca eletrônica que abrange uma coleção selecionada de periódicos científicos brasileiros. Nesse sentido ver: <http://www.scielo.br/scielo.php?script=sci_home&lng=pt&nrm=iso>. Acesso realizado em 18 ago. 2017.

Recebido: 03 de Outubro de 2017; Aceito: 24 de Janeiro de 2018

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons