INTRODUÇÃO
As instituições de ensino exercem crucial papel para o desenvolvimento de uma nação. Para Martins e Ribeiro (2017), a avaliação dessas é uma realidade no mundo, ressaltando que, no Brasil, a discussão sobre avaliação do ensino superior tem sido tema de debates e pesquisas nas mais diversas áreas do conhecimento.
A educação superior brasileira abrange cursos e programas de pós-graduação lato sensu e stricto sensu, este compreendendo até então os cursos de mestrado (acadêmico e profissional) e doutorado. Segundo David (2017), as instituições de ensino superior (IES) devem ter por meta formar profissionais, facilitar e ampliar as atividades de pesquisa e estar cientes de que é de sua responsabilidade tomar medidas de melhoria de qualidade.
A Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), fundação do Ministério da Educação (MEC), avalia periodicamente os programas de pós-graduação do Brasil (já foi no passado em ciclos bianuais, trienais e recentemente, quadrienais) com vistas a qualificar, orientar e induzir a ampliação do sistema. Essa avaliação é realizada por pares e fundamentada em critérios e instrumentos estabelecidos com a participação ativa da comunidade acadêmica (MONTEIRO; FURLAN; ZIANI SUAREZ, 2017).
Angulo-Meza et al. (2018) ressaltam que essa avaliação inclui, entre outras atribuições, acompanhar os cursos periodicamente e avaliar o desempenho de todos os programas e cursos que compõem o Sistema Nacional de Pós-Graduação (SNPG), fornecendo dados para o financiamento desses programas. Embora essa avaliação considere vários fatores, como duração das aulas, número de alunos e infraestrutura, concentra-se principalmente na avaliação bibliométrica.
Para Gualhano, Salles e Hora (2018), a avaliação periódica do SNPG gera uma ampla quantidade de dados que podem (e devem) ser tratados e estudados de diferentes maneiras.
Segundo Saglam (2018), a análise envoltória de dados (DEA, na sigla em inglês) é uma ferramenta de programação matemática não paramétrica utilizada para avaliar a eficiência de unidades decisórias.
Considerando a crescente preocupação dos programas de pós-graduação em termos do conceito atribuído pela Capes, e a pressão em termos de produtividade docente, Barbosa et al. (2007) sugerem em seu trabalho o emprego da DEA no modelo clássico CRS (constant returns of scale - retorno constante de escala) para identificar o nível de eficiência dos docentes e do próprio programa.
Este trabalho tem então, nesse contexto, o objetivo de avançar o trabalho de Lins, Almeida e Bartholo Junior (2004), não somente avaliando a eficiência dos programas de pós-graduação, mas também verificando o seu comportamento ao longo dos últimos quatro ciclos avaliativos.
REVISÃO BIBLIOGRÁFICA
O SNPG e as áreas de conhecimento
A Capes foi instituída como órgão responsável pela elaboração do Plano Nacional de Pós-Graduação Stricto Sensu pelo Decreto n. 86.791 de 1981 (BRASIL, 1981). É também reconhecida como Agência Executiva do Ministério da Educação e Cultura junto ao Sistema Nacional de Ciência e Tecnologia, cabendo-lhe elaborar, avaliar, acompanhar e coordenar as atividades relativas ao ensino superior (NOBRE; FREITAS, 2017).
Barata (2016) apresenta que as áreas do conhecimento são divididas em quatro níveis: (i) Grande Área, (ii) Área de Conhecimento, (iii) Subárea e (iv) Especialidades. São nove grandes áreas assim estabelecidas: Ciências Exatas e da Terra, Ciências Biológicas, Engenharias, Ciências da Saúde, Ciências Agrárias, Ciências Sociais Aplicadas, Ciências Humanas, Linguística - Letras e Artes, Multidisciplinar. O segundo nível apresenta 48 áreas de conhecimento de avaliação da Capes. A grande área Engenharias é subdividida em quatro áreas de conhecimento assim apresentadas:
Características da avaliação
O processo de avaliação da Capes inclui critérios qualitativos e quantitativos. Contudo, ambos são convertidos em considerações qualitativas e, ao final da avaliação, com base nas apreciações realizadas, estabelece-se um conceito numérico dimensionando a qualidade dos programas avaliados (MOREIRA et al., 2011).
Segundo Ferraz, Nigro e Quoniam (2017), a avaliação ocorre pelo acompanhamento que é realizado anualmente e ao final de um período de quatro anos por meio da alimentação de uma plataforma específica mantida pela própria Capes, conhecida no meio acadêmico como Plataforma Sucupira.
Gualhano, Salles e Hora (2018) ressaltam que o documento da área produzido por cada uma das comissões de áreas da Capes contém os direcionamentos que os gestores devem se apropriar em cada programa ao planejarem as ações de seus respectivos cursos. Por meio desse documento é possível visualizar os critérios utilizados para conceituar os programas, como: proposta do programa, corpo docente, corpo discente, teses e dissertações; produção intelectual e inserção social.
O processo de avaliação é realizado por uma comissão de avaliadores formada por consultores acadêmicos na qual estão incluídos o coordenador de área e dois coordenadores adjuntos da área, e ocorre em duas etapas:
Etapa I: O desempenho de cada programa é avaliado utilizando os conceitos Muito Bom (MB), Bom (B), Regular (R), Fraco (F) ou Deficiente (D) a cada item dos critérios estabelecidos na ficha de avaliação. Para cada um desses conceitos é atribuído um equivalente numérico: 5; 4; 3; 2 e 1, respectivamente.
A Comissão de Área define sobre a forma de arredondamento a ser utilizada, quando necessário, na apuração dos indicadores.
Etapa II: Os programas avaliados recebem notas que variam em uma escala de 1 a 7, seguindo algumas orientações como:
aqueles programas que obtiverem conceito “Deficiente” ou “Fraco” no quesito 1 (Proposta do programa) não podem obter nota acima de 3;
o menor conceito atribuído no quesito 3 (Corpo discente, teses e dissertações) e 4 (Produção intelectual) define a nota final do programa;
a nota 3 é considerada como padrão mínimo de qualidade para que o programa permaneça no SNPG para programas somente com o curso de mestrado, e 4 para programas com doutorado (CAPES, 2017).
Miranda e Almeida (2003) apontam que os programas que obtiverem avaliação igual ou superior a 3 têm seus diplomas validados e reconhecidos nacionalmente. Os conceitos atribuídos a programas de mestrado reconhecidos pela Capes figuram entre 3 e 5, e os conceitos de programas de doutorado figuram entre 4 e 7. Os conceitos 1 e 2 não são recomendados pela Capes, e programas de doutorado que possuem avaliação 3 foram rebaixados na última avaliação e podem ser considerados sob risco de terem seu curso descredenciado na próxima avaliação. Os resultados obtidos pelos programas ficam disponibilizados no documento intitulado “Ficha de Avaliação”.
METODOLOGIA
Classificação da pesquisa
Quanto à classificação da pesquisa, pode-se afirmar que ela é descritiva, pois, segundo Gil (2010), tem como objetivo a descrição das características de determinado fenômeno ou população, buscando identificar possíveis relações entre as variáveis.
No que se refere à natureza da sua finalidade, o trabalho aqui proposto é considerado como uma pesquisa aplicada, pois é voltado para aquisição de conhecimentos decorrentes de uma aplicação numa situação específica. De acordo com Romero (2002), a pesquisa aplicada tem como objetivo o avanço do conhecimento científico com um propósito prático específico, reforçando a capacidade tecnológica e a posição competitiva, enquanto a pesquisa fundamental ou básica tem como objetivo o avanço do conhecimento científico sem propósitos práticos determinados.
Quanto à abordagem do problema, a pesquisa é quantitativa, pois, segundo Ganga (2012), esse tipo de abordagem permite quantificar e confirmar de forma estatística as relações existentes entre as variáveis da pesquisa.
E, por fim, pode ser considerada um estudo de caso, pois é voltada para os programas de pós-graduação stricto sensu das Engenharias III. O papel do pesquisador, num estudo de caso, é obter informações do fenômeno segundo a visão de indivíduos, bem como observar e coletar evidências que possibilitem interpretar o ambiente em que a problemática ocorre (GANGA, 2012).
Coleta de dados
Para a coleta de dados considerou-se os valores disponíveis nas tabelas comparativas dos programas da área de Engenharias III disponíveis no portal Capes. Os indicadores correspondem aos triênios 2004-2005-2006 (com dados publicados em 2007); 2007-2008-2009 (com dados publicados em 2010); 2010-2011-2012 (com dados publicados em 2013); e, por fim, a última avaliação, primeira em ciclo quadrienal, 2013-2014-2015-2016, com dados publicados em 2017.
Técnicas de tratamento e análise dos dados
Neste trabalho aplicou-se a ferramenta DEA para medir a eficiência dos programas de pós-graduação stricto sensu da área de Engenharias III da Capes. O modelo DEA utilizado foi CRS, orientado às saídas, que é uma abordagem adequada a um conjunto de dados heterogêneos.
Foram considerados no estudo 71 programas, incluindo mestrado acadêmico e profissional e o doutorado no triênio 2007; 95 programas presentes no triênio 2010; no triênio de 2013 foram 109 programas avaliados; e no último quadriênio, 126 programas. Nessa etapa foi também realizada uma seleção de variáveis de entrada e saída.
A DEA é preferida para avaliação da eficiência, em preterimento às demais, pela sua característica comparativa, na qual a eficiência de uma unidade (considerada como programa de pós-graduação neste trabalho) é determinada tendo como referência os outros programas da mesma área, aderente assim ao princípio da avaliação por comparação que rege os ciclos avaliativos da Capes. Não há uma preocupação neste trabalho em detalhar o método da DEA, por fugir ao escopo da proposta, mas indica-se o trabalho de Lins, Almeida e Bartholo Junior (2004), e Ferreira e Gomes (2012) para detalhes quanto ao seu funcionamento.
A aplicação da técnica DEA se deu utilizando o software OSDEA-GUI versão 0.2 lib, disponibilizado sob licença livre em: http://www.opensourcedea.org.
Para apresentação dos resultados, definiram-se as classificações de acordo com os quartis de cada ciclo avaliativo, em que cada programa foi alocado em uma classificação de acordo com o desempenho de sua eficiência, ciclo a ciclo.
Variáveis de avaliação
As variáveis de entrada foram: (i) quantidade de docentes permanentes; (ii) egressos doutorados; (ii) egressos mestrados; (iii) maturidade do doutorado; e (iv) maturidade do mestrado. Como maturidade entende-se o ano de início do referido programa até o ano corrente.
As variáveis de saída correspondem a: (i) artigos em periódicos classificados (APC); (ii) trabalhos completos em anais; (iii) capítulos de livros; (iv) coletâneas; e (v) verbetes.
É importante ressaltar que a variável de saída “artigos em periódicos classificados” é enquadrada em categorias indicativas da qualidade - A, B ou C - e na sua esfera de circulação (internacional, nacional ou local) para o triênio de 2007. Para os demais trienios, as categorias indicativas passaram a ser classificadas em: A1, A2, B1, B2, B3, B4, B5.
Os pesos de cada tipo de publicação estão descritos conforme o Quadro 1 para o triênio 2004-2005-2006.
TIPO DA PUBLICAÇÃO | CLASSIFICAÇÃO | PESO |
Periódicos | internacional A (IA) | 1,00 |
internacional B (IB) | 0,75 | |
internacional C (IC) | 0,20 | |
nacional A (NA) | 0,60 | |
nacional B (NB) | 0,20 | |
nacional C (NC) | 0,10 | |
local (LA) | 0,00 | |
Congressos | internacional A (CIA) | 0,20 |
internacional B (CIB) | 0,10 | |
internacional C (CIC) | 0,00 | |
nacional A (CNA) | 0,05 | |
nacional B (CNB) | 0.03 | |
nacional C (CNC) | 0,00 | |
local (CLA) | 0,00 | |
Livros | 1,00 | |
Capítulos de livro | 0,20 | |
Coletâneas | 0,10 |
Fonte: Capes (2013).
Para os demais triênios em análise considera-se os pesos conforme o Quadro 2:
TIPO DA PUBLICAÇÃO | CLASSIFICAÇÃO | PESO |
Periódicos | A1 | 1,00 |
A2 | 0,85 | |
B1 | 0,70 | |
B2 | 0,50 | |
B3 | 0,20 | |
B4 | 0,10 | |
B5 | 0,05 |
Fonte: Capes (2017).
O desempenho das publicações em periódicos era avaliado pelo indicador chamado de APC de acordo com a expressão para o triênio 2007, demonstrada na Equação 1.
Fonte: Capes (2013).
O número de publicações é avaliado de acordo com a expressão para os triênios 2010 e 2013 e para o quadriênio 2017, demonstrada na Equação 2.
Fonte: Capes (2017).
Os resultados de eficiência obtidos a cada ciclo foram submetidos à técnica de análise em quartis, para obter quatro classificações distintas. A classificação 1 é composta pelos programas de baixa eficiência e a classificação 3 representa os programas bem próximos da fronteira de eficiência. A classificação 4 caracteriza-se por programas que se encontram na fronteira da eficiência, atingindo o valor máximo na avaliação comparativa. O Quadro 3 apresenta a divisão em quartis por ciclo avaliativo.
RESULTADOS
Participaram deste estudo programas de pós-graduação pertencentes à área de Engenharias III. A Figura 1 evidencia o aumento do número de programas no decorrer dos ciclos avaliativos.
A Tabela 1 retrata que a maior parte dos programas estão na região Sudeste do Brasil e em oposição está a região Centro-Oeste.
REGIÃO | TRIÊNIO 2007 | TRIÊNIO 2010 | TRIÊNIO 2013 | QUADRIÊNIO 2017 |
SUDESTE | 42 | 56 | 62 | 67 |
SUL | 15 | 19 | 23 | 32 |
NORDESTE | 9 | 14 | 15 | 17 |
NORTE | 3 | 4 | 5 | 4 |
CENTRO-OESTE | 2 | 2 | 4 | 6 |
TOTAL | 71 | 95 | 109 | 126 |
Fonte: Elaboração dos autores (2019).
Ainda de acordo com a distribuição apresentada na Tabela 1, o estado de São Paulo é o que apresenta uma maior oferta de programas, somando 35, seguido pelo Rio de Janeiro com 15 programas, Minas Gerais com seis programas e o estado do Espírito Santo possui um único programa que corresponde ao curso de Engenharia Mecânica.
A região Centro-Oeste apresenta quatro programas disponibilizados em uma IES privada localizada em Goiás e outros três encontrados na rede pública em Brasília.
Uma outra análise realizada pode ser verificada na Figura 2, que relaciona a evolução quanto aos conceitos atribuídos pela Capes ao longo do período analisado. Na Tabela A1 do Apêndice, é possível verificar os conceitos atribuídos aos programas de pós-graduação stricto sensu pelo comitê de avaliadores da Capes para cada ciclo estudado.
Para o triênio encerrado em 2013, apenas um programa obteve conceito 2, e, segundo os critérios de avaliação, com essa nota ele não é recomendável pela Capes. O conceito 3 é a nota mínima que um programa de mestrado e doutorado pode receber para ser recomendado pela Capes, e no triênio 2007 representou a maior porcentagem em relação aos demais. Apesar de um declínio no triênio 2010, torna a apresentar uma maior porcentagem no triênio 2013 e no quadriênio 2017.
Aponta-se nesse momento um outro dado: dez programas não foram disponibilizados para o último ciclo avaliado. São eles: Engenharia de Recursos da Amazônia (Universidade Federal do Pará - UFPA); Logística e Pesquisa Operacional (Universidade Federal do Ceará - UFC); Metrologia Científica e Industrial, Engenharia Mecânica (ambos disponibilizados pela Universidade Federal de Santa Catarina - UFSC); Meio Ambiente Urbano e Industrial (Universidade Federal do Paraná - UFPR). Na região Sudeste: Engenharia de Produção e Mecânica (Instituto Superior Técnico - IST), Engenharia do Centro Universitário do Leste de Minas Gerais (Unileste); Engenharia Automobilística (Universidade Estadual de Campinas - Unicamp); Engenharia Mecânica e Tecnologia de Materiais (Centro Federal de Educação Tecnológica Celso Suckow da Fonseca - Cefet-RJ).
O conceito 5 representa grau de excelência quando atribuído aos programas de mestrado. Os conceitos 6 e 7 são atribuídos apenas a programas de doutorado com qualidade internacional, que, após atingirem a excelência da nota 5, são recomendados a serem avaliados por comitê específico e especializado para avaliar, dentre outros aspectos, a internacionalização do programa e sua comparação com centros de excelência mundiais. O conceito 7, naturalmente, apresenta a menor frequência, pois é a nota máxima que um programa pode atingir no Brasil.
Eficiência dos programas
Constata-se quanto ao triênio de 2007 que 36 programas foram mais eficientes (eficiência = 1,0000) ou ficaram muito próximos à eficiência (0,9993 ≤ eficiência < 1,0000). Observa-se nesse grupo programas de Engenharia de Produção, Engenharia de Recursos Naturais da Amazônia, Engenharia Industrial, entre outros, tanto no âmbito público quanto privado. Na classificação menos eficiente (eficiência < 0,6543), encontram-se 18 programas.
No triênio de 2010, obteve-se 49 programas mais eficientes (eficiência = 1,0000) ou muito próximos à eficiência (0,7667 ≤ eficiência < 1,0000). Os menos eficientes foram considerados os que apresentaram eficiência inferior a 0,5553 e configuram um total de 23 programas, como Mecatrônica e Engenharia Automotiva, que pertencem a instituições públicas tradicionais como Instituto Federal de Santa Catarina (IFSC) e Universidade de São Paulo (USP). As instituições particulares que obtiveram eficiência baixa correspondem aos programas de Engenharia de Produção da Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio) na modalidade de mestrado profissional e Engenharia Mecânica do Centro Universitário FEI (FEI-SP).
Quanto ao triênio de 2013, considerando como eficientes as instituições que apresentaram eficiência = 1,0000 e como muito próximas à eficiência aquelas que apresentaram 0,7659 ≤ eficiência < 1,0000, obteve-se um total de 54 programas, a maior parte deles corresponde a instituições públicas na esfera estadual e federal. Com baixa eficiência, encontraram-se 29 programas, entre eles os de Engenharia de Energia do Centro Federal de Educação Tecnológica de Minas Gerais (Cefet-MG), Engenharia Mecânica do Instituto Militar de Engenharia (IME) e da Universidade Federal da Paraíba (UFPB) e Engenharia de Reservatório e de Exploração da Universidade Federal do Norte Fluminense (Uenf). Nota-se aqui que a região Centro-Oeste não obteve nenhum programa pouco eficiente.
No primeiro ciclo avaliativo quadrienal dos 126 programas avaliados, 63 programas configuraram eficiência máxima (1,0000) ou bem próximos da fronteira (0,8275 ≤ eficiência < 1,0000). Destaca-se nesse grupo novamente o programa de Engenharia de Recursos Naturais da Amazônia (UFPA), ressaltando-se como único programa da região Norte a configurar eficiência máxima em todos os ciclos avaliativos. A região Sudeste ainda é a maior a apresentar programas como Engenharia de Produção, Engenharia Mecânica e Engenharia Mecatrônica com altos índices de produção científica.
Representam o grupo de baixa eficiência as instituições que apresentaram eficiência com valores abaixo de 0,6050, como a Universidade Federal de Brasília (UnB) com o programa Ciências Mecânicas e a PUC-Goiás - instituição privada - com o programa de Engenharia de Produção e Sistema. Ambas instituições representam a região Centro-Oeste, que é a região que tem a menor quantidade de programas. As regiões Nordeste e a Sul são as que apresentam uma menor porcentagem de programas com a eficiência comprometida.
Para o ciclo de avaliação referente ao período de 2013 a 2016, 23 novos programas foram disponibilizados e assim distribuídos, como: Engenharia Naval e Engenharia de Processos (UFPA) na região Norte; Engenharia Mecatrônica (Universidade Federal do Rio Grande do Norte - UFRN), Energias Renováveis (UFPB/JP) e Engenharia de Produção (Centro Acadêmico do Agreste da Universidade Federal de Pernambuco - UPE) na região Nordeste; Engenharia de Produção (Sociedade Federal de Santa Catarina - UniSociesc), Engenharia Mecânica (Universidade Tecnológica Federal do Paraná - UTFPR), Energia e Sustentabilidade (UFSC), entre outros; e na região Sudeste programas como Gestão e Tecnologia em Sistemas Produtivos (Centro Estadual de Educação Tecnológica Paula Souza - Ceeteps), Pesquisa Operacional (Universidade Federal de São Paulo - Unifesp) e demais.
Tendo como base os quatro ciclos estudados, constata-se que 11 programas mantiveram eficiência máxima (1,0000) em todos eles. Configuram os seguintes cursos: Engenharia de Recursos Naturais da Amazônia (UFPA), Engenharia de Produção (Universidade Federal do Rio Grande do Sul - UFRGS, UFSC, PUC-PR, UTFPR, Universidade do Vale do Rio dos Sinos - Unisinos, Universidade Federal do Rio de Janeiro - UFRJ, Universidade Estadual Paulista “Júlio de Mesquita Filho” - Unesp-Bauru), Engenharia Aeronáutica e Mecânica (Instituto Tecnológico de Aeronáutica - ITA), Engenharia Mecânica (Universidade do Estado do Rio de Janeiro - UERJ) e Sistema de Gestão (Universidade Federal Fluminense - UFF). Com relação aos conceitos atribuídos a esses programas, configuram em torno de 3, 4 e 5. A Engenharia de Produção da UFRJ apresenta conceito 6, o maior comparado às demais. É importante ressaltar que dentre esses programas, dois são de administração particular e estão localizados na região Sul do Brasil.
Outro ponto observado é que quatro programas, antes disponíveis, não foram oferecidos no triênio de 2013, levando à conclusão de que podem ter obtido conceito 1 ou 2, não sendo autorizados pela Capes. O mesmo fato pode ser percebido no quadriênio de 2017, porém com um quantitativo maior de programas (dez) no total.
Evolução da eficiência
Para facilitar a análise dos resultados encontrados, foram elaborados gráficos para observar a evolução da eficiência quanto às produções científicas dos programas de acordo com as regiões do Brasil e ao longo dos períodos avaliativos.
O Centro-Oeste é a região brasileira que possui a menor quantidade de programas oferecidos: um total de quatro, contemplando Ciência Mecânica, Sistemas Mecatrônicos, Engenharia de Produção e Sistemas e Integridade de Materiais da Engenharia, a maior parte deles disponibilizados pela UnB. A Figura 3 representa a evolução dos programas nos quatro ciclos aqui estudados.
Programas como Ciência Mecânica e Sistemas Mecatrônicos, ambos de instituição pública (UnB), apresentaram uma redução de sua eficiência no decorrer do período avaliado, porém permanecem com o mesmo conceito 4 atribuído pela Capes.
Os programas de Engenharia de Produção e Sistemas e Integridade de Materiais da Engenharia só foram avaliados no triênio de 2013 e no quadriênio de 2017, e ambos obtiveram uma boa eficiência (0,8626 e 1,0000, respectivamente) na avaliação de 2013. Porém, em 2017, o programa de Engenharia de Produção apresentou um decréscimo no valor da eficiência, mas ambos mantiveram o mesmo conceito 3 dado pelo comitê de avaliação.
A região Norte é a segunda região do Brasil com o menor número de programas - total de cinco (até o ano de 2013) -, encontrados na UFPA e na Ufam, ambas instituições públicas de ensino e com conceito 3 na maioria dos programas ofertados. No ciclo avaliativo de 2017, a UFPA disponibilizou mais dois programas: Engenharia Naval e Engenharia de Processos, ambos obtiveram eficiências em torno de 0,5701 (baixa eficiência) e 0,7204 (eficiência mediana), respectivamente. Vale ressaltar que nessa região não há dentro da área de Engenharias III nenhuma instituição particular.
Na Figura 4 pode-se notar que o programa de Engenharia de Recursos Naturais da Amazônia apresenta eficiência máxima (1,0000) em todos os períodos analisados. Já a Engenharia de Produção da Ufam apresentou nos dois triênios iniciais uma baixa eficiência, mostrando uma pequena melhora no triênio de 2013 e voltando a configurar uma baixa eficiência em 2017.
O programa de Engenharia Industrial (UFPA) só foi avaliado no período 2010-2011-2012 e no período 2013-2014-2015-2016, por essa razão não foi apresentado na Figura 4, porém os valores de suas eficiências nesses períodos podem ser verificados na Tabela A1 do Apêndice.
Analisando os resultados da região Nordeste, que conta com 18 programas de pós-graduação, verifica-se que 15 destes têm a sua eficiência demonstrada na Figura 5, pois programas como Engenharia Mecatrônica (UFRN), Energia Renováveis e Engenharia de Produção (Centro Acadêmico do Agreste da UFPE) só foram avaliados no último ciclo da avaliação.
Nota-se que o programa Engenharia de Produção da UFPE mantém-se eficiente em todo o período analisado, ao contrário do programa da UFRN, que apresentou um declínio na sua eficiência em 2013 e em 2017 se manteve estável, configurando-se no grupo de baixa eficiência. Situação semelhante ocorreu com o programa de Engenharia Mecânica (UFPE), que no início configurava uma eficiência mediana e apresentou declínio em sua eficiência no triênio de 2010, passando para o grupo de programas de baixa eficiência e se mantendo nesse grupo até o último período avaliado. O programa de Mecatrônica apresentou nos triênios 2007 e 2010 eficiência máxima (1,0000), tendo uma pequena queda no triênio de 2013, passando a estar no grupo de programas com eficiência mediana e voltou em 2017 a pertencer ao grupo de alta eficiência. Contrário a esse, tem-se a Engenharia de Produção da UFPB/JP. Ressalta-se que o programa de Engenharia Mecânica da UFPB-JP permaneceu ao longo do período sempre no grupo de Programa de Pós-Graduação (PPG) não eficiente e com conceito 4 em todo o período analisado.
O Programa de Engenharia Mecânica da UFCG apresentou avaliação pela Capes apenas no triênio de 2013 e no quadriênio de 2017. O conceito atribuído a ele corresponde a 3 e a eficiência encontrada em termos de produções científicas corresponde a 0,7492 e 0,6618, configurando-se assim no grupo de programas medianos.
A região Sul do Brasil tinha 26 programas até o triênio de 2013 e obteve uma ampliação em seu número de programas para o quadriênio de 2017, apresentando um total de 35, sendo que 26 destes são apresentados na Figura 6.
Levando em consideração o fator número de programas disponíveis e eficiências obtidas, essa região é a que apresenta um dos melhores resultados de eficiência: seis programas - todos em Engenharia de Produção - configuram a região de máxima eficiência ao longo do período estudado, destes, dois são de instituições particulares.
O programa Engenharia Oceânica da Universidade Federal do Rio Grande (Furg) aparece tendendo sair da zona de baixa eficiência, enquanto a Engenharia Mecânica da PUC-PR tendeu a diminuir em 2013 e apresentou uma melhora em 2017. A Engenharia Mecânica e de Materiais da UTFPR apresentou ao longo do período a tendência de permanecer no grupo de eficiência mediana e o programa de Mecatrônica da IFSC aparece no grupo de baixa eficiência.
Algumas instituições públicas dessa região deixaram de figurar nos últimos anos analisados. São elas: UFSC e UFPR, com os programas Metrologia Científica e Industrial, Engenharia Mecânica e Meio Ambiente Urbano e Industrial.
O Sudeste representa a maior região brasileira considerando oferta de instituições de ensino tanto públicas quanto particulares. Nela, encontram-se 72 programas no total. Para facilitar a análise foram elaborados cinco gráficos distintos, de acordo com a quantidade de programas disponíveis, representando: o estado do Rio de Janeiro (Figura 7); o estado de São Paulo (figuras 8, 9 e 10); e os estados de Minas Gerais e Espírito Santo (Figura 11).
O estado do Rio de Janeiro é responsável por 23 programas de universidades como: UFRJ, UFF, Cefet-RJ, IME, Uenf, UERJ, PUC-Rio, Universidade Candido Mendes (Ucam), Instituto Nacional de Metrologia, Qualidade e Tecnologia (Inmetro). Na Figura 7 encontra-se a evolução dos programas que apresentaram eficiência verificada nos anos de 2007, 2010, 2013 e 2017.
Em termos de eficiência, três programas (ressaltando que todos são de instituições públicas) configuram a eficiência máxima (1,0000) nos quatro períodos analisados.
O programa de Engenharia Mecânica da UFRJ é o único do estado que apresentou conceito 7 (que é o máximo atribuído pela Capes) em todo o período analisado e também obteve eficiência máxima (1,0000) nos dois triênios iniciais. Entretanto, é preciso ressaltar que programas como Engenharia Mecânica e Engenharia de Produção, nessa região avaliada, não deixaram a desejar pois estão configurados no grupo dos eficientes e que também apresentaram conceitos 5, 6 e 7 em pelo menos um ciclo avaliativo.
Representando o grupo de programas de baixa eficiência têm-se instituições públicas como a Uenf, com o programa Engenharia de Reservatório e de Exploração de Petróleo, e a Engenharia de Produção da UFF. A PUC-Rio sendo uma instituição privada também apresentou valores de eficiência baixos nos dois triênios iniciais e apresentou uma tendência a configurar no grupo dos eficientes para o último quadriênio com o programa Engenharia de Produção na modalidade acadêmica.
Os programas Engenharia de Produção da Ucam, Engenharia Mecânica da UFF, campus de Volta Redonda, e Montagem Industrial da UFF só foram avaliados nos períodos de 2010-2011-2012 e 2013-2014-2015-2016.
Os programas Engenharia Mecânica e Engenharia de Produção, ambos oferecidos pelo IST, e o Engenharia Mecânica e Tecnologia de Materiais (Cefet/RJ) deixaram de ser disponibilizados no triênio de 2013 e quadriênio de 2017.
O estado de São Paulo tem 29 programas, sendo que 20 foram representados por gráficos pelo fato de apresentarem resultados de eficiência em todos os ciclos analisados. Para facilitar a análise, foram separados em três grupos: os programas de Engenharia de Produção estão representados na Figura 8; os de Engenharia Mecânica, na Figura 9; e os demais cursos, na Figura 10.
A Figura 8 demonstra o resultado da eficiência para nove programas de Engenharia de Produção; desses, cinco são de instituições públicas e quatro são de instituições particulares. Evidencia-se que os programas de Engenharia de Produção são os que obtiveram eficiência máxima em todo o período analisado. Porém, a título de comparação com a avaliação realizada pela Capes, os mesmos programas mantiveram conceitos 3, 4 e, no máximo, 5. Ainda referente à Engenharia de Produção da Unesp-Bauru, mesmo figurando no conceito mínimo, apresenta uma excelente eficiência. O programa de Engenharia de Produção de instituição particular permanece na zona de pouca eficiência em todos os triênios analisados, porém, no último ciclo avaliado, apresentou eficiência máxima (1,0000).
Os programas pertinentes à Engenharia Mecânica constam da Figura 9.
Em comparação com o curso de Engenharia de Produção, evidencia-se que nenhum programa de Engenharia Mecânica apresentou eficiência máxima (1,0000), porém configuram-se na área dos eficientes. Situação inversa é representada pelo curso disponibilizado pela Universidade de Taubaté (Unitau), uma instituição de administração privada. A Engenharia Mecânica da Unicamp configurava no grupo dos eficientes e apresenta tendência de queda.
A Figura 10 apresenta a evolução da eficiência dos demais programas disponibilizados no estado.
Nessa região encontram-se três programas com menores eficiências. Em destaque têm-se dois programas da USP: Engenharia Naval e Oceânica e Engenharia Automotiva. O outro programa é o Automação e Controle de Processos do Instituto Federal de São Paulo (IFSP).
A Engenharia de Tecnologias Espaciais do Instituto Nacional de Pesquisas Espaciais (Inpe), que configurava no grupo dos eficientes nos triênios 2007 e 2010, apresentou tendência de queda no triênio de 2013 e voltou ao grupo de eficiência mediana em 2017. Ressalta-se eficiência de 100% ao programa de Engenharia Aeronáutica e Mecânica do ITA na modalidade profissional.
A Figura 11 tem como referência os resultados dos programas do estado de Minas Gerais. Nela também é representado o programa do Espírito Santo, por apresentar apenas um curso autorizado pela Capes: Engenharia Mecânica da Universidade Federal do Espírito Santo (Ufes).
O estado de Minas Gerais apresentou dez programas até o triênio de 2013; destes, dois são disponibilizados por instituições privadas e deixam a desejar em termos de eficiência.
O programa de Engenharia Mecânica da PUC-MG apresentou tendência de declínio durante os triênios 2007, 2010 e 2013, porém houve uma pequena melhora em termos de eficiência no período de avaliação de 2017, assim como evidenciado com a Engenharia da Unileste. Esse deve configurar o mesmo caso de outras instituições já mencionadas no estudo, que para o triênio de 2013 e quadriênio de 2017 não apresentam resultados, levando-se à conclusão de que possa ter sido avaliado pelo comitê com conceito 1 ou 2.
Tendo como referência as instituições públicas, o programa de Engenharia da Energia do Cefet-MG foi o que obteve uma eficiência inferior. Dentro da região Sudeste, o estado de Minas Gerais é o que apresenta um comportamento mais heterogêneo quanto às eficiências obtidas.
Dentre os programas do estado, a Engenharia Mecânica disponibilizada pela UFU foi a que apresentou um maior conceito atribuído pela Capes (7) nos últimos ciclos avaliados. Nota-se que nesse caso os valores das eficiências fizeram caminho inverso às notas atribuídas, ou seja, decresceram.
O único programa representando o estado do Espírito Santo demonstra uma crescente melhora na sua eficiência e no seu conceito.
CONCLUSÃO
O presente trabalho teve como objetivo realizar um estudo evolutivo quanto às eficiências dos programas de pós-graduação stricto sensu da área de Engenharias III, assim como analisar e comentar os resultados encontrados de forma a responder à pergunta de como a eficiência desses programas evoluiu ao longo dos ciclos avaliados.
Dos 66 programas analisados (eficiência analisada em todos os triênios e quadriênios), no triênio de 2010, 15 aumentaram o seu nível de eficiência de 2007 para 2010, 35 permaneceram no mesmo nível e 16 apresentaram um decréscimo em relação ao triênio de 2007.
A comparação dos programas do triênio de 2013 em relação ao triênio de 2010 aponta que 34 programas permaneceram na mesma classificação de eficiência, 19 decresceram e apenas 13 apresentaram um aumento no nível de eficiência.
Para o quadriênio de 2017, nota-se que 16 programas apresentaram um decréscimo em termos de eficiência comparando-se com 2013, 33 permaneceram estáveis e 17 apresentaram melhora em seus valores.
A análise realizada por meio da metodologia DEA demonstra que 12 programas de pós-graduação obtiveram a eficiência máxima (1,0000), sendo altamente eficientes durante todo o período estudado. A maior parte desses programas é decorrente de instituições públicas. A pesquisa ainda aponta que os programas com melhores eficiências estão na região Sul e Sudeste do Brasil.
Os resultados encontrados na literatura corroboraram a aplicação da metodologia DEA na avaliação da eficiência dos programas supracitados, permitindo identificar as instituições que apresentam uma melhor eficiência em termos de produção científica.
Um outro ponto importante que precisa ser ressaltado é a baixa correlação entre as eficiências alcançadas e o conceito do programa. Um programa com alta produção científica não necessariamente terá um conceito máximo. Conclui-se que podem existir outros aspectos que não foram apresentados na tabela comparativa, mas que são relevantes para a atribuição do conceito final.
Como proposta para trabalhos futuros, sugere-se aplicar a mesma metodologia para as demais áreas de Engenharias, assim como empregar DEA com abordagens diferentes e verificar as possíveis causas das baixas eficiências dos programas.