2.1 O Ensino Superior no Brasil

Hoje o Ensino Superior no Brasil é oferecido por Universidades, Centros Universitários, Faculdades, Institutos Superiores e Centros de Educação Tecnológica, sejam públicos ou privados, com ou sem fins lucrativos (^{GOMES; MACHADO-TAYLOR; SARAIVA, 2018}). Entretanto, as Universidades configuram-se como as instituições mais representativas entre elas. Em 2020, 4,7 milhões de matrículas estavam nas Universidades, o que corresponde a mais da metade (54,3%) do total. Na rede federal de ensino brasileiro, 82,2% das matrículas estão em Universidades (^{BRASIL, 2022}).

Nos últimos 50 anos, o Sistema Brasileiro de Educação Superior passou por uma significativa expansão, aumentou quantitativamente sua rede de atuação, além de oferecer novos caminhos de formação (^{BARBOSA, 2019}). Entre 2010 e 2020, o número de matrículas na educação superior aumentou 35,5%, passando de 6,40 milhões de estudantes, para 8,68 milhões (^{BRASIL, 2022}).

No que diz respeito ao setor público, essa expansão é principalmente justificada pela intensificação de algumas políticas públicas a partir dos anos 2000 no Brasil, que permitiram o acesso de classes sociais anteriormente excluídas desse sistema de educação (^{BARBOSA, 2019}; ^{CARVALHAES; MEDEIROS; TAGLIARI, 2021}). Entre elas, podemos citar o Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (REUNI), que possuía a finalidade de financiar a expansão estrutural da rede de ensino superior e melhorar o aproveitamento das instalações já existentes (^{GOMES; MACHADO-TAYLOR; SARAIVA, 2018}).

Entretanto, esse movimento de crescimento da educação superior no Brasil foi, em grande parte, apoiado no crescimento do setor privado (^{BARBOSA, 2019}), de forma a atender a uma demanda de estudantes que não conseguiam vagas na rede pública e que questionavam os governos pela falta de oportunidades na educação superior (^{COLOMBO; RODRIGUES, 2011}). Quando se comparam os anos de 2010 a 2020, observa-se um aumento de 42% no número de matrículas na rede privada e de 19,1% na rede pública. Em 2020, as IES privadas representaram uma participação de 77,5% no total de matrículas de graduação (^{BRASIL, 2022}).

Quanto às políticas públicas que apoiaram o acesso de estudantes ao setor privado, podemos citar desde bolsas de estudo, através do Programa Universidade para Todos (PROUNI), a financiamentos oferecidos pelo Fundo de Financiamento Estudantil (FIES). Pouco mais da metade dos estudantes do setor privado de ensino superior depende de algum tipo de financiamento público (^{BARBOSA, 2019}).

No que se refere à qualidade do ensino superior brasileiro, as universidades públicas são vistas com maior prestígio; empregam professores mais qualificados, devido ao forte direcionamento à pesquisa e ao carácter seletivo do setor público de educação. Já as instituições privadas oferecem baixa barreira de seleção aos estudantes ( ^{MONT’ALVÃO NETO, 2016}). No Exame Nacional de Desempenho de Estudantes (ENADE), prova que avalia os alunos da educação superior por curso de graduação, realizado em 2019, mais de 81% dos cursos avaliados com nota máxima eram de instituição públicas, sendo 66% da rede federal (^{BRASIL, 2022}).

Esse cenário em que se encontra maior qualidade do ensino superior nas instituições públicas, em um movimento de crescimento de vagas em instituições privadas, motivadas por políticas públicas, lança luz sobre o questionamento em relação à eficiência do uso dos recursos nas universidades.

2.2 A Eficiência em Instituições de Ensino Superior

A eficiência consiste em otimizar uma combinação de entradas e métodos do processo produtivo, a fim de alcançar o nível ótimo de saídas. Em outras palavras, eficiência é a habilidade de realizar tarefas corretamente, de modo a minimizar a relação entrada/saída e otimizar a utilização de recursos (^{HAMMES JUNIOR; FLACH; MATTOS, 2020}).

O nível de eficiência é considerado um importante indicador em instituições de ensino superior, e, atualmente, um dos principais objetivos da política pública, já que avaliar a performance das IES é um fator chave para a alocação dos escassos recursos públicos. Se as IES operam de forma eficiente, isso justifica o dinheiro público investido no setor (^{AGASISTI et al., 2021}; ^{HAMMES JUNIOR; FLACH; MATTOS, 2020}).

O setor educacional fornece um excelente contexto para estudos de avaliação de eficiência, uma vez que apresenta diversos desafios como o fato de suas instituições não possuírem fins lucrativos, produzirem múltiplas saídas e possuírem dificuldade em transformar suas entradas e saídas em valores monetários (^{WITTE; LÓPEZ-TORRES, 2017}).

Existe atualmente considerável literatura a respeito da eficiência técnica das IESs, e este assunto tem sido extensivamente pesquisado (^{PAPADIMITRIOU; JOHNES, 2019}). Estudos com foco nos resultados de universidades podem ser abordados em diversas formas, a maioria dos estudos opta por indicadores baseados em publicações ou fundos para pesquisa (^{GRALKA; WOHLRABE; BORNMANN, 2019}).

No Brasil, grande parte dos estudos em avaliação de eficiência no setor educacional foi desenvolvido em âmbito municipal, com a utilização de indicadores de gastos financeiros como entrada, e medidas de avaliação institucional como saídas (^{PARENTE et al., 2021}).

Entre os trabalhos que se propuseram a abordar o ensino superior público brasileiro através da DEA, podemos citar uma avaliação da eficiência do ensino em cursos de graduação da Universidade Federal Fluminense através de avaliações do Exame Nacional de Desempenho dos Estudantes (ENADE) como parâmetros de entrada e de saída (^{TAVARES; MEZA, 2020}); ainda a aplicação de dois indicadores de entrada e dois indicadores de saída para a avaliação da eficiência na utilização de gastos públicos por 59 universidades federais brasileiras no período de 2013 a 2017 (^{HAMMES JUNIOR; FLACH; MATTOS, 2020}), e também a avaliação da eficiência de 38 Institutos Federais de Educação, Ciência e Tecnologia (EPCT) no período de 2010 a 2017 através dos indicadores formulados pelo Tribunal de Contas da União (TCU) para avaliação desse tipo de instituição (^{PARENTE et al., 2021}).

Por fim, um estudo com objetivo similar ao deste trabalho, avaliou a eficiência das universidades federais brasileiras no período de 2010 a 2016, não pela consideração dos indicadores definidos pelo TCU para avaliação das IES, mas pelos valores componentes desses indicadores, como o número de alunos das universidades, número de professores e custo corrente (^{LETTI; BITTENCOURT; VILA, 2020}). Neste sentido, diversos estudos já utilizam a análise envoltória de dados (DEA) como método para avaliação de eficiência no setor educacional, desta forma este é um dos métodos mais comuns e poderosos para análise de instituições educacionais públicas e privadas (^{LEE; JOHNES, 2022}; ^{NAVAS et al., 2020}; ^{NOJAVAN; HEIDARI; MOHAMMADITABAR, 2021}; ^{VISBAL-CADAVID; MENDOZA; HOYOS, 2019}).

2.3 DEA como Método para Mensuração de Eficiência em IES

A análise envoltória de dados, através de uma abordagem orientada a avaliação da performance de um grupo de entidades chamadas de unidades tomadoras de decisão, que convertem múltiplas entradas em múltiplas saídas, possui várias vantagens que a tornam ideal para análise de eficiência na educação superior (^{WU et al., 2020}).

A DEA não precisa da informação da forma em que o processo de transformação de entradas em saídas funciona, e consegue não apenas identificar áreas que precisem de melhoria, mas descrever possibilidades de futuros desenvolvimentos. Além disso, a DEA consegue também responder a questões sobre as forças e fraquezas das DMUs, assim identificar o melhor volume de recursos a serem disponibilizados para o setor da educação (^{WU et al., 2020}).

Os estudos de eficiência com aplicação da DEA existentes sobre IES se concentram principalmente em dois aspectos: avaliação de performance e alocação de recursos (^{WU et al., 2020}) e podem ser divididos em dois grandes grupos: a avaliação de unidades de ensino básico e a análise de eficiência do ensino superior (^{MONCAYO– MARTÍNEZ; RAMÍREZ–NAFARRATE; HERNÁNDEZ–BALDERRAMA, 2020}). Dentro deste segundo grupo, podemos citar alguns trabalhos que envolvem diversas nações, como é exposto no Quadro 1:

3.1 Análise Envoltória de Dados (DEA)

A DEA consiste em uma metodologia orientada a dados que aplica técnicas de programação linear para a avaliação da eficiência de um grupo de unidades tomadoras de decisão (DMUs). A DEA calcula a eficiência relativa de uma DMU através da razão da soma ponderada de múltiplas entradas e múltiplas saídas e dessa forma identifica DMUs ineficientes, assim como a fonte da sua ineficiência (^{CHARNES; COOPER; RHODES, 1978}; ^{LEE; JOHNES, 2022}). Uma DMU é considerada relativamente eficiente se essa razão é igual a um, e não eficiente caso contrário (ZHANG; WU; ZHU, 2020).

Uma DMU considerada eficiente não é capaz de reduzir o volume de entradas sem reduzir o valor das saídas. Da mesma forma que uma DMU considerada eficiente não é capaz de aumentar o volume de saídas, sem aumentar o volume das Entradas (^{QUIROGA-MARTÍNEZ; FERNÁNDEZ-VÁZQUEZ; ALBERTO, 2018}).

A orientação de análise da DEA pode ser dividida em: orientada a input ou orientada a output. A orientação a input estuda como minimizar o volume de entradas se mantendo o volume de saída, enquanto que a orientação a output estuda como maximizar o volume de saídas, com o mesmo volume de entradas (^{MONCAYO– MARTÍNEZ; RAMÍREZ–NAFARRATE; HERNÁNDEZ–BALDERRAMA, 2020}).

Quanto a retornos de escala, a DEA pode ser dividido em modelos de retornos constantes de escala, chamados de CCR (^{CHARNES; COOPER; RHODES, 1978}), e retornos variáveis de escala, chamados de modelos BCC (^{BANKER; CHARNES; COOPER, 1984}).

O modelo CCR avalia a eficiência geral pela análise das eficiências de escala e técnica simultaneamente, enquanto que no modelo BCC a eficiência de escala é separada da eficiência técnica (ZHANG; WU; ZHU, 2020).

Para o desenvolvimento desta pesquisa, foi escolhida a orientação a output para o modelo DEA, de forma a evidenciar as DMUs com melhores resultados, norteando DMUs ineficientes a melhorarem os resultados com os mesmos montantes de entradas. Também foi selecionado o tipo de modelo BCC, de forma a permitir a análise dos ganhos de escala das DMUs.

Na modelagem DEA, existentes k DMUs e cada uma delas utilizando m entradas para produzir n saídas, seja X_jk a entrada j e Y_ik a saída i da DMU j,, o modelo BCC orientado a output pode ser descrito da seguinte forma BCC (^{BANKER; CHARNES; COOPER, 1984}):

Sujeito a:

Onde u_i e v_j são os pesos das saídas e das entradas respectivamente, m o número de saídas, n o número de entradas, z o número de DMUs e w é o fator de escala, que indica o sentido dos retornos de escala; se w for positivo, a DMU opera com retornos crescentes de escala, se w for negativo, a DMU opera em retorno decrescente de escala; e caso w seja igual a zero, a DMU opera em retorno constante de escala (^{MEZA; BIONDI NETO; RIBEIRO, 2005}).

Dessa forma, a DEA permite que os pesos obtidos através da resolução do modelo sejam mais favoráveis para o cálculo da eficiência, entretanto esses pesos devem garantir que a eficiência de uma DMU não seja maior que um (ZHANG; WU; ZHU, 2020).

Esta metodologia para cálculo de eficiência é focada em determinar uma fronteira de produção ótima. Pontos localizados nessa fronteira são definidos como eficientes. Pontos na região dentro dessa fronteira são definidos como ineficientes, ou seja, com valor de eficiência menor que um. Toda DMU ineficiente pode ter seus valores de entradas ou de saídas ajustados para que alcance a eficiência projetando seu valor de eficiência na fronteira de produção ótima (ZHANG; WU; ZHU, 2020).

O estudo faz uma análise dos dados em painel para minimizar o efeito do tempo na DEA realizando uma análise em janelas (^{DE CASTRO CAMIOTO; MARIANO; DO NASCIMENTO REBELATTO, 2014}; ^{FERREIRA; GOMES, 2020}). A análise em janelas é realizada por meio da separação dos períodos da amostra em grupos diferentes (janelas) (^{DE CASTRO CAMIOTO; MARIANO; DO NASCIMENTO REBELATTO, 2014}). Para isso, utilizaram-se as seguintes equações para determinar as janelas:

Em que b é o número de períodos.

Dessa forma, nesse estudo o número de períodos (b = 5) se refere aos anos de 2017 a 2021. Logo, obteve-se 3 janelas com o tamanho também de 3 da seguinte forma: janela 1 (2017 – 2019); janela 2 (2018 – 2020) e janela 3 (2019 – 2021).

3.2 Levantamento de Dados

Este estudo considera como DMU cada universidade federal brasileira. Hoje o Brasil conta com 68 universidades públicas federais reconhecidas pelo MEC (Ministério da Educação) com fundações datadas entre 1910 e 2018, todas oferecem cursos de educação superior presenciais ou EAD (^{MEC, 2023}).

Para o levantamento de dados, foram utilizados indicadores definidos pelo Tribunal de contas da União (TCU). O TCU determinou, através da Decisão Normativa no 408/2002, um conjunto de nove indicadores de gestão e desempenho para as Instituições Federais de Ensino Superior (IFES), conhecidos como “Indicadores do TCU”. Trata-se de um conjunto de métricas que visam possibilitar a avaliação do desempenho operacional das instituições (^{BRASIL, 2002}).

A seleção e apuração desses indicadores pelo Tribunal de Contas da União teve como base uma auditoria de natureza operacional realizada na Universidade de Brasília, onde buscou-se retratar os aspectos relevantes do desempenho das instituições de ensino superior. Este conjunto foi testado em cinco outras instituições - FUA, UFPE, UFGO, UFRJ e UFRGS - (^{BRASIL, 2002}).

Ainda, segundo o Acórdão no 1.043/2006, as IFES devem apresentar o resultado desses indicadores anualmente em seus relatórios de gestão de contas, o que facilita o acesso público a essas informações (^{BRASIL, 2006}). Dessa forma, a pesquisa utilizou-se destes indicadores, considerados importantes para o TCU, na análise de desempenho das IFES, com a intenção de obter os resultados do modelo utilizado, alinhados com as perspectivas do órgão em relação à eficiência das instituições.

Considerando que metade das universidades mapeadas funcionam sem hospitais universitários, para manter a homogeneidade das DMUs, optou-se por utilizar apenas os indicadores que desconsideram a gestão dos hospitais universitários.

Para a análise envoltória de dados, o conjunto de indicadores do TCU pode ser dividido entre variáveis de entrada e variáveis de saída, como segue no Quadro 2 abaixo. A classificação em entrada e saídas deu-se a partir da relação de cada variável com seu papel de recurso aplicado e resultado obtido da aplicação desses recursos. Dessa forma, compreendeu-se que o Conceito CAPES/MEC para Pós-graduação e a Taxa de Sucesso na Graduação são resultados da utilização eficiente dos recursos representados nas variáveis classificadas como entradas.

Os valores para cada um dos indicadores serão levantados através de pesquisa a bases de dados públicos do governo federal, através de consulta aos relatórios de gestão de contas das universidades. De forma a trabalhar com os mais recentes dados disponíveis, abranger o período mais crítico da pandemia de COVID-19 e tanger um corte temporal significativo que possibilite uma análise da evolução da eficiência de cada DMU, sem sobrecarregar o processo de levantamento de dados, serão estudados os indicadores de um período de 5 anos, de 2017 a 2021.

Para a implementação e resolução do modelo de análise de eficiência, foi utilizado como recurso computacional o pacote R Benchmarking por meio do R Studio.