INTRODUÇÃO
Com a transição de uma economia industrial para uma baseada na informação, a TI passou a representar uma expressiva fonte de vantagem competitiva (WEILL; ROSS, 2004; O’BRIEN; MARAKAS, 2013). Ao mesmo tempo que a TI oferece grandes oportunidades para as organizações, traz consigo sérios desafios sobre como mensurar o retorno dos gastos com TI.
Nesse sentido, pesquisas foram desenvolvidas visando a definir um modelo capaz de avaliar objetivamente o retorno dos gastos com TI (HU; PLANTE, 2001; CANUTO; MUSSI; CHEROBIM, 2010; LIM et al., 2011; LUNARD; BECKER; MAÇADA, 2012; FERREIRA; CHEROBIM, 2012; LONGO; MEIRELLES, 2016). Apesar do esforço, os resultados foram controversos, ou seja, enquanto alguns estudos concluíram que os gastos com TI contribuíram para um melhor resultado organizacional, outros constataram não haver melhorias significativas. Diante dessas incertezas, cresce a pressão sobre os gestores em relação aos recursos aplicados em TI. Ademais, alguns autores afirmam que os gastos com TI por si só não asseguram a eficiência dos resultados organizacionais (LUNARDI et al. 2014).
Dessa forma, para minimizar os riscos de insucesso, Fernandes e Abreu (2012) destacam que uma boa estrutura de governança de TI aumenta as chances de os recursos aplicados agregarem valor ao negócio. Weill e Ross (2004) corroboram, afirmando que as organizações com um bom nível de governança em TI possuem desempenho superior. A governança de TI surge com a finalidade de certificar o alinhamento da tecnologia empregada aos objetivos organizacionais de forma a sustentar e potencializar o negócio (OLIVEIRA, 2007).
No Brasil, as despesas com TI da administração pública federal representaram parcela crescente do orçamento da União. Entre 2013 e 2016, o Governo Federal registrou despesa com TI de 21 bilhões de reais. Nesse mesmo período, o Ministério da Educação (MEC) registrou despesas com TI de R$ 1.379.723.504, na qual os Institutos Federais de Educação (IFs) foram responsáveis por R$ 240.653.389 (17,44%) (SIOP, 2017).
Diante dessa expressividade, considera-se salutar que os IFs desenvolvam uma governança de TI capaz de orientar a aplicação dos recursos na direção dos resultados institucionais, cuja finalidade é a de ofertar educação técnica e tecnológica.
Surge então o seguinte questionamento: quais IFs são considerados eficientes em termos de gastos com TI, governança de TI e desempenho organizacional?
De modo geral, objetiva-se identificar a fronteira de eficiência dos IFs em relação aos gastos com TI, governança de TI e desempenho organizacional. Especificamente, objetiva-se construir um ranking de eficiência relativa dos IFs e identificar os IFs considerados como referência de desempenho.
Investigar a eficiência dos gastos com TI dos IFs se justifica pela observância do princípio da economicidade na administração pública. Além disso, a proposta de elaborar um ranking da eficiência relativa, que aponte os IFs considerados padrões de referência, contribui para o compartilhamento de boas práticas entre as demais instituições de ensino. Por fim, esse estudo se justifica por permitir compreender e evidenciar o relacionamento entre os desembolsos com TI e os resultados administrativo e acadêmico.
Além desta seção introdutória, este artigo está dividido da seguinte maneira: a seção seguinte traz um referencial teórico sobre governança de TI, a qual é seguida por uma seção sobre gastos com TI e outra sobre avaliação do desempenho organizacional. Após estas três seções teóricas, vem a seção de procedimentos metodológicos, contendo as explicações sobre a concepção e a condução da pesquisa empírica. Os resultados são apresentados e discutidos na seção seguinte, após a qual são registradas as conclusões do estudo.
GOVERNANÇA DE TECNOLOGIA DA INFORMAÇÃO
De acordo com Weill e Ross (2006), a governança de tecnologia da informação (GTI) ganhou importância devido à crescente dependência das organizações em relação à tecnologia da informação (TI) e aos seus custos.
A GTI originou-se da governança corporativa (WEB; POLLARD; RIDLEY, 2006; OLIVEIRA, 2007), cujo foco é no controle e na transparência das informações da gestão. A GTI refere-se ao processo de tomada de decisão em TI (PETERSON, 2004; PEREIRA; SILVA, 2013).
Para Hardy (2006), as responsabilidades da GTI são parte das responsabilidades da governança corporativa, dentre as quais se encontram a orientação e a revisão das estratégias organizacionais, a definição e o acompanhamento dos objetivos e das metas do negócio, a garantia da integridade dos sistemas e a observância dos princípios da governança corporativa.
O Information Technology Governance Institute – ITGI (2007) – ressalta que a GTI trata dos mecanismos de decisão, papéis e responsabilidades que permitem utilizar e gerenciar os ativos de TI. Para Van Gremberger (2000), a GTI fornece elementos necessários para a organização definir e controlar a estratégia da TI, visando a alcançar vantagem competitiva. Web, Pollard e Ridley (2006) definem GTI como o alinhamento da estratégia da TI com a da organização.
No Brasil, o indicador utilizado para a mensuração da GTI nas organizações públicas federais é o Índice de Governança de Tecnologia da Informação (iGovTI), mensurado pelo Tribunal de Contas da União (BRASIL, 2015).
O índice é constituído por seis dimensões: liderança, estratégia e planos, informações, pessoas, processos e resultados. Na metodologia de mensuração do índice, cada dimensão possui um peso, sendo composta por um conjunto de questões que representa as melhores práticas de governança e gestão de TI. O valor da dimensão varia de 0 a 1, de modo que, quanto mais próximo de 1, mais a instituição apresenta uma boa aderência às melhores práticas associadas à dimensão.
O iGovTI também assume um valor entre 0 e 1, correspondendo à média ponderada dos resultados das dimensões. Conforme o resultado do índice, os IFs podem ser classificados em inicial, básico, intermediário ou aprimorado.
GASTOS COM TI
Em 1987, o economista Robert M. Solow passou a questionar as altas quantias gastas com TI e que não pareciam gerar aumento da produtividade nas organizações (paradoxo da produtividade). Desde então, vários pesquisadores passaram a investigar o relacionamento entre os gastos com TI e os seus benefícios. Grande parte dos estudos apresentaram resultados inconclusivos. Para Mahmood e Mann (2005), as evidências com relação aos impactos provocados pela TI sobre o desempenho de uma organização são confusos e, em alguns casos, negativos.
Segundo Kim, Xiang e Lee (2009), a relação entre gastos com TI e o desempenho organizacional pode ser classificada em três categorias. Na primeira, os gastos com TI têm uma relação positiva com o desempenho organizacional. Na segunda, esses gastos apresentam relações tanto positivas como negativas. Na terceira, os gastos com TI não têm relação com esse desempenho.
A dificuldade de analisar os retornos dos gastos com TI é tão intensa que, ainda hoje, não há um instrumento aceito amplamente pelas comunidades empresarial e acadêmica.
AVALIAÇÃO DO DESEMPENHO ORGANIZACIONAL
Avaliação de desempenho é a forma de medir se uma organização é capaz de atingir os seus objetivos (MAXIMIANO, 2008). Essa avaliação tem como objetivo prover insights aos gestores para que eles reflitam sobre o que se fez e como se fez (ARAÚJO, 2001).
Para a avaliação de desempenho subsidiar o processo de tomada de decisão, é importante a organização possuir um sistema de avaliação bem estruturado e capaz de fornecer informações tempestivas e fidedignas. Tal sistema precisa usar indicadores que permitam acompanhar a performance organizacional. Para Rowe e Lievesley (2002), os indicadores de desempenho são úteis para fornecer informações relevantes à tomada de decisões estratégicas.
Na administração pública, tais indicadores permitem que a sociedade e os órgãos de controle acompanhem os resultados da prestação dos serviços. Em particular, os IFs têm as suas atividades monitoradas e avaliadas pelo Tribunal de Contas da União (TCU) e pela Secretaria de Educação Profissional e Tecnológica (SETEC), mediante um conjunto de doze indicadores de desempenho classificados de acordo com a natureza acadêmica, administrativa e socioeconômica, conforme o quadro 1.
Categoria | Indicadores | Sigla |
---|---|---|
Acadêmicos | Relação de candidatos por vaga | RCV |
Relação de ingressos por matrículas atendidas | RIM | |
Relação de concluintes por matrículas atendidas | RCM | |
Eficiência acadêmica de concluintes | EAC | |
Retenção do fluxo escolar | RFE | |
Relação aluno por professor | RAP | |
Titulação do corpo docente | TCD | |
Administrativo | Gasto corrente por aluno | GCA |
Gastos com pessoal | GCP | |
Gastos com outros custeios | GOC | |
Gastos com investimentos | GCI | |
Socioeconômico | Matriculados classificados de acordo com a renda familiar per capita | MRF |
Fonte: elaborado pelos autores.
Em relação ao impacto da TI no desempenho organizacional, usualmente, utilizam-se medidas contábeis (GITMAN, 2005), dada a facilidade de coleta. Porém, Rowe e Morrow (1999) ressaltam que o uso desses indicadores tem sofrido críticas devido à possibilidade de manipulação, permitindo a subvalorizarão dos ativos intangíveis. Alguns pesquisadores consideram as medidas com base no mercado mais apropriadas por refletirem a percepção dos acionistas sobre a capacidade da organização de criar valor.
PROCEDIMENTOS METODOLÓGICOS
O estudo foi realizado por meio de uma pesquisa documental, na qual foram analisados os seguintes documentos de cada IF: relatórios da governança de TI dos anos 2012 e 2014 e relatório de prestação de contas do ano de 2016, uma vez que esse último apresenta a série história dos indicadores administrativos e acadêmicos nos anos de 2012 a 2016.
Em relação à coleta dos dados dos gastos com TI, foi realizada uma consulta ao sistema Tesouro Gerencial da Secretaria do Tesouro Nacional, disponível em www.tesourogerencial.tesouro.gov.br, no qual foi possível consultar a execução orçamentária e financeira das instituições pesquisadas referente aos anos de 2012 e 2014. A consulta foi realizada entre os dias 9 e 10 de março de 2017, utilizando-se como critério de busca o total do orçamento liquidado nas despesas de TI, conforme a relação de despesas apresentadas na seção Despesas com TI do Manual SIAFI 2016.
Para a coleta dos dados da governança de TI, foi solicitada ao TCU a base de dados do Relatório Individual do Levantamento de Governança de TI dos IFs, referente aos levantamentos de 2012 e 2014. Porém, o TCU alegou que esses dados são sigilosos, negando o atendimento da solicitação.
Diante dessa situação, os relatórios foram solicitados individualmente aos 38 IFs, dos quais 31 atenderam à solicitação no prazo médio de 30 dias. Destaca-se que a solicitação foi feita no mês de julho/2017 e que, até essa data, o Relatório de Governança de TI referente ao ano de 2016 ainda não havia sido consolidado pelo TCU, sendo esse, portanto, o motivo da solicitação ter se restringido a 2012 e 2014.
No que diz respeito à análise dos dados, essa foi realizada por meio de estatística descritiva, análise fatorial combinatória e análise envoltória de dados (DEA). Para a aplicação da DEA, foram definidos como inputs as dimensões do índice de governança de TI e as despesas de TI, ao passo que os outputs foram representados pelos fatores de desempenho resultantes da análise fatorial combinatória, conforme a Figura 1.
O Quadro 2 descreve cada variável que compõe o modelo desta pesquisa.
Input/Output | Variável | Descrição |
---|---|---|
Input | Liderança | Dimensão liderança no índice de governança de TI |
Input | Estratégia | Dimensão estratégia no índice de governança de TI |
Input | Processos | Dimensão processos no índice de governança de TI |
Input | Pessoas | Dimensão pessoas no índice de governança de TI |
Input | Informações | Dimensão informações no índice de governança de TI |
Input | Resultados | Dimensão resultados no índice de governança de TI |
Input | Custeio | Montante liquidado das despesas de TI na categoria econômica custeio |
Input | Capital | Montante liquidado das despesas de TI na categoria econômica capital |
Output | ACAD_1 | Fator de desempenho constituído pelos indicadores Relação de Concluintes por Matrículas Atendidas (RCM) e Eficiência Acadêmica de Concluintes (EAC) |
Output | ACAD_2 | Fator de desempenho constituído pelos indicadores Relação de Ingressos por Matrículas Atendidas (RIM) e Retenção do Fluxo Escolar (RFE) |
Output | ADM_1 | Fator de desempenho constituído pelos indicadores Gastos com Pessoal (GCP) e Gastos com Outros Custeios (GOC) |
Output | ADM_2 | Fator de desempenho constituído pelos indicadores Gastos com Investimentos (GCI) e Gastos Corrente por Aluno (GCA) |
Fonte: elaborado pelos autores.
Com relação à orientação do modelo DEA, considerou-se mais adequado o modelo DEA - BCC orientado aos outputs, uma vez que foi considerado mais adequado os IFs alcançarem melhor desempenho organizacional sem necessariamente reduzir os seus gastos com TI e muito menos o nível de governança de TI.
Para a estatística descritiva e análise fatorial, foi utilizado o software SPSS. Para o DEA, utilizou-se o software SIAD 3.0.
RESULTADOS
Esta seção apresenta os resultados da pesquisa empírica. Inicialmente, faz uma análise descritiva dos IFs. Segue apresentando a evolução dos indicadores e a sua análise fatorial. Em seguida, apresenta a análise envoltória de dados (DEA) e finaliza com a identificação dos IFs de destaque.
Conforme o sítio eletrônico do Conselho Nacional das Instituições da Rede Federal de Educação Profissional, Científica e Tecnológica (CONIF), atualmente existem 38 (trinta e oito) IFs distribuídos regionalmente conforme a Tabela 1.
Região | Total de IFs | % | Total de campi | % | Total de matrículas | % |
---|---|---|---|---|---|---|
Nordeste | 11 | 28,95 | 207 | 34,91 | 297.977 | 33,55 |
Norte | 7 | 18, 42 | 70 | 11,80 | 92.875 | 10,46 |
Centro Oeste | 5 | 13,15 | 65 | 10,96 | 99.569 | 11,21 |
Sudeste | 9 | 23,68 | 145 | 24,45 | 233.135 | 26,25 |
Sul | 6 | 15,78 | 106 | 17,88 | 164.685 | 18,54 |
Total | 38 | 100,00 | 593 | 100,00 | 888.241 | 100,00 |
Fonte: elaborado pelos autores.
Com base nos dados apresentados na Tabela 1, percebe-se que a maior parte dos IFs se concentra nas regiões Nordeste (11) e Sudeste (9), possuindo, juntas, 52,63% do total dos IFs.
Em relação à quantidade de campi, os IFs possuem 593 campi, sendo a região Nordeste a que mais possui campi instalados (207 unidades), seguida pela região Sudeste, com 145 unidades. No que diz respeito à quantidade de matrículas, no ano de 2018, os IFs registraram um total de 888.241 matrículas, das quais 33,55% se concentraram na região Nordeste e 26,25% na região Sudeste.
Em relação aos indicadores, considerou-se gasto com TI o somatório das despesas liquidadas com aquisições de bens e contratações de serviços relacionados à TI. A Tabela 2 mostra que a média anual deste tipo de gastos foi de aproximadamente 1,6 milhões de reais.
2013 | 2014 | 2015 | 2016 | Total | |
---|---|---|---|---|---|
Gastos com TI | 48.463.924 | 69.159.645 | 41.136.942 | 42.637.483 | 201.397.996 |
Média | 1.615.464 | 2.305.321 | 1.371.231 | 1.421.249 | 1.678.316 |
Desvio Padrão | 1.118.485 | 1.501.001 | 790.626 | 1.016.821 | 1.182.690 |
Mínimo | 92.562 | 265.449 | 221.209 | 12.615 | 12.615 |
Máximo | 4.756.237 | 6.919.411 | 3.320.248 | 4.831.436 | 6.919.411 |
Fonte: elaborado pelos autores.
Em 2013 e 2014, os gastos com TI dos IFs cresceram significativamente. Uma das explicações encontradas para este fato se concentra na expansão da Rede Federal de Educação Profissional, Científica e Tecnológica, a qual, entre 2011 e 2014, implantou 208 novos campi em todos os IFs. Consequentemente, os efeitos foram percebidos na própria composição dos gastos com TI, conforme a Tabela 3.
Natureza dos gastos | 2013 | 2014 | 2015 | 2016 | Total |
---|---|---|---|---|---|
Custeio | 18.721.545 | 25.491.789 | 23.267.349 | 23.907.335 | 91.388.020 |
Capital | 29.742.378 | 43.667.856 | 17.869.593 | 18.730.147 | 110.009.976 |
Total | 48.463.924 | 69.159.645 | 41.136.942 | 42.637.483 | 201.397.996 |
Fonte: elaborado pelos autores.
Durante os anos que antecederam o fim da expansão da Rede Federal (2013 e 2014), as despesas de capital superaram as despesas de custeio, evidenciando os investimentos realizados na área de TI para garantir o funcionamento dos novos campi.
Portanto, é possível concluir que, entre 2013 e 2016, a maior parte dos gastos com TI foi destinada aos investimentos, pois, do total dos 201 milhões de reais gastos, 91 milhões foram destinados às despesas de custeio e cerca de 110 milhões para as despesas de capital.
Passando a análise para a governança de TI, o nível de governança das organizações públicas federais brasileiras é mensurado pelo TCU a cada dois anos, mediante o iGovTI. A Tabela 4 apresenta o nível de capacidade da governança em TI dos 31 IFs pesquisados, referente aos levantamentos de 2012 e 2014.
IF | Ano | iGovTI | Nível de capacidade em governança de TI | ||
---|---|---|---|---|---|
Alagoas | 2012 | 0,47 | Básico | ||
2014 | 0,46 | Básico | |||
Amapá | 2012 | 0,54 | Intermediário | ||
2014 | 0,61 | Intermediário | |||
Baiano | 2012 | 0,47 | Básico | ||
2014 | 0,28 | Inicial | |||
Brasília | 2012 | 0,50 | Intermediário | ||
2014 | 0,49 | Básico | |||
Catarinense | 2012 | 0,35 | Básico | ||
2014 | 0,15 | Inicial | |||
Ceará | 2012 | 0,41 | Básico | ||
2014 | 0,35 | Básico | |||
Farroupilha | 2012 | 0,36 | Básico | ||
2014 | 0,36 | Básico | |||
Goiano | 2012 | 0,36 | Básico | ||
2014 | 0,26 | Inicial | |||
Goiás | 2012 | 0,23 | Inicial | ||
2014 | 0,40 | Básico | |||
Maranhão | 2012 | 0,32 | Básico | ||
2014 | 0,44 | Básico | |||
Mato Grosso | 2012 | 0,43 | Básico | ||
2014 | 0,37 | Básico | |||
Mato Grosso do Sul | 2012 | 0,54 | Intermediário | ||
2014 | 0,36 | Básico | |||
Minas Gerais | 2012 | 0,45 | Básico | ||
2014 | 0,42 | Básico | |||
Norte de Minas Gerais | 2012 | 0,69 | Intermediário | ||
2014 | 0,62 | Intermediário | |||
Paraíba | 2012 | 0,42 | Básico | ||
2014 | 0,29 | Inicial | |||
Pernambuco | 2012 | 0,30 | Básico | ||
2014 | 0,42 | Básico | |||
Rio Grande do Sul | 2012 | 0,38 | Básico | ||
2014 | 0,47 | Básico | |||
Rondônia | 2012 | 0,37 | Básico | ||
2014 | 0,27 | Inicial | |||
Sergipe | 2012 | 0,28 | Inicial | ||
2014 | 0,60 | Intermediário | |||
Sertão Pernambucano | 2012 | 0,46 | Básico | ||
2014 | 0,28 | Inicial | |||
Sudeste de Minas Gerais | 2012 | 0,36 | Básico | ||
2014 | 0,18 | Inicial | |||
Sul de Minas Gerais | 2012 | 0,35 | Básico | ||
2014 | 0,33 | Básico | |||
Tocantins | 2012 | 0,24 | Inicial | ||
2014 | 0,34 | Básico | |||
Triângulo Mineiro | 2012 | 0,58 | Intermediário | ||
2014 | 0,43 | Básico | |||
Paraná | 2012 | 0,43 | Básico | ||
2014 | 0,43 | Básico | |||
Fluminense | 2012 | 0,26 | Inicial | ||
2014 | 0,27 | Inicial | |||
Rio Grande do Norte | 2012 | 0,55 | Intermediário | ||
2014 | 0,49 | Básico | |||
Sul-rio-grandense | 2012 | 0,54 | Intermediário | ||
2014 | 0,59 | Intermediário | |||
Roraima | 2012 | 0,28 | Inicial | ||
2014 | 0,33 | Básico | |||
Santa Catarina | 2012 | 0,45 | Básico | ||
2014 | 0,32 | Básico | |||
São Paulo | 2012 | 0,50 | Intermediário | ||
2014 | 0,53 | Intermediário | |||
Fonte: elaborado pelos autores.
Apenas 32,25% dos IFs pesquisados tiveram uma evolução no nível de governança em TI. Foram eles: Amapá, Goiás, Maranhão, Pernambuco, Rio Grande do Sul, Sergipe, Tocantins, Fluminense, Sul-rio-grandense, Roraima e São Paulo.
Destaca-se que a melhoria do iGovTI em 2014 não se refletiu necessariamente na evolução do nível de capacidade da governança em TI. Em alguns casos, a variação no índice não alterou a classificação do nível da instituição. Nesse sentido, apenas quatro IFs apresentaram evolução do nível da capacidade em governança de TI. Os IFs Goiás, Sergipe e Roraima evoluíram do nível inicial para o nível básico, e o IF Sergipe, do nível inicial para o intermediário.
Constatou-se ainda que a média do nível de governança de TI dos IFs sofreu ligeira redução. Em 2012, a média registrada foi de 0,4152, passando a 0,3916 em 2014. Foi realizado o teste t de student para comparação dessas médias. O teste de Levene revelou homocedasticidade na variância das observações (F = 0,327, p > 0,05), permitindo a realização da comparação das médias. O teste indicou não haver diferença estatisticamente significativa nas médias do nível de governança de TI dos IFs (t = 0,800, p > 0,05). Dessa forma, pode-se concluir que os mecanismos de governança de TI dos IFs não foram capazes de assegurar o aperfeiçoamento dessa governança.
O desempenho organizacional dos IFs foi analisado sob as óticas administrativa e acadêmica. Os indicadores administrativos têm como foco a mensuração dos gastos de funcionamento, sendo fundamentais para o acompanhamento da eficiência operacional dessas instituições. São eles: gastos correntes por aluno (GCA), gastos com pessoal (GCP), gastos com outros custeios (GOC) e gastos com investimentos (GCI).
A análise dos dados mostrou que a média do GCA apresentou uma trajetória de crescimento durante o período 2012-2016, passando de R$7.193 em 2012 a R$14.026 em 2016. Em relação ao GCP, em 2012, a média dos gastos com pessoal dos IFs pesquisados correspondeu a 60,35% de todos os gastos de funcionamento, passando a 71,05% em 2016. O GCI mostrou que os IFs sofreram uma redução significativa na sua capacidade de investimentos (17,20% em 2012 e 7,54% em 2016).
Em relação aos indicadores acadêmicos, cuja finalidade é acompanhar o desempenho da atividade de ensino, eles são: relação de candidatos por vaga (RCV), relação de ingressos por matrículas atendidas (RIM), relação de concluintes por matrículas atendidas (RCM), eficiência acadêmica de concluintes (EAC), retenção do fluxo escolar (RFE), relação aluno por professor (RAP) e titulação do corpo docente (TCD).
Verificou-se que o indicador RCV apresentou uma média de aproximadamente 5 candidatos por vaga durante o período de 2012-2016. A análise do indicador RIM mostrou que, entre 2012 e 2015, os IFs enfrentaram dificuldade para efetivar novas matrículas, já que a média desse indicador foi descendente.
O indicador RCM mede a capacidade dos IFs de entregarem novos profissionais à sociedade. Os dados mostraram perda de desempenho deste indicador entre 2012 e 2016. Entre as principais causas, está a abertura de novos cursos sem a previsão de concluintes dentro do período de análise. Portanto, constatou-se que a média do indicador apresentou ligeira redução (13,36% em 2012 para 12,64% em 2016).
O indicador EAC aponta a taxa de alunos que concluíram o curso entre aqueles que deixaram o IF por desistência ou evasão. Os resultados mostraram que o percentual de alunos nessa situação oscilou entre 40% e 50% no período 2012-2016.
O RFE é o indicador utilizado para acompanhar a retenção escolar, indicando a taxa de alunos que não concluem os seus cursos no período previsto. A média desse indicador teve um comportamento ascendente durante os anos de 2013-2015, atingindo uma taxa de retenção de 39,71%.
Dois indicadores que servem de indícios da qualidade do ensino dos IFs são o RAP e o TCD, os quais mensuram, respectivamente, a relação aluno matriculado por docente e a titularidade do corpo docente desses IFs. Em relação ao RAP, houve evolução considerável, pois, em 2012, a relação era de 1 professor para 31 alunos, enquanto em 2016 a relação passou a ser de 1 professor para 23 alunos. Resultado semelhante ocorreu com o TCD (3,05 em 2012 e 3,94 em 2016).
Seguindo para a análise fatorial combinatória, foram realizadas duas etapas. A primeira para as variáveis de desempenho acadêmico e a segunda para as variáveis de desempenho administrativo.
Como critério para se obter as melhores variáveis explicativas, foram desconsideradas as de comunalidade abaixo de 0,50, pois, de acordo com Hair Jr. et al. (2009), não apresentam níveis de explicação suficientes. Conforme mostra a Tabela 5, a análise fatorial para o desempenho acadêmico resultou na exclusão das variáveis RAP, RCV e TCD.
Indicador de desempenho | Comunalidade |
---|---|
RCM | 0,840 |
RIM | 0,806 |
RFE | 0,771 |
EAC | 0,728 |
RAP | 0,436 |
RCV | 0,304 |
TCD | 0,197 |
Fonte: elaborado pelos autores.
Em relação à adequação da amostra para a realização da análise fatorial combinatória, o teste de Kaiser-Meyer-Olkin (KMO) apresentou o valor de 0,572, ou seja, acima dos 0,50 que Hair Jr. et al. (2009) recomendam ser adequado. Já o teste de esfericidade de Bartlett apresentou um p-value < 0,01, rejeitando a hipótese nula de que a matriz de correlação é uma matriz identidade e apontando a existência de correlações suficientes entre as variáveis.
Cumprido os requisitos básicos para a análise fatorial, determinou-se o número de fatores mediante os autovalores com valores superiores a 1. Dois componentes foram capazes de explicar 86,4% da variância total do desempenho acadêmico. Para Hair Jr. et al. (2009), esse resultado é satisfatório, considerando o valor de 60% como referência.
A seguir, a Tabela 6 apresenta os autovalores e a percentagem da variância acumulada explicada pelos fatores comuns relativos ao desempenho acadêmico.
Componente | Autovalores iniciais | Somas de extração de carregamentos ao quadrado | Somas de rotação de carregamentos ao quadrado | ||||||
---|---|---|---|---|---|---|---|---|---|
Total | % de variância | % cumulativa | Total | % de variância | % cumulativa | Total | % de variância | % cumulativa | |
1 | 1,931 | 48,266 | 48,266 | 1,931 | 48,266 | 48,266 | 1,821 | 45,533 | 45,533 |
2 | 1,528 | 38,194 | 86,459 | 1,528 | 38,194 | 86,459 | 1,637 | 40,926 | 86,459 |
3 | 0,364 | 9,093 | 95,553 | ||||||
4 | 0,178 | 4,447 | 100,000 |
Fonte: elaborado pelos autores.
Método de Extração: Análise de Componente Principal.
Em relação à análise fatorial do desempenho administrativo, não foi preciso desconsiderar nenhum dos seus indicadores, conforme a Tabela 7.
Indicador de desempenho | Comunalidade |
---|---|
GCP | 0,983 |
GCI | 0,827 |
GOC | 0,764 |
GCA | 0,847 |
Fonte: elaborado pelos autores.
A Tabela 8 mostra que a variância total explicada dos indicadores administrativos aponta que dois fatores são capazes de explicar 85,5% do constructo desempenho administrativo.
Componente | Autovalores iniciais | Somas de extração de carregamentos ao quadrado | Somas de rotação de carregamentos ao quadrado | ||||||
---|---|---|---|---|---|---|---|---|---|
Total | % de variância | % cumulativa | Total | % de variância | % cumulativa | Total | % de variância | % cumulativa | |
1 | 2,413 | 60,328 | 60,328 | 2,413 | 60,328 | 60,328 | 2,160 | 53,995 | 53,995 |
2 | 1,008 | 25,204 | 85,532 | 1,008 | 25,204 | 85,532 | 1,261 | 31,537 | 85,532 |
3 | 0,577 | 14,415 | 99,946 | ||||||
4 | 0,002 | 0,054 | 100,00 |
Fonte: elaborado pelos autores.
Método de Extração: Análise de Componente Principal.
A análise fatorial combinatória permitiu resumir o constructo desempenho organizacional em quatro fatores, sendo dois acadêmicos e dois administrativos, conforme a Tabela 9.
Indicador | Acadêmico | Administrativo | ||
---|---|---|---|---|
Fator 1 | Fator 2 | Fator 1 | Fator 2 | |
RCM | 0,913 | |||
EAC | 0,897 | |||
RFE | -0,881 | |||
RIM | 0,842 | |||
GCI | 0,746 | |||
GOC | 0,847 | |||
GCP | 0,316 | |||
GCA | 0,919 |
Fonte: elaborado pelos autores.
Observa-se que o fator 1 do desempenho acadêmico é constituído pelos indicadores RCM e EAC, ambos com correlações positivas, sendo representado daqui em diante pela sigla ACAD_1. O fator 2 do desempenho acadêmico é formado pelos indicadores RFE e RIM, o primeiro com correlação negativa e o segundo com correlação positiva. A sigla ACAD_2 passa a representar esse fator doravante.
De modo semelhante, o desempenho administrativo tem o fator 1 constituído pelos indicadores GCI e GOC, ambos com correlações positivas. O fator 2 é formado pelos indicadores GCA e GCP, ambos de correlação positiva. Doravante, os fatores 1 e 2 do desempenho administrativo passam a ser representados pelas siglas ADM_1 e ADM_2, respectivamente.
Para identificar os IFs com melhor desempenho administrativo e acadêmico, utilizou-se a análise envoltória de dados (DEA), a qual permite traçar uma fronteira de eficiência. São quatro os tipos de fronteiras utilizadas para análise da eficiência: padrão, invertida, composta e normalizada.
A fronteira padrão corresponde à comparação entre a produtividade alcançada e a produtividade máxima que poderia ser alcançada com a alocação eficiente dos recursos. É por meio dessa fronteira que as unidades eficientes são identificadas.
Contrariamente, a fronteira invertida aponta a ineficiência de uma unidade. Ademais, essa fronteira permite identificar unidades consideradas “falsas eficientes”, isto é, situações em que a unidade é considerada eficiente na fronteira padrão, mas avaliada ineficiente na fronteira invertida (LETA et al. 2005; PIMENTA; MACEDO; MELLO, 2004).
Em relação à fronteira de eficiência composta, Angulo Meza et al. (2005) explicam que este tipo de eficiência corresponde à média aritmética entre a eficiência padrão e o complemento da eficiência invertida (1 – eficiência invertida). Ainda segundo os autores, a fronteira de eficiência composta é base para a construção da fronteira de eficiência normalizada, que, por sua vez, foi a referência para a construção do ranking de eficiência.
Dessa forma a Tabela 10 apresenta os escores de eficiência das fronteiras padrão, invertida, composta e normalizada dos IFs pesquisados, referentes ao ano de 2012.
Posição | DMU | Padrão | Invertida | Composta | Normalizada |
---|---|---|---|---|---|
1º | Catarinense | 100% | 9,32% | 95,34% | 100% |
2° | Goiano | 100% | 100% | 50% | 52,44% |
3° | Brasília | 100% | 100% | 50% | 52,44% |
4° | Goiás | 100% | 100% | 50% | 52,44% |
5° | Mato Grosso do Sul | 100% | 100% | 50% | 52,44% |
6° | Mato Grosso | 100% | 100% | 50% | 52,44% |
7° | Baiano | 100% | 100% | 50% | 52,44% |
8° | Sertão Pernambucano | 100% | 100% | 50% | 52,44% |
9° | Pernambuco | 100% | 100% | 50% | 52,44% |
10° | Sergipe | 100% | 100% | 50% | 52,44% |
11° | Rondônia | 100% | 100% | 50% | 52,44% |
12° | Roraima | 100% | 100% | 50% | 52,44% |
13° | Tocantins | 100% | 100% | 50% | 52,44% |
14° | Fluminense | 100% | 100% | 50% | 52,44% |
15° | Sul de Minas Gerais | 100% | 100% | 50% | 52,44% |
16° | Farroupilha | 100% | 100% | 50% | 52,44% |
17° | Paraná | 100% | 100% | 50% | 52,44% |
18° | Rio Grande do Norte | 91,72% | 100% | 45,86% | 48,10% |
19° | Sudeste de Minas Gerais | 88,69% | 100% | 44,34% | 46,51% |
20° | Triângulo Mineiro | 71,97% | 100% | 35,98% | 37,74% |
21° | Norte de Minas Gerais | 70,48% | 100% | 35,24% | 36,96% |
22° | São Paulo | 55,45% | 100% | 27,73% | 29,08% |
23° | Maranhão | 50,40% | 100% | 25,20% | 26,43% |
24° | Minas Gerais | 46,70% | 100% | 23,35% | 24,49% |
25° | Rio Grande do Sul | 28,32% | 100% | 14,16% | 14,85% |
26° | Santa Catarina | 22,46% | 100% | 11,23% | 11,78% |
27° | Sul Rio Grandense | 12,07% | 100% | 6,04% | 6,33% |
28° | Alagoas | 0% | 100% | 0% | 0% |
29° | Paraíba | 0% | 100% | 0% | 0% |
30° | Ceará | 0% | 100% | 0% | 0% |
Fonte: elaborado pelos autores.
Em 2012, 17 IFs atingiram o escore máximo de eficiência relativa (100%), alcançando a fronteira de eficiência padrão. No entanto, Pimenta et al. (2004) destacam que a análise isolada do escore da fronteira de eficiência padrão não é capaz de apontar a eficiência de uma unidade, pois, para que a unidade não seja considerada falsa eficiente, o coeficiente de eficiência da fronteira invertida deverá ser menor do que o coeficiente de eficiência da fronteira padrão, de modo que, quanto maior a diferença, mais eficiente é a unidade.
Nesse sentido, o IF Catarinense foi a única unidade considerada eficiente, sendo também a unidade que apresentou o maior escore de eficiência normalizada e, por isso, ocupou a primeira posição do ranking de eficiência relativa no ano de 2012.
Em relação à eficiência relativa dos IFs em 2014, a Tabela 11 apresenta os seguintes resultados:
Posição | DMU | Padrão | Invertida | Composta | Normalizada |
---|---|---|---|---|---|
1° | Catarinense | 100% | 0,01% | 100% | 100% |
2° | Farroupilha | 100% | 6,39% | 96,81% | 96,81% |
3° | Brasília | 100% | 7,10% | 96,45% | 96,46% |
4° | Mato Grosso do Sul | 100% | 100% | 50% | 50% |
5° | Baiano | 100% | 100% | 50% | 50% |
6° | Sertão Pernambucano | 100% | 100% | 50% | 50% |
7° | Ceará | 100% | 100% | 50% | 50% |
8° | Maranhão | 100% | 100% | 50% | 50% |
9° | Paraíba | 100% | 100% | 50% | 50% |
10° | Pernambuco | 100% | 100% | 50% | 50% |
11° | Rondônia | 100% | 100% | 50% | 50% |
12° | Roraima | 100% | 100% | 50% | 50% |
13° | Tocantins | 100% | 100% | 50% | 50% |
14° | Sudeste de Minas Gerais | 100% | 100% | 50% | 50% |
15° | Fluminense | 100% | 100% | 50% | 50% |
16° | Minas Gerais | 100% | 100% | 50% | 50% |
17° | Sul de Minas Gerais | 100% | 100% | 50% | 50% |
18° | Paraná | 100% | 100% | 50% | 50% |
19° | Triângulo Mineiro | 97,11% | 100% | 48,55% | 48,56% |
20° | Sul Rio Grandense | 54,63% | 100% | 27,31% | 27,31% |
21° | Goiás | 45,52% | 100% | 22,76% | 22,76% |
22° | Norte de Minas Gerais | 44,17% | 100% | 22,09% | 22,09% |
23° | Alagoas | 42,47% | 100% | 21,23% | 21,24% |
24° | Mato Grosso | 35,05% | 100% | 17,52% | 17,52% |
25° | Rio Grande do Norte | 33,42% | 100% | 16,71% | 16,71% |
26° | Goiano | 19,88% | 100% | 9,94% | 9,94% |
27° | Rio Grande do Sul | 18,16% | 100% | 9,08% | 9,08% |
28° | São Paulo | 10,51% | 100% | 5,25% | 5,25% |
29° | Sergipe | 0% | 100% | 0% | 0% |
30° | Santa Catarina | 0% | 100% | 0% | 0% |
Fonte: elaborado pelos autores.
Verificou-se, em 2014, uma situação ligeiramente melhor do que a de 2012, já que o total de unidades que atingiram a fronteira de eficiência padrão passou de 17 para 18 unidades. Além disso, 76,47% das unidades eficientes em 2012 também estiveram entre as eficientes em 2014, evidenciando que parte significativa dos IFs adotaram, de forma permanente, boas práticas gerenciais no uso da TI.
A partir da análise da fronteira de eficiência padrão, verificou-se que, em 2014, três unidades não apresentaram uma “falsa eficiência”: Catarinense, Farroupilha e Brasília. Nessa ordem, essas unidades ocuparam as três primeiras posições do ranking da eficiência relativa de 2014.
A partir dos escores da eficiência relativa padrão, o método DEA estabelece uma relação entre as unidades consideradas eficientes e as similares reveladas ineficientes. A finalidade é fazer com que uma unidade eficiente sirva de modelo para as unidades ineficientes atingirem a fronteira de eficiência.
Para que as unidades ineficientes possam alcançar a fronteira de eficiência, os seus inputs precisam ter como referência os inputs das unidades eficientes, mantendo-se os atuais níveis de outputs. Portanto, para cada IF ineficiente, o método DEA estabelece um ou mais IFs eficientes para servir de benchmark.
Conforme a Tabela 12, o IF Rio Grande do Norte obteve escore de eficiência de 91,72%, sendo, portanto, a unidade ineficiente que mais se aproximou da fronteira de eficiência padrão. Porém, para essa unidade alcançar 100% de eficiência, poderia adotar as boas práticas do IFs Baiano ou Sul de Minas Gerais. Destaca-se ainda que os IFs Alagoas, Paraíba e Ceará apresentaram nível de eficiência nulo, não sendo possível identificar benchmarks para essas unidades.
Unidade Ineficiente | Nível de Eficiência | Benchmark |
---|---|---|
Rio Grande do Norte | 91,72% | Baiano e Sul de Minas Gerais |
Sudeste de Minas Gerais | 88,69% | Goiás, Sergipe, Sul de Minas Gerais e Catarinense |
Triângulo Mineiro | 71,97% | Mato Grosso do Sul, Baiano, Rondônia e Sul de Minas Gerais |
Norte de Minas Gerais | 70,48% | Mato Grosso do Sul, Baiano e Sul de Minas Gerais |
São Paulo | 55,45% | Baiano, Sergipe e Sul de Minas Gerais |
Maranhão | 50,40% | Goiás, Baiano, Tocantins, Farroupilha e Catarinense |
Minas Gerais | 46,70% | Mato Grosso do Sul, Baiano, Sergipe e Sul de Minas Gerais |
Rio Grande do Sul | 28,32% | Pernambuco, Sergipe, Fluminense, Sul de Minas Gerais e Catarinense |
Santa Catarina | 22,46% | Goiás, Mato Grosso do Sul, Sergipe, Sul de Minas Gerais e Catarinense |
Sul Rio Grandense | 12,07% | Baiano e Sul de Minas Gerais |
Alagoas | 0% | - |
Paraíba | 0% | - |
Ceará | 0% | - |
Fonte: elaborado pelos autores.
A Tabela 13 apresenta a relação dos 12 IFs ineficientes no ano de 2014 e as suas respectivas unidades de referência.
Unidade Ineficiente | Nível de Eficiência | Benchmark |
---|---|---|
Triângulo Mineiro | 97,11% | Mato Grosso do Sul, Baiano e Sudeste de Minas Gerais |
Sul Rio Grandense | 54,63% | Mato Grosso do Sul, Baiano e Catarinense |
Goiás | 45,52% | Baiano, Roraima e Catarinense |
Norte de Minas Gerais | 44,17% | Tocantins, Sul de Minas Gerais e Paraná |
Alagoas | 42,47% | Baiano, Rondônia e Sul de Minas Gerais |
Mato Grosso | 35,05% | Mato Grosso do Sul, Baiano e Sudeste de Minas Gerais |
Rio Grande do Norte | 33,42% | Maranhão, Sudeste de Minas Gerais e Sul de Minas Gerais |
Goiano | 19,88% | Mato Grosso do Sul, Baiano, Rondônia e Catarinense |
Rio Grande do Sul | 18,16% | Baiano, Rondônia e Sul de Minas Gerais |
São Paulo | 10,51% | Mato Grosso do Sul, Sul de Minas Gerais e Catarinense |
Sergipe | 0% | - |
Santa Catarina | 0% | - |
Fonte: elaborado pelos autores.
Entre as unidades ineficientes apresentadas, o IF Triângulo Mineiro, com uma eficiência de 97,11%, foi a que mais se aproximou da fronteira de eficiência padrão em 2014. No entanto, para essa unidade alcançar o patamar de máxima eficiência, seria preciso que as suas práticas gerenciais em relação ao uso da TI fossem próximas das práticas adotadas por um dos seus benchmarks, os quais foram o IFs Mato Grosso do Sul, Baiano e Sudeste de Minas Gerais.
Assim como ocorreu em 2012, não foi possível identificar benchmarks para os IFs Sergipe e Santa Catarina, pois ambas revelaram eficiência relativa nula.
CONCLUSÕES
Com a finalidade de contribuir com a discussão sobre o impacto da tecnologia da informação (TI) sobre os resultados das organizações, este estudo buscou evidenciar a eficiência relativa dos gastos com TI e da governança de TI (GTI) em relação ao desempenho organizacional de Institutos Federais de Educação (IFs). Nesse sentido, a pesquisa foi realizada em 31 IFs.
Constituíram os gastos com TI, as despesas de TI no estágio de liquidação e classificadas como custeio e capital. Para a GTI, consideraram-se as seis dimensões que compõem o índice de governança de TI: estratégia, liderança, processos, pessoas, resultados e informações. Por último, o desempenho organizacional foi representado por quatro fatores (ADM_1, ADM_2, ACAD_1 e ACAD_2) oriundos da aplicação de uma análise fatorial combinatória em um conjunto de 11 indicadores de desempenho utilizados para acompanhar o desempenho estratégico e operacional dos IFs. A análise dessas variáveis foi realizada por meio de um estudo transversal, referente aos anos de 2012 e 2014.
Sendo assim, o objetivo geral de identificar a fronteira de eficiência dos IFs quanto aos gastos com TI, a governança de TI e o desempenho organizacional foi alcançado a partir da verificação das unidades que apresentaram o escore máximo de eficiência relativa na fronteira padrão. Nesse sentido, constatou-se que a fronteira de eficiência dos anos de 2012 e 2014 foi constituída por 17 e 18 IFs, respectivamente.
Em relação ao objetivo específico de construir um ranking de eficiência dos IFs quanto aos gastos com TI, a governança de TI e o desempenho organizacional, adotou-se como critério o escore da fronteira de eficiência relativa normalizada, o que possibilitou identificar os IFs mais eficientes nos anos de 2012 e 2014. Nesse sentido, constatou-se que o IF Catarinense liderou o ranking da eficiência relativa em ambos os anos, fornecendo evidências de que a TI nesse IF é estratégica para o seu desempenho organizacional.
Portanto, apesar da predominância das regiões Nordeste e Sudeste no tamanho da Rede Federal de Educação Técnica e Tecnológica, foi a Região Sul com o IF Catarinense que apresentou a melhor eficiência no uso dos gastos com TI e da governança de TI.
No que diz respeito ao objetivo específico de identificar os IFs considerados benchmarks para as unidades ineficientes, constatou-se que, no ano de 2012, onze IFs foram benchmarking para outros considerados ineficientes. Neste mesmo ano, o IF Sul de Minas se destacou com a unidade de maior referência, sendo considerado benchmark para sete unidades ineficientes. Em relação ao ano de 2014, a quantidade de benchmarks diminuiu para dez, sendo o IF Baiano o grande destaque, pois foi referência para sete IFs ineficientes.
Cabe ressaltar que foram encontradas algumas limitações. Inicialmente, a análise foi restrita a 31 IFs, uma vez que não foi possível obter as informações dos 38 existentes. Além disso, o resultado do iGovTI corresponde a uma percepção do indivíduo que respondeu ao questionário do TCU, reduzindo a confiabilidade no nível de governança de TI apresentado para as instituições analisadas. Por fim, houve dificuldade em mensurar indicadores que permitissem identificar com mais detalhe a aplicação dos recursos orçamentários em TI, como, por exemplo, investimento em TI por aluno matriculado ou investimento em TI por curso ofertado, devido à falta de publicidade desses dados.
Como sugestão para trabalhos futuros, recomenda-se incorporar variáveis qualitativas ao modelo DEA desse estudo. Isso possibilitaria a comparação entre a capacidade dos IFs em transformar seus insumos (inputs) em resultados (outputs).