Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
1 Introdução
O presente artigo consiste na Revisão Sistemática da Literatura sobre avaliação de desempenho para o apoio à gestão de Unidades Organizacionais (UO) de Instituições Federais de Ensino Superior (Ifes), realizada através de uma ferramenta estruturada, a fim de explicitar o estado da arte. Para isto, foi selecionado um portfólio bibliográfico de artigos alinhados ao tema de pesquisa e realizadas as análises bibliográfica e sistêmica.
A pesquisa se deu devido ao contexto complexo e incerto da gestão pública das Ifes. Considerando-se que os recursos públicos, necessários para a implantação de políticas públicas e para a manutenção das organizações, são limitados e escassos, para otimizar a utilização do erário, ações orientadas à maximização do capital humano é um dos aspectos importantes para a administração pública.
Segundo o Painel Estatístico de Pessoal do Ministério do Planejamento, Desenvolvimento e Gestão (PEP-MPDG) ( BRASIL, 2020 ), os gastos com pessoal do Poder Executivo Federal em fevereiro de 2020 ultrapassaram 20 bilhões de reais, dos quais cerca de 55% correspondem aos gastos com servidores ativos. Ao redor de 20% deste valor correspondem aos gastos com servidores vinculados ao Ministério da Educação.
Considerando-se que, dos 1.270.406 servidores do Executivo Federal, 86.415 são professores ativos permanentes do magistério superior e 136.845 são Técnicos Administrativos em Educação ativos ( BRASIL, 2020 ), percebe-se a importância do aperfeiçoamento e da avaliação desta força de trabalho. Nessa perspectiva, a avaliação de desempenho consiste em uma ferramenta de gestão que permite identificar as fragilidades que precisam de melhorias e prever os impactos das ações.
Assim, para compreender como a avaliação de desempenho tem sido utilizada, surge a seguinte questão: Qual o Estado da Arte e as lacunas de pesquisa sobre a temática da avaliação de desempenho como instrumento de apoio à gestão de UO de Ifes? O objetivo é revisar a literatura sobre a temática, desenvolvendo o conhecimento dos pesquisadores sobre o tópico estudado e identificando as oportunidades de pesquisas futuras. Para isso, utilizou-se o instrumento Knowledge Development Process – Constructivim (ProKnow-C ) , que consiste em um processo estruturado para a Revisão Sistemática da Literatura.
Este trabalho justifica-se, conforme Roesch (2005) , quanto à importância, à oportunidade e à viabilidade. Quanto à importância, justifica-se por sua contribuição teórica à comunidade científica ao apresentar as evidências sobre a avaliação de desempenho para o apoio à gestão de UO de Ifes através do desenvolvimento de todas as etapas do ProKnow-C. O estudo é oportuno devido à relevância do tema na atual conjuntura econômico-financeira do país. O estudo é viável pela facilidade com que os dados podem ser obtidos a partir dos periódicos indexados pela Plataforma da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes).
Este artigo é composto por esta seção introdutória, seguida pelo referencial teórico, apresentado na segunda seção, após é discutida a metodologia, na terceira seção, posteriormente, na quarta seção são apresentados os resultados, seguida das considerações finais, tratadas na quinta seção, e ao final são apresentadas as referências.
2 Avaliação de Desempenho em Universidades Públicas
A partir de 1930, várias reformas foram desenvolvidas com o intuito de modernizar a administração pública e reduzir os reflexos do patrimonialismo ( FILGUEIRAS, 2009 ). A Revolução Industrial originou ideias sobre uma administração pública otimizada ( MOTTA, 2013 ). E o aumento da demanda por serviços públicos mais eficientes, ocasionado pela complexidade das sociedades, globalização e evolução tecnológica, fortaleceu os esforços para a desburocratização ( FAVERO, 2010 ).
Neste sentido, a Nova Gestão Pública deu origem à utilização de técnicas do setor privado pelo público, visando o aumento da eficiência na prestação de serviços e a redução de custos ( MOTTA, 2013 ). Assim, introduziu-se a avaliação de desempenho no setor público, viabilizando a maximização das atividades de coordenação, controle e aperfeiçoamento da gestão ( ARAÚJO; PINHEIRO, 2010 ). Para isso, são utilizados os indicadores de desempenho, que permitem mensurar os dados organizacionais, orientando a tomada de decisões ( ANDRIOLA; ARAÚJO, 2018 ).
Entretanto, a modernização administrativa do Estado, diferentemente de outros países, ocorre em um contexto socialmente atrasado e marcado por desigualdades em nível nacional e regional ( ALMEIDA et al., 2016 ). Para Abrucio (2007) , embora Bresser-Pereira, ministro do governo de Fernando Henrique Cardoso, tenha sido pioneiro em perceber as mudanças da administração pública mundial, também necessárias no Brasil, nem sempre soube traduzi-las politicamente à realidade brasileira.
Para atender aos anseios da sociedade globalizada, assegurando aspectos importantes da Administração Pública, como o combate à corrupção e ao nepotismo, a NGP no Brasil deve tratar-se de um movimento dialético, com a combinação de aspectos weberianos e de novos mecanismos de gestão ( ABRUCIO, 2007 ). Com isso, verifica-se a importância da adoção de práticas administrativas com cautela e adaptadas às particularidades não apenas do setor público, como também das características socioeconômicas do país.
Com a corrente da NGP, tornou-se comum também a reforma dos sistemas educacionais, buscando-se o controle dos gastos e a eficiência na prestação de serviços ( ARAÚJO; PINHEIRO, 2010 ). Multiplicaram-se então os desafios das universidades, que além de ofertar Ensino de qualidade, desenvolver pesquisa básica, aplicada e tecnológica, potencializando o conhecimento científico para a resolução de problemas sociais, econômicos, políticos e culturais ( MARRA; MELO, 2005 ), tiveram de lidar com o aumento do número de vagas sem proporcional destinação orçamentária ( SANTOS, 2002 ).
Em resposta a estes desafios, a avaliação de desempenho compreende uma importante ferramenta, viabilizando a melhoria da qualidade dos serviços e motivando uma imagem positiva perante a sociedade (GUERRA; BRITO; SOARES, 2017). Neste sentido, Andriola e Araújo (2018) destacam a necessidade das Ifes por um conjunto confiável de indicadores que auxiliem à tomada de decisões.
Neste tocante, pode-se considerar que a administração universitária, por sua complexidade, está alinhada às Metodologias Multicritério, que partem da concepção de que existem várias pessoas envolvidas no processo decisório, com percepções diferentes do problema que nem sempre é claramente definido e estruturado (ENSSLIN; DUTRA; ENSSLIN, 2000).
O paradigma científico construtivista adotado no apoio à decisão revelou a nova perspectiva da avaliação de desempenho como um instrumento de apoio à decisão ( TASCA, 2013 ). No âmbito das Ifes, percebe-se o alinhamento da metodologia multicritério construtivista como instrumento de apoio à decisão para contextos específicos, permitindo a construção de modelos personalizados a cada setor, de acordo com suas particularidades e considerando as preferências dos gestores das unidades ( VALMORBIDA, 2012 ).
3 Metodologia
3.1 Delineamento da pesquisa
Quanto ao delineamento, a pesquisa é classificada como descritiva, pois descreve as características dos artigos do Portfólio Bibliográfico (PB), e exploratória, pois objetiva gerar conhecimento ao pesquisador a respeito da temática de estudo, de acordo com as restrições adotadas nas buscas nos bancos de dados, com o propósito de evidenciar as oportunidades de pesquisa ( ROESCH, 2005 ).
Quanto às técnicas de coleta, foram utilizados dados secundários, obtidos a partir da seleção de artigos através de periódicos indexados na Plataforma Capes. Quanto às técnicas de análise, classifica-se como qualitativa nas etapas de seleção dos artigos e análise sisêmica, que consiste na análise de conteúdo, e quantitativa na etapa da análise bibliométrica, pois se utiliza técnicas de contagem com o objetivo de evidenciar as principais características dos artigos do PB ( ROESCH, 2005 ).
3.2 Knowledge Development Process – Constructivism (ProKnow-C)
Ao iniciar um trabalho científico, o pesquisador precisa ter como ponto de partida o entendimento existente acerca do tópico de interesse, a fim de evidenciar o estado da arte e direcionar a construção de novas percepções (SANTOS; ELIEL; ELIEL, 2006). No entanto, o conhecimento científico encontra-se disperso em uma vasta gama de publicações, bases de dados e outras fontes ( TASCA et al., 2010 ).
Desta forma, para a construção do conhecimento sobre o tema de pesquisa utilizou-se o instrumento de revisão sistemática da literatura denominado Knowledge Development Process – Constructivism (ProKnow-C), que consiste em um processo estruturado para seleção e análise de publicações e que permite ao pesquisador conhecer o desenvolvimento atual da temática estudada, bem como identificar lacunas de pesquisa ( ENSSLIN et al., 2015 ; LUZ et al., 2016 ).
O Proknow-C é uma ferramenta de pesquisa bibliográfica, desenvolvida no Laboratório de Metodologias Multicritério em Apoio à Decisão (LabMCDA), vinculado ao Departamento de Engenharias de Produção e Sistemas da Universidade Federal de Santa Catarina ( ENSSLIN et al., 2015 ). Através desse processo ordenado, é desenvolvida a seleção do PB de artigos alinhados à temática de interesse e são feitas a análise bibliométrica e a análise sistêmica, fornecendo ao final o estado da arte do tema de pesquisa, conforme a Figura 1 .
A seleção do PB é a reunião de artigos alinhados ao tema de pesquisa, selecionados a partir de um conjunto de delimitações e de acordo com a percepção do pesquisador. Na segunda etapa, o PB é analisado quantitativamente, dando embasamento aos pesquisadores sobre onde e como buscar informações sobre o tema. Posteriormente, o PB é analisado qualitativamente, através de lentes que explicitam a afiliação teórica adotada pelo pesquisador, complementando o conhecimento sobre a temática e emergindo ao final do processo os destaques e as lacunas de pesquisa.
4 Resultados
4.1 Seleção do portfólio bibliográfico
O PB consiste no conjunto de artigos alinhados à temática da pesquisa, com reconhecimento científico e disponíveis para acesso gratuito. Trata-se de um recorte, visto a impossibilidade de se analisar a totalidade de produções. Este recorte não equivale a uma amostra representativa do universo de publicações, mas sim ao grupamento de artigos considerados mais relevantes, de acordo com os mecanismos de busca e a percepção do pesquisador. Para a formação deste portfólio, realizou-se a seleção do banco de artigos brutos, as filtragens e o teste de representatividade.
O banco de artigos brutos equivale ao fragmento da literatura resultante da pesquisa de todas as combinações possíveis de palavras-chave determinadas na estratégia de busca, em todas as bases de dados escolhidas para a pesquisa. O Quadro 1 apresenta a estratégia de busca utilizada para a pesquisa nas bases de dados. Optou-se por utilizar seis bases de dados indexadas pela Plataforma CAPES que agregam pesquisas das áreas de ciências sociais aplicadas: Wiley , EBSCO, Emerald, ProQuest, Scopus e Web of Science .
Quadro 1 – Estratégia de busca
| Eixo Temático | Avaliação de desempenho como instrumento de apoio à gestão de unidades organizacionais de universidade pública | ||
|---|---|---|---|
| Palavras-chave | Eixo 1: Avaliação de desempenho | Eixo 2: Gestão de UO em universidade pública | Eixo 3: Setor público |
| performance evaluation | organizational unit | public university | |
| performance assessment | administrative unit | government | |
| Performance measurement | university administration | college | |
| performance appraisal | university staff | undergraduate | |
| academic staff | higher education | ||
Fonte: Elaboração dos autores (2018)
Foram pesquisados artigos publicados até março de 2020, retornando o montante de 13.969 artigos, que foram importados para o software de gerenciamento bibliográfico EndNote , formando o banco de artigos brutos. Com o banco de artigos brutos composto, procederam-se as filtragens dos artigos quanto à redundância, ao alinhamento do título ao tema de pesquisa, ao alinhamento do resumo e palavras-chave, à disponibilidade, ao reconhecimento científico e ao alinhamento do texto completo, conforme o fluxograma apresentado na Figura 2 .
Na primeira filtragem, foram excluídos os artigos repetidos, resultando 3.141 trabalhos não duplicados. Na segunda filtragem, na qual realizou-se a leitura dos títulos, 314 artigos apresentaram-se em conformidade com o tema de pesquisa.
Na terceira filtragem, procedeu-se a leitura dos resumos e palavras-chave, chegando-se a 128 artigos alinhados à temática do estudo. Na quarta filtragem foram excluídos os trabalhos que não tinham acesso gratuito ao texto completo, atingindo o montante de 58 artigos disponíveis.
Após, realizou-se a quinta filtragem, quanto ao reconhecimento científico das pesquisas. Inicialmente, consultou-se o número de citações dos 58 artigos no Google Acadêmico, totalizando 1.743 citações. Os trabalhos foram organizados em ordem decrescente do número de citações e, realizando-se o cálculo do percentual acumulado, se estabeleceu como ponto de corte 90% do total de citações.
Desta forma, foi definido que teriam reconhecimento científico comprovado, os artigos com 25 citações ou mais. Desta análise resultaram 19 artigos com reconhecimento científico comprovado, compondo então um banco de autores.
Os demais artigos passaram pela reanálise. Primeiramente, foi observado se os autores dos trabalhos constavam no banco de autores. Posteriormente, foi verificado se as publicações eram recentes, ou seja, a partir de 2015.
Após a reanálise, 42 pesquisas foram reconhecidas cientificamente, passando então pela sexta filtragem, na qual se realizou a leitura dos textos completos, resultando 17 artigos não repetidos, disponíveis, alinhados ao tema de pesquisa e reconhecidos cientificamente.
Para se certificar de que não houve publicações em consonância com o tema e com reconhecimento científico não incluídas no PB, foi realizado o teste de representatividade. Assim, todos os artigos constantes nas referências bibliográficas dos 17 trabalhos selecionados foram importados para o EndNote e foram realizadas as filtragens.
Ao final desta análise, foi incluído ao PB um novo trabalho alinhado ao tema. Desta forma, o PB final ficou composto por 18 artigos ( Quadro 2 ).
Quadro 2 – Portfólio bibliográfico
| Ano | Autores | Título |
|---|---|---|
| 2015 | Özdemir Tüysüz | An Integrated Fuzzy DEMATEL and Fuzzy ANP Based Balanced Scorecard Approach: Application in Turkish Higher Education Institutions |
| 2002 | Moreno Tadepalli | Assessing Academic Department Efficiency at a Public University |
| 2013 | Umashankar Dutta | Balanced scorecards in managing higher education institutions: an Indian perspective |
| 2015 | Placek Ochrana Pucek | Benchmarking in Czech higher education: the case of schools of economics |
| 2014 | Agasisti Bonomi | Benchmarking universities’ efficiency indicators in the presence of internal heterogeneity |
| 2009 | Agasisti Johnes | Beyond frontiers: comparing the efficiency of higher education decision-making units across more than one country |
| 2005 | Rosa Saraiva Diz | Defining Strategic and Excellence Bases for the Development of Portuguese Higher Education |
| 2015 | Agasisti Johnes | Efficiency, costs, rankings and heterogeneity: the case of US higher education |
| 2018 | Yousif Shaout | Fuzzy logic computational model for performance evaluation of Sudanese Universities and academic staff |
| 2014 | McCormack Propper Smith | HERDING CATS? MANAGEMENT AND UNIVERSITY PERFORMANCE* |
| 2015 | Pereira Pereira Monteiro | Mapeamento conceitual do Balanced Scorecard no ensino superior |
| 2018 | Zuniga-Jara et al | Midiendo la Creación de Valor en una Universidad |
| 2017 | Machorro Romero | Propuesta de un Instrumento de Autoevaluación del Desempeño Organizacional en Instituciones Públicas de Educación Superior en México |
| 2018 | Dobija et al | Rational and symbolic uses of performance measurement Experiences from Polish universities |
| 2020 | Kuzu | Strategy selection in the universities via fuzzy AHP method: A case study |
| 2002 | Mollis Marginson | The assessment of universities in Argentina and Australia: between autonomy and heteronomy |
| 2006 | Abdullah | The development of HEdPERF: a new measuring instrument of service quality for the higher education sector |
| 2006 | Köksal Nalçaci | The Relative Efficiency of Departments at a Turkish Engineering College: A Data Envelopment Analysis |
Fonte: Elaboração dos autores (2018)
a)Análise bibliométrica
A bibliometria consiste na ferramenta de gerenciamento da informação, através da quantificação das informações sobre os artigos do PB, com o intuito de gerar conhecimento sobre o tema de pesquisa ( ENSSLIN et al., 2015 ). Assim, foi realizada a análise bibliométrica sob quatro perspectivas: relevância dos periódicos, reconhecimento científico, autores de maior destaque e análise do fator de impacto.
Na primeira dimensão estudada, foi verificada a relevância dos periódicos do PB, através da contagem do número de artigos publicados. Conforme o Quadro 3 , depreende-se que Studies in Higher Education, Higher Education e Formación Universitaria foram os periódicos mais relevantes, com dois artigos cada.
Quadro 3 – Relevância dos periódicos do PB
| Periódico | Número de Publicações |
|---|---|
| Higher Education | 2 |
| Studies in Higher Education | 2 |
| Formación Universitaria | 2 |
| Accounting, Auditing & Accountability Journal | 1 |
| Education Economics | 1 |
| European Journal of Education | 1 |
| International Jounal of Educational Management | 1 |
| International Journal of Consumer Studies | 1 |
| International Journal of Higher Education | 1 |
| Journal of Higher Education Policy and Management | 1 |
| Journal of King Saud University - Computer and Information Science | 1 |
| Journal of Multiple-Valued Logic & soft computing | 1 |
| Managerial and Decision Economics | 1 |
| Revista Capital Científico | 1 |
| The Economic Journal | 1 |
Fonte: Elaboração dos autores (2018)
Na segunda perspectiva, o reconhecimento científico dos artigos foi obtido a partir do número de citações pesquisadas no Google Acadêmico. Os dados desta análise são demonstrados no Quadro 4 . O terceiro aspecto investigado refere-se aos autores de maior destaque. Conforme a Figura 3 observa-se que Agasisti, T. e Johnes, G. são os autores mais relevantes do PB, com três e dois artigos, respectivamente.
Quadro 4 – Reconhecimento Científico dos artigos do PB
| Título | Citações |
|---|---|
| The development of HEdPERF: a new measuring instrument of service quality for the higher education sector | 337 |
| Balanced scorecards in managing higher education institutions: an Indian perspective | 192 |
| Beyond frontiers: comparing the efficiency of higher education decision-making units across more than one country | 122 |
| The assessment os universities in Argentina and Australia: between autonomy and heteronomy | 92 |
| Assessing Academic Department Efficiency at a Public University | 72 |
| The Relative Efficiency of Departments at a Turkish Engineering College: A Data Envelopment Analysis | 60 |
| Herding cats? Management and university performance | 56 |
| Benchmarking universities’ efficiency indicators in the presence of internal heterogeneity | 29 |
| Efficiency, costs, rankings and heterogeneity: the case of US higher education | 26 |
| Defining Strategic and Excellence Bases for the Development of Portuguese Higher Education | 25 |
| Fuzzy logic computational model for performance evaluation of Sudanese Universities and academic staff | 12 |
| Rational and symbolic uses of performance measurement Experiences from Polish universities | 8 |
| Propuesta de un Instrumento de Autoevaluación del Desempeño Organizacional en Instituciones Públicas de Educación Superior en México | 3 |
| Benchmarking in Czech higher education: the case of schools of economics | 2 |
| An Integrated Fuzzy DEMATEL and Fuzzy ANP Based Balanced Scorecard Approach: Application in Turkish Higher Education Institutions | 1 |
| Midiendo la Creación de Valor en una Universidad | 1 |
| Mapeamento conceitual do Balanced Scorecard no Ensino Superior | 0 |
| Strategy selection in the universities via fuzzy AHP method: A case study | 0 |
Fonte: Elaboração dos autores (2018)
Por fim, a quarta investigação refere-se ao fator de impacto dos periódicos do PB. Para este trabalho, foi consultado o fator de impacto dos 15 periódicos do PB nas bases Thomson Reuters , que fornece o indicador JCR ( Journal Citation Report ) a partir de dados da Web of Science , e SCImago Journal & Country Rank , que fornece o indicador SJR ( Scimago Journal Rank ) a partir de informações da plataforma Scopus .
Da análise do JCR, observa-se que os periódicos Higher Education, Studies in Higher Education, Journal of King Saud University - Computer and Information Science e Accounting, Auditing & Accountability Journal apresentaram os maiores Fatores de Impacto ( Figura 4 ).
Da análise do SJR, tem-se que o periódico Studies in Higher Education apresentou o maior Fator de Impacto, seguido do Higher Education ( Figura 5 ).
b)Análise sistêmica
Na análise sistêmica, os artigos que compõem o PB são examinados criticamente através de lentes que explicitam a afiliação teórica do pesquisador, com o intuito de identificar os destaques e as lacunas de pesquisa ( TASCA et al., 2010 ).
No presente trabalho, adotou-se como afiliação teórica o conceito da avaliação de desempenho como processo para construir conhecimento no decisor, a respeito do contexto específico que se propõe avaliar, a partir da percepção do próprio decisor por meio de atividades que identificam, organizam, mensuram ordinalmente e cardinalmente, integram e permitem visualizar o impacto das ações e seu gerenciamento ( ENSSLIN et al., 2018 ). Assim, foram utilizadas as seis lentes apresentadas na Figura 6 e evidenciadas no Quadro 5 .
Quadro 5 – Lentes da Análise Sistêmica
| Lente | O que busca? | |
|---|---|---|
| 1 | Abordagem | Há harmonia entre a abordagem utilizada para a construção do modelo e sua aplicação? |
| 2 | Singularidade | Reconhece que o problema é único quanto ao contexto e atores envolvidos? |
| 3 | Processos para identificar | Processo para identificar os critérios/objetivos segundo a percepção do decisor? |
| 4 | Mensuração | As escalas (descritivas/nominais/ordinais/cardinais) utilizadas atendem à Teoria da Mensuração e suas propriedades (mensurabilidade/ operacionalidade/ homogeneidade/ inteligibilidade/ distinção entre os desempenhos melhor e pior)? |
| 5 | Integração | É realizada a integração dos indicadores em uma avaliação global? |
| 6 | Gestão | Permite diagnosticar os pontos fortes e fracos da situação atual? Disponibiliza processo para gerar ações de aperfeiçoamento? |
Fonte: Adaptado de Dutra et al. (2015)
A primeira lente apreciada na análise sistêmica busca responder a seguinte questão: A abordagem utilizada no artigo harmoniza o modelo construído com sua aplicação? Conforme Dutra et al. (2015) , a abordagem pode ser classificada conforme quatro categorias: normativista, descritivista, prescritivista e construtivista.
Na abordagem normativista, guiada pelo racionalismo, o pesquisador seleciona o modelo baseado no conhecimento científico, ou seja, na literatura existente e/ou conhecimentos de especialistas. Na abordagem descritivista, também racionalista, as variáveis para a construção do modelo são identificadas a partir do contexto físico e, de forma limitada e não obrigatória, pelo decisor ( TASCA, 2013 ).
Na abordagem prescritivista, o decisor consiste na fonte de dados utilizada para a construção do modelo, no entanto a construção do conhecimento ocorre para o facilitador. Por fim, na abordagem construtivista, de forma semelhante ao viés prescritivista, as variáveis que compõem o modelo são obtidas a partir do decisor, no entanto cabe ao facilitador apoiar o decisor nesse processo, em que a expansão do conhecimento ocorre no decisor ( TASCA, 2013 ).
O resultado desta análise é apresentado na Figura 7 . Observa-se que houve predominância das abordagens descritivista e normativista pelos autores dos artigos do PB. Em nenhum artigo foi utilizada a abordagem construtivista.
Quanto ao local onde o modelo foi utilizado, é verificado se o contexto é genérico ou específico, sendo que por específico compreende-se o modelo aplicado a um contexto bem definido. Desta forma, 14 artigos do PB apresentaram-se em contextos genéricos, conforme apresentado na Figura 8 .
A análise da harmonia entre a abordagem utilizada para a construção do modelo e sua aplicação foi realizada com base no Quadro 6 . Observa-se que ocorre harmonia nos casos A (abordagem realista e uso genérico) e D (abordagem prescritivista ou construtivista e uso específico).
Quadro 6 – Composições das abordagens e seus usos/aplicações para identificação da harmonia
| ABORDAGEM | USO/APLICAÇÃO | HARMONIA | |
|---|---|---|---|
| A | REALISTA Normativista ou Descritivista | Genérico | SIM |
| B | Específico | NÃO | |
| C | Prescritivista ou Construtivista | Genérico | NÃO |
| D | Específico | SIM |
Fonte: Tasca (2013)
A Figura 9 apresenta o resultado deste exame. Verifica-se que 12 artigos do PB apresentaram harmonia entre a abordagem utilizada e a aplicação do modelo. Da apreciação da primeira lente, é possível inferir a opção majoritária dos autores pelas abordagens realistas, com busca predominantemente no contexto físico e na literatura.
Fonte: Elaboração dos autores (2018)
Figura 9 – Análise da harmonia entre a abordagem utilizada para a construção do modelo e seu uso
Na segunda lente, busca-se identificar se o problema abordado no artigo assume caráter único quanto ao contexto físico e atores envolvidos. Quanto aos atores envolvidos, observa-se que seis artigos consideram o decisor para a definição das variáveis que compõem o modelo, porém de forma parcial, e um considera o decisor para a construção integral do modelo. Nos demais artigos a figura do decisor não foi explicitada, conforme apresentado na Figura 10 .
Fonte: Elaboração dos autores (2018)
Figura 10 – Participação do decisor no processo de apoio à decisão dos artigos do PB
Quanto ao contexto físico, 15 artigos reconhecem que o modelo não pode ser aplicado a outros contextos ( Figura 11 ).
Fonte: Elaboração dos autores (2018)
Figura 11 – Artigos do PB que reconhecem o contexto físico como singular
O processo para identificação dos objetivos refere-se à necessidade de se incorporar ao modelo de avaliação os valores, as percepções e as preferências do decisor. Neste contexto, a terceira lente da análise sistêmica busca responder a seguinte questão: Como os autores dos artigos do PB identificam os objetivos segundo a percepção do decisor?
Esta análise é realizada em duas etapas. A primeira visa observar se o artigo reconhece a necessidade de expansão de conhecimento no decisor, enquanto na segunda, observa-se como os valores e preferências do decisor interferem na identificação dos objetivos. Da primeira análise, apresentada na Figura 12 , constata-se que em nenhum artigo houve a preocupação de gerar conhecimento no decisor.
Fonte: Elaboração os autores (2018)
Figura 12 – Reconhecimento dos limites de conhecimento do decisor
Em relação à segunda questão examinada, sete artigos consideram a percepção do decisor, porém apenas um o considera integralmente ( Figura 13 ).
Na quarta lente, o objetivo é identificar se as escalas (descritivas, nominais, ordinais ou cardinais) atendem à Teoria da Mensuração e suas propriedades (mensurabilidade, operacionalidade, homogeneidade, inteligibilidade e distinção entre os desempenhos melhor e pior). Assim, desta análise tem-se que oito artigos atendem às propriedades da Teoria da Mensuração ( Figura 14 ).
Fonte: Elaboração dos autores (2018)
Figura 14 – Artigos do PB nos quais as escalas atendem às propriedades de mensurabilidade, operacionalidade, homogeneidade, inteligibilidade e permitir distinguir entre melhor e pior
Em relação às operações estatísticas utilizadas, sete artigos atendem à Teoria da Mensuração ( Figura 15 ).
Fonte: Elaboração dos autores (2018)
Figura 15 – Artigos do PB nos quais as escalas atendem à Teoria da Mensuração
A quinta lente refere-se à integração dos critérios de avaliação de desempenho, permitindo a realização da avaliação global do contexto estudado. Conforme Valmorbida (2012) , a integração de escalas pode ser realizada de forma descritiva, gráfica, cardinal utilizando níveis de referência ou cardinal sem utilização de níveis de referência, em que por nível de referência compreendem-se níveis que permitem identificar quais ações são mais atrativas e quais apresentam desempenho inferior ao esperado. Conclui-se desta análise que em 14 artigos a integração dos indicadores é realizada, porém sem apresentar níveis de referência ( Figura 16 ).
Fonte: Elaboração dos autores (2018)
Figura 16 – Artigos do PB que realizam a integração dos indicadores
Na sexta e última lente, os artigos do PB são examinados quanto ao processo de gestão. É analisado se o sistema de avaliação de desempenho permite conhecer a situação atual, realizar o monitoramento e gerar ações de melhorias. Neste sentido, é realizada a análise sob duas perspectivas. A primeira perspectiva é quanto ao diagnóstico, ou seja, se permite conhecer os pontos fortes e fracos da situação atual. A segunda é quanto ao aperfeiçoamento, ou seja, se permite a geração de ações de melhoria. Da primeira verificação resulta que 15 artigos realizaram o diagnóstico da situação atual, apresentando os pontos fortes e fracos do contexto ( Figura 17 ). A segunda dimensão analisada mostrou que 10 artigos apresentam ações de melhoria, porém apenas cinco desenvolveram um processo para esse fim ( Figura 18 ).
Fonte: Elaboração dos autores (2018)
Figura 17 – Artigos do PB que fazem o diagnóstico da situação atual
Considerações finais
A partir da Análise Sistemática da Literatura realizada, utilizando o instrumento ProKnow-C, foi possível selecionar o fragmento da literatura que trata da avaliação de desempenho para o apoio à gestão de UO de Ifes, composto por 18 artigos. Da Análise Bibliométrica, verificou-se que os periódicos mais relevantes são Higher Education e Studies in Higher Education , que apresentam também os maiores Fatores de Impacto. O artigo mais relevante foi The development of HEdPERF: a new measuring instrument of service quality for the higher education sector , com 337 citações, e os autores mais expressivos foram Agasisti, T. e Johnes, G.
Da Análise Sistêmica, observou-se a opção preponderante dos autores pela utilização das abordagens realistas, com predominância da busca das variáveis no contexto físico e na literatura. A partir da análise da primeira lente, constatou-se que em nenhum artigo foi utilizada a abordagem construtivista, revelando uma lacuna de pesquisa. Apenas em sete artigos os decisores foram considerados para a seleção das variáveis, porém em apenas um de forma integral, e em nenhum artigo do PB houve a preocupação de gerar conhecimento para o decisor. Quanto ao processo de gestão, 10 artigos identificam ações de melhoria, porém apenas cinco apresentam um processo específico para este fim.
Desta análise, emerge como oportunidade de pesquisa a construção de um modelo de avaliação de desempenho que apoie à gestão de unidades organizacionais de universidades públicas, e que (i) utilize a abordagem construtivista harmonicamente ao uso/aplicação do modelo, (ii) que seja singular, identifique o decisor e considere suas preferências para a construção integral do modelo, (iii) oportunizando a geração de conhecimento no decisor através de um processo estruturado de identificação dos objetivos, (iv) utilizando escalas cardinais e ordinais compatíveis com a Teoria da Mensuração e suas propriedades, (v) permitindo a integração dos indicadores segundo as preferências do decisor a partir de níveis de referência e (vi) permitindo, ainda, gerar ações de melhoria por meio de processo estruturado, fornecendo desta forma embasamento ao decisor para demonstrar de que maneira deveria atuar para melhorar o desempenho no contexto avaliado.
Considera-se que uma limitação da presente pesquisa seja o número limitado de bases de dados utilizadas para o levantamento do PB, pois não abrange todo o universo de trabalhos científicos. Como possibilidade de pesquisas futuras, a fim de ampliar o conhecimento sobre a temática de estudo, sugere-se a construção de um estudo de redes de colaboração entre os pesquisadores que compõem o banco de artigos brutos. Ressalta-se ainda que a análise sistêmica é realizada através de lentes que explicitam a afiliação teórica do pesquisador, que na presente pesquisa consistiu na avaliação de desempenho como instrumento de apoio à decisão. Desta forma, pode-se considerar como recomendações para novas pesquisas, a análise que adote outras abordagens, englobando aspectos da literatura não vislumbrados na presente pesquisa, como o enfoque no processo avaliativo formativo.
