2.1 Uso ou Utilização das Avaliações

O uso ou utilização é definido por ^{Johnson et al. (2009}, p. 378, tradução nossa) como a “aplicação do processo avaliativo, produtos ou resultados para produzir um efeito”. Para ^{Shulha e Cousins (1997}), o conceito de utilização não é unitário, mas um fenômeno multidimensional melhor descrito pela interação de três dimensões fundamentais: instrumental, conceitual e simbólica. ^{Leviton e Hughes (1981}), Shulha e Cousins (1997), ^{Worthen, Sanders e Fitzpatrick (2004}), ^{Weiss et al. (2005}), Johnson et al. (2009) e ^{Costa e Castanhar (2003}) definem assim essas dimensões:

O Quadro 1 apresenta a síntese das variáveis que afetam o uso, baseadas na revisão dos estudos de ^{Leviton e Hughes (1981}), ^{Cousins e Leithwood (1986}) e ^{Johnson et al. (2009}). Essas variáveis foram consideradas para orientar o presente estudo na investigação dos facilitadores e barreiras que influenciam a utilização dos resultados da AAI sob a ótica dos gestores da UnB. Os estudos sobre uso dos resultados da AAI nas IES são incipientes nas esferas acadêmica e organizacional e não foram identificados modelos e instrumentos específicos e testados para tal empreitada. Explorar e analisar essas informações são um passo fundamental para o avanço do conhecimento na área e futuro desenvolvimento de novas tecnologias que permitam testar sistematicamente modelos explicativos e intervir no contexto das organizações de interesse.

4.1 Facilitadores e Barreiras para o uso dos resultados da AAI da UnB

Nos modelos de ^{Leviton e Hughes (1981}), ^{Cousins e Leithwood (1986}) e ^{Johnson et al. (2009}), as variáveis adotadas não são classificadas como barreiras ou facilitadoras. Os referidos autores entendem que, quando são positivamente avaliadas ou satisfatoriamente adequadas, elas influenciam positivamente o uso e, quando negativamente avaliadas ou inadequadamente presentes, elas representam dificuldades para o uso. No questionário elaborado para o presente estudo, foram abordadas as variáveis dos referidos modelos.

O Quadro 3 apresenta a síntese do perfil sócio demográfico predominante do diagnóstico.

O Relatório de Autoavaliação Institucional é o instrumento que consolida o processo de AAI. O Gráfico 1 que sintetiza as respostas dos gestores quanto à leitura total ou parcial dos Relatórios de Autoavaliação Institucional da UnB no período de 2012 a 2015, revela um crescimento anual constante e um significativo aumento entre os anos de 2013 e 2014. Considerando que no ano de 2014, a CPA iniciou uma série de atividades de divulgação e sensibilização quanto à AAI e seus resultados, o aumento da leitura do Relatório pode estar relacionado a essas atividades. Entretanto, a porcentagem de gestores que nunca leram o Relatório é preocupante e indica a necessidade continuidade e ampliação dessa sensibilização.

Fonte: Elaboração própria.

Gráfico 1- Leitura total ou parcial do relatório de Autoavaliação Institucional da UnB 

Quando solicitados a explicar o motivo de não terem lido o Relatório de AAI da UnB no período pesquisado, 73% dos respondentes alegaram desconhecer a existência do Relatório, 10% declararam falta de interesse ou tempo, 6% apontaram que as informações contidas no relatório não têm utilidade para as tarefas desempenhadas e 2% dos respondentes relataram que não sabiam da importância do Relatório, que consideram a AAI mera formalidade ou que o relatório era exclusivo para chefias.

^{Cousins e Leithwood (1986}) sugerem que a divulgação dos resultados não influencia diretamente o uso, no entanto, o desconhecimento da AAI ou de seus resultados configura-se em impedimento para o uso. É elucidativo neste caso que, em relação ao não uso dos resultados por 55,2% dos respondentes, 85,71% deles correspondem aos que nunca leram o Relatório de AAI no período estudado e apenas 14,29% leram, pelo menos parcialmente, o Relatório de AAI. Por outro lado, entre os que leram o Relatório de AAI, apenas 7,8% relataram não uso dos resultados da AAI, o que revela a importância de políticas de incentivo à leitura do instrumento em relação ao uso dos resultados da AAI da UnB.

A fim de interpretar as variáveis utilizadas em termos de barreiras ou facilitadores, o que facilita o entendimento do diagnóstico, foi estabelecido alguns parâmetros. Para análise dos itens 5 a 34 do questionário, e considerando a escala de 11 pontos, foram utilizados os seguintes parâmetros para interpretação dos resultados: pontuações entre 0 e 4 sugerem percepções predominantemente negativas em relação ao aspecto avaliado e, portanto, o seu caráter de barreira para o uso dos resultados da AAI. Pontuações entre 4 e 6 sugerem percepções medianas sobre o aspecto avaliado, situando-o em uma zona de transição entre barreira e facilitador. Por fim, pontuações entre 6 e 10 indicam percepções predominantemente positivas sobre o aspecto avaliado e o seu potencial facilitador para o uso dos resultados da AAI. A Tabela 4 sintetiza os resultados dos 5 a 34 do questionário.

De forma geral, as pontuações dos itens encontram-se na zona de transição entre barreira e facilitador, ou seja, são aspectos que precisam ser trabalhados e melhorados a fim de que consistam em facilitadores para os gestores utilizarem os resultados da AAI. Ao segmentar as pontuações para os grupos de gestores que leram e que não leram o Relatório de AAI da UnB no período de 2012 a 2015, as pontuações daqueles que leram são mais elevadas e predominantemente positivas. Os gestores que não leram o relatório e que provavelmente não conhecem bem seus resultados são aqueles que percebem mais barreiras para o uso. A familiaridade com o relatório, portanto, parece ser um primeiro passo para que o uso seja efetivado.

Apenas os itens 5 e 26, ambos relacionados à Necessidade de Informações, encontram-se no pólo positivo dos parâmetros de avaliação. Entende-se que existe a noção de que a AAI é um instrumento de gestão importante, e os resultados dos outros itens, entrevistas e das questões abertas ajudam a compreender as barreiras para que o uso dos resultados se concretize. O item 33 obteve a menor pontuação geral e reflete a percepção negativa dos gestores quanto ao incentivo à participação da comunidade acadêmica no processo de AAI da UnB. ^{Gonçalves (2016}) identificou que a UnB ainda não conta com uma cultura de avaliação formativa, e docente E2 relatou que, em geral, os gestores não se veem dentro do processo e tampouco se apropriam da AAI. De acordo com o docente E2, a estratégia de implantar a CPA itinerante tem, entre seus objetivos, aumentar a percepção dos gestores e unidades acadêmicas sobre o seu papel dentro da AAI através de devolutivas segmentadas. O item 34, por sua vez, encontra-se na zona de transição entre os que não leram o Relatório de AAI, e reflete a percepção negativa deles quanto à relação entre o processo de AAI e sua função. Essa percepção pode ser resultado do descrédito na AAI e pode ser agravada pela ausência de uma cultura avaliativa formativa.

Para todos os itens fechados do questionário, as pontuações dos gestores que leram o relatório tendem a ser mais elevadas do que as pontuações gerais ou daqueles que não leram. Trata-se de uma análise descritiva, não inferencial, mas que sugere uma possível tendência de comportamentos e percepções dos gestores, ou seja, aqueles que acessam e conhecem o relatório são também aqueles que avaliam mais positivamente as condições para uso dos resultados. Esses achados, porém, não podem ser interpretados com muito otimismo e não devem levar a conclusões de que desde que o relatório seja lido, as barreiras tendem a diminuir e, portanto, o problema do uso estaria entre aqueles que não leem os relatórios. Pessoas que não leem os relatórios podem estar percebendo mais barreiras ou pessoas que percebem mais barreiras não estão lendo os relatórios. Esta é uma relação inferencial que deverá ser testada em estudos futuros. Mas há que se considerar que as pontuações obtidas pelos gestores que afirmam ter lido o relatório, mesmo quando localizadas no polo positivo da escala de resposta, que reflete um papel potencialmente facilitador dos aspectos avaliados, tendem a estar muito próximas à zona intermediária, de transição, indicando amplo espectro de necessidades de melhorias e intervenções.

O questionário era composto por duas perguntas abertas que solicitavam aos respondentes que escrevessem as barreiras e facilitadores percebidos para o uso dos resultados da AAI realizada na UnB. Os resultados foram categorizados conforme variáveis propostas nos estudos de ^{Leviton e Hughes (1981}), ^{Cousins e Leithwood (1986}) e ^{Johnson et al. (2009}). As Tabelas 2 e 3 indicam a frequência absoluta e relativa com que cada categoria, foi mencionada pelos respondentes e, na última coluna, são incluídos as subcategorias associadas a cada categoria em ordem de frequência, da mais citada à menos citada. As categorias e subcategorias foram definidas antes da coleta, com base no referencial teórico.

A Tabela 2 sintetiza as barreiras citadas pelos gestores. A principal barreira reportada pelos gestores diz respeito à qualidade da comunicação, mencionada por 31% dos respondentes. Não foram reportadas barreiras relacionadas a informações concorrentes, resultados, características da decisão e caraterísticas pessoais.

Em termos de barreiras, foram predominantes as menções à Qualidade da Comunicação, que reflete a clareza e disseminação da apresentação dos resultados e a comunicação entre o avaliador e os usuários. Na parte fechada do questionário, os itens também indicaram que tais aspectos se configuram como potenciais barreiras, pois todas as pontuações obtidas situaram-se na zona de transição ou na zona negativa da escala. Os dois aspectos relatados foram a falta de divulgação e a dificuldade de acesso às informações, ambos relacionados à disseminação dos resultados. Os que relataram a falta de divulgação associaram esta fala aos meios de comunicação institucionais e à publicidade dos resultados pela instituição. Esses achados corroboram os apontamentos de ^{Feinstein (2002}) quanto à importância da disseminação para o uso dos resultados.

Vale também destacar barreiras referentes à credibilidade e à qualidade da avaliação, que seguiram a qualidade da comunicação. A credibilidade reflete a confiança no avaliador e no processo avaliativo. Os gestores apontaram a inadequação da coleta de dados relacionando-a, principalmente, à baixa taxa de participação dos segmentos da comunidade acadêmica, além de manifestarem desconfiança de manipulação de dados, embora não tenham especificado qual tipo de manipulação. Além de ações que estimulem a representatividade e permanência dos membros da CPA, o envolvimento dos membros da comunidade no processo avaliativo pode resultar no aumento da credibilidade do processo avaliativo conforme apontado por ^{Johnson et al. (2009}).

A Tabela 3indica a frequência absoluta e relativa com que cada categoria de facilitadores foi mencionada pelos respondentes e, na última coluna, são incluídos alguns exemplos dos termos mencionados associados a cada uma.

O principal facilitador reportado pelos gestores refere-se à qualidade da avaliação, mencionada por 15% dos respondentes. Não foram reportados facilitadores relacionados à relevância, informações concorrentes, comprometimento e/ou receptividade à informação da avaliação, tempestividade, características da decisão, características pessoais ou envolvimento do stakeholder.

Sobre aspectos que se configuram como facilitadores, destacam-se elementos referentes à qualidade da avaliação, da necessidade da informação e também da qualidade da comunicação. A facilidade de compreensão e a apresentação clara dos dados do Relatório de AAI foram apontados como facilitadores para o uso dos resultados da AAI na UnB, entretanto, esse mesmo aspecto foi apontado como barreira por outros respondentes. Esse conflito pode ser resultado do uso de jargões, apontados por dois respondentes como barreira. Identificar os jargões utilizados no relatório e inserir notas de rodapé explicativas pode melhorar a percepção dessa barreira.

A necessidade de informação reflete o tipo de informação necessária e foi apontada como barreira e facilitador pelos gestores. As informações gerais e não segmentadas foram assinaladas como facilitador para a compreensão holística da universidade e para a elaboração de relatórios administrativos, ambos de uso conceitual. Essas mesmas informações foram citadas como barreira para a tomada de decisão, um uso instrumental. O uso conceitual não é afetado pela necessidade de informações segmentadas e tempestivas, que caracteriza o uso instrumental (^{LEVITON; HUGHES, 1981}), portanto para sua função regulatória e para uso conceitual, as informações gerais caracterizam-se como facilitadores. Para o uso instrumental e função formativa da avaliação, caracterizam-se como barreiras.

A qualidade da comunicação foi apontada como barreira e facilitador pelos gestores. Enquanto barreira, a baixa divulgação formal e a dificuldade do acesso, foram predominantes. Como facilitadora, os gestores mencionaram a divulgação informal, realizada entre pares, juntamente com a disponibilização do Relatório de AAI no site da UnB. A disseminação em redes e por colegiados invisíveis de especialistas foi positivamente relacionada ao uso por ^{Leviton e Hughes (1981}) e pode explicar esse facilitador.

4.2 Relação entre facilitadores e barreiras e os tipos de uso

Para atender o terceiro objetivo específico desta pesquisa, verificar se existem relações entre a percepção de facilitadores e barreiras e os tipos de uso dos resultados pelos gestores, questionou-se as finalidades para as quais os gestores já utilizaram as informações geradas pela AAI realizada na UnB. A Tabela 4sintetiza os resultados obtidos e permite identificar que entre os respondentes que utilizam os resultados da AAI, destaca-se o uso para compreensão das dimensões da UnB e a elaboração de relatórios administrativos, ambos conceituais, e a Tomada de Decisão e Planejamento, ambos instrumentais, o que sugere que a AAI tende a atender seus dois objetivos básicos: autoconhecimento e tomada de decisão (^{BELLONI, 1999}).

Quando agrupados quanto ao tipo, o uso mais frequente é o instrumental (48%), seguido do uso conceitual (42%) e do uso simbólico (10%). Esses resultados corroboram o relato de ^{Weiss et al. (2005}) quanto ao maior uso conceitual e instrumental das avaliações, sendo o uso instrumental o principal uso esperado por avaliadores. Em relação ao uso Instrumental, apenas a relação com a variável envolvimento não é significativa. Todas as demais são significativas a 99% e comprometimento a 95%. Em relação ao uso conceitual, mais uma vez, apenas o aspecto envolvimento não foi significativo. Em relação ao uso instrumental, todos os aspectos se relacionam significativamente. Em relação ao uso simbólico, para algumas variáveis não foram encontradas relações significativas. Para todas as diferenças significativas encontradas, aqueles que avaliam mais positivamente os aspectos descritos, ou seja, avaliam os aspectos mais como facilitadores, são também aqueles que relatam o uso dos resultados. Ou seja, o uso parece estar vinculado à percepção dessas variáveis no contexto da AAI. Tais achados corroboram os estudos de ^{Leviton e Hughes (1981}), ^{Cousins e Leithwood (1986}), ^{Johnson et al. (2009}).

É possível supor que atuar sobre os aspectos mais problemáticos identificados na presente pesquisa, ou seja, aspectos que se configuram com potencial papel dificultador, podem levar ao estímulo e ao aumento do uso dos resultados da AAI na UnB. Barreiras e facilitadores podem ser dinâmicos, mudando ao longo do tempo e em função dos contextos específicos das IES. Estudos que mensurem a existência desses aspectos e permitam o planejamento e a operacionalização de ações e intervenções são fundamentais para o desenvolvimento do campo teóricos e prático a avaliação institucional no Brasil.