INTRODUÇÃO
A Lei n. 10.861 (2004) estabelece o Sistema Nacional de Avaliação da Educação Superior (Sinaes), que visa a avaliar instituições de ensino superior (IES), cursos de graduação e o desempenho dos estudantes. A lei determina que todas as instituições, públicas ou privadas, conduzam autoavaliações por meio de Comissões Próprias de Avaliação (CPAs) com vistas a realizar uma autogestão e subsidiar o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) nas avaliações externas das IES.
O resultado da autoavaliação produzido pela CPA é um retrato da prestação de contas da IES tanto para o Estado quanto para a sociedade civil. Isso ocorre sob a perspectiva da avaliação regulatória. Entretanto, há a possibilidade de introduzir aberturas na avaliação regulatória e estabelecer o que é conhecido como avaliação emancipatória. Esse processo se concretiza por intermédio de membros da comunidade acadêmica que reinterpretam e reformulam suas práticas por meio de sua participação ativa, engajamento e dedicação na avaliação institucional (Bernardes & Rothen, 2015).
Nesta pesquisa, aborda-se a autoavaliação realizada pela CPA em uma universidade no estado de São Paulo. A comissão foi estabelecida em 2004 e tem aprimorado os processos de avaliação de alunos, docentes e colaboradores, evoluindo de avaliação em papel para sistema eletrônico vinculado à intranet da instituição em 2007. A CPA compila os resultados da avaliação de indicadores de satisfação de docentes e discentes sobre quesitos pertencentes às dimensões: organização didático- -pedagógica, infraestrutura, corpo social e cursos da IES.
A avaliação desses indicadores se dá por meio de uma escala de Likert de cinco pontos, que permite aos gestores conhecerem pontos fortes e pontos a serem melhorados, de acordo com a percepção dos respondentes. Contudo o instrumento não permite conhecer o grau de importância relativa entre esses indicadores para uma correta prioridade de gestão, caracterizando-o como um problema complexo. Nesse sentido, para Zyoud e Fuchs-Hanusch (2017), os métodos de apoio à decisão multicritério (MCDM) vêm sendo muito utilizados na busca por solução de problemas complexos do mundo real.
Tendo isso em vista, o presente estudo utiliza o Analytic Hierarchy Process (AHP) como método de apoio à decisão. De acordo com Kou et al. (2016), o AHP, dada a ampla gama de aplicações em que foi utilizado, tem sido bem recebido por acadêmicos de todo o mundo, especialmente em problemas em que MCDM são aplicados. Alvarez et al. (2021) revisaram a literatura sobre MCDMs para classificação, encontrando uma média de 6,5 artigos por ano, entre 1997 e o início de 2021, na base Web of Science. Os estudos foram categorizados em 16 campos principais, com a educação sendo o segundo mais abordado. O método mais comum foi o de utilidade aditiva discriminante (Utadis), frequentemente com extensões, enquanto os métodos baseados no AHP também têm recebido mais atenção.
Os estudos de revisão sobre AHP apresentados por Vaidya e Kumar (2006), Zyoud e Fuchs-Hanusch (2017), Ho e Ma (2018) e Alvarez et al. (2021) mencionam aplicações na área de educação, mas não especificamente no contexto desta pesquisa, o que incentiva o desafio para sua realização. Segundo Piratelli (2010), no geral, responsáveis pela gestão de cursos e IES se apoiam nos indicadores de avaliação utilizados pelo MEC, e muitas vezes não encontram disponíveis outras fontes de informação que demonstrem, por exemplo, a eficiência de seus cursos e a satisfação dos receptores (diretos e indiretos) dos serviços oferecidos.
O objetivo geral deste estudo é priorizar indicadores de satisfação discente para permitir uma tomada de decisão mais assertiva por parte dos gestores da IES. Como desdobramento desse objetivo, a presente pesquisa busca: construir um modelo multicritério baseado no método AHP para hierarquizar os indicadores de desempenho apurados pela CPA; aplicar o modelo construído aos discentes do curso de Medicina da instituição estudada; comparar os resultados obtidos com o emprego do AHP aos atuais resultados obtidos pela CPA; e verificar diferenças nos resultados obtidos entre três diferentes perfis de aluno (ingressantes, da etapa média e concluintes).1
Além desta introdução, o estudo apresenta a segunda seção dedicada aos MCDMs, com foco específico no AHP e estudos relacionados. A terceira seção trata da metodologia, descrevendo os procedimentos operacionais adotados nesta pesquisa. Na sequência, a quarta seção descreve a aplicação do AHP como suporte ao processo de avaliação no ensino superior. Por fim, a conclusão deste estudo é abordada na quinta seção.
MÉTODOS DE APOIO À DECISÃO MULTICRITÉRIO
Conceitos sobre MCDMs
A tomada de decisão multicritério (MCDM) busca oferecer apoio a tomadores de decisão para alcançar escolhas eficazes e consistentes. MCDMs são uma alternativa valiosa e bem-sucedida para lidar com três categorias principais de problemas: escolha, classificação e ordenação. Embora os dois primeiros sejam mais comuns, o terceiro é essencial para tratar de desafios MCDM no mundo real que envolvem a categorização ordenada de alternativas (Alvarez et al., 2021). Os MCDMs também lidam com problemas de portfólio, selecionando um subconjunto de alternativas que atendam aos objetivos sob restrições (Almeida, 2013).
Alguns dos principais MCDM apresentados pela literatura são: Multiattribute Utility Theory (Maut), Utilitès Additives Discriminantes (Utadis), Analytic Hierarchy Process (AHP), Analytic Network Process (ANP), Elimination and Choice Translating Reality (Electre), Preference Ranking Organisation Method for Enrichment Evaluations (Promethee), Measuring Attractiveness by a Categorical Based Evaluation Technique (Macbeth) e Technique for Order of Preference by Similarity to Ideal Solution (Topsis).
Neste estudo o AHP é o método adotado, tendo em vista sua vasta utilização em diferentes tipos de aplicações e setores com sucesso, e também incentivado pelas pesquisas que destacam a utilização na área de educação (objeto desta pesquisa).
Analytic Hierarchy Process (AHP)
O AHP, introduzido por Thomas Saaty na década de 1970, é um método amplamente utilizado de apoio à decisão multicritério que incorpora critérios quantitativos e qualitativos. Ele aborda problemas de escolha, classificação e ordenação, sendo que a ordenação aborda problemas do mundo real que envolvem a atribuição de alternativas a categorias ordenadas (Alvarez et al., 2021).
Foi desenvolvido para capturar a capacidade humana de comparar elementos par a par para estimar magnitudes relativas e criar escalas de razão para dimensões tangíveis e intangíveis (Saaty, 1980). Ele permite a tomada de decisão baseada em avaliações de impacto relativo e é vantajoso por representar hierarquicamente o problema e por seu processo de julgamento simples (Saaty, 1994).
De acordo com Nascimento (2010), as três etapas para aplicação do AHP são:
etapa 1 - formulação do problema de decisão: esta etapa é subdividida em dois passos: estruturação do problema e construção da hierarquia. O primeiro consiste em definir o objetivo global, os critérios, os subcritérios e as alternativas para a solução do problema de decisão. O segundo busca estruturar o problema em uma hierarquia, assumindo a independência entre os elementos;
etapa 2 - julgamentos entre os elementos de um mesmo nível hierárquico à luz de cada elemento do nível superior: esta etapa é subdividida em três passos: comparações par a par, construção das matrizes de decisão e verificação da consistência. O primeiro consiste em julgamentos por meio de comparações par a par, seguindo a escala fundamental do AHP proposta por Thomas Saaty (escala de 1 a 9, com igual importância e importância extrema, respectivamente). O segundo passo corresponde à criação da matriz de decisão. Os elementos dessa matriz definem a quantidade de vezes que uma alternativa é mais ou menos importante que as demais. O terceiro passo compreende a análise da consistência do julgamento dado pelo decisor em matrizes de ordem n ≥ 3. As matrizes de decisão são 21, consideradas de consistência aceitável se o RC for menor que 10% (ou 0,1);
etapa 3 - desenvolvimento algébrico: esta etapa é subdividida em três passos: obtenção dos autovetores, agregação dos autovetores de prioridades e resultado. O primeiro passo consiste na obtenção do autovalor máximo e autovetor principal direito. O segundo compreende o cálculo das prioridades locais, globais e totais das alternativas. O terceiro passo refere-se à obtenção do resultado final com o ranking de prioridades das alternativas.
Segundo Piratelli (2010), decisões tomadas por meio da obtenção de dados de um grupo podem ser mais valiosas do que as decisões individuais, especialmente pela pluralidade de observações dos decisores de um aspecto. Ainda segundo o autor, a abordagem estruturada em grupos pode também permitir que aconteça um aprendizado ao grupo envolvido. Saaty e Peniwati (2007) afirmam que existem dois tipos de abordagem para decisão em grupo: consensual e pluralista. A consensual visa a evitar grandes divergências por meio de acordos para a decisão. A pluralista, por outro lado, leva em conta todas as divergências de visões, mas não evita discordâncias ou conflitos.
Segundo os mesmos autores, no caso da pluralista, pode-se optar pela agregação dos valores individuais por meio da média geométrica, o que se chama de agregação individual de julgamentos (AIJ). Se os decisores apresentarem diferentes pesos na decisão, deve-se construir as matrizes de julgamento do grupo por meio da média geométrica ponderada dos julgamentos individuais. Forman e Peniwati (1998) apresentam a técnica de agregação das prioridades individuais (AIP), por meio da média geométrica ou da média aritmética. Tal técnica é aplicada quando não há um bom entrosamento entre o grupo ou quando seus decisores agem separadamente.
Mu e Pereyra-Rojas (2018) afirmam ainda que uma análise de sensibilidade (em que os pesos dos critérios têm seus valores manipulados sistematicamente para que sejam observados os impactos nos resultados) é uma etapa importante no processo de aplicação do AHP, já que permite entender quão robusta é a decisão original e quais os critérios que influenciaram nos resultados originais obtidos. Softwares, como o SuperDecisions® (SD), auxiliam na aplicação prática de MCDM, sendo um aliado do AHP (Mu & Pereyra-Rojas, 2018).
Estudos correlatos sobre o uso de MCDM em contextos de avaliação da educação
Foram realizadas pesquisas por artigos junto às bases científicas Web of Science, Scopus e Scientific Electronic Library Online (SciELO), em setembro de 2020, utilizando a expressão de busca “multicriteria and (education or university)”, que em termos lógicos resulta em duas combinações de pesquisas de palavras-chaves: “multicriteria and education” e “multicriteria and university”.
Foram identificados inicialmente 707 artigos de periódicos que atendiam aos critérios de busca, refinados com as palavras-chave “assessment” ou “evaluation” em seus resumos, posteriormente destacados os contextos ligados à aplicação de MCDM na avaliação da educação (incluindo seus processos e recursos) para a seleção final com 17 artigos (Tabela 1).
TABELA 1 Estudos correlatos
| AUTORES | ANO | DESCRIÇÃO DO TRABALHO |
|---|---|---|
| Chu | 1990 | Partindo da premissa que avaliar o sistema de ensino é avaliar um sistema humano, propõe a utilização de um modelo de aplicação de MCDM que busque se aproximar do modo de decisão realizado pela mente humana. |
| Mustafa & Goh | 1996 | Revisa o tema da aplicação e MCDM no contexto da avaliação focada na administração acadêmica em IES, visando a compreender, encorajar e propor a utilização de MCDM. |
| Politis & Siskos | 2004 | Utiliza os conceitos dos métodos MCDM para a avaliação de um departamento de engenharia em uma IES grega. A análise foi guiada pelo conflito na observação do aluno em dado momento como cliente e em outro como produto. |
| Gómenz-Senent Martínez et al. | 2004 | Diante do contexto europeu de educação superior, apresenta uma proposta abrangente de transformação dos métodos de educação e aprendizagem tanto para professores e alunos quanto para as IES. |
| Freitas et al. | 2009 | Com enfoque tanto em corpo docente quanto em corpo discente, propõe uma abordagem MCDM para produzir uma avaliação da qualidade educacional precisa e eficiente e em IES do Brasil, seguindo ainda recomendações oferecidas pelo Sinaes. |
| Bana e Costa & Oliveira | 2012 | Aponta os métodos MCDM como alternativa viável ao propor um “modelo inovador” para a avaliação do corpo docente em IES, permitindo alinhar a atividade com as mudanças no sistema universitário. |
| Chen | 2012 | Propõe aplicar MCDM visando a tratar uma referida deficiência de alguns métodos atuais, especialmente devido a questões de indicadores mal organizados. |
| Tasca et al. | 2013 | Faz uma revisão sistêmica de artigos com relevância acadêmica e aderência ao contexto da aplicação de MCDM na avaliação de programas de capacitação/treinamento, relatando suas potencialidades e limitações. |
| Chen et al. | 2006 | Para uma melhor gestão do conhecimento aplicado como ferramenta para ensino de empreendedorismo na construção civil, foi proposto um modelo de solução com uso de MCDM. |
| Valmorbida et al. | 2015 | Atribui MCDM para construção de indicadores internos em uma IES do Brasil como ferramenta para medição e diagnóstico das ações administrativas, fornecendo informações para o direcionamento das atividades de gestão. |
| Cardoso et al. | 2016 | Apoiado na sustentabilidade financeira, propõe o uso de MCDM para o aperfeiçoamento da avaliação do desempenho em busca de garantir bons resultados administrativos. |
| Zavadskas et al. | 2016 | Investiga o uso de métodos MCDM híbridos (HMCDM) na solução de diversificados problemas de engenharia, percebendo uma crescente da prática e apontando ser útil sua adoção. |
| Gutiérrez Ossa et al. | 2019 | Cita a capacidade especial dos métodos MCDM perante a análise da relação entre vocação, perfil e evasão dos alunos e o papel na IES nesse processo e controle. |
| Mar-Cornelio & Gulín-González |
2018 | Atribui o uso de MCDM para a solução das dificuldades na avaliação de competências profissionais durante atividades práticas remotas de alunos de uma IES, comparando o modelo proposto com o adotado anteriormente. |
| Weng et al. | 2019 | Coloca a problemática de alocação de recursos limitados para aperfeiçoamento do corpo docente de IES em foco, fazendo uso de MCDM ao aprimorar a avaliação institucional e ainda respeitando orientações do Ministério da Educação da China. |
| Gong et al. | 2020 | Ressaltando que a natureza subjetiva do pensamento humano pode gerar avaliações imprecisas de especialistas, quando analisando a qualidade de IES, propõe o uso de MCDM para ter avaliações mais confiáveis. |
| Puente et al. | 2020 | Propõe uma avaliação da qualidade do ensino em IES europeias com a aplicação de uma metodologia MCDM híbrida, salientando ainda não haver referência semelhante ao modelo adotado na literatura. |
Fonte: Elaboração dos autores.
Foram identificadas origens distintas para os artigos, com destaque para o Reino Unido, que contribuiu com quatro artigos, seguido pelo Brasil, com três artigos. Colômbia, Estados Unidos e Suíça também tiveram presença significativa, contribuindo com dois estudos cada. Além disso, houve artigos isolados de diversos outros países. Dentro da seleção final de 17 trabalhos, cinco deles correspondem a revisões bibliográficas. A maior parte dos artigos (12 no total) foi redigida em inglês, mas a lista de textos selecionados também inclui dois em espanhol e três em português.
Ainda que os estudos encontrados abordem a temática da educação e empreguem MCDMs, não foi encontrado trabalho com vertente semelhante ao almejado por esta pesquisa. Analisando os textos selecionados, verificou-se que o papel de uma organização de caráter governamental exerce grande influência no desenvolvimento dos modelos MCDM de avaliação da educação superior em vários trabalhos analisados. Aspectos institucionais gerais, externos ou internos, da gestão educacional também são elucidados. É possível destacar que a maior parte dos artigos pesquisados demonstra que há fatores positivos à contribuição fornecida pela utilização dos métodos MCDM, demonstrando por vezes interesse em ampliar a aplicação destes métodos a outras situações correlatas, o que encoraja este estudo.
METODOLOGIA
Esta pesquisa é de natureza aplicada, com objetivos exploratório e descritivo, e faz uso de abordagem combinada (qualitativa e quantitativa), por meio do método de revisão bibliográfica e modelagem matemática de acordo com Miguel et al. (2012) e Turrioni e Mello (2012).
Procedimentos operacionais
Conforme ilustrado na Figura 1, a aplicação do modelo proposto teve como etapas: levantamento de dados (categorias de indicadores e grupos de categorias de indicadores) junto aos membros da CPA; estruturação hierárquica adequada ao método AHP; teste piloto de aplicação prática da rotina de coleta de dados; seleção de representantes discentes; aplicação do método AHP com o auxílio do software SuperDecisions®; extração dos dados coletados em planilhas; apuração dos resultados das coletas de dados; priorização dos indicadores seguindo o modelo proposto; e comparação dos dados da CPA da IES ao resultado obtido com a aplicação do modelo proposto.
A etapa de levantamento conta com uma reunião realizada com os membros da CPA, que tem por objetivo definir as categorias de indicadores a serem trabalhadas dentro do método AHP, assim como uma organização dessas categorias em grupos que permitam entender sua estrutura de forma hierárquica. Na etapa de estruturação, seguindo os moldes do AHP, são organizados de maneira hierárquica os grupos de categorias com suas devidas categorias de indicadores. Tal estruturação é construída no software SD que é a ferramenta escolhida para coleta de dados dos stakeholders envolvidos.
Chegando na etapa de testes, ocorre a aplicação experimental do modelo proposto, por meio de um teste piloto, para validar a exequibilidade da coleta de dados. Nesse piloto, o método AHP é aplicado com voluntários (alunos e egressos de variados cursos da IES) para verificar a inteligibilidade do modelo para os entrevistados. A seleção dos stakeholders se deu em acordo com a coordenação do curso. Ao final dessa seleção, pretende-se que haja um representante de cada módulo/semestre. Durante a etapa de aplicação do modelo com auxílio do software SD, são agendadas reuniões individuais com cada representante discente selecionado.
A etapa de extração consiste em obter os dados coletados e organizá-los para que sejam alocados em planilhas eletrônicas, em que foi possível realizar as operações necessárias nas demais etapas seguintes. É na etapa de apuração que será utilizada a agregação individual de julgamentos (AIJ) para representar todo o curso a partir das participações de todo o grupo de respondentes. Nesta etapa é calculada a média geométrica de todas as participações.
Chegada a etapa de priorização, aplica-se a fórmula para obtenção da prioridade de gestão segundo Piratelli (2010), em que se calcula o valor de impacto (Ii) de cada categoria de indicadores, permitindo assim definir as prioridades de gestão (fórmula 1):
Onde:
Ii é o valor de impacto para o indicador i ter grau de satisfação máximo;
Di é o desempenho atual do indicador i;
pc é o peso da categoria c a qual o indicador i pertence.
A etapa de comparação gera um ranking de categorias, que é apresentado aos membros da CPA e à coordenação do curso. Isso permitiu a comparação com resultados anteriores das autoavaliações.
APLICAÇÃO DO AHP PARA APOIO AO PROCESSO DE AVALIAÇÃO NO ENSINO SUPERIOR
O objeto de estudo
A IES de estudo desta pesquisa situa-se no interior do estado de São Paulo, Brasil. Com mais de 50 anos no ensino superior, oferece mais de 30 cursos de graduação em diversas áreas do conhecimento. Durante esta pesquisa, o curso de Medicina foi selecionado como objeto de estudo devido à sua relevância para a instituição e à peculiaridade de sua estrutura curricular, que consiste em módulos com conteúdos integrados. Essa abordagem permite a avaliação de alunos em diferentes estágios do curso, considerando suas diversas necessidades e percepções em relação aos serviços oferecidos pela instituição.
Na primeira fase do curso (F1), estão os alunos iniciantes (1º e 2º anos), representados neste estudo pelos participantes dos módulos 1, 2, 3 e 4. Nesse estágio, os alunos estão tendo seus primeiros contatos com a universidade e o curso, o que pode influenciar na sua capacidade de avaliar todos os aspectos com precisão. Na segunda fase do curso (F2), encontram-se os alunos do meio do cronograma (3º e 4º anos), representados pelos participantes dos módulos 5, 6, 7 e 8. Nessa etapa, os alunos já estão familiarizados com a rotina acadêmica e têm experiências práticas em paralelo ao aprendizado teórico. Na terceira fase do curso (F3), estão os alunos concluintes (5º e 6º anos), representados pelos participantes dos módulos 9, 10, 11 e 12. Nesse estágio, os alunos têm predominantemente experiências práticas em um ambiente acadêmico mais dinâmico e diversificado, dependente de infraestrutura física adequada para o desenvolvimento de suas atividades.
O processo de autoavaliação institucional da IES é realizado anualmente, por meio de questionários disponibilizados aos discentes, docentes e colaboradores da IES. Após a coleta e o processamento das informações obtidas com os questionários da autoavaliação, são produzidos indicadores quantitativos e qualitativos com o intuito de informar os diversos envolvidos e interessados. O sistema de resultados da autoavaliação institucional permite a consulta dos resultados obtidos, com a apresentação de gráficos interativos. Esse ambiente de resultado é modular e entrega as informações de acordo com o nível de acesso, podendo ser Reitoria, Pró-reitoria, chefia de departamento, coordenador, docente e discente.
Potencial ineficácia dos resultados atuais da CPA para gestão
Em algumas situações os resultados disponibilizados pela CPA podem não ser assertivos para uma boa tomada de decisão para gestão. Por exemplo, quando indicadores de satisfação apresentam percentuais iguais ou ligeiramente próximos, qual deve ser priorizado?
Outra situação não desejável é quando um indicador com baixo percentual de satisfação acaba sendo priorizado para fins de gestão em relação a outro que possui percentual de satisfação maior. Qual a garantia de que o indicador de menor percentual de satisfação seja mais relevante para o ator que avaliou o curso, o docente ou a IES? Sem conhecimento da importância relativa entre os indicadores, assume-se que todos possuem igual peso na avaliação e a tomada de decisão para gestão pode ficar comprometida.
Estruturação do modelo
Foi realizada uma reunião com membros da CPA da IES para organizar os indicadores avaliativos em categorias de critérios correlatos que permitam a compreensão mais objetiva do teor de cada critério avaliativo (conforme Figura 2).
As dez categorias de indicadores foram hierarquizadas no modelo AHP, em três grupos ou dimensões. A Tabela 2 confere uma sigla às dimensões para facilitar a visualização dos dados e apresenta também o percentual médio de satisfação das categorias de indicadores resultantes da autoavaliação da CPA.
TABELA 2 Satisfação média (%) por grupo de categorias de indicadores
| Grupo | Sigla | Satisfação Média (%) |
|---|---|---|
| Corpo docente | CDO | 86,2 |
| Infraestrutura | INF | 65,1 |
| Organização didático-pedagógica | ODP | 59,6 |
Fonte: Elaboração dos autores.
Ao trabalhar com os indicadores agrupados em categorias, torna-se mais simples realizar a comparação relativa entre eles, uma vez que uma categoria de indicadores pode representar de maneira objetiva uma série de indicadores distintos. A Tabela 3 apresenta uma nomenclatura para cada categoria de indicador, bem como seu respectivo percentual médio de satisfação fornecido pela autoavaliação da CPA.
TABELA 3 Satisfação média (%) por categoria de indicadores
| Grupo | Categoria de Indicadores | Sigla | Satisfação Média (%) |
|---|---|---|---|
| CDO | Atenção ao aluno | ATA | 86,85 |
| Conhecimento do docente | COD | 85,38 | |
| Didática do docente | DID | 82,40 | |
| Organização do docente em aula | ORD | 88,33 | |
| Avaliação e aprendizagem | AVA | 87,80 | |
| INF | Biblioteca | BIB | 70,83 |
| Laboratório | LAB | 67,19 | |
| Sala de aula | SAL | 57,38 | |
| ODP | Atendimento prestado por pessoas | APP | 52,25 |
| Atividades, informações e orientações | AIO | 66,98 |
Fonte: Elaboração dos autores.
Com a estrutura hierárquica do método AHP, foi realizada a configuração do software SuperDecisions®. O modelo foi legitimado por meio dos testes-pilotos junto a membros da CPA, alunos e ex-alunos para a próxima etapa.
Aplicação do modelo
Seleção dos stakeholders
Conforme o modelo proposto, cumprindo o papel de decisores, alunos com a função de representantes de módulo do curso de Medicina foram convidados a participar da pesquisa fornecendo seus julgamentos na comparação dos indicadores estudados. Cada módulo representa um semestre do curso e conta com até dois representantes discentes.
Ao final da apresentação do método de trabalho e dos objetivos propostos, todos os representantes se declararam interessados, disponíveis e voluntários à participação na pesquisa e, assim, para compor uma visão total e equilibrada do corpo discente perante o curso. Foram selecionados 12 representantes, sendo um de cada um dos 12 módulos do curso.
Coleta de dados
A coleta de dados se deu por meio de videoconferências individuais com os stakeholders, respeitando a disponibilidade de tempo e locomoção de cada aluno participante. As participações aconteceram durante maio e junho de 2022 e, devido às características das atividades acadêmicas nesse período, os encontros virtuais ocorreram em variados períodos do dia e em diversos dias da semana, flexibilizando o processo para que os voluntários pudessem dar sua colaboração sem prejuízo de seus compromissos.
Em todas as participações, o método de coleta de dados, bem como a dinâmica de comparação par a par foram explicados aos participantes. Ainda na etapa prévia às comparações, a importância e a observância à consistência dos julgamentos foram alertadas como parte do processo de entrevista para validação dos resultados.
RESULTADOS
Ao final do processo de coleta de dados, extraíram-se os resultados do Super Decisions®. A Tabela 4 apresenta os vetores de prioridades das dimensões para cada representante de módulo.
Na Tabela 4, pode-se notar um equilíbrio de preferência dos alunos ingressantes (M1 a M4) para os indicadores das categorias, com leve predomínio do corpo
docente sobre a infraestrutura (médias geométricas normalizadas:2 0,3720, 0,3426 e 0,2854 para CDO, INF e ODP, respectivamente). Já os alunos mais experientes com o curso (M5 a M12) apresentam maior preferência para os indicadores pertencentes à categoria corpo docente perante as demais (médias geométricas normalizadas: 0,52651, 0,2550 e 0,2185 para CDO, INF e ODP, respectivamente).
A Tabela 5 apresenta os vetores de prioridades das categorias de indicadores para cada representante de módulo.
Na Tabela 5, as três maiores categorias de indicadores em termos de peso médio para os alunos ingressantes (M1 a M4) são LAB, AIO e DID (preocupações mais voltadas para infraestrutura, atividades, informações e orientações e didática docente). Para os alunos de meio de curso (M5 a M8), as categorias mais relevantes em termos de peso médio são DID, AIO e ORD (denotando as mesmas preocupações dos ingressantes, com empate técnico de preferência da organização docente e indicadores de infraestrutura). Já para os alunos veteranos (M9 a M12), as categorias mais relevantes em termos de peso médio são DID, LAB e ATA (didática docente, laboratórios e atenção ao aluno).
Para permitir a observação da ordenação das categorias de indicadores do curso, foram agregados os valores dos grupos dos 12 módulos. Desse modo, os índices das participações individuais foram sintetizados por meio de média geométrica normalizada e cálculo da prioridade de gestão por meio da fórmula (1), conforme apresenta a Tabela 6.
Assim como realizado nos grupos de categorias, para as categorias de indicadores foram agregados os valores das prioridades dos 12 módulos. Desse modo, os índices das participações individuais foram sintetizados por meio de média geométrica normalizada conforme apresenta a Tabela 7.
Após a composição das tabelas de cálculos de indicadores, pesos e de prioridade de gestão (assim como as ordenações desses), foi possível observar o impacto do modelo proposto na apresentação de dados.
Com a aplicação do peso (obtido pelo método AHP) nos índices de satisfação, conforme já demonstrado, dois grupos de categorias sofreram um deslocamento na ordenação de prioridades de gestão e isso aparece na última coluna da Tabela 6. Houve deslocamento de uma posição na ordem de prioridade de gestão nos grupos de categorias INF e ODP, sendo o primeiro na direção de maior prioridade e o segundo na direção de menor prioridade.
Também por meio da aplicação do peso (obtido pelo método AHP) nos índices de satisfação, as categorias de indicadores demonstraram um deslocamento na ordenação de prioridade de gestão, que pode ser observado na coluna final da Tabela 7. Nove categorias de indicadores (90%) sofreram deslocamentos de posição na ordem de prioridade obtida com o modelo aplicado (apenas um manteve a posição). Quatro categorias (40%) tiveram a prioridade aumentada, sendo AIO, LAB e ORD com deslocamento de duas posições e DID com deslocamento de uma posição. Em contrapartida, têm-se 50% das categorias deslocando-se para o sentido de menor prioridade, em que APP e SAL aparecem com duas posições deslocadas e também ATA, AVA e BIB apresentam uma posição de diferença da ordenação obtida originalmente pela CPA.
A Figura 3 auxilia na percepção das diferentes posições de cada categoria de indicadores, de acordo com a proposta de ordenação considerada em cada caso.
Fonte: Elaboração dos autores.
FIGURA 3 Posição de ordenação por categoria segundo diferentes propostas de ordenação
Como parte proposta no modelo, após todo o trabalho de organização dos dados obtidos, a matriz de prioridades resultante da pesquisa foi apresentada à coordenação do curso e a membros da CPA, sendo o processo detalhadamente exposto e os resultados comparados aos resultados atuais da CPA, conforme Figura 4 (a prioridade de gestão foi calculada conforme descrito na seção metodologia (fórmula 1), em que o valor completo para o indicador ter grau de satisfação máximo é igual a 1 menos o desempenho atual do indicador multiplicado pelo peso da categoria da qual o indicador pertence).
Análises de sensibilidade
Para verificar a abrangência de alterações realizadas nos pesos dos grupos de categorias sobre os pesos finais das categorias de indicadores e consequentemente na ordenação da prioridade de gestão obtida, foi realizada uma análise de sensibilidade. Essa análise consistiu em realizar mudanças de grande, média e pequena dimensão nos valores, buscando encontrar o ponto em que a alteração realizada passaria a impactar a ordenação dos pesos e posteriormente a ordenação final.
Cada um dos grupos foi modificado e analisado separadamente, tendo o valor do peso da categoria (oriundo da média geométrica obtida do total das participações) ajustado e observado sistematicamente, respeitando a seguinte rotina:
etapa de grande dimensão: para cada limite buscado (inferior ou superior), o valor do peso do grupo foi ajustado em 10% até que fosse percebida alteração na ordenação observada. Se nenhuma alteração fosse notada, mais um ajuste de 10% era realizado no mesmo sentido de alteração (reiniciando a etapa); já caso alguma alteração acontecesse, a etapa era encerrada, partindo então para a etapa de média dimensão;
etapa de média dimensão: para cada limite buscado (inferior ou superior), o valor do peso do grupo foi ajustado em 5% até que fosse percebida alteração na ordenação observada. Se nenhuma alteração fosse notada, mais um ajuste de 5% era realizado no mesmo sentido de alteração (reiniciando a etapa); já caso alguma alteração acontecesse, a etapa era encerrada, partindo então para a etapa de pequena dimensão;
etapa de pequena dimensão: para cada limite buscado (inferior ou superior), o valor do peso do grupo foi ajustado em 1% até que fosse percebida alteração na ordenação observada. Se nenhuma alteração fosse notada, outro ajuste de 1% era realizado no mesmo sentido de alteração (reiniciando a etapa); já caso alguma alteração acontecesse, a última alteração era desfeita e o valor obtido assumido como limite buscado.
A análise realizada, contemplando os três grupos de categorias de indicadores, produziu dados sobre os valores mínimos, máximos e o percentual de variação em relação ao valor original, dados esses que podem ser observados na Tabela 8.
TABELA 8 Resultados da análise de sensibilidade: variação de pesos (via AHP) sobre a prioridade de gestão (PG)
| Grupo | Mínimo Ord. |
Máximo Ord. |
Variação Ord. (%) | Mínimo PG |
Máximo PG |
Variação PG (%) |
|---|---|---|---|---|---|---|
| CDO | 0,355 | 0,442 | 20 | 0,190 | 0,502 | 72 |
| INF | 0,257 | 0,267 | 4 | 0,235 | 0,269 | 13 |
| ODP | 0,217 | 0,246 | 13 | 0,215 | 0,246 | 14 |
Fonte: Elaboração dos autores.
Cada grupo de categorias de indicadores apresentou um comportamento diferente quando realizadas as perturbações em seus índices, conforme detalhado a seguir:
CDO (corpo docente) apresentou resistência à perturbação em uma faixa de 20% do valor original não normalizado (0,435), antes que houvesse quaisquer impactos na ordenação das categorias de indicadores (observando-se seus índices normalizados como parâmetro de ordenação). Sendo assim, observou-se que entre os índices de 0,355 e 0,442 a perturbação não causa distúrbios na ordenação. Ainda nesse mesmo grupo, outros valores são observados quando se considera o impacto na ordenação no índice de prioridade de gestão como parâmetro, apresentando então uma resistência à perturbação em uma faixa de 72% do valor original não normalizado (0,435), demonstrando que entre os índices de 0,190 e 0,502 a perturbação não causa distúrbios na ordenação observada.
INF (infraestrutura) apresentou resistência à perturbação em uma faixa de 4% do valor original não normalizado (0,261), antes que houvesse quaisquer impactos na ordenação das categorias de indicadores (observando-se seus índices normalizados como parâmetro de ordenação). Sendo assim, observou-se que entre os índices de 0,257 e 0,267 a perturbação não causa distúrbios na ordenação. Ainda nesse mesmo grupo, outros valores são observados quando se considera o impacto na ordenação no índice de prioridade de gestão como parâmetro, apresentando então uma resistência à perturbação em uma faixa de 13% do valor original não normalizado (0,261), demonstrando que entre os índices de 0,235 e 0,269 a perturbação não causa distúrbios na ordenação observada.
ODP (organização didático-pedagógica) apresentou resistência à perturbação em uma faixa de 13% do valor original não normalizado (0,222), antes que houvesse quaisquer impactos na ordenação das categorias de indicadores (observando-se seus índices normalizados como parâmetro de ordenação). Sendo assim, observou-se que entre os índices de 0,217 e 0,246 a perturbação não causa distúrbios na ordenação. Ainda nesse mesmo grupo, outros valores são observados quando se considera o impacto na ordenação no índice de prioridade de gestão como parâmetro, apresentando então uma resistência à perturbação em uma faixa de 14% do valor original não normalizado (0,222), demonstrando que entre os índices de 0,215 e 0,246 a perturbação não causa distúrbios na ordenação observada.
Outra análise realizada nesta pesquisa permite observar a característica de três grupos distintos de participantes, de acordo com sua etapa na cronologia do curso e o impacto da observação desses grupos separadamente. Tal observação é válida devido ao fato de o curso possuir uma estrutura organizacional pedagógica que insere seus alunos em condições bastante distintas durante o seu decorrer.
Ao analisar as participações dos representantes do curso, separando por fase e processando os dados de prioridade de gestão com base exclusiva nas participações de stakeholders da fase selecionada, obtém-se uma lista ordenada de prioridades de gestão diferente da listagem das prioridades quando considerados todos os 12 módulos (6 anos) do curso por meio de seus representantes participantes na pesquisa.
Quando observados isoladamente os pesos obtidos com os participantes da fase 1 do curso, notam-se deslocamentos nos resultados da prioridade de gestão se comparados aos da prioridade de gestão obtidos do tratamento de dados do escopo completo do curso (todos os módulos participantes). A análise isolada da fase 1 aponta quatro categorias de indicadores que sofreram impacto em sua ordenação com relação à ordenação com base no contexto geral do curso, sendo que as categorias APP e AIO subiram individualmente uma posição na prioridade de gestão, enquanto LAB e SAL deslocaram-se individualmente uma posição para baixo, conforme registrado na Tabela 9.
Fonte: Elaboração dos autores.
Nota: (1) Refere-se à diferença quanto à ordem na prioridade de gestão em relação à Tabela 7.
TABELA 9 Dados considerando a fase 1 (M1 ao M4) e diferença em relação ao resultado geral (M1 a M12)
Observando de maneira isolada os pesos obtidos com os participantes da fase 2 do curso, notam-se deslocamentos nos resultados da prioridade de gestão se comparados aos da prioridade de gestão obtidos do tratamento de dados do escopo completo do curso (todos os módulos participantes). A análise isolada da fase 2 aponta seis categorias de indicadores que sofreram impacto em sua ordenação com relação à ordenação com base no contexto geral do curso, sendo que a categoria LAB apresentou o maior deslocamento, subindo três posições na prioridade de gestão, seguida de ORD e SAL, que se deslocaram duas posições para baixo na prioridade, enquanto BIB, COD e DID deslocaram-se uma posição apenas, sendo que desses últimos apenas DID recebe um deslocamento no sentido de menor prioridade, conforme registrado na Tabela 10.
Fonte: Elaboração dos autores.
Nota: (1) Refere-se à diferença quanto à ordem na prioridade de gestão em relação à Tabela 7.
TABELA 10 Dados considerando a fase 1 (M5 ao M8) e diferença em relação ao resultado geral (M1 a M12)
Ao observar isoladamente os pesos obtidos com os participantes da fase 3 do curso, notam-se deslocamentos nos resultados da prioridade de gestão se comparados aos da prioridade de gestão obtidos do tratamento de dados do escopo completo do curso (todos os módulos participantes). A análise isolada da fase 3 aponta seis categorias de indicadores que sofreram impacto em sua ordenação com relação à ordenação com base no contexto geral do curso, sendo que a categoria AIO apresentou o maior deslocamento, subindo três posições na prioridade de gestão, seguida de DID que se deslocou duas posições para baixo na prioridade, enquanto ATA, APP, LAB, ORD e SAL deslocaram-se uma posição apenas, sendo que apenas ATA, APP e LAB recebem um deslocamento no sentido de menor prioridade, conforme registrado na Tabela 11.
Fonte: Elaboração dos autores.
Nota: (1) Refere-se à diferença quanto à ordem na prioridade de gestão em relação à Tabela 7.
TABELA 11 Dados considerando a fase 3 (M9 ao M12) e diferença em relação ao resultado geral (M1 a M12)
Ao final das análises, é notável que a resistência à perturbação em cada grupo condiz com sua abrangência inicial, em que CDO era o grupo de maior peso e suportou a maior perturbação sem gerar impacto na ordenação final. Observou-se também que, dentre as três fases observadas do curso, a fase 1 é o período que teve a análise menos divergente da análise completa do curso, apresentando um total de quatro posições de deslocamento total. Enquanto isso, as fases 2 e 3 apresentaram dez posições de deslocamento total em ambas as análises. Percebe-se também que as categorias que sofreram deslocamento são distintas entre as análises de cada fase, o que reforça a necessidade de ouvir representantes de cada uma das fases do curso durante os processos de avaliação.
CONCLUSÕES E CONSIDERAÇÕES FINAIS
O objetivo deste estudo foi priorizar indicadores de satisfação discente para permitir uma tomada de decisão mais assertiva por parte dos gestores da IES. A busca por esse objetivo resultou no levantamento de diversas informações pertinentes à pesquisa e permitiu produzir uma proposta direcionada a responder às demandas detectadas, com a utilização de um modelo baseado no uso de MCDM (AHP) para priorização de ações de gestão.
As informações obtidas na fase de levantamento bibliográfico apontam que o crescimento na produção de trabalhos científicos sobre MCDM aplicados na área de educação, com enfoque para avaliação, ocorreu a partir de 2010. Foi possível detectar que vários métodos são utilizados e combinados para essa finalidade, além de menção aos MCDM híbridos, que têm se tornado cada vez mais frequentes.
Assim como em alguns trabalhos analisados no levantamento bibliográfico, esta pesquisa construiu um instrumento para aprimoramento do apoio a decisões em um ambiente educacional e conseguiu obter resultados que direcionam para um melhor suporte informacional no trabalho de levantamento de dados e na obtenção de prioridades de gestão.
Ao final da aplicação do modelo, os dados obtidos demonstram que a combinação de indicadores de satisfação com a visão sobre relevância das categorias de indicadores vinda dos stakeholders permite uma relação de prioridades de gestão equilibrada entre a satisfação percebida e a visão de importância relativa entre os itens.
Como objetivado nesta pesquisa, foi possível propor um modelo de apoio à decisão que estende o diagnóstico atual da CPA, assim como testá-lo de maneira prática para sua legitimação quanto à funcionalidade e aplicabilidade. Também como objetivado, a aplicação efetiva do modelo proposto trouxe respostas à questão deste estudo e demonstrou resultados que apontam para variações importantes quanto à definição das prioridades de gestão e apoio a decisões.
O método AHP se mostrou acessível e aplicável dentro do modelo proposto, uma vez que a coleta de dados se deu sem transtornos e transcorrendo de forma clara e objetiva durante o processo. Os stakeholders participantes compreenderam de forma satisfatória a maneira de expressar seus julgamentos, bastando apenas uma orientação prévia sobre o método. Após a conclusão da participação e observação dos resultados, os stakeholders demonstraram tranquilidade e satisfação com o processo, inclusive com o resultado individual (matriz de prioridades) obtido sendo demonstrado a eles. Cabe registrar que os participantes declararam considerar muito positivo o empenho em obter uma melhor instrumentação na tarefa de melhoria contínua de seu curso, bem como ressaltaram o desejo em poder observar o impacto deste trabalho nas ações futuras por parte da gestão do curso.
O uso de MCDM para definir prioridades de gestão mais consistentes se mostrou uma boa alternativa. Após combinar a relação de pesos construída com o apoio do MCDM AHP (agregação das participações individuais) aos índices de satisfação existentes (provenientes dos trabalhos da CPA), foi percebido um significativo ajuste na ordenação dos itens analisados. Isso permite aproximar as ações tomadas pelos decisores das percepções de importância apontadas pelos stakeholders envolvidos no processo avaliativo, ainda mantendo o respeito à tendência obtida pela observação da satisfação declarada por eles.
A coordenação destacou a importância da ampliação de visão sobre os resultados das avaliações da CPA, expressando também que a hierarquia de pesos obtida por meio da coleta das opiniões do corpo discente apresenta diferenças quanto à expectativa de pesos percebida empiricamente pela gestão do curso. Julga que o modelo proposto pode agregar valor aos processos de gestão do curso e destacou ainda que a possibilidade de ampliar o grupo de stakeholders, em busca de averiguar uma visão mais sólida e precisa sobre o curso, pode ser um caminho natural no uso prático do modelo proposto.
Observando a presente pesquisa com a visão de membro da CPA da IES estudada, os pesquisadores puderam vivenciar e analisar todo o processo prático de aplicação e obtenção de resultados. Tal vivência permitiu perceber a plena aplicabilidade do modelo, assim como a grande aceitação por parte dos stakeholders. A observação específica dos resultados obtidos em comparação aos resultados tradicionais da CPA (e que motivaram o ingresso nesta pesquisa) evidenciou um ajuste nas indicações de prioridade de gestão que direcionam favoravelmente o diagnóstico de autoavaliação à percepção de importância declarada (obtida com AHP) pelo corpo discente.
O presente estudo, no intuito de viabilizar a aplicação do modelo proposto, apresenta a limitação de não ter executado os processos no âmbito de indicadores de satisfação, ficando apenas no nível hierárquico de categorias desses mesmos indicadores. Tal condição pode ser alvo de um novo empenho de pesquisa, a fim de avaliar a ampliação desse escopo de detalhamento e a observância das consequências.
Como sugestão de trabalhos futuros, fica a possibilidade de aplicar o modelo proposto com os demais cursos da IES, permitindo assim um melhor direcionamento de gestão para a realidade de cada curso. Uma aplicação abrangente do modelo permitiria observar tendências de prioridades nos âmbitos de departamentos, áreas do conhecimento, campus e da IES como um todo. Também como sugestão para trabalhos futuros, fica a possibilidade de promover a coleta de dados com um maior número de stakeholders envolvidos, podendo ainda fazer a experimentação do uso da agregação AIP como alternativa.
