Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
Introdução
A autoavaliação é um processo que possibilita às instituições de ensino, o autoconhecimento e a análise crítica das ações acadêmicas, possibilitando a identificação de processos institucionais passíveis de mudança e aprimoramento. Os processos avaliativos oferecem subsídios que podem ser empregados pelos gestores para melhoria da qualidade e da eficiência da instituição. Por ser um processo de reflexão, a autoavaliação institucional é um instrumento que suscita o questionamento, abre possibilidades para novos conhecimentos e proporciona o diálogo profícuo, por isto, ela convoca os membros da comunidade acadêmica para que juntos possam determinar os novos rumos da Instituição. É por este motivo que a autoavaliação é um processo contínuo que mostra o lugar em que estamos e para onde queremos ir de forma que possamos contribuir de maneira eficaz para o cumprimento da missão institucional.
Dada a importância dos processos avaliativos para o bom funcionamento de uma instituição de ensino superior, o objetivo deste artigo é apresentar um estudo de caso com a utilização da análise fatorial para discutir a importância do tratamento dos dados para sua utilização na gestão institucional. Os dados analisados são oriundos das respostas dos alunos aos questionários de autoavaliação institucional, em 2018. O questionário dos alunos contempla aspectos do Sistema Nacional de Avaliação da Educação Superior - Sinaes - que se relacionam a este público e questões que refletem as especificidades da instituição. A principal vantagem da análise fatorial é a possibilidade de se analisar um conjunto de variáveis de forma reduzida, simplificando a análise e também explorando as relações entre as variáveis. Dessa forma, é possível produzir discussões de forma mais ágil e acompanhar os resultados ao longo do tempo de maneira mais sistemática, tendo em vista, a importância do uso dos resultados das avaliações para a gestão da instituição, ou seja, não é suficiente realizar processos avaliativos é fundamental que sua concepção e resultados façam parte do planejamento institucional para promover mudanças.
A autoavaliação institucional é uma das modalidades propostas pelo Sinaes, implantado em 2004, pela lei n. 10.681. O Sinaes tem com o objetivo de criar uma sistemática de avaliação deste nível de ensino que abrangesse diferentes dimensões institucionais. Este sistema foi estabelecido visando à sua integralidade e respeitando a identidade e a diversidade institucional, com centralidade na avaliação institucional participativa, ou seja, com responsabilidades compartilhadas, e que proporcionassem a interlocução entre a comunidade acadêmico-científica e os órgãos de regulação do Estado. Cada instituição deve organizar seu processo de acordo com suas especificidades e contexto em que está inserida.
O Sinaes estabelece que as instituições possuem autonomia para conduzirem seus processos, desde a definição metodológica até a estruturação e divulgação dos resultados. O presente estudo é de abordagem quantitativa, ao explorar a análise fatorial, mas ressaltamos que consideramos importante uma abordagem holística da autoavaliação institucional. Assim sendo, a análise aqui apresentada só faz sentido quando entra em diálogo com diferentes setores e membros da comunidade acadêmica e quando a sua interpretação considera as especificidades da IES.
O processo avaliativo considerado neste trabalho inclui aspectos acadêmicos, estruturais e de gestão da IES. Vale ressaltar que os dados utilizados foram gerados a partir de simulações, usando os resultados do referido processo e não representam a realidade de uma instituição específica. O objetivo é usar o processo, tanto de coleta, quanto de análise dos resultados, como um estudo de caso sem preocupação com os valores gerados, já que a principal finalidade é considerar uma possibilidade de uso dos resultados auferidos a partir da técnica de redução de dados - a análise fatorial - como uma ferramenta de acompanhamento e gestão.
Processos avaliativos na educação superior
A segunda fase de expansão do acesso ao ensino universitário reflete a ideia de que o direito a uma educação de nível superior é elemento essencial na construção da sociedade, no fortalecimento dos valores democráticos, no desenvolvimento da cidadania e no crescimento econômico e social das nações. Associada à ampliação das possibilidades de emprego, de inclusão socioeconômica e de redução das assimetrias existentes na sociedade, a educação superior apresenta um crescimento quantitativo exponencial em todo o mundo, aberta aos públicos mais diversos e proporcionando, uma grande diversificação do perfil estudantil (OCDE, 2014; Unesco, 2009 citado por Bisinoto; Almeida, 2017).
Além disso, a expansão da educação superior suscitou a preocupação com a qualidade do ensino ofertado pelas instituições e com a necessidade de se construir processos avaliativos que monitorem o ensino que está sendo ofertado nas instituições. Por esses motivos, se intensificou a preocupação com a criação de sistemas de garantia de qualidade das instituições, com mecanismos de regulação e de avaliação. (Unesco, 2009 citado por Bisinoto e Almeida, 2017).
Em 1993 foi criado o Programa de Avaliação Institucional das Universidades Brasileiras - Paiub -, um modelo avaliativo pioneiro das instituições de ensino que, diante do desafio de se implantar um sistema de avaliação institucional centrada na graduação, propôs um projeto de avaliação institucional que pudesse se contrapor aos ranqueamentos. O Paiub tornou-se uma proposta de avaliação a reconhecer o “caráter singular do mundo acadêmico (...) um espaço público livre destinado ao avanço da ciência e da arte” no processo avaliativo (Ristoff, 1997, p. 1).
Com a experiência acumulada e com a reorganização do sistema nacional de avaliação do ensino superior, nos termos do decreto n. 2.026/1996, que estabelece u procedimentos para o processo e avaliação dos cursos e instituições de ensino superior, o Paiub foi retomado pelas instituições. O ponto central deste decreto foi a “análise dos principais indicadores de desempenho global do sistema nacional de ensino superior, por região e unidade da federação, segundo as áreas do conhecimento, bem como o tipo ou a natureza das instituições de ensino” (Marchelli, 2007, p. 198). Entre 1995 a 2003, foi instituído também o Exame Nacional de Cursos, que vigorou até a criação do Sistema Nacional de Avaliação da Educação Superior - Sinaes -, em 2004, que trouxe para centro do debate a necessidade de se adotar um conjunto diversificado de instrumentos para integrar os processos avaliativos desenvolvidos pelo MEC, pelos sistemas estaduais de avaliação e outros instrumentos e informações diversos, inclusive a autoavaliação. Este novo modelo retirou a centralidade do desempenho do aluno como único parâmetro para atestar a qualidade do curso e da instituição, e inseriu outras dimensões que precisam ser consideradas em sua avaliação. Para isso, foi necessário elaborar instrumentos capazes de integrar processos, informações advindas das mais variadas fontes que capturem a realidade institucional e educacional em sua totalidade (Ristoff, 2004).
O Sistema Nacional de Avaliação da Educação Superior - Sinaes - surgiu a partir de uma proposta do governo federal, em 2002, com o objetivo de rever o sistema de avaliação da educação vigente, na época, e implementar um novo, a partir de experiências como
o Paiub, (...) processo de avaliação criado e consolidado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), a partir de 1976; o Programa de Avaliação da Reforma Universitária (Paru), criado em 1983; o Grupo Executivo para a Reforma da Educação Superior (Geres), instituído em 1985; o Exame Nacional de Cursos (ENC); a Avaliação das Condições de Oferta/Ensino, e a Avaliação de Centros Universitários, implantados em 1996. (Ristoff; Giolo, 2006, p. 2)
Com a criação do Conselho Nacional de Educação - CNE -, em 1995, surgiu a necessidade de se implantar um modelo de avaliação periódica das instituições de ensino e dos cursos de graduação, sob a responsabilidade do poder público. Esta era uma questão que não poderia mais ser adiado. A LDB atribuiu ao governo federal a responsabilidade de realizar processos avaliativos sistemáticos dos cursos e das instituições de ensino. Já o Plano Nacional de Educação de 2001 previu a necessidade da criação de um Sistema Nacional de Avaliação da Educação Superior no Brasil de forma que esse novo sistema zelaria pela garantia da qualidade da educação:
O Plano Nacional de Educação (PNE), criado pela Lei 10.172/2001, deixa muito explícita a necessidade de um Sistema Nacional de Avaliação. No artigo 4°, o PNE estabelece que: Art. 4º A União instituirá o Sistema Nacional de Avaliação e estabelecerá os mecanismos necessários ao acompanhamento das metas constantes do PNE. O novo sistema definido pelos legisladores deveria ter como função precípua o cuidado com o cumprimento das metas estabelecidas tanto para a educação básica como para a superior. A compreensão desta função torna-se mais clara quando atentamos para a dupla meta do plano: 1) expandir as matrículas; e 2) garantir qualidade. (Ristoff; Giolo, 2006, p. 3)
O Sinaes permitiu que os processos de avaliação de uma IES se consolidassem sob três pressupostos fundamentais: a integração dos processos avaliativos compondo um sistema de avaliação do ensino superior; a articulação das diversas dimensões e metodologias de avaliação e a participação dos membros internos e externos às instituições envolvidos com os processos avaliativos. A avaliação institucional tornou-se, também, um ato regulatório que credencia e reconhece cursos e instituições de ensino superior para seu funcionamento.
O modelo de avaliação estabelecido pelo Sinaes pretende promover a melhoria da qualidade da educação superior, expandir a sua oferta e aumentar a eficácia e a efetividade acadêmica e social da IES, principalmente no que tange à promoção e ao aperfeiçoamento da função social da instituição, da promoção dos valores democráticos, respeito às diferenças e à diversidade, da afirmação da autonomia e identidade institucionais (Reis et al, 2010).
Tem-se, portanto, um sistema de avaliação estabelecido pelo Ministério da Educação, com o objetivo de aferir em que medida as diretrizes e os parâmetros determinados pelo Estado são cumpridos por instituições de ensino superior das redes pública e privada em todo o país. Um sistema que determina parâmetros a serem seguidos por todas as instituições de ensino superior. Esse sistema é composto por três frentes de avaliação e se estrutura conforme a figura 1.
Cada uma destas frentes incorpora diferentes aspectos das IES e, consequentemente, adotam indicadores que refletem tais aspectos.
O Sinaes tem como princípios a responsabilidade social com a qualidade da educação superior, o reconhecimento da diversidade do sistema, o respeito à identidade, à missão e à história das instituições de ensino, a continuidade dos seus processos, a globalidade, isto é, a compreensão de que a instituição deve ser avaliada a partir de um conjunto significativo de indicadores (Brasil, 2004). No que se refere à autoavaliação institucional, que é o objeto de interesse deste artigo, o Sinaes estabelece que a Comissão Própria de Avaliação da IES deve avaliar dez dimensões da educação superior: políticas acadêmicas; infraestrutura física; gestão e organização; comunicação com a sociedade; responsabilidade social; avaliação e planejamento; política de pessoal; missão e plano de desenvolvimento institucional; políticas de atendimento ao aluno e ao egresso e sustentabilidade financeira.
Estas dimensões possibilitam uma avaliação sistêmica e mais abrangente da vida acadêmica, das políticas e das iniciativas empreendidas pelos seus vários segmentos. Entretanto, não há determinação de como estas dimensões devem ser observadas ou mensuradas. As comissões próprias de avaliação que no uso da sua autonomia conferida pela lei n. 10.861/2004, no âmbito da instituição, definem os instrumentos e as metodologias para a coleta das informações levando em consideração as orientações do roteiro do Sinaes que estabelecem os aspectos de cada uma das dez dimensões, os quais deverão ser considerados na realização dos trabalhos em torno da autoavaliação. Além disso, as CPAs, considerando o contexto específico da sua instituição, podem acrescentar outros aspectos que considerem relevantes na autoavaliação (Ristoff; Giolo, 2006).
Vale lembrar que há uma legislação específica sobre o papel e o escopo de atuação da CPA, assim como os critérios que devem ser utilizados para a autoavaliação institucional. Isso com a visão voltada para medir o alcance do que foi planejado, identificar os avanços obtidos e os desafios existentes, a partir da percepção de todos os segmentos, públicos e grupos de avaliadores em torno da vida acadêmica. Sendo assim, as bases para que se possa realizar a autoavaliação estão dadas, tanto pelos próprios componentes do ambiente político institucional que norteiam a política de educação, quanto pelos elementos internos à própria organização universitária.
A autoavaliação institucional tem seus parâmetros estabelecidos por esse conjunto de dispositivos que, de fato, se constituem como referências delimitadoras do percurso teórico-metodológico que possibilitará a interpretação dos dados, requerendo da instituição um olhar interno às suas próprias estruturas, às suas atividades acadêmico-institucionais e a seus cursos de graduação, pós-graduação e tecnológicos. Isso não se restringe a uma simples atribuição de notas e conceitos às várias dimensões avaliadas, mas exige investigação profunda, análise criteriosa e fundamentada teoricamente.
A ênfase do MEC e a orientação do Sinaes são no sentido de que o plano de desenvolvimento institucional seja utilizado como parâmetro da avaliação em intrínseca relação com o planejamento e a gestão acadêmica. Isso reforça a natureza da avaliação como uma medida de aferição dos resultados e da qualidade dos processos acadêmico-pedagógicos e administrativos, propugnados pelas próprias IES e como parte do papel que ocupam na política educacional do país. Nesse sentido, a avaliação se desenvolve de modo interativo e processual, dado o seu caráter de construção coletiva e da dinâmica de subsidiar proposições de mudanças, balizada pelos ditames da legislação federal, mas também pelo planejamento institucional.
Neste sentido, apresentamos uma análise de resultados da autoavaliação institucional, empregando a técnica de análise fatorial, a fim de ilustrar uma possibilidade de uso e tratamento de dados de questionários de survey respondidos por alunos, para utilização na gestão institucional. No contexto da autoavaliação, percebemos que o uso da análise fatorial se justifica em termos metodológicos tendo em vista o potencial da técnica principalmente ao permitir reduzir um grande número de variáveis e analisar a relação entre elas. A análise fatorial também pode ser feita por grupos, como os cursos, departamentos, campi, dentre outros, permitindo uma análise mais próxima de um contexto específico dentro de uma mesma instituição. Em nossos resultados apresentamos um exercício para área do conhecimento.
A técnica da análise fatorial: uma ferramenta auxiliar de análise de dados
Ao finalizarmos o processo de avaliação, há uma grande quantidade de dados e que, muitas vezes, dificulta sua utilização. Assim sendo, é importante o uso de técnicas estatísticas para interpretação dos dados, no caso aqui apresentado, foi utilizada a análise fatorial com o objetivo de reduzir o volume de dados e obtermos alguns fatores que possibilitam um uso facilitado dos resultados da avaliação.
A análise fatorial é uma técnica que permite identificar variáveis que caminham juntas, em outras palavras, que apresentam a mesma estrutura subjacente, para reduzir uma grande quantidade de informações observadas a um número reduzido de fatores (Tabachinick; Fidell, 2007 citados por Figueiredo Filho; Silva Jr., 2010)Estes fatores, por sua vez, representam dimensões latentes, ou seja, construtos que resumem e explicam um conjunto de variáveis que estão sendo observadas (Hair et al, 2005 citado por Figueiredo Filho; Silva Jr., 2010). Segundo os autores, quando esses dados são resumidos, a análise fatorial obtém dimensões latentes que descrevem os dados em um número reduzido de conceitos, de forma que ela oferece alternativas de estudos e análises de um grande número de informações agregadas em número reduzido de conceitos.
De acordo com Hair et al (2005), análise fatorial é uma abordagem estatística que pode ser utilizada para analisar as inter-relações entre um grande número de variáveis e explicar estas variáveis em termos de uma dimensão latente comum a elas. O objetivo é encontrar uma forma de condensar as informações contidas nas variáveis originais em um conjunto menor de variáveis - os fatores - com o mínimo de perda de informação possível. Por meio de uma estimação estatística das estruturas das variáveis consideradas, a análise fatorial torna-se uma forma de criar escalas de agregação de informações.
Esta estratégia de análise pode ser utilizada com diferentes propósitos. Quando a utilização da análise fatorial com o objetivo de data reduction, permite criar um novo conjunto de variáveis, em um número bem inferior, que irá substituir as variáveis originais. Estas novas variáveis - neste caso os nossos eixos analíticos - retém a natureza e as características das variáveis originais, mas reduzem a quantidade a fim de simplificar as análises subsequentes. Sendo assim, justifica-se a escolha por esta técnica de análise para o estudo dos resultados da autoavaliação institucional, uma vez que há uma quantidade massiva de dados que precisa ser sistematizada em medidas de agregação que reflitam cada um dos eixos analíticos elencados anteriormente.
Compreendemos, a partir das análises dos resultados obtidos sobre a percepção dos alunos que participaram da autoavaliação institucional em 2018, o quanto a técnica de análise fatorial contribuiu para simplificar a análise dos dados e ampliar as possibilidades de leitura dos resultados. O instrumento utilizado na pesquisa contemplou questões que referenciam as dimensões do Sinaes e foi disponibilizado para todos os alunos da Universidade, nos meses de maio e junho de 2018. Neste artigo, apresentamos um conjunto de resultados que foi obtido com estudo desenvolvido em torno dos resultados do referido processo avaliativo.
Uma vez estabelecida a necessidade de preservar e abranger as particularidades das IES no processo de autoavaliação institucional, reconhecemos a importância de dois fatores: a escolha, construção e aplicação do instrumento que coleta os dados a serem avaliados pela instituição e os métodos de processamento e análise destas informações. Cabe ainda ressaltar que o instrumento de coleta dos dados é responsável por captar as mencionadas especificidades das instituições de ensino - característica da autoavaliação institucional. Consequentemente, espera-se que as análises dos resultados por meio da técnica de Análise Fatorial sejam capazes de traduzir a realidade avaliada.
No que se refere ao primeiro fator, a IES em questão adotou a elaboração e aplicação de questionários que se enquadram na pesquisa do tipo surveys - uma das principais ferramentas utilizadas nas ciências sociais. Isso ocorre, dentre diversos fatores, devido à ampla possibilidade de sua utilização para tratar de diferentes temas sociais. Além disso, os surveys oferecem um método de verificação empírica ao mesmo tempo em que são adequados à intersubjetividade e possibilitam a quantificação de dados que se tornam fonte permanente de informações (Babbie, 2001).
Questões como o tamanho da população de casos - quantidade de respondentes - e rapidez do processamento dos dados foram aspectos relevantes que foram considerados na escolha deste tipo de instrumento (Babbie, 2001), pois além de ser muito eficaz para pesquisa em grande escala, ele possibilitou coletar uma quantidade muito grande de respostas dos alunos que avaliaram a instituição em suas dimensões.
O questionário foi estruturado em 42 questões para as quais os respondentes, neste caso os estudantes atribuíram notas de 1 a 5, sendo 1 a pior e 5 a melhor avaliação. Estas questões foram agrupadas em seis eixos de análise que compõem o estudo realizado e se relacionam aos eixos estabelecidos no Sinaes: Qualidade dos cursos e da IES; Comunicação; Infraestrutura física; Infraestrutura tecnológica; Biblioteca; Práticas acadêmicas. O estudo dos resultados recuperou as dimensões do conceito sistematizado e reuniu seis eixos de análise, conforme o quadro 1.
Quadro 1 Componentes do score de autoavaliação institucional.
| Eixos | Questões |
|---|---|
| Atuação e qualidade da IES e do curso | Formação humana e ética |
| Formação profissional e/ou científica | |
| Integração entre Ensino, Pesquisa e Extensão | |
| Produção e disseminação do conhecimento, da arte e da cultura | |
| Atenção aos setores excluídos da sociedade e promoção da cidadania | |
| Qualidade do curso | |
| Qualificação dos professores | |
| Reconhecimento do diploma no mercado de trabalho | |
| Atendimento dos funcionários | |
| Segurança de dentro do campus/unidade | |
| Comunicação | Estratégias de divulgação das ações de extensão no curso |
| Estratégias de divulgação das ações de pesquisa no curso | |
| Eficácia dos veículos de comunicação utilizados na divulgação de eventos realizados na Universidade | |
| Qualidade do atendimento prestado pela Central de Informações | |
| Clareza nas informações divulgadas pela coordenação do curso | |
| Infraestrutura física | Cantinas, setores de alimentação |
| Espaços de convivência | |
| Banheiros | |
| Posto médico | |
| Salas de aula adequadas às necessidades do curso | |
| Laboratórios de informática | |
| Auditórios | |
| Salas multimídia | |
| Serviço de fotocópias | |
| Infraestrutura tecnológica | Aplicativo |
| WI-FI | |
| Sistema de gestão acadêmica | |
| Biblioteca | Acervo virtual: artigos e periódicos, teses e dissertações etc. |
| Acesso aos e-books | |
| Acervo adequado à bibliografia indicada pelos professores | |
| Recursos de informática da biblioteca | |
| Atendimento dos funcionários | |
| Práticas acadêmicas | Ações de pesquisa desenvolvidas pelo curso |
| Ações de extensão desenvolvidas pelo curso | |
| Ações de monitoria oferecidas pelo curso | |
| Ações de nivelamento oferecido pelo curso para sanar dificuldades encontradas na formação acadêmica | |
| Ações de promoção da interdisciplinaridade adotadas pelo curso | |
| Supervisão acadêmica do estágio obrigatório | |
| Inovações didático-pedagógicas adotadas nas disciplinas curriculares do curso | |
| Ações de promoção da mobilidade acadêmica com instituições internacionais | |
| Ações de promoção da mobilidade acadêmica com instituições nacionais | |
| Ações de valorização da diversidade, do meio ambiente, dos direitos humanos e do desenvolvimento cultural e artístico realizadas pelo curso |
Fonte: autoavaliação institucional, 2018
O segundo fator relevante para preservação e abrangência das particularidades das IES no processo de autoavaliação institucional é o método de processamento e análise dos dados coletados. A este respeito, uma vez que os dados foram coletados e sistematizados em agrupamentos conforme as dimensões apresentadas, optou-se pela análise fatorial de componentes principais para realização dos cálculos que sustentaram o estudo.
O estudo foi organizado em quatro etapas: análise descritiva exploratória das variáveis que compunham o eixo; montagem da matriz de correlações para cada eixo entre estas variáveis; cálculo dos escores através da análise dos componentes principais e normalização dos escores em um índice com variação de 0 a 1. Os dados para esta construção são resultado de simulações que não pretende refletir uma realidade institucional específica, mas demonstrar, por meio de um estudo quantitativo, as contribuições da técnica de análise fatorial na autoavaliação institucional.
Análise fatorial utilizada para o estudo dos resultados da autoavaliação institucional da IES
Na primeira etapa da análise, realizou-se uma descrição completa dos dados a fim de conhecer o comportamento das distribuições e características gerais de cada uma das 42 variáveis, presente na tabela A1 do apêndice. Por exemplo, no caso do eixo Atuação da IES e qualidade do curso, observaram-se médias semelhantes entre todas as variáveis, com destaque para as notas dadas a Reconhecimento do diploma no mercado de trabalho, Formação profissional e/ou científica e a Atendimento dos funcionários, que receberam melhores pontuações médias e menores desvios-padrão. Esse resultado indica que estes três aspectos são percebidos como dimensões de maior qualidade e sobre as quais há menos discordâncias entre os estudantes - menor desvio-padrão. Entretanto, apesar de serem diferentes, estas variáveis não se comportaram de forma expressivamente diferente das demais componentes do eixo, o que indica que estas características podem ser analisadas em grupo. O mesmo comportamento foi observado na análise descritiva das variáveis que compõem os demais eixos.
O segundo passo deste estudo foi construir uma matriz de correlações entre as variáveis utilizadas com objetivo de identificar a dependência nas variações entre si, pois a análise fatorial depende de um padrão claro de correlação entre as variáveis de interesse. Os valores de correlações variam entre -1 e 1, sendo quanto mais próximo de -1 ou 1, mais forte é a correlação identificada. Valores acima de 0,30 indicam que os dados são adequados para realizar a análise fatorial. Isso se justifica porque as variáveis que são estatisticamente independentes não contribuem para a construção de um fator comum que expresse o conjunto das variáveis, ou seja, se a relação entre as variáveis de um eixo não for forte, não é possível extrair um valor de agregação que represente aquelas variáveis (Figueiredo Filho; Silva Jr., 2010). Nas tabelas A2 à A7 do apêndice, encontram-se as matrizes de correlação das variáveis componentes de cada eixo, em que se observam, de modo geral, correlações fortes entre todas as variáveis dos grupos. Para ilustrar, na tabela 1, encontra-se a matriz de correlação das variáveis componentes do eixo Atuação da IES, em que se observam correlações significativas entre todas as variáveis do grupo, corroborando a dependência necessária para prosseguir com a análise fatorial. O mesmo se repetiu para as demais matrizes. Ver tabelas A2 à A7 do apêndice.
Tabela 1 Matriz de correlação para o eixo Qualidade dos cursos e da IES.
| Formação humana e ética | Formação profissional e/ou científica | Integração entre Ensino, Pesquisa e Extensão | Produção e disseminação do conhecimento, da arte e da cultura | Atenção aos setores excluídos da sociedade e promoção da cidadania | Qualidade do curso | Qualificação dos professores | Reconhecimento do diploma no mercado de trabalho | Atendimento dos funcionários | Segurança de dentro do campus/unidade | |
| Formação humana e ética | 1 | |||||||||
| Formação profissional e/ou científica | ,603*** | 1 | ||||||||
| Integração entre Ensino, Pesquisa e Extensão | ,529*** | ,652*** | 1 | |||||||
| Produção e disseminação do conhecimento, da arte e da cultura | ,594*** | ,599*** | ,678*** | 1 | ||||||
| Atenção aos setores excluídos da sociedade e promoção da cidadania | ,612*** | ,472*** | ,484*** | ,555*** | 1 | |||||
| Qualidade do curso | ,514*** | ,654*** | ,545*** | ,524*** | ,405*** | 1 | ||||
| Qualificação dos professores | ,456*** | ,528*** | ,423*** | ,426*** | ,362*** | ,626*** | 1 | |||
| Reconhecimento do diploma no mercado de trabalho | ,425*** | ,523*** | ,455*** | ,438*** | ,357*** | ,523*** | ,446*** | 1 | ||
| Atendimento dos funcionários | ,509*** | ,425*** | ,374*** | ,410*** | ,476*** | ,392*** | ,382*** | ,335*** | 1 | |
| Segurança de dentro do campus/unidade | 1 |
Significância: *** p<0.01, ** p<0.05, * p<0.1
Fonte:autoavaliação institucional, 2018.
A terceira etapa é a análise fatorial em si, quando são calculados os escores pela análise dos componentes principais. O escore fatorial é uma medida composta que reflete a relação entre o valor de cada observação da base de dados com o fator comum extraído pela análise fatorial. Significa, portanto, que ao invés de cada estudante da amostra ter uma nota para cada uma das 42 variáveis originais do eixo analisado, estas variáveis serão expressas por um valor que representará a relação entre elas para cada eixo. Este escore pode ser utilizado para representar o que há de comum ao conjunto de variáveis, sendo denominado fator comum. Logo, os escores de cada eixo representam a nota atingida pelo eixo como um todo (Hair et al, 2005).
Como forma de medir a força e a pertinência da utilização dos escores da análise fatorial, uma série de testes é realizada juntamente à geração dos escores fatoriais. Dentre eles, temos o teste Kaiser-Meyer-Olklin - KMO -, o teste Bartelett Test of Spherecity - BTS -, e a análise de comunalidades. Na tabela 2, há os resultados dos testes para a análise do eixo Biblioteca e observa-se que o resultado de ambos os testes sugere que os dados são apropriados para análise fatorial, no que se refere ao padrão de correlação entre as variáveis. Mais uma vez, o mesmo se repetiu para os demais eixos, como mostra a tabela A8. Já na tabela 3, tem-se a análise das comunalidades expressas pela análise dos componentes principais para o eixo da Biblioteca, e as comunalidades associadas à cada variável, ou seja, o quanto de cada variável está representado no fator extraído. Figueiredo Filho e Silva Jr. (2010) sintetizam que “as comunalidades representam a proporção da variância para cada variável incluída na análise que é explicada pelos componentes extraídos” (p. 176). No caso das variáveis em questão, significa dizer que o fator ‘biblioteca’ representa mais de 70% da variância de cada uma das variáveis isoladamente o que é considerado muito bom, uma vez que o parâmetro mínimo é de 0,5. Os resultados para as outras dimensões estão na tabela A8.
Tabela 2 Testes de adequação da amostra - eixo Biblioteca
| Teste | Valor encontrado | Valor de referência |
| KMO | 0,748 | 0,60 |
| BTS | 39731,17 Sig.=0,000 g.l.=45 |
Sig.=0,000 |
Fonte: autoavaliação institucional, 2018. Valores de referência (Figueiredo Filho; Silva Jr., 2010).
Tabela 3 Comunalidades dos componentes principais - eixo Biblioteca
| Inicial | Extração | |
| Acervo virtual (artigos e periódicos, teses e dissertações, etc) | 1,000 | ,627 |
| Acesso aos e-books | 1,000 | ,553 |
| Acervo adequado à bibliografia indicada pelos professores | 1,000 | ,520 |
| Recursos de informática da biblioteca | 1,000 | ,473 |
| Atendimento dos funcionários | 1,000 | ,398 |
Fonte: autoavaliação institucional, 2018.
Uma vez gerados os escores, checadas a pertinência e confiança para todos os eixos de análise, chegamos a quarta e última etapa da construção do indicador. Como os escores são expressos em valores relativos ao fator comum - o eixo -, é necessário padronizar os valores de modo a tornar os resultados mais facilmente interpretáveis, além de estabelecer uma métrica igual para todos os eixos. Estas quatro etapas foram realizadas para cada conjunto de variáveis estabelecido, isto é, para cada um dos seis eixos apresentados, e conduziu o estudo para o quarto nível no processo de conceitualização e mensuração da autoavaliação institucional.
Agora partimos para a aplicação da técnica de análise fatorial em um caso específico a fim de observar a viabilidade de seu uso e, para isso, apresentamos brevemente alguns resultados alcançados em uma instituição de ensino superior. Na tabela 4, observa-se o resultado geral dos escores de cada eixo e o score geral, que é calculado pela média dos eixos. Todos os scores parciais e o geral estão em uma escala entre 0 e 1, sendo o valor 1 a melhor avaliação.
Tabela 4 Score de autoavaliação institucional.
| Qualidade dos cursos e da IES | 0,898 |
| Comunicação | 0,757 |
| Infraestrutura física | 0,594 |
| Infraestrutura tecnológica | 0,76 |
| Biblioteca | 0,688 |
| Práticas acadêmicas | 0,765 |
| Autoavaliação Institucional | 0,744 |
Fonte: Autoavaliação Institucional, 2018.
Uma das formas encontradas para análise dos scores obtidos é cruzando-os por categorias de interesse. Neste caso, utilizamos as áreas do conhecimento às quais os respondentes estão vinculados de acordo com o curso em que são matriculados. Como um exemplo, suponhamos o interesse em saber se estudantes de áreas diferentes, avaliam a instituição de forma diferente. O que os resultados da tabela 5 nos mostram é que a avaliação institucional realizada pelos alunos da área de Ciências Agrárias tende a ser mais rigorosa do que aqueles das demais áreas; eles tendem a avaliar com notas mais baixas do que os alunos da área de Ciências Biológicas, por exemplo.
Ainda foi possível analisar os eixos separadamente e percebemos que os alunos de Ciências Exatas e da Terra são mais rigorosos em sua avaliação acerca da infraestrutura física e tecnológica do que nas demais dimensões da avaliação.
Além desta perspectiva de análise, percebemos que é possível analisar a avaliação de cada eixo e do score como um todo para cada curso, por características dos estudantes ou demais questões de interesse. Nesse sentido, a partir destes resultados mapeamos diferentes potencialidades e desafios da instituição, considerando as especificidades por área.
Tabela 5 Score de autoavaliação institucional por área do conhecimento dos respondentes.
| Exatas e da Terra | Biológicas | Engenharias | Saúde | Agrárias | Sociais Aplicadas | Humanas | Linguística, Letras e Artes | Outros | |
| Atuação da instituição | 0,924 | 0,930 | 0,894 | 0,927 | 0,871 | 0,887 | 0,898 | 0,913 | 0,945 |
| Comunicação | 0,799 | 0,797 | 0,756 | 0,778 | 0,708 | 0,744 | 0,863 | 0,802 | 0,782 |
| Infraestrutura física | 0,628 | 0,622 | 0,603 | 0,593 | 0,558 | 0,583 | 0,603 | 0,589 | 0,653 |
| Infraestrutura tecnológica | 0,701 | 0,653 | 0,758 | 0,683 | 0,750 | 0,768 | 0,756 | 0,714 | 0,814 |
| Biblioteca | 0,718 | 0,712 | 0,792 | 0,701 | 0,678 | 0,669 | 0,707 | 0,739 | 0,720 |
| Práticas acadêmicas | 0,781 | 0,875 | 0,742 | 0,823 | 0,714 | 0,753 | 0,771 | 0,815 | 0,801 |
| Autoavaliação institucional | 0,759 | 0,782 | 0,741 | 0,768 | 0,713 | 0,734 | 0,750 | 0,762 | 0,786 |
Fonte: autoavaliação institucional, 2018.
Do ponto de vista da validade do score, observamos que sua aplicação se mostrou pertinente e atende aos parâmetros estabelecidos pelos conceitos que, por sua vez, estão ligados aos pressupostos e diretrizes mais amplos da avaliação do ensino superior regulados pelo Sinaes. Sendo assim, acreditamos ser necessária a aplicação e exploração destes resultados em diferentes casos e perspectivas, a fim de melhor utilizar os resultados da autoavaliação institucional. Dessa forma, será possível caminhar em direção a uma melhor mensuração da autoavaliação institucional no contexto da avaliação do ensino superior no Brasil, o que facilita a leitura de uma grande quantidade de dados.
Considerações finais
Com vistas à analisar a importância do tratamento dos dados do processo de autoavaliação institucional, para uso na gestão da instituição do ensino superior, utilizamos o caso de uma instituição de ensino superior comunitária, partindo da metodologia utilizada pela CPA para aplicação, coleta e análise dos dados da autoavaliação institucional realizada pelo corpo discente. Este processo consta de elaboração de questionários do tipo surveys, aplicados em ambiente online com todos os estudantes da instituição, cujos dados resultantes foram explorados por análise fatorial de componentes principais. Ressalta-se que as questões do questionário seguem as diretrizes do Sinaes e incluem especificidades da instituição.
Os dados obtidos, a partir da percepção dos alunos, foram agrupados em seis fatores, que representam diferentes eixos relacionados ao Sinaes. O uso da técnica de análise fatorial contribuiu para uma leitura mais simplificada e criteriosa desses resultados, o que possibilita estudos comparativos ao longo do tempo e sob várias perspectivas de análise. A perspectiva que apresentamos é a análise por área do conhecimento, por meio da qual observamos que a percepção dos alunos das diferentes áreas é diferenciada, quando avaliam a instituição de ensino. A partir de então, identificamos inúmeras possibilidades de análise que poderão ser realizadas com a utilização de uma técnica de redução de dados, de tal forma que podemos considerar em nossas futuras análises, aspectos relacionados à estrutura institucional como departamentos, institutos, faculdades, cursos, campus e unidades educacionais, bem como por critérios relacionados aos sujeitos da pesquisa como gênero, idade, sexo, período em curso, titulação do professor, forma de contratação, entre outros.
Estes estudos contribuem para fortalecimento dos processos avaliativos, além de produzirem subsídios que promovam ações e melhorias nas ações da instituição. O uso da técnica de análise fatorial abriu um campo rico de discussões sobre o emprego de outras metodologias que permitam comparar diferentes resultados obtidos em diferentes processos e realizar comparações temporais de dados coletados.
A agenda de pesquisa que segue, a partir deste estudo sobre os resultados da autoavaliação institucional, é a aplicação da técnica de análise fatorial nas respostas dos professores, realizando uma análise comparativa com as dos alunos, para que posteriormente, possamos verificar, ao longo do tempo, como os cursos de graduação utilizam os resultados da avaliação.
