2.1 Avaliação na educação superior

No Brasil, as instituições de ensino superior devem estar alinhadas às diretrizes do SINAES (Sistema Nacional de Avaliação da Educação Superior), criado em 2004 sob a Lei n° 10.861, que tem como objetivo maior avaliar os aspectos relacionados ao ensino, à pesquisa e à extensão, além do corpo docente, da gestão institucional e da infraestrutura. Essas avaliações podem ser internas, quando a instituição cria mecanismos próprios de avaliação, e externa, que são aquelas executadas geralmente pelo Ministério da Educação (MEC) para todos os cursos do ensino superior do país. Em relação a essa última, um dos mais conhecidos é o ENADE (Exame Nacional do Desempenho dos Estudantes), que avalia o desempenho dos alunos formandos, em geral a cada três anos em cada curso.

A avaliação externa, apesar de relevante, possui uma ênfase na homogeneização e na padronização de critérios avaliativos centrados na regulação do governo (^{FERREIRA; FREITAS, 2017}). Por isso, há a recomendação no SINAES para que as instituições de ensino superior implementem uma política de avaliação interna, focada nas suas particularidades institucionais. Dessa forma, a avaliação pelo discente, em diferentes dimensões, torna-se uma ação relevante, pois considera a percepção dos principais atores que recebem os serviços educacionais da instituição. Além disso, diferentemente de uma avaliação externa como o ENADE, a avaliação interna pode ter uma periodicidade maior (semestral, por exemplo), permitindo subsidiar ações de gestão de forma mais efetiva, uma vez que há um processo de feedback mais breve.

Independentemente da visão de estado, a gestão pública, seja no campo educacional ou não, deve buscar a melhoria da qualidade dos seus processos organizacionais. E em qualquer ciclo de melhoria de processos há a premissa fundamental de que a medição é ferramenta de apoio avaliativo que deve estar alinhada aos objetivos e metas organizacionais. As discussões, as intervenções e o planejamento na gestão de cursos do ensino superior, tanto por parte dos agentes públicos quanto privados, devem ser subsidiados por indicadores que permitam diagnósticos dos cursos ofertados. Nesse sentido, parece clara a necessidade de as instituições de ensino superior avaliarem, em algum nível, a satisfação dos seus alunos, em diferentes dimensões, tais como corpo docente, infraestrutura, gestão do curso etc.

O diagnóstico por meio de indicadores pode, inclusive, ser uma ferramenta útil para lidar com duas das preocupações históricas e proeminentes no ensino superior, que são a evasão e a retenção dos alunos. Esses fenômenos têm atraído cada vez mais a atenção de pesquisadores e de gestores acadêmicos no intuito de compreender as causas e possíveis soluções. O que se percebe é que as causas são multifatoriais, incluindo, por exemplo, aspectos como a baixa qualidade do ensino e o baixo desempenho dos alunos (^{VELOSO; ALMEIDA, 2002}); variáveis sociodemográficas, como gênero e idade; número de semestres cursados e notas (^{COSTA; BISPO; PEREIRA, 2018}); o processo de transição do ensino médio para o ensino superior (^{DIAS; THEÓPHILO; LOPES, 2010}); indecisão profissional e expectativas não atendidas em relação ao curso (^{SLHESSARENKO et al., 2014}). Portanto, a avaliação periódica pelo discente deve considerar também aspectos que permitam que os gestores diagnostiquem e prevejam possíveis retenções e evasões.

Diante dessas considerações sobre a importância em se estabelecer um processo avaliativo periódico e específico para instituições dessa natureza, é necessário considerar aspectos teóricos envolvidos no desenvolvimento de medidas. A próxima subseção, portanto, trata desse assunto.

2.2 A construção de instrumentos de avaliação à luz da teoria da mensuração

Como indicado na introdução, propomos aqui um instrumento para analisar as avaliações dos discente de graduação. Nosso esforço é, portanto, desenvolver um instrumento com métricas para aferição de intensidades de variáveis específicas e bem delimitadas que atendam a interesses acadêmicos e de gestão. Na teoria da mensuração utilizada em ciências sociais e comportamentais (cf. ^{NUNNALLY; BERNSTEIN, 1978}; ^{URBINA, 2009}), essas variáveis são comumente chamadas ‘construtos’, que se referem às características de um objeto ou sujeito que variam e cujos estados são passíveis ou de classificação ou de quantificação. As métricas são em geral indicadas como ‘escalas de mensuração’, e se referem ao instrumento utilizado para classificação ou quantificação de um construto. Dado que nosso propósito é de desenvolver métricas, duas decisões precisam ser tomadas: a primeira concerne à definição do construto; e a segunda refere-se às definições operacionais do processo de desenvolvimento da escala.

Relativo ao construto, e se a referência de avaliação é um discente, diversos são os aspectos que podem ser definidos, desde que se suponha que o discente tenha condições de emitir posição. Trata-se, portanto, de uma definição de gestão, guiada pelo interesse institucional. Métricas comuns em que o discente costuma ser a origem/fonte da medidas são: a satisfação (com o curso, com o docente etc.), as predisposições à evasão ou à mudança de curso, o nível de apego ou de vínculo ao curso, as intenções de recomendar o curso etc.; genericamente, esses construtos, baseados em opiniões e posições das pessoas, são chamados atitudes (^{DEVELLIS, 2016}).

Bastante recorrentes são as avaliações de satisfação do discente, seja com docentes, disciplinas, aspectos específicos da instituição (estrutura, currículo…), como foi o trabalho de ^{Wojahn, Ramos e Carvalho (2018}), por exemplo, que apresentou uma proposta de métrica específica para análise de satisfação de discentes. Geralmente, satisfação é medida ou de forma global (por um único item ou variável), em que se avalia em nível geral a satisfação de um indivíduo em relação a um produto ou serviço; ou a nível de atributo (com múltiplos itens ou variáveis), em que se analisam diferentes dimensões de um produto ou serviço (^{SZYMANSKI; HENARD, 2001}).

Referente às definições operacionais, temos variações de modelos e etapas, mas, considerando os diferentes autores, podemos apontar como decisões principais as seguintes (cf. ^{ROSSITER, 2011}; ^{COSTA, 2011}): 1 - identificação e especificação do construto, ou seja, o que deve ser mensurado; 2 - decisão quanto à forma de acesso, que envolve definir a forma (direta ou indireta), o suporte (impresso ou virtual), a forma (questionamento aplicação presencial, correio, telefone…), o enunciado dos itens, e a forma de verificação métrica (escala de concordância de Likert, escala binária…); 3 - implementação e teste preliminar; 4 - análise de validade e confiabilidade; 5 - desenvolvimento de normas (recomendações e formas de interpretação).

Embora todos os passos sejam relevantes, sem dúvidas o que mais interessa é o passo 4, que consiste em analisar a validade (ou seja, se a métrica de fato mensura o que pretende mensurar) e a confiabilidade (ou seja, supondo que seja inevitável erro de medição, se o nível de erro é pequeno o suficiente para garantir uma boa medição). As alternativas de avaliação para esses aspectos são as mais diversas, indo desde modelos mais qualitativos e exploratórios, até procedimentos sofisticados de análise de estatística (como análise fatorial, teoria da resposta do item…). Analisando as práticas recorrentes e a literatura, os autores da área de teoria da mensuração costumam seguir métodos mistos (qualitativos e quantitativos), ora enfatizando os procedimentos mais qualitativos, ora os mais quantitativos (^{COSTA, 2011}).

Aqui seguimos próximos da proposta de ^{Rossiter (2011}), que sugere os passos acima indicados, mas destaca que o esforço de proposição de escalas deve enfatizar, muito mais que resultados estatísticos, a validade qualitativa, ou seja, aquela que se define a partir da discussão de especialistas as decisões sobre os itens ou variáveis, as formas de aferição e a potencial utilidade do resultado gerado. Por essa perspectiva, os resultados estatísticos não são indispensáveis e determinantes por si só da qualidade da métrica, embora possam trazer evidências importantes para essa análise. Seguimos esse encaminhamento metodológico na análise empírica realizada, cujos detalhe estão indicados no item seguinte.

3.1 Análise do instrumento anterior

Como etapa preliminar de proposição do instrumento, entendemos que era necessário avaliar as prática pré-existentes. No caso da instituição de referência neste trabalho, havia um instrumento que fora elaborado entre os anos de 2012 e 2013, e que foi utilizado por cinco semestres (de 2014.1 até 2016.1). O foco específico desse instrumento era a avaliação do docente pelo discente (ou seja, o instrumento não continha outros construtos que seriam de potencial avaliação pelo discente). Tal instrumento foi desenvolvido por uma comissão acadêmica, levando em conta dois elementos centrais: as indicações legais e teóricas da avaliação do docente pelo discente, e um exaustivo processo de debate com a comunidade acadêmica. Nesse último aspecto, representantes da comissão buscaram desenvolver reuniões em cada uma das 16 unidades acadêmicas da instituição, sempre com convites para participação enviado a todos os docentes.

- Critérios, coleta de dados e divulgação de resultados

Como construtos de referência da avaliação do docente, foram então definidos 10 itens e para cada um foi definida uma pequena definição que era exposta ao discente quando da aplicação. O Quadro 1 apresenta cada item e respectiva definição.

Cada um desses itens era avaliado utilizando uma escala de verificação de 11 pontos (0 a 10), com os seguintes indicativos de referência para os discentes: Excelente (equivalente a notas de 9,0 e 10,0); Bom (equivalente a notas de 7,0 a 8,9); Regular (equivalente a notas de 5,0 e 6,9); Insuficiente (equivalente a notas de 3,0 a 4,9); e Péssimo (equivalente a notas de 0,0 a 2,9). Para extração de uma medida de síntese da avaliação do docente pelos alunos do semestre, era obtida a média das notas atribuídas. Na divulgação, era ainda utilizada uma medida de ‘avaliação global’ do professor a partir da média aritmética das médias finais desses dez itens.

O instrumento era aplicado sempre no período de matrícula online, quando o discente era condicionado a fazer primeiro a avaliação do semestre anterior antes de acessar o campo de matrícula do sistema de informação de gestão acadêmica da instituição. Dessa forma, era garantida uma boa aproximação do censo (a exceção ficava por conta dos discentes concluintes, que não avaliavam o semestre anterior por não ter que proceder mais a qualquer matrícula), e uma proximidade temporal que permitia uma avaliação mais consistente, devido ao fato de a matrícula ocorrer no máximo um mês após a finalização do semestre anterior, de modo que o discente não esqueceria facilmente as experiências relativas ao semestre avaliado. Na distribuição de resultados, a Pró-Reitoria de Graduação da instituição utilizou duas formas: primeiro, com a disponibilidade dos resultados na área docente do sistema de informação de gestão acadêmica; segundo, com a extração das notas e envio em um documento digital para o e-mail de cada docente. Em ambas as formas, o docente tinha acesso às suas médias globais e segmentadas por disciplinas, e no relatório digital eram ainda acrescentadas as médias dos demais docentes da unidade (departamento).

- Problemas e avaliação para mudança

Durante o uso desse instrumento e após os primeiros esforços de divulgação dos resultados, algumas reclamações e sugestões foram formalizadas e dirigidas à Pró-reitoria de Graduação, com questionamentos os mais diversos, indo desde a contestação dos critérios, passando pela suposição de incapacidade de avaliação pelos discentes de alguns dos critérios, e chegando até mesmo a hipóteses de condicionantes de resultados (por exemplo, professores que tendem a emitir maiores notas aos alunos seriam melhor avaliados) e indutores de erros no instrumento, nas variáveis etc.

Apesar dessas críticas, por decisão da Pró-reitoria, o instrumento seguiu sendo implementado segundo o procedimento acima indicado por ao menos seis semestres letivos, como forma de gerar uma série inicial e também conteúdo para avaliação psicométrica dos resultados. Em 2016 foi então instituída uma equipe técnica para avaliação e proposição de aperfeiçoamentos do instrumento. Esta equipe definiu duas etapas para diagnosticar a qualidade do instrumento de avaliação então vigente. A primeira foi buscar envolver a comunidade acadêmica da instituição para identificar problemas e gerar ideias de melhoria para um novo instrumento; e a segunda foi aplicar um conjunto de técnicas quantitativas para analisar as características das medidas.

Para a primeira ação, foi elaborado um questionário online que foi enviado a todos os docentes da instituição, solicitando opiniões e sugestões para mudança do instrumento que estava em uso. O questionário ficou disponível por 20 dias entre os meses de outubro e novembro de 2016, e foram recebidas ao todo sugestões de 70 docentes de 12 diferentes unidades acadêmicas. As contribuições foram analisadas de forma qualitativa e, em geral, as observações foram mais relacionadas à maior eficiência na divulgação e no uso dos dados (e.g. muitos docentes questionaram sobre o que o resultado poderiam implicar para os casos de docentes pior avaliados); à organização do modelo de apresentação (e.g. alguns docentes sugeriram a apresentação de médias separadas de alunos aprovados e reprovados); e à possibilidade de melhorar os critérios da avaliação. Em conjunto com as observações desta pesquisa, consideramos ainda os relatos e reclamações e sugestões que foram diretamente à em Pró-reitoria momentos anteriores. Dois aspectos se destacaram na orientação dos procedimentos seguintes:

O primeiro aspecto acima apresentado sugeriu à equipe de análise que a provável razão das avaliações inapropriadas (de itens como assiduidade e pontualidade) residiria no fato de os alunos não avaliarem o item em si, mas que cada item refletiria, na verdade, a avaliação geral que o aluno fazia do professor. Esse é, na verdade, o conceito de ‘mensuração refletiva’, que está na base de grande parte das métricas desenvolvida com métodos psicométricos. Essa forma de mensuração parte do pressuposto de que o construto a ser mensurado, por ser abstrato, deve ser acessado de forma indireta, a partir, por exemplo, da indicação do respondente de sua nota em um item numa escala especificada (no nosso caso, de 0 a 10), sob o entendimento de que a magnitude dos escores ‘refletem’ a magnitude da intensidade do construto latente (^{COSTA, 2011}). Tivemos, por essas considerações, o desafio de, primeiro, verificar se há sentido em supor que os 10 itens do Quadro 1 seriam de fato refletivos em relação a um construto latente, de modo que os discentes, ao avaliarem os docentes, o fariam a partir de uma única dimensão geral, presumivelmente a satisfação do discente com o docente; segundo, tivemos que analisar as consequências dessa condição, se procedente, no nosso intento de melhorar o instrumento. Para fixarmos um referencial típico de verificação quantitativa, enunciamos esse entendimento na forma da proposição indicada a seguir:

Relativo ao segundo aspecto, uma averiguação foi possível a partir da análise bivariada realizada considerando as médias dos docentes para os conjuntos de alunos de um período e as médias globais que o docente recebeu do conjunto de alunos nesse mesmo período. Também aqui, caso isso se verifique, é necessário analisar a repercussão no próprio processo e na finalidade de avaliação, posto que não é, de forma alguma, desejável que o docente seja avaliado por outra razão que não seja seu desempenho acadêmico na condução das disciplinas. Também aqui, para procedermos à avaliação, enunciamos o entendimento na forma de proposição, como indicado abaixo:

Os resultados da avaliação dessas duas proposições tanto permitiram analisar a performance do instrumento anterior quanto sinalizaram os melhores ajustes a serem realizados no novo instrumento. Os detalhes e resultados serão exibidos a seguir.

- Preparação dos dados e análise das proposições

Na preparação da base de dados, optamos por utilizar os dois períodos de avaliação (semestres 2015.2 e 2016.1) imediatamente anteriores à mudança do instrumento. Nesses dados constavam, em cada semestre, aproximadamente 125 mil avaliações para cerca de 2250 professores ativos da instituição, ou seja, em torno de 55 avaliações por docente. Na base de dados constavam, além das avaliações de cada docente, dados sobre qual o curso, o departamento, a disciplina, a média final do aluno, e se houve aprovação ou reprovação. A partir dessa base, derivamos uma outra tendo como unidade de referência o professor e em que constasse o total de alunos que o avaliaram, a média das notas desses alunos, as médias dos escores recebidos em cada um dos 10 critérios e a média global do docente (média das médias dos critérios). Como estamos operando com valores de médias, e considerando que a média oscila bastante quando o número de observações é pequeno, excluímos da análise todos os docentes que tiveram menos de 10 avaliações em cada período e, após esse procedimento, cada período ficou com cerca de 2000 entradas de dados (2068 em 2015.2, e 1977 em 2016.1).

Para verificar a Proposição 1 foi aplicada a técnica de Análise Fatorial Exploratória (AFE) sobre os dados dos 10 critérios. Em ambas as avaliações, as variáveis mostraram-se adequadas para se proceder a análise fatorial (2015.2 - KMO 0,937; Barttlet: qui-quadrado 37.860,2, com 45 gl, p<0,001; 2016.1 - KMO 0,941; Barttlet: qui-quadrado 35.735,1, com 45 gl, p<0,001) e em ambas as extrações apenas um fator com autovalor maior que 1 foi gerado, e nos dois casos os escores fatoriais foram sempre moderados ou elevados (o escore fatorial mínimo de 2015.2 foi de 0,843, e de 2016.1 foi de 0,852). Ou seja, em ambos os casos verificamos que, de fato, parece haver apenas um fator subjacente ao conjunto de variáveis, o que converge com a Proposição 1 e incida que há pleno sentido em supor que os discentes avaliam cada critério, em média, a partir de uma motivação geral latente, que presumimos ser a ‘satisfação geral do discente com o trabalho do docente’.

Uma consequência imediata deste resultado é que, em lugar de usar 10 itens de avaliação do formato anterior, e seguindo a recomendação de alguns psicometristas (^{BERGKVIST; ROSSITER, 2007}; ^{FISHER; MATTHEWS; GIBBONS, 2016}), seria possível a utilização de apenas um item global. Esse procedimento tem a desvantagem de aumentar, potencialmente, o erro de mensuração (dados que múltiplos itens facilitam a dissolução dos erros; cf. ^{COSTA, 2011}), mas tem a vantagem de tornar a aferição do construto (a satisfação geral) mais direta, além de deixar mais espaço disponível no instrumento para potencial acréscimo de outras avaliações relevantes. Em suma, o resultado de confirmação da Proposição 1 sinalizou a possibilidade de simplificação da averiguação e o ganho de espaço no instrumento, e gerou ainda o desafio de não se perder o detalhamento referente aos 10 critérios anteriormente avaliados.

Já na avaliação da Proposição 2, optamos por usar o coeficiente de correlação de Pearson entre as variáveis de média das notas atribuídas aos alunos pelo docente, e de média global das avaliações (considerando os 10 itens) recebidas pelo docente. A correlação encontrada foi positiva e estatisticamente não nula, mas em um nível baixo (2015.2 - r=0,221, p<0,001; 2016.1 - r=0,195, p<0,001). Ou seja, embora haja associação positiva entre as variáveis, o que confirmaria a Proposição 2, a intensidade dessa associação mostra que, se as notas dadas pelo professor ajudam a melhorar sua avaliação, isso tem uma influência diminuta.

Para explorar ainda mais esse resultado, decidimos realizar uma segunda análise considerando a situação final dos discentes nas disciplinas (aprovado ou reprovado) e as notas atribuídas aos docentes. Nesse caso, computamos para os docentes duas médias globais, gerando duas variáveis adicionais na base de dados (uma com as médias dos alunos aprovados e outra dos alunos reprovados), para posterior comparação dos resultados médios dessas duas novas variáveis. Como resultado, verificamos que os alunos reprovados tendem a avaliar pior, em média, o professor do que os alunos aprovados, sendo essa uma das prováveis explicações da correlação verificada. A partir desses resultados, entendemos que há indicativos de que a Proposição 2 tem confirmação parcial, e concluímos que as avaliações dos professores são pouco impactadas pelas notas absolutas atribuídas aos alunos, com esse baixo impacto associado à variação de satisfação dos alunos que tiveram sucesso ou insucesso na disciplina.

O impacto desse resultado para a o novo instrumento está relacionado não ao conteúdo em si, mas à apresentação dos resultados, e ficaria justificada a implementação, na divulgação separadamente dos resultados das médias dos alunos aprovados e dos alunos reprovados. Esse resultado também nos motivou a refletir sobre alternativas de minimizar ainda mais qualquer efeito da nota final recebida sobre a avaliação emitida pelo discente e, no debate dos resultados, a equipe de análise ponderou a opção de inclusão de um item de autoavaliação do discente por disciplina, pelo entendimento de que a autoavaliação poderia motivar uma avaliação mais consciente da parte do aluno.

Autoavaliação do discente é, em verdade, uma recomendação recorrente e até prevista em alguns modelos de avaliação institucional. Sobre esse aspecto, ^{Novaes e Musse (2008}, p. 18) relatam, no caso que estudaram, que “se o aluno avalia negativamente o professor, atribui também a si um mau desempenho”. Se isso procede, então podemos supor que essas duas avaliações se complementam e sinalizam potencialmente coerência das medidas, o que pode ser útil para gestores e docentes. Com essas constatações, avançamos para a etapa de construção do novo instrumento.

3.2 Construção e análise do novo instrumento

Para a construção do novo instrumento foram considerados alguns apontamentos levantados na etapa de avaliação do instrumento usado anteriormente e outros requisitos definidos pela equipe responsável a partir da seguinte série de ações: (1) fechamento da análise das avaliações anteriores; (2) avaliação de indicações legais, da literatura, de especialistas e do próprio julgamento da equipe de trabalho; (3) organização do conjunto de ideias e um primeiro esboço para exposição à equipe de gestão da Pró-reitoria de Graduação; (4) desenvolvimento do primeiro instrumento para implementação computacional; (5) articulação com a equipe técnica de tecnologia da informação para implementação do instrumento junto ao sistema integrado de gestão acadêmica; (6) debate de detalhes técnicos, acadêmicos e gerenciais envolvendo a equipe de análise, a equipe de gestão da Pró-Reitoria e os técnicos de tecnologia; (7) consolidação do instrumento e aplicação a partir de 2016.2; (8) avaliação da consistência estatística dos resultados e consolidação do instrumento.

Esse conjunto de ações foi desenvolvido nessa sequência enquanto etapas lógicas de construção do instrumento, porém, durante a execução, a articulação entre as pessoas envolvidas era contínua com trocas de mensagens e tomadas de posições por meio presencial ou digital. O pressuposto foi de que a proposição e o teste do instrumento envolveriam, necessariamente: a equipe de elaboração, com professores com melhor domínio em teoria da mensuração; a equipe de gestão, que, efetivamente é a que toma as decisões institucionais; e a equipe de tecnologia da informação, que teve que implementar o instrumento definido de tal modo que cada aluno recebesse um questionário personalizado referente às disciplinas que cursou.

Como premissa de elaboração por parte das pessoas envolvidas foi definido que o instrumento deveria ser aprimorado em usabilidade referente ao sistema computacional (ou seja, teria que ser menos cansativo para o respondente e assim melhorar a aferição do que se pretende medir). Nesses termos, e considerando o espaço ganho em relação ao instrumento anterior, foi decidido que outras questões seriam incluídas desde que não tornasse o instrumento longo. Concernente às questões e variáveis do instrumento, tomamos por decisão:

Além desses itens de aferição objetiva, no final do instrumento foi deixado um campo para comentários escritos de até 600 caracteres, em resposta à seguinte questão: “Deseja comentar sobre quais disciplinas/professores?”.

O novo instrumento, que pode ser observado em anexo, foi aplicado em dois semestres (2016.2 e 2017.1) e os dados gerados foram apropriados para análise estatística. Além dos dados desse novo instrumento, utilizamos ainda os dados do instrumento anterior para avaliação de compatibilidade de resultados da ‘satisfação global’. Nas subseções seguintes discorremos sobre cada uma das dimensões do novo instrumento proposto.

- A variável de satisfação geral do aluno em relação ao professor

Avaliamos o desempenho e a adequação da variável ‘satisfação geral do discente com o docente’ de duas formas: primeiro, pela associação das médias das notas dos docentes nessa avaliação com as notas globais agregadas do instrumento anterior; segundo, pela relação dessa variável com os nove indicadores que mantivemos oriundos do instrumento anterior, com a mudança na escala de verificação (que passou a ser binária, conforme indicado).

Referente ao primeiro procedimento, optamos então por comparar a satisfação geral de cada professor considerando os períodos 2016.2 e 2017.1 com a média global gerada considerando as 10 notas referente às dimensões avaliadas nos períodos 2015.2 e 2016.1. Tivemos então avaliações nesses quatro períodos de aproximadamente 2000 docentes, que foram reunidos em uma base de dados com variáveis pareadas de notas, uma para cada período, em seguida foram verificadas as correlações de Pearson das notas dos docentes entre cada um dos quatro semestres considerados.

Pelos resultados, que estão mostrados na Tabela 1, observamos que todas as correlações ficaram em torno de 0,60, tanto na comparação dos semestres em que foram aplicados o mesmo instrumento, quanto na comparação dos semestres em que foram aplicados os instrumentos diferentes. O resultado sinaliza que há uma relação evidente entre a ‘satisfação geral’ do novo instrumento e a média das 10 dimensões do instrumento anterior. Há evidências, portanto, de que não houve perda na aferição de um indicador global para o docente, reforçando a proposição 1.

Como informado, nove dos 10 critérios que definiam as variáveis do instrumento anterior foram mantidos, mas com a conversão da escala para o formato binário. Esse formato possibilita a extração do percentual de indicações atribuídas pelos alunos para cada professor, servindo como medida complementar da medida de satisfação geral. Ou seja, cada docente passou a ter a indicação de uma média geral de satisfação mais a indicação dos percentuais de alunos que sinalizaram necessidade de melhoria em cada critério.

Com esses dados computados para cada um dos docentes, decidimos avaliar em que medida a satisfação geral do aluno poderia ser explicada pelos percentuais dos critérios (dimensões de avaliação). Fixamos então o entendimento de que, se a variável de ‘satisfação geral’ mensurasse bem o construto, então esta seria bem explicada por suas dimensões de avaliação. Aplicamos então a técnica de análise de regressão linear múltipla, considerando como variável explicada a média de satisfação geral por docente, e como variáveis explicativas os percentuais de respostas dos itens apontados pelos alunos relativos ao que o professor precisava melhorar. Também aqui foram consideradas apenas docentes com o mínimo de 10 avaliações no total, independente de serem de uma ou de mais turmas; o total foi de 2088 docentes para 2016.2 e de 2324 docentes para 2017.1.

Os resultados da avaliação global (pelo teste F) e do nível de explicação dos modelos de regressão linear (pelo R²) para ambos os semestres podem ser verificados na Tabela 2, e mostram, pelos valores dos coeficientes R², que foi bastante significativo o nível de explicação da variável predita pelas variáveis preditoras (R²=0,72 para 2016.2 e R²=0,74 para 2017.1). Ou seja, por esses resultados, temos evidências de que, independente do semestre, os percentuais de indicações de melhoria dos 9 critérios avaliados pelos discentes explicam mais de 70% da variação do nível de satisfação geral dos discentes quanto aos professores.

Tendo como base todos esses procedimentos, pudemos concluir que havia consistente evidência de validade estatística da medida proposta, ficando então fixada a nova ‘regra’ de mensuração nas duas formas: a medida geral com um único item e com escala de verificação de 11 pontos (0 a 10); e as medidas pelos 9 critérios, com escala de verificação binária.

- Dimensões de autoavaliação e disciplina

Concernente à autoavaliação, a questão tinha conteúdo genérico e sua implementação tornou possível identificar, por disciplina, qual o nível declarado de comprometimento e motivação dos alunos a partir de um escore médio ou mediano pontual, na escala de 0 a 10. Além disso, essa medida foi colocada como sendo a primeira questão no instrumento, como forma de reduzir potencial efeito de ‘vontade de retaliação’ do discente em relação ao professor. Na extração de medidas, que foi por professor e por disciplina, tivemos resultados bastante variados, o que era esperado supondo que o nível de envolvimento e motivação dos alunos varia por disciplina.

Nas duas medidas relativas à disciplina (de dificuldade e importância para o curso) procedemos de forma semelhante ao que fizemos na análise de autoavaliação, com verificação das medidas de posição e dispersão, além da análise, exploratória e qualitativa, de algumas disciplinas específicas. Os resultados mostraram bom potencial de uso de ambas as medidas, em alguns casos com evidente necessidade de melhor explicação do docente sobre a relevância de seu componente no currículo, ou dando a indicação da necessidade de melhoria dos métodos de ensino dos docentes para, se fosse o caso, melhorar a percepção de dificuldade das disciplinas. As variações por disciplina, ou mesmo em cada disciplina (aferida pelo desvio padrão) mostraram que os padrões de resposta foram adequados e bem explicados nos casos analisados.

Nas primeiras extrações nosso foco foi de natureza mais exploratória e qualitativa e analisamos o desempenho da escala em termos de variação das medidas extraídas e de potencial utilidade de resultados para docentes e gestores de graduação. Entendemos, portanto, que os resultados extraídos foram adequados, porém outros tratamentos de performance dos itens podem ser ainda avaliados, principalmente considerando a evolução de medidas ao longo do tempo.

- Dimensão de avaliação do curso

Referente à questão de vínculo do aluno ao curso, utilizamos a métrica já consolidada na literatura especializada em mensuração de lealdade - Net Promoter Score (NPS). Segundo a metodologia de ^{Reichheld (2006}), para extrair essa medida é necessário calcular a diferença (saldo) entre o percentual de promotores e o percentual de detratores do curso, sendo os ‘promotores’ aqueles que marcam escores 9 ou 10 na escala (esses estudantes, possivelmente, irão promover o curso de alguma forma, opinando publicamente em seu meio social em favor do curso), e os ‘detratores’ aqueles que marcam escores de 0 a 6 na escala (esses alunos, possivelmente, são aqueles que não emitem posição sobre o curso, e se o fazem é com opiniões desfavoráveis ao curso; segundo a metodologia de Reichheld, as pessoas que marcam 7 e 8 são considerados ‘neutras’ ou ‘passivas’ em relação ao curso).

O escore de NPS gera um saldo líquido de promotores em relação a detratores, e a suposição é de que, quanto maior o NPS, maior é a intensidade de vínculo do aluno com seu curso. Valores negativos ou positivos próximos de zero indicam a necessidade de ações da liderança institucional no sentido de motivar mais o corpo discente e gerar mais proximidade, maior envolvimento, maior divulgação positiva do curso etc.

A extração experimental do NPS em 98 cursos da instituição indicou uma significativa variação de resultado entre os cursos (desvio padrão de 24,1 em 2016.2; e 24,9 em 2017.1). Como apresentado na Tabela 3, poucos cursos demonstraram NPS negativos nos dois semestres avaliados, indicando haver maioria de alunos dispostos a falar bem do curso (92% em 2016.2 e 93% em 2017.1). A correlação entre o NPS dos cursos nos dois períodos analisados foi de 0,88, indicando que não há mudanças significativas entre os semestres. Além disso, houve o entendimento da liderança institucional e da equipe de proposição do instrumento de que a medida gera resultados adequados para embasar a tomada de decisão de diversos gestores vinculados aos cursos (coordenadores, chefes de departamento, diretores de unidades etc.). Esse entendimento é obtido a partir de análises de cursos específicos, por meio da triangulação da medida objetiva (NPS) com evidências do conhecimento prévio que se tem a cerca do contexto desses cursos.

Ainda relativo à dimensão ‘curso’, extraímos a medida de predisposição à evasão dos cursos, na escala de 0 a 10. Para a análise, extraímos a média, mediana e medidas de desvio padrão por curso. Os resultados foram variados e, na leitura da equipe de avaliação, mostravam de forma clara quais os cursos tinham maiores problemas de risco de evasão. Na análise exploratória, houve boa aproximação entre as medidas por curso e os níveis de evasão por curso calculados em outros estudos da Pró-reitoria.

Em suma, na dimensão ‘curso’, as duas variáveis usadas mostraram-se adequadas por fornecerem resultados úteis para os gestores e, principalmente, por terem captado variações por curso que eram bem justificadas e coerentes com outras medidas de avaliação utilizadas. Ademais, essas duas variáveis apresentaram uma correlação negativa e entre moderada para forte (r=-0,68 para 2016.2 e r=-0,59 para 2017.1), conforme exposto na Tabela 3. Ou seja, quanto maior fosse o NPS de um curso, menor era a média do interesse dos alunos em abandonar o curso. Ressalta-se que a interpretação sobre os indicadores deve ser realizada pelos atores e gestores institucionais envolvidos no curso, pois há particularidades contextuais que devem ser consideradas. Nesse sentido, a recomendação foi de que os gestores, juntamente com o NDE do curso, empreendessem sempre pesquisas complementares para um melhor entendimento de sua realidade, possibilitando a definição de ações e estratégias mais efetivas.