INTRODUÇÃO

Este trabalho tem como objetivo principal compreender quais são os fatores que influenciam a participação de discentes em um processo de avaliação docente. Deseja-se saber quais são as características individuais e dos cursos aos quais os alunos estão vinculados que se relacionam à participação no processo de avaliação. Ressalta-se que, no caso analisado, todos os discentes são convocados a participar. Isso significa que esta é uma pesquisa intencionalmente censitária e não amostral. Entretanto, sabe-se que, pelo fato de nem todos os alunos participarem, pode-se ter vieses; portanto conhecer o perfil dos respondentes é importante para a análise dos resultados. Além disso, a partir dos resultados, é possível elaborar estratégias para elevar a participação dos estudantes.

O campo de estudos em que se encontram as investigações acerca da avaliação discente sobre os professores é internacionalmente conhecido como student evaluation of teaching (SET). Nesse campo, diversas são as contribuições científicas que buscam compreender o que determina a avaliação dos professores, ou seja, quais são os fatores que explicam a nota que discentes atribuem a docentes que lecionam disciplinas no ensino superior. Dentre os fatores, são analisadas características dos professores, dos cursos, das disciplinas e dos próprios alunos que estão avaliando, e os resultados encontrados são diversos (^{McPHERSON; JEWELL; KIM, 2009}; ^{ANDRADE; ROCHA, 2012}; ^{JOYE; WILSON, 2015}; ^{CHOI; KIM, 2014}; ^{DURAKU, 2014}; ^{FAH; OSMAN, 2011}; ^{GRUBER et al., 2012}; ^{SPOOREN et al., 2017}).

A maior parte desses estudos, entretanto, enfrenta problemas quanto à falta de diversidade e heterogeneidade dos dados, pois a maioria se refere a pequenos conjuntos de estudantes de cursos específicos e em determinados períodos de tempo, não sendo possível realizar análises de séries temporais (^{McPHERSON, 2006}). Os processos avaliativos explorados pelos trabalhos em SET, usualmente, acontecem em sala de aula através do preenchimento de questionários físicos sobre um determinado professor por uma amostra de estudantes selecionados previamente. Nesse sentido, o interesse está na compreensão das notas dadas pelos estudantes selecionados, já que elas representam a população de estudantes, ou seja, parte-se do pressuposto de que as amostras selecionadas não são marcadamente enviesadas.

O caso que avaliamos neste trabalho tem um cenário diferente: os questionários são disponibilizados para a população de casos (todos os estudantes de cursos de graduação da instituição) em formato on-line com prazo de 30 dias para preenchimento. Nesse contexto, o objetivo do estudo é analisar o contexto anterior à explicação das notas atribuídas pelos estudantes aos professores, já que tem como foco compreender o que leva os estudantes a participar dos processos de avaliação docente. Dito de outra forma, a pergunta que guia este trabalho é: quais características dos estudantes e do curso estão associadas à participação discente na avaliação docente no ensino superior? Embora se busque uma resposta geral que possa auxiliar inclusive melhorias nas taxas de participação nas avaliações conduzidas por instituições de ensino superior, sabe-se que o contexto analisado apresenta características específicas.

Parte-se de uma análise exploratória de dados referentes ao último semestre de um ciclo de seis semestres de avaliação docente. Participaram discentes de 163 cursos de graduação da modalidade presencial, de diferentes áreas do conhecimento, em uma instituição privada de ensino superior. Além dos estudos que compõem o campo de avaliação de professores por estudantes, o trabalho se embasa também na literatura acerca de metodologias de aplicação de pesquisas do tipo survey e suas consequências para os resultados em termos de quantidade e qualidade das respostas coletadas.

A dificuldade de garantir a participação dos respondentes em pesquisas realizadas em ambientes on-line é uma das principais desvantagens e dificuldades apontadas pela literatura para esse tipo de pesquisa (^{WACHELKE et al., 2014}; ^{ANDERSON; CAIN; BIRD, 2005}; ^{FAN; YAN, 2010}). Assim como não é possível garantir a participação, também não é possível controlar o possível viés de autosseleção nos resultados. Ou seja, o método de realização da pesquisa não permite controlar a possibilidade de que indivíduos de um determinado perfil apresentem uma taxa de participação maior ou menor e, portanto, de que os resultados da coleta possam refletir esses perfis.

Sendo assim, faz-se necessário pensar em estratégias de elevação das taxas de respostas dos surveys on-line a fim de minimizar possíveis vieses. Para tanto, primeiro, é necessário conhecer o perfil dos respondentes e, principalmente, quais fatores determinam sua participação ou não em pesquisas dessa natureza. No caso analisado, a hipótese central é que características individuais dos alunos e dos cursos influenciem sua probabilidade de participar ou não da avaliação docente. A discussão sobre participação é fundamental para se buscar elementos para motivar os alunos a participar das avaliações conduzidas na universidade, bem como entender os próprios resultados, tendo em vista a análise de possíveis efeitos de seletividade entre os respondentes. Portanto, a importância do estudo é tanto metodológica quanto analítica.

A análise considerou tanto estatística descritiva quanto inferencial, com uso de regressão logística multinível, a fim de se considerar os dois níveis na análise (indivíduo e curso). Os principais resultados apontam que características ­individuais e dos cursos influenciam a probabilidade de participação dos discentes na avaliação dos professores, de modo que estudantes do sexo feminino, com idade acima de 41 anos e que sejam beneficiários de programas governamentais de financiamento ou bolsas de estudos têm maior probabilidade de participação. Além disso, estudantes matriculados que estejam em estágios iniciais do curso, e com carga de dedicação de 26 e 30 horas semanais também tendem a ter maiores chances de participar da avaliação. Por fim, estar vinculado a cursos de licenciatura, a cursos de turno integral ou com menor média de idade parecem aumentar a probabilidade de os alunos participarem da avaliação docente.

Este trabalho é composto por quatro seções, além desta introdução e das considerações finais. Primeiro, apresenta-se o estudo de caso em questão: a avaliação docente como é realizada na instituição. Em seguida, discute-se o panorama teórico no qual se fundamenta a pergunta de pesquisa e a análise proposta. Na terceira parte, apresentam-se os dados e métodos utilizados. E, por fim, na última seção, os resultados das análises empreendidas.

AVALIAÇÃO DOCENTE NO ENSINO SUPERIOR: NOSSO ESTUDO DE CASO

A avaliação docente nessa instituição decorre da necessidade de se estabelecer um instrumento para gerar subsídios para avaliação das atividades desempenhadas pelos docentes, sendo regulamentada através do Estatuto da Carreira Docente, com o objetivo de proporcionar sua autorreflexão e promover melhorias no exercício de sua atividade. Além disso, a avaliação docente formaliza a percepção que os alunos e professores da graduação têm sobre a atuação dos docentes da universidade referente ao semestre em curso. Por fim, ressalta-se que a avaliação docente é um subsídio para as políticas de recursos humanos, os diagnósticos dos cursos e o desenvolvimento dos professores.

A Comissão Própria de Avalição (CPA) é o órgão responsável por realizar a avaliação das atividades desenvolvidas pelos professores em aulas na graduação (presencial e virtual), atuação como coordenador de curso e membro de colegiado¹. No que se refere à atividade aula na graduação, o docente é avaliado no tocante à condução do ensino em disciplinas dos cursos de graduação, sejam elas presenciais ou a distância, nos diferentes cursos de graduação, em diversos campi/unidades da instituição.

O processo constitui-se das seguintes etapas: (1) definição de critérios, instrumentos e metodologia de pesquisa²; (2) desenvolvimento e disponibilização de instrumentos no sistema da instituição para a coleta de dados; e (3) divulgação dos resultados às pessoas avaliadas e às instâncias de deliberação da universidade (diretores, chefes de departamento e coordenadores de curso). Por ser realizado periodicamente, constitui-se um processo permanente de avaliação das aulas na graduação e do trabalho do colegiado.

A coleta de dados é semestral, referente ao semestre em curso, como forma de garantir que o aluno tenha recente em sua memória sua experiência com o docente. Ela é intencionalmente censitária e se dá através de questionários cadastrados em um sistema próprio da instituição, que são disponibilizados de forma eletrônica para participação dos alunos e docentes. Os questionários devem ser respondidos por todos os professores (que realizam sua autoavaliação), pelos alunos (referente à atuação do professor em cada disciplina em curso no semestre) e pelo colegiado do curso (em cada curso em que o professor leciona), no que diz respeito à atividade do docente.

O acesso aos questionários se dá por meio de uma interface web através de login e senha de usuário, durante, aproximadamente, 30 dias do semestre letivo, com início cerca de 40 dias antes do final do semestre, para que a avaliação não seja influenciada pelas notas finais dos alunos. Como forma de mobilizar as pessoas a participarem e, consequentemente, maximizar a taxa de resposta, é realizada a divulgação do processo de avaliação por meio de afixação de cartazes na entrada dos campi, do envio de e-mails informativos e de chamadas em outras mídias internas da instituição. Os dados advindos das avaliações que serão analisados neste trabalho se referem apenas à participação dos alunos na avaliação dos professores em sua atividade letiva presencial na graduação.

REFLEXÕES ACERCA DA AVALIAÇÃO REALIZADA PELOS ALUNOS

Os estudos que tratam da avaliação docente (ou student evaluation of teaching) constituem um debate em desenvolvimento desde a década de 1970, principalmente nos Estados Unidos. Esses estudos tendem a focar, em sua maioria, em quais fatores determinam as notas que os professores recebem de seus alunos. São observadas (i) características referentes às turmas em que são lecionadas as disciplinas, tais como número de alunos matriculados, turno, número de aulas por semana, nível da disciplina (básico, intermediário e avançado); (ii) características dos discentes que fazem a avaliação, como sexo, raça, idade, área do conhecimento do curso de origem; e (iii) características dos próprios professores que estão sendo avaliados, como sexo, raça, idade, tempo de experiência como docente, nível de formação, qualificação em didática, dedicação de tempo de ensino à instituição (^{McPHERSON; JEWELL; KIM, 2009}; ^{ANDRADE; ROCHA, 2012}; ^{JOYE; WILSON, 2015}; ^{CHOI; KIM, 2014}; ^{DURAKU, 2014}; ^{FAH; OSMAN, 2011}; ^{GRUBER et al., 2012}; ^{SPOOREN et al., 2017}).

É fundamental também levar em consideração os estudos acerca de métodos e técnicas de aplicação de questionários, especialmente surveys on-line. Essa é uma área amplamente desenvolvida, cujos trabalhos tratam desde aspectos cognitivos associados à construção de questionários (^{BOWLING, 2005}) até ferramentas para melhorar a implementação desse tipo de coleta de dados (^{CARNEIRO; DIB, 2011}; ^{WACHELKE et al., 2014}). Um dos fatores fortemente discutidos pela literatura é o problema encontrado em surveys on-line de um modo geral: a baixa taxa de participação dos respondentes.

Diversos autores apontam que a implementação de surveys através de plataformas on-line tem implicações práticas positivas e negativas. Dentre as vantagens elencadas, destacam-se a redução significativa dos custos para aplicação para grandes amostras e a possibilidade de atingir grupos de indivíduos muito específicos, além da inclusão de rotinas automatizadas para tabulação e análise dos dados coletados. Já a principal desvantagem desse tipo de pesquisa é a dificuldade de garantir a participação dos respondentes. Estudos evidenciam que levantamentos de dados baseados em recrutamento pela internet tendem a apresentar taxas de participação menores que métodos tradicionais de aplicação presencial ou de recrutamento via correio tradicional - esta última mais comum nos Estados Unidos (^{WACHELKE et al., 2014}; ^{ANDERSON; CAIN; BIRD, 2005}; ^{FAN; YAN, 2010}).

Diante desse diagnóstico, diversos são os esforços no sentido de identificar alternativas para aumentar a participação dos respondentes nos surveys on-line. Isso porque as vantagens de aplicar esse tipo de coleta trazem muitos benefícios para as pesquisas, de modo geral, além de representar a evolução esperada da digitalização dos métodos e processos de pesquisas. Dito de outra forma, a baixa taxa de resposta em surveys on-line é um problema que deve ser resolvido, ou minimizado. Dentre os esforços identificados na literatura, a maior parte diz respeito ao processo de coleta de dados, ou seja, atribui-se a baixa taxa de resposta à dificuldade de acesso aos questionários.

Cabe aqui fazer uma ressalva: existe uma diferença importante entre as pesquisas realizadas nos moldes tratados por esses autores e a avaliação docente realizada pelos alunos da instituição. Primeiramente, a plataforma utilizada para ­hospedar a pesquisa consiste em um sistema da instituição ao qual todos os alunos têm acesso para realização de outras atividades e informações acadêmicas. Sendo assim, é um sistema on-line no qual o acesso dos estudantes aos questionários é facilitado. Além disso, os procedimentos de recrutamento realizados pela instituição não se baseiam apenas no formato on-line, como já mencionado.

^{Moss e Hendry (2002}) defendem que, para utilização de surveys on-line para avaliação de cursos ter sucesso, os questionários não devem ser aplicados frequentemente e devem ser curtos, ter desenhos simples, não requerer senha de acesso, além do anonimato das respostas coletadas. Além disso, os autores destacam a importância de oferecer incentivos para participação, como devolutivas dos resultados da pesquisa. Os autores concluem que, além da maior eficiência em termos de menores custos para aplicação, os surveys on-line podem ser administrados com maior rapidez e permitem o cálculo e distribuição dos resultados com maior agilidade. Logo, quando utilizada metodologicamente e operacionalmente de forma correta, essa tecnologia proporciona maior capacidade de os professores fornecerem feedbacks aos estudantes e de implementar melhorias reais nos cursos a partir dos insumos oferecidos pelas pesquisas.

Já ^{Bowling (2005}) aponta que as principais razões para a não participação incluem a falta de vontade do respondente de participar da pesquisa, o pesquisador não conseguir ou não poder contatar os respondentes (atividade de monitoramento) ou alguma barreira de comunicação. Assim, para o autor, a não participação e, consequentemente, a baixa taxa de resposta são influenciadas pela forma como o questionário é administrado. Entretanto, argumentamos aqui que a participação pode ser influenciada por esses fatores, mas não determinada, uma vez que a motivação do respondente em querer ou não participar da pesquisa depende de fatores além da forma de o questionário ser administrado.

Nesse sentido, ^{Wachelke et al. (2014}) propõem a implantação de sistema de recrutamento e monitoramento dos respondentes que denominam Coleta On-line com Recrutamento Presencial (CORP). Com esse procedimento, seria possível aumentar a participação dos respondentes através do recrutamento presencial dos participantes seguido de coleta realizada em plataforma on-line, com lembretes periódicos e contatos realizados com os respondentes, e, por fim, a realização de uma devolutiva on-line com emissão de certificado de participação ou dos resultados da pesquisa para conhecimento do respondente.

No que se refere ao engajamento estudantil, ^{Nair, Adams e Mertova (2008}) avaliam que o baixo nível de envolvimento de discentes em pesquisas de avaliação da qualidade do ensino superior se deve à falta de incentivos para participação. Para os autores, soluções passam pela criação de um canal de comunicação com os discentes de modo a destacar a importância e relevância da avaliação docente para a instituição e, consequentemente, para eles próprios. As avaliações institucionais são consideradas importantes para o desenvolvimento e aperfeiçoamento do ensino, bem como para condicionar a gestão do crescimento do ensino, entre outros fatores.

^{Fan e Yan (2010}) fazem uma revisão sistemática da literatura sobre surveys realizados na internet e indicam que a taxa de resposta média a esse tipo de pesquisa é menor que 11%. Isso significa que a cada 100 potenciais respondentes, apenas 11 de fato participam on-line. Além disso, os autores defendem que as taxas de respostas podem ser afetadas por diversos fatores de naturezas distintas. Mais uma vez, ressalta-se que o contexto da pesquisa que é aqui objeto de análise é diferente: em vez de um survey com recrutamento amplo pela internet, a avaliação ocorre no ambiente on-line com o direcionamento específico do grupo de alunos que tem acesso ao sistema onde podem participar da pesquisa. No Quadro 1, apresenta-se uma síntese dos fatores/pesquisas anteriores.

A sistematização da literatura realizada pelos autores nos auxilia a delimitar a pergunta de pesquisa e hipótese central deste trabalho. Antes disso, cabe sinalizar que, apesar de sistematicamente tratados de forma separada para fins das análises empreendidas, todos os fatores elencados são inter-relacionados. No que se refere à análise que realizamos aqui, o que interessam são os fatores cuja natureza esteja relacionada à decisão de participar do survey, especificamente as características dos respondentes.

Destaca-se que as características dos respondentes vêm sendo tratadas pela literatura por diferentes abordagens: (i) comparando taxas de resposta de um único survey entre diferentes populações; (ii) estudando como características sociodemográficas afetam as taxas de resposta; e (iii) mensurando quando e como características de personalidade afetam a decisão de participar (^{FAN; YAN, 2010}). O enfoque desse trabalho é, especificamente, compreender quais características individuais dos alunos e dos cursos influenciam a probabilidade de participar ou não da avaliação docente. Dessa forma, a hipótese central é de que as características tanto individuais (como sexo e idade) quanto coletivas (como tipo de curso) afetam a probabilidade de participação dos discentes na avaliação dos professores.

DADOS E MÉTODOS

As análises a seguir utilizam os dados dos questionários de avaliação docente aplicados pela CPA em alunos de graduação presencial e as informações desses mesmos alunos do sistema de informações acadêmicas da instituição. A partir dos dados foi possível chegar a um conjunto de variáveis, apresentado no Quadro 2, que corresponde a dois níveis de mensuração: características dos alunos e características dos cursos aos quais os alunos estão vinculados⁴.

A primeira etapa da análise é de natureza descritiva, com a exploração das taxas de participação de todos os semestres que compuseram o ciclo de avaliações docentes. Em seguida, parte-se para análise da associação entre características de discentes e seus cursos com a participação, através de cruzamentos simples e testes de associação⁵. Através da primeira análise, é possível conhecer as características dos indivíduos que compõem os nossos dados, além de proporcionar indícios de tendências gerais de comportamento das variáveis, que serão inseridas no modelo explicativo. Esse modelo corresponde justamente à segunda etapa da análise: opta-se pela modelagem dos dados com a finalidade de atingir maiores níveis de controle e identificar o grau de associação entre as características dos discentes e dos cursos com a participação na avaliação docente.

Por se tratar de uma variável categórica cujos valores assumidos são zero (não participa da avaliação) ou um (participa da avaliação), utiliza-se um modelo de regressão logística. Esse tipo de análise visa a identificar explicações para a variação da participação discente na avaliação dos professores. Entretanto, como estamos lidando com variáveis situadas em dois níveis de mensuração, será utilizado o modelo logístico hierárquico (ou multinível), que possibilita mensurar as associações tanto no nível individual (aluno), quanto no nível agregado (curso). Esse tipo de modelo possibilita especificar cada nível da hierarquia e, em seguida, reuni-los em um único modelo, incorporando efeitos aleatórios a cada um dos níveis. Tais efeitos aleatórios são, em realidade, “erros aleatórios que representam as diferenças existentes entre as unidades de cada nível quanto à variável de interesse do estudo, mesmo após o controle de outras variáveis” (^{NATIS, 2001}, p. 4). Dessa forma, é possível alcançar maior controle das variações através da modelagem ao reconhecer os diferentes níveis da hierarquia, ou seja, ao especificar que os indivíduos do grupo analisado estão agregados por outro nível (do sistema educacional que os agrupa por cursos), estamos aumentando nosso nível de controle sobre as variações e possíveis variáveis omitidas que influenciam a variável resposta justamente por características do segundo nível.

Através da análise dos dados dos seis semestres de avaliação docente, apresentados na Tabela 1, observou-se que não há variações significativas das características dos discentes entre os semestres. Por essa razão, as análises realizadas adiante serão referentes apenas ao último semestre da avaliação, ou seja, referentes à avaliação docente realizada no segundo semestre de 2018. A maior parte dos alunos é do sexo feminino (52,7%), tem entre 19 e 22 anos (48,7%) e não é beneficiado por programas de bolsa ou financiamento governamental para se manter na universidade (80,50%). A maioria também dedica de 21 a 25 horas (30,6%) ou de 26 a 30 horas semanais ao curso (22,2%). Além disso, 37,5% dos alunos do segundo semestre de 2018 havia completado até 25% da carga horária do curso, ou seja, estavam nos estágios iniciais dos cursos de graduação.

RESULTADOS E DISCUSSÃO

O alto engajamento e o aumento da participação dos respondentes em pesquisa do tipo survey on-line consistem um desafio para esse tipo de coleta de dados, conforme identificado pela literatura (^{BOWLING, 2005}; ^{CARNEIRO; DIB, 2011}; ^{WACHELKE et al., 2014}; ^{ANDERSON; CAIN; BIRD, 2005}; ^{FAN; YAN, 2010}; ^{MOSS; HENDRY, 2002}). No caso que analisamos, a realidade não é tão diferente: tem-se uma taxa de resposta que, apesar de ser maior do que a obtida por muitos questionários on-line, ainda tem potencial de crescimento.

Fonte: Avaliação docente, 2016-2018.

Gráfico 1 Taxa de participação dos discentes na avaliação docente, 2016 a 2018 

O Gráfico 1 retrata a distribuição da taxa de participação dos discentes na avaliação docente, de modo que são considerados como participantes apenas os discentes cujas respostas contemplaram todas as 16 questões acerca dos professores⁶. Cabe aqui fazer uma importante ressalva: essas taxas de resposta são muito superiores àquelas consideradas esperadas em pesquisas do tipo survey on-line, de 11%, conforme ^{Fan e Yan (2010}). Acredita-se que isso se justifique porque, ao contrário de surveys elaborados em plataformas on-line e disponibilizados para qualquer pessoa ter acesso na internet e participar, a presente pesquisa tem um enfoque na população de interesse como respondente, isto é, nos discentes dos cursos de graduação da modalidade presencial em uma instituição privada de ensino superior. Além disso, a universidade adota diferentes medidas on-line e presenciais para divulgação do processo de avaliação.

Na Tabela 2, é possível encontrar as análises descritivas realizadas, levando em consideração a participação ou não dos discentes da universidade no semestre em questão. No que se refere a características individuais, nota-se que discentes do sexo feminino tendem a participar da avaliação em maior proporção que aqueles do sexo masculino. Os mais jovens, com idade na faixa etária de 16 a 22 anos, são os que mais participam, além daqueles com idade maior que 40 anos. O resultado nos mostra que a relação entre idade e participação na avaliação não é linear, pois os grupos que mais participam proporcionalmente estão nos extremos da distribuição por idade.

Encontra-se uma relação semelhante quanto à dedicação em horas semanais: os participantes da avaliação tendem a ter uma dedicação maior ao curso (acima de 20 horas semanais); porém, aqueles alunos com dedicação maior que 30 horas semanais tendem a participar menos, o que pode ser reflexo de menor disponibilidade de tempo para realizar a avaliação. O mesmo não ocorre quando analisamos o estágio de conclusão do curso: os alunos que mais participam da avaliação são aqueles que estão no início dos cursos. Ou seja, quanto mais adiantados no curso, menos os alunos participam da avaliação docente. Pode-se esperar que isso se deva à maior quantidade de obrigações desses discentes, como estágio, trabalho ou uma questão de motivação no sentido de resultados palpáveis como consequência de realizar a avaliação. Ou seja, uma vez que as mudanças advindas através de processos avaliativos tendem a ser incrementais e progressivas, estudantes que estejam mais próximos do fim do curso podem tender a crer que não serão beneficiados por tais mudanças e, por isso, não participam da avaliação.

Quando se analisa a forma como se mantém na universidade, ou seja, se o aluno está na graduação com auxílio de programa de bolsa ou financiamento governamental, nota-se que a proporção dos que participam da avaliação é maior entre os que são beneficiados. Essa pode ser inferida como uma dimensão aproximada para condições socioeconômicas dos estudantes que nos revela maior participação na avaliação entre aqueles que têm menores níveis de renda. Além disso, o fato de serem contemplados com essas bolsas e financiamento pode fazer com que esses alunos tenham um maior compromisso institucional e priorizem participar da avaliação.

Já quando o enfoque está nas características dos cursos aos quais os alunos estão vinculados, observa-se maior participação entre aqueles que estão cursando licenciaturas e cursos classificados como tecnológicos. É possível supor que isso se deve ao interesse de avaliar os professores dos indivíduos que estão se formando para seguir carreiras de docência. Quanto ao turno, observa-se que a maior participação de discentes em cursos de turno integral, o que pode ser atribuído a maior exposição a notícias acerca da avaliação devido às estratégias de divulgação já mencionadas.

Por fim, quando analisamos as médias das variáveis contínuas de acordo com a participação ou não dos discentes dos cursos, nota-se que os discentes participantes da avaliação estão vinculados a cursos que são, em média, compostos por mais jovens, com carga horária média mais elevada, maior proporção de mulheres e de discentes que se beneficiam de programas governamentais (Prouni e Fies).

Para todas essas análises foram realizados testes de associação entre as variáveis, e todos os resultados se mostram estatisticamente significativos, ou seja, os resultados dos testes qui-quadrado e T apontam que há associação entre as características dos estudantes e dos cursos e o fato de participarem ou não da avaliação. Sendo assim, a partir desse primeiro exercício de exploração dos dados, parte-se agora para uma análise multivariada através de um modelo logístico hierárquico, cujos resultados são apresentados a seguir.

Na Tabela 3, apresentam-se os modelos de regressão logística multinível, cuja variável dependente é a participação ou não na avaliação docente, e as independentes são as características dos discentes e dos cursos aos quais estão vinculados. O passo inicial para essa análise foi construir um modelo multinível apenas com as características dos alunos, mas com a agregação pelo curso de origem. Sendo assim, o resultado do Modelo 1 aponta que há diferença entre os grupos com a expressão significativa da constante, o que significa que o agrupamento dos alunos por curso é um importante elemento para explicar a participação como segundo nível de análise. Logo, segue-se para a construção do segundo modelo, inserindo as variáveis com as características dos cursos, e nota-se que não há praticamente nenhuma mudança nos resultados referentes às características dos estudantes entre os dois modelos. Cabe ainda uma importante ressalva: foram realizadas diversas análises que não são apresentadas, inclusive controlando os efeitos pelo semestre de avaliação, mas não houve qualquer diferença relevante entre os resultados encontrados. Logo, a análise foi realizada considerando apenas o último semestre de avaliação, conforme apresentado no modelo a seguir, cujos resultados estão expressos em razão de chance.

A partir da análise do Modelo 2, observa-se que todas as características observadas, para o Nível 1 (características dos alunos), as razões de chance são significantes (P<0,01), exceto para variável faixa etária de 26 a 30 anos. Considerando a variável sexo observa-se que o fato de o aluno ser do sexo feminino aumenta a chance em 46,2% (0,683)⁷ em relação aos alunos do sexo masculino. Em relação à faixa etária, observa-se que os alunos com o perfil na faixa etária acima de 40 anos são os que mais participam. Nessa faixa, a chance de participação é 46,6% (1,466) maior do que a faixa etária de 16 a 18 anos (faixa considerada como referência pelo modelo). Ser bolsista do Prouni/Fies aumenta em 65,8% (1,658) a chance de participação dos demais alunos. Em relação a horas de dedicação ao curso, a maior chance é observada na faixa de 21 a 25 horas semanais: nessa faixa, a chance é 114,9% (2,149) maior do que a faixa de até 15 horas semanais. Em relação ao percentual de conclusão, observa-se que os alunos na fase inicial do curso têm uma chance maior de participação: um aluno com até 25% de conclusão possui uma chance 54,6% (0,646) maior do que um aluno próximo de conclusão (mais de 100%). Dessa forma observa-se que um aluno do sexo feminino, na faixa etária acima de 40 anos, com bolsa do Prouni/ Fies, tendo de 21 a 25 horas de dedicação ao curso e na fase inicial do curso são os que têm maior chance de participar da avaliação docente.

Considerando todas as características observadas, para o Nível 2 (referentes aos cursos), tem-se que as licenciaturas são as que mais contribuem na participação dos alunos. A chance de um aluno do curso de licenciatura participar é 115,6% (2,156) maior do que um aluno de bacharelado. Observa-se também que o turno do curso influencia na participação dos alunos: a chance de um aluno do turno integral participar é 60,8% (0,622) maior que um curso não integral. A média de idade no curso também se mostrou significativa na participação dos alunos, observando-se um aumento de 11,00% (0,901) na chance de participação na medida em que a média da idade dos alunos diminui em uma unidade, ou seja, a cada decréscimo de um ano. As demais variáveis, apesar de estudadas, não se mostraram significativas no Nível 2.

CONSIDERAÇÕES FINAIS

Este trabalho partiu do enfoque nas características individuais e dos cursos dos respondentes para compreender a participação no survey on-line. Especificamente, buscou-se compreender quais os fatores relacionados a tais características influenciam a participação de discentes em um processo de avaliação docente no ensino superior. Portanto, o objetivo foi identificar os perfis de alunos mais e menos propensos a participarem da avaliação.

Os resultados da probabilidade de participação na avaliação docente apontam que as características individuais dos estudantes e aquelas relacionadas aos cursos aos quais estão vinculados são importantes para sua compreensão. Discentes do sexo feminino, com idade acima de 40 anos e que sejam beneficiários de programas governamentais de financiamento ou bolsas de estudos têm maior probabilidade de participação. De forma semelhante, estudantes matriculados que estejam em estágios iniciais do curso e com dedicação de 26 a 30 horas semanais ao curso têm maior probabilidade de participação. Finalmente, alunos vinculados a cursos de licenciatura, cursos de turno integral ou cursos com menor média de idade entre os estudantes também tendem a ter maiores chances de participar da avaliação.

A partir desses resultados, é possível concluir que, para além de fatores ligados ao desenvolvimento, aplicação e captação dos dados através de surveys on-line, é importante explorar aqueles que impactam na decisão do respondente em participar. Cabe aqui destacar, portanto, que o fato de mulheres participarem mais do que homens, e pessoas de faixa etária mais avançada participarem mais do que os mais jovens dão indícios de que essas características afetam a decisão de participar da avaliação docente. Isso porque os fatores ligados (i) ao desenvolvimento do survey (conteúdo abordado e forma de apresentação dos questionários), (ii) à aplicação do survey (definição de quem serão os respondentes, formas de contato ou convite e monitoramento das respostas) e (iii) à captação dos dados visam à inclusão de todo o corpo discente na avaliação, sendo assim, é possível concluir que os fatores ligados à decisão de participar ou não da avaliação importam.

Entretanto, há que se fazer uma ressalva quanto à necessidade de investimento em um sistema de incentivos à participação que possa aumentar as chances de participação também de outros grupos de estudantes. Resgatando o proposto de ^{Nair, Adams e Mertova (2008}), argumentamos pela necessidade de reforçar as formas já existentes e criar outras formas efetivas de comunicação com o corpo discente a fim de destacar a importância e relevância da avaliação docente para a instituição e, por consequência, para si próprio.

Finalmente, o presente trabalho contribuiu para a discussão da avaliação docente, tomando por base essa literatura, além de trazer indícios de que é importante considerar as características de diferentes níveis de mensuração. Isto é, faz-se necessário um olhar para as características dos indivíduos e também das estruturas (ou organizações) que eles compõem. Posto de outra forma: para compreender a dinâmica de participação discente na avaliação docente no ensino superior, é necessário olhar para as características dos alunos e também dos cursos aos quais estão vinculados. Sendo assim, é possível supor que a análise dos próprios resultados da avaliação, ou seja, o desempenho aferido dos docentes, deva ser feita pela mesma perspectiva - esse ponto compõe nossa agenda de pesquisa.