Portugués (pdf)
Articulo en XML
Traducción automática
Enviar articulo por email
Permalink
INTRODUÇÃO
Um complexo conjunto de fatores internos e externos às instituições de educação superior (IES) tem levado à crescente preocupação com a qualidade por todo o mundo. Os processos de expansão e de democratização do acesso a esse nível de ensino, intimamente acompanhados da crescente diversificação das instituições, dos professores e da população estudantil, são fatores centrais que têm contribuído para fomentar políticas de garantia da qualidade na educação superior. Além desses, também é de referir a diminuição de recursos públicos para a educação, a crescente privatização do sistema em muitos países, o processo de globalização e de internacionalização patente, por exemplo, nos sistemas de ranking instituídos, o crescimento exponencial de cursos e programas virtuais, o acesso livre e generalizado ao conhecimento, entre outros, para não referir os fatores de natureza mais pedagógica, como a mudança de paradigma do ensino para a aprendizagem com demandas por abordagens mais ativas, flexíveis aos diferentes tempos e espaços. Foi então, nesse contexto de muitas mudanças, que se levantou uma série de preocupações relacionadas à qualidade da formação em nível superior, as quais, por sua vez, foram acompanhadas de acordos e compromissos que apontam a necessidade de se instituir uma cultura de qualidade nas IES.
No âmbito da União Europeia, o Processo de Bolonha tem atribuído grande protagonismo à garantia da qualidade, especialmente pela elaboração e adoção dos Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG) (2015), que estabelecem que cada IES deve definir uma política de garantia da qualidade articulada a procedimentos e estratégias para sua operacionalização. O ESG (2015) está dividido em três partes - garantia de qualidade interna, garantia de qualidade externa e agências de garantia da qualidade - e suas diretrizes e recomendações servem de referência tanto para os sistemas internos quanto externos de garantia da qualidade. Apesar dessa amplitude, tem sido ressaltado que o foco do ESG, especialmente no que compete à garantia de qualidade interna, diz respeito aos processos de ensino e de aprendizagem na educação superior (EUROPEAN ASSOCIATION FOR QUALITY ASSURANCE IN HIGHER EDUCATION - ENQA, 2011; GOVER; LOUKKOLA; SURSOCK, 2015).
Sendo umas das principais linhas de ação do Processo de Bolonha, os sistemas de garantia de qualidade ampliaram-se nos últimos anos e, com eles, alargou-se também o uso da avaliação da qualidade do ensino (AQE) pelos estudantes. Instrumentos e procedimentos relativamente complexos têm sido desenvolvidos pelas IES com objetivo de obter e analisar o feedback do corpo discente. Em geral, ao final de cada semestre letivo, os estudantes preenchem questionários ou inquéritos que classificam as práticas pedagógicas docentes, o funcionamento das disciplinas e das aulas e também suas próprias aprendizagens. Pesquisas realizadas com centenas de instituições do Espaço Europeu de Educação Superior apontam que o questionário (student surveys) é o instrumento mais utilizado para apreender o feedback dos estudantes em relação ao ensino (LOUKKOLA; ZHANG, 2010; SURSOCK, 2015). Com menor frequência, as IES usam também o portfólio docente e o feedback dos pares (SURSOCK, 2015).
Em Portugal, contexto no qual se insere o estudo ora apresentado, a AQE está prevista na Constituição da República Portuguesa quando trata da autonomia das universidades e é retomada no Regime Jurídico das Instituições de Ensino Superior (Lei n. 62/2007) (PORTUGAL, 2007b). Referindo-se à avaliação interna, esse documento estabelece que as IES devem contemplar, em seus estatutos, a forma de organização dos respectivos sistemas internos de garantia da qualidade. A avaliação interna também é objeto da Lei n. 38/2007 (PORTUGAL, 2007a), que aprova o regime jurídico da avaliação da educação superior atualmente em vigor e, de forma geral, transpõe os padrões europeus para o regime jurídico nacional. Segundo essa lei, compete a cada IES adotar uma política de garantia de qualidade e os procedimentos para sua concretização, bem como desenvolver uma cultura de qualidade, colocando em prática estratégias para sua melhoria contínua. Em conformidade com os referenciais europeus, a legislação portuguesa reafirma que a responsabilidade pela qualidade de ensino cabe, primeiramente, a cada IES, à qual compete criar as estruturas e os procedimentos internos para garantir a qualidade de ensino.
Apesar de o ESG (2015) ser o principal referencial europeu para avaliação na educação superior e servir de base para os sistemas nacionais de garantia da qualidade, não impõe modelos únicos de avaliação, respeitando, assim, a liberdade e a autonomia das instituições. Dessa forma, cada IES estabelece sua política da qualidade e define a organização e o funcionamento do seu sistema interno, orientando-se, naturalmente, pelas indicações fornecidas pelos referenciais europeus e pelas determinações constantes do regime jurídico nacional. Em linhas gerais, nas IES de Portugal, as estruturas dos sistemas internos de garantia da qualidade são semelhantes e, no que tange à AQE docente, foco deste estudo, o feedback dos estudantes, obtido ao final de cada semestre letivo por meio de questionários que avaliam as práticas docentes, é o mecanismo mais comum.
Para além do Espaço Europeu de Educação Superior, a disseminação da AQE tem hoje proporções mundiais (BENTON; CASHIN, 2012; KULIK, 2001; MARSH, 2007; PENNY, 2003; RICHARDSON, 2005; SPOOREN; BROCKX; MORTELMANS, 2013). Nos Estados Unidos, Seldin (1993) já havia indicado que, em 1993, cerca de 86% das instituições estadunidenses usava a avaliação do ensino pelos estudantes. A Austrália também é reconhecida por ter uma longa história de coleta de dados em relação às experiências de ensino e aprendizagem dos universitários, com a particularidade de que tal coleta é realizada, desde 1993, em nível nacional por meio de instrumentos e procedimentos padronizados (BARRIE; GINNS; SYMONS, 2008). Uma importante razão para o amplo uso dos questionários deve-se à facilidade, ao menos aparente, de coletar e interpretar os dados, especialmente nos dias atuais, com auxílio de recursos tecnológicos e virtuais.
Muito embora originalmente a AQE tenha sido usada para finalidades formativas e de desenvolvimento profissional da equipe docente, nas últimas décadas tal avaliação tem auxiliado decisões administrativas relacionadas à renovação de contrato, à promoção e progressão na carreira docente e, ainda mais recentemente, tornou-se elemento central nos processos internos de garantia da qualidade. A esse respeito, Silva (2004) esclarece que, em linhas gerais, dois usos são tradicionalmente associados à AQE realizada pelos estudantes. O primeiro, de caráter somativo, tem como objetivo respaldar decisões administrativas sobre questões salariais, promoções e efetivação no cargo. O segundo, de caráter formativo, tem como objetivo incentivar a melhoria da atividade de ensinar e está primariamente voltado ao desenvolvimento do docente.
Essa diversidade de objetivos, nem sempre explícitos, tem gerado uma série de tensões e conflitos entre os atores envolvidos (ANDERSON, 2006; ARTHUR, 2009; BURDEN, 2010; NEWTON, 2000; PENNY, 2003; PENNY; COE, 2004; SARRICO et al., 2010). A ausência de um referencial conceitual para a dimensão formativa da AQE e para seu objetivo de transformação das práticas tem fomentado a diversidade de usos dados a essa avaliação (PARICIO ROYO, 2012; VIEIRA, 2014; VIEIRA; MORGADO; SILVA, 2016).
Por esse conjunto de razões, ao mesmo tempo em que se reconhece o uso mundialmente difundido da AQE, identifica-se também uma série de divergências, críticas e questionamentos relativos à validade, confiança e valor de uso da avaliação, além da existência de um variado conjunto de mitos e preconceitos que geram descrédito nos resultados dessas avaliações por parte dos atores envolvidos. Consoante esse cenário, uma vasta gama de pesquisas e de produções científicas tem sido produzida em torno dos aspectos que geram tais questionamentos, permitindo algumas conclusões. Acerca da validade da AQE, estudos apontam que existe relação positiva entre seus resultados e o desempenho (resultados de aprendizagem) dos estudantes, corroborando que a AQE é uma medida válida da efetividade do ensino (CLAYSON, 2009; WRIGHT; JENKINS-GUARNIERI, 2012). Também há relação positiva entre a melhoria no ensino (avaliada a partir de melhores resultados na AQE) e intervenções de apoio a partir dos resultados da prática de avaliação, reforçando que estratégias de feedback que envolvem ativamente o professor e os órgãos de gestão pedagógica, por exemplo, por meio de espaços de discussão apoiada dos resultados, têm maior efetividade na melhoria do ensino (BENTON; CASHIN, 2012; PENNY; COE, 2004; SPOOREN; BROCKX; MORTELMANS, 2013; WINCHESTER; WINCHESTER, 2014; WRIGHT; JENKINS-GUARNIERI, 2012).
Apesar das evidências de validade apontadas, a literatura sugere que a AQE pelos estudantes não deve ser o único indicador da efetividade e da qualidade pedagógica do ensino (BENTON; CASHIN, 2012; PENNY, 2003; PENNY; COE, 2004; SILVA, 2004; SPOOREN; BROCKX; MORTELMANS, 2013). Em relação à estratégia on-line de coleta das opiniões, a qual é motivo para que os docentes desacreditem a validade da AQE, a literatura mostra que as avaliações eletrônica e em papel têm resultados semelhantes, embora se reconheça o desafio generalizado de aumentar as taxas de participação (BENTON; CASHIN, 2012; JOHNSON, 2003; SPOOREN; BROCKX; MORTELMANS, 2013). Em síntese, referindo-se à validade, confiança e valor de uso da AQE pelos estudantes, Marsh (2007, p. 372, tradução nossa) resume:
[…] são multidimensionais, confiáveis e estáveis, principalmente uma função do docente que ensina uma disciplina do que da disciplina que é ensinada, relativamente válida contra uma variedade de indicadores de efetividade do ensino, relativamente pouco afetada por uma variedade de potenciais mitos, e são vistos como úteis por professores, alunos e administradores.1
Para promoverem processos de melhoria, os sistemas educativos necessitam de informação relevante fornecida por práticas de avaliação, as quais devem fazer parte de uma estratégia deliberada para a melhoria. Do ponto de vista pedagógico, somente quando a avaliação proporciona informações que permitem tomar decisões para a melhoria contínua das práticas pedagógicas é que se consegue caminhar para um ensino de qualidade. Daí infere-se a relação cada vez mais forte entre qualidade e avaliação.
No contexto das universidades latino-americanas, e especificamente no Brasil, a qualidade da educação superior tem sido tema de muitas pesquisas e produções científicas, entretanto, a concepção de qualidade ainda não é clara e está marcada por tensões entre os diferentes modelos de compreensão da sociedade e, também, de educação superior (BERTOLIN, 2009; GONZALEZ; CARMONA; SANDOVAL, 2012; MOROSINI, 2001, 2009). Além disso, assim como nos países da União Europeia, a discussão sobre a qualidade na educação superior brasileira está ligada à avaliação (BARREYRO; ROTHEN, 2006; BERTOLIN, 2007, 2009; BURLAMAQUI, 2008; DIAS SOBRINHO, 2010; MOROSINI, 2009, 2016; POLIDORI, 2009; POLIDORI; MARINHO-ARAUJO; BARREYRO, 2006; ROTHEN; BARREYRO, 2009). A avaliação, por sua vez, está ancorada em pressupostos políticos, filosóficos e em uma concepção de mundo e de sociedade que a orienta e gera efeitos muito variados (DIAS SOBRINHO, 2003, 2004, 2008; LEITE, 2005; RISTOFF, 1999). Sem dúvida, a conceituação de qualidade é uma tarefa pendente que ainda requer a atenção.
Diante dessas considerações, reitera-se que o objetivo geral da avaliação do ensino é assegurar e aperfeiçoar a qualidade da formação dos estudantes, a qual está em estreita relação com melhorias curriculares e pedagógicas e com a promoção do desenvolvimento profissional docente. Nesse sentido, os sistemas de AQE não devem tornar-se um processo demasiado burocrático e desvinculado do sentido público da educação superior. Pelo contrário, o compromisso da avaliação é com a criação permanente de condições objetivas capazes de potencializar as experiências de ensino-aprendizagem.
Tendo em vista que, por um lado, a prática de avaliar o ensino docente é largamente utilizada pelas IES com objetivo de assegurar e aperfeiçoar a qualidade da formação e, por outro, que existe uma série de tensões e conflitos entre os atores envolvidos, estudantes e professores de uma universidade pública portuguesa foram ouvidos com objetivo de apreender suas percepções e sentidos atribuídos à AQE atualmente vigente na instituição. Neste trabalho, num esforço de síntese e integração dos resultados (BISINOTO; ALMEIDA, 2016, 2017), confrontamos as opiniões dos professores e dos estudantes de forma a identificar pontos de convergência e divergência entre suas percepções e apontar direções de melhoria. Complementarmente, e procurando o melhor enquadramento para o conteúdo das entrevistas realizadas, fez-se análise de documento institucional relativo ao sistema de garantia da qualidade instituído na universidade, para identificar os sentidos que o determinam. Ao considerar essas diferentes fontes, pode-se verificar em que medida o discurso articula-se com as vivências e opiniões dos principais intervenientes nesse processo avaliativo.
MÉTODO
O presente estudo ampara-se em uma abordagem essencialmente qualitativa de pesquisa e tem caráter exploratório-descritivo. Característica central da pesquisa qualitativa é o interesse em ter acesso às experiências, interações e documentos em seu contexto natural, valorizando suas particularidades (FLICK, 2009). A pesquisa de abordagem qualitativa orienta-se para a interpretação dos fenômenos que constituem uma realidade específica, levando em conta a subjetividade dos participantes como importante elemento do processo de investigação (FLICK, 2009; GIBBS, 2009). Além disso, nessa abordagem, os participantes da pesquisa têm papel essencialmente ativo na produção de significados e na circulação de sentidos acerca da temática em perspectiva, como o caso dos sentidos relacionados à AQE na educação superior. As interações e os documentos são formas de sentido que, a partir da análise qualitativa, permitem descrever e explicar questões sociais.
PARTICIPANTES
Este estudo contou com a participação de 35 estudantes do 3º ano e seis professores de uma universidade pública do norte de Portugal. Do total de estudantes, 25 são do gênero feminino e 10 do gênero masculino, sendo que 21 pertencem a curso na área de ciências sociais e humanas (CS&H) e 14 na área de ciências e tecnologias (C&T). Participaram, também, seis professores da universidade, quatro homens e duas mulheres, sendo que três trabalham na área de CS&H e três na área de C&T, com tempo médio de docência de 18,2 anos. Tratou-se de amostragem por conveniência, definida em função da disponibilidade dos estudantes e dos professores para participar, nas respectivas áreas. Todos os estudantes e professores têm experiência vivenciada na avaliação do ensino. A pesquisa foi realizada no segundo semestre do ano letivo 2015/2016 e o número de participantes foi definido pelo critério de saturação do conteúdo das entrevistas já realizadas.
INSTRUMENTO
Para obter a percepção dos estudantes e dos professores, realizaram-se entrevistas semiestruturadas e individuais que permitiam aos participantes expressar suas impressões sobre o sistema de avaliação do ensino instituído na sua universidade. Tanto o roteiro de entrevista dos estudantes quanto o dos professores continham quatro questões sobre a importância que conferiam ao sistema de AQE, os aspectos positivos e negativos atribuídos ao sistema e sugestões para seu aperfeiçoamento. Para obter informações factuais acerca do sistema de AQE em funcionamento na universidade, procedeu-se, ainda, à análise do Manual da Qualidade, disponível no site oficial da instituição.
PROCEDIMENTOS
No caso das entrevistas, a coleta com os estudantes foi realizada em turmas cujos professores cederam algum tempo ao final das aulas, tendo participado apenas os que concordaram voluntariamente. Quanto aos docentes, as entrevistas ocorreram nos respectivos gabinetes. Todos os participantes foram informados acerca dos objetivos do estudo e foi-lhes garantida a confidencialidade dos dados coletados. As respostas dos estudantes foram registradas por escrito pelos pesquisadores e as entrevistas com os docentes foram gravadas. As informações foram analisadas qualitativamente, por meio de análise temática (BRAUN; CLARKE, 2006, 2013). Tanto os elementos recorrentes quanto aqueles singulares entre as percepções dos participantes foram considerados. No caso da análise documental, também realizada qualitativamente, buscou-se apreender as principais ideias afetas à qualidade do ensino, conforme expressas no documento institucional.
RESULTADOS E DISCUSSÃO
Os resultados relativos às entrevistas com estudantes e professores refletem sua experiência pessoal e acadêmica diante da avaliação do ensino realizada ao final de cada semestre letivo. Por sua vez, os dados da análise documental trazem informações factuais acerca do sistema de AQE vigente na universidade em que este estudo se concretizou. Essa complementaridade na informação recolhida assegura uma visão mais abrangente do processo, ao mesmo tempo em que assegura uma melhor contextualização dos procedimentos e da informação recolhida. A seguir serão apresentados os resultados relacionados às entrevistas e, na sequência, os relativos à análise documental, aproveitando para fazer a discussão com base em investigações disponíveis nessa área.
PERCEPÇÕES DE ALUNOS E PROFESSORES
A análise qualitativa das informações recolhidas com as entrevistas de estudantes e professores aponta para uma boa convergência nas suas percepções em relação à AQE implantada na universidade. Para melhor compreensão dos resultados, utilizar-se-ão alguns fragmentos das respostas dos participantes, os quais estão acompanhados da identificação do participante, gênero (M ou F) e área do curso ou de atuação.
Em relação à opinião geral sobre o processo de AQE pelos estudantes, tanto estes quanto professores são maioritariamente favoráveis a essa avaliação, nomeadamente por meio dos inquéritos pedagógicos. Os participantes neste estudo, em consonância com a investigação na área, julgam relevante haver um processo de AQE que forneça feedback dos estudantes sobre o funcionamento das atividades de ensino desenvolvidas e as possibilidades de aperfeiçoamento (ANDERSON, 2006; ARTHUR, 2009; BERAN; ROKOSH, 2009; CAMPBELL; BOZEMAN, 2008; CHAN; LUK; ZENG, 2014; IQBAL et al., 2016; KITE; SUBEDI; BRYANT-LEES, 2015; SOJKA; GUPTA; DEETER-SCHMELZ, 2002; WONG; MONI, 2014). Apesar de favoráveis, os professores expressam sentidos negativos relacionados a essa prática avaliativa, especialmente quando associada à lógica de controle e punição, o que fomenta sentimentos de ambiguidade e tensão diante da AQE (ANDERSON, 2006; BERAN; ROKOSH, 2009; NASSER; FRESKO, 2002; NEWTON, 2000; SURGENOR, 2013).
Quanto aos aspectos positivos em relação ao sistema de AQE, os estudantes referem-se à qualidade do instrumento, considerando-o bastante completo. Por sua vez, os professores mencionam, como positivo, apenas o fato de os inquéritos terem espaço para comentários dos alunos e fornecerem relatórios pertinentes. Os estudantes valorizam a facilidade de acesso ao inquérito quando disponível em plataforma virtual, por assegurar maior privacidade, conveniência e preservação do tempo de aula (ASASSFEH et al., 2014; JOHNSON, 2003). Da parte dos professores, as vantagens associadas ao procedimento on-line prendem-se apenas aos benefícios ambientais, de economia de tempo e de recursos e à maior agilidade no tratamento e divulgação dos resultados.
No que diz respeito à utilidade que atribuem ao feedback dos estudantes, as opiniões dos discentes e dos docentes são mais convergentes, distribuindo-se em torno da percepção da avaliação como espaço de escuta acerca da opinião dos alunos sobre a prática pedagógica do professor e sobre o funcionamento da disciplina (unidade curricular – UC); uma oportunidade dos professores conhecerem o que seus alunos pensam; e uma maneira da universidade monitorar o trabalho docente e o desenvolvimento das UCs dos cursos. Tanto para docentes quanto discentes, todas essas percepções amparam-se na perspectiva de aprimoramento da prática pedagógica e da qualidade do ensino: “serve para o professor diferenciar coisas boas daquelas más” (estudante 27, F, C&T), alinhando-se a resultados de outros estudos (CAMPBELL; BOZEMAN, 2008; IQBAL et al., 2016; KITE; SUBEDI; BRYANT-LEES, 2015). As ações de melhoria decorrentes do feedback dos estudantes são mencionadas exclusivamente pelos professores, que apontam a redistribuição das atividades docentes, a elaboração de relatórios pelo docente e pelo coordenador de curso sobre as razões que justificam o resultado obtido na avaliação e intervenção do coordenador de curso com o docente: “se temos alguma avaliação negativa temos que criar ações de remediação e essas ações podem ser monitorizadas pelo diretor do curso, pelo coordenador” (professor 3, M, CS&H).
No tocante aos aspectos negativos desse sistema de AQE, estudantes e professores apontam que o inquérito é longo, o que acaba por tornar maçante ter que respondê-lo para cada UC; que é igual para todas as disciplinas, não respeitando as especificidades teórica ou prática de cada uma; e referem que os inquéritos carecem de alguma clareza e objetividade: “as questões são um bocado abstratas, não são concretas” (estudante 24, M, C&T). Essas dificuldades foram apontadas em outros estudos (BURDEN, 2010; IQBAL et al., 2016; WONG; MONI, 2014).
Segundo os estudantes, não há divulgação dos resultados dos inquéritos que preenchem, portanto, não conhecem os resultados mais importantes, desconhecem como são institucionalmente utilizados e não percebem mudanças efetivas nas práticas dos professores: “os professores não mudam mesmo, estão fixos nas UCs” (estudante 32, M, C&T) e “não conhecemos o efeito dessa avaliação ou os resultados, não se nota mudança” (estudante 23, M, C&T). Por essas razões, mostram-se ambivalentes quanto às suas avaliações serem realmente consideradas pelos professores e pela instituição (AL-ABBADI et al., 2009; ASASSFEH et al., 2014; CAMPBELL; BOZEMAN, 2008; IQBAL et al., 2016; KITE; SUBEDI; BRYANT-LEES, 2015). Do mesmo modo, os professores também sinalizam a ausência de mudanças decorrentes do feedback dos estudantes, concordando que a queixa dos alunos procede, aspecto corroborado por outros estudos (BERAN; ROKOSH, 2009; NASSER; FRESKO, 2002; NEWTON, 2000). Alguns relatos de professores sugerem que esse sistema de avaliação está mais orientado para obtenção de indicadores quantitativos que pouco impactam no aperfeiçoamento da prática pedagógica:
[...] basicamente está centrado na recolha de indicadores desse tipo de questionários com os alunos, e falta muita coisa, falta observação das aulas, diálogo direto, pelo menos essas duas permitiriam atuar mais sobre o processo. (professor 6, M, C&T)
A frequente e intensa prática de coletar dados desconectada da transformação e melhoria tem levado os docentes a atribuírem um sentido burocrático e ritualístico a essa avaliação, o que também é comentado em outros estudos (ANDERSON, 2006; SURGENOR, 2013).
Ainda no âmbito dos aspectos negativos, os professores fazem forte referência aos procedimentos de coleta das percepções discentes, apontando a baixa taxa de resposta e o perfil específico dos poucos estudantes que participam. Todos os professores indicaram que o baixo percentual de resposta na AQE é uma grave fragilidade do sistema, prejudicando a representatividade da amostra e dos resultados: “eles podem dar sugestões para eu melhorar, mas nesse momento não posso aproveitar porque tenho poucas respostas” (professor 4, F, C&T), aspecto apontado em outros estudos com docentes (IQBAL et al., 2016). Para os professores, a redução significativa na participação do corpo discente ocorre desde a implantação do sistema eletrônico de coleta e lembram que a existência de um momento específico para preencher os inquéritos na sala ao final das aulas favorecia a participação dos estudantes. Os professores também apontaram que os inquéritos são respondidos, na maioria das vezes, por alunos que não frequentam as aulas ou por aqueles que não ficaram satisfeitos e “querem dizer mal” do docente e castigá-lo. A respeito dessa crítica ao perfil dos estudantes que respondem aos inquéritos, os docentes dizem que “nós temos sempre aqueles alunos que nos acompanham ao longo das aulas e eu acho que só esses podem responder pedagogicamente sobre a nossa maneira de ensinar os conteúdos” (professor 4, F, C&T). Apesar de a literatura reconhecer o desafio de intensificar a participação dos estudantes, não corrobora a ideia presente no discurso dos professores entrevistados de que o sistema eletrônico favoreça que os estudantes insatisfeitos participem mais, desvirtuando os resultados (BENTON; CASHIN, 2012; JOHNSON, 2003; SPOOREN; BROCKX; MORTELMANS, 2013).
Por fim, quanto às sugestões para melhoria do sistema de AQE, os estudantes propõem a diminuição no número de itens do inquérito e sua reformulação, deixando-os mais claros e objetivos; tanto estudantes quanto professores sugerem modificações para que os inquéritos se aproximem do perfil das disciplinas (teóricas ou práticas, por exemplo). Os estudantes indicaram, ainda, que o instrumento poderia ter mais espaço livre para comentários, no qual pudessem opinar sobre o que o professor deve melhorar, sendo que tanto docentes quanto discentes propuseram a adoção de estratégias mais qualitativas de identificação e coleta da percepção dos estudantes, como ilustram as verbalizações seguintes: “ter um questionário mais aberto para falar mais, para expor as ideias, e também para o professor poder falar” (estudante 5, F, CS&H) e “uma coisa que eu acho que funciona, não é assim tão difícil de implementar, é fazer um workshop com os alunos, que é um momento de reflexão comum […] isso porque eu estou mais interessado no que podemos fazer de forma diferente” (professor 6, M, C&T), o que também aparece sugerido em outros estudos (ANDERSON, 2006; GRIFFIN; COOK, 2009). Nessa direção, já se verifica, em algumas IES, a adoção de estratégias complementares de coleta de informação, por exemplo, recorrendo a entrevistas e a grupos focais com os atores (GOVER; LOUKKOLA, 2015; GOVER; LOUKKOLA; SURSOCK, 2015).
Em relação ao procedimento de aplicação, as sugestões dos estudantes e, sobretudo, as dos professores concentram-se em propostas para aumentar a taxa de participação dos estudantes, sendo que os alunos apontam para estratégias que os esclareçam acerca da função e importância da AQE, sensibilizando-os a responder, enquanto os professores direcionam-se mais para sugestões voltadas à utilização de recursos tecnológicos em sala de aula para preenchimento dos inquéritos. Relativamente à utilidade da avaliação, ambos os grupos de participantes sugerem que seja disponibilizado feedback para os estudantes e para os professores. Os estudantes apontam que a AQE tenha mais influência na prática de ensino dos professores. Os professores, por sua vez, concentram-se em propostas voltadas à criação de um sistema formal de apoio ao docente, seja para auxiliá-lo na compreensão dos problemas apontados pelos estudantes, seja de apoio devido ao impacto emocional que o feedback tem sobre os docentes e, ainda, em termos de estratégias institucionais de formação docente e de investimento na melhoria do ensino. Como está, o
[…] sistema de avaliação avalia, mas não é ele que vai mudar nada, na minha perspectiva, o que vai mudar são outras ações completamente diferentes, por exemplo […] sensibilizar as pessoas e mostrar-lhes que o ensino não é necessariamente sempre a mesma coisa, sempre os mesmos métodos, há alternativas, há possibilidades diferentes. Portanto, eu acho que as grandes mudanças vão ser através disso, tem que ser através daí, uma dinâmica completamente diferente, mais interventiva. (professor 1, M, C&T)
MANUAL DA QUALIDADE
Dos documentos institucionais que versam sobre as políticas de qualidade na universidade em questão, a análise documental priorizou o Manual da Qualidade, tendo em vista que é o documento institucional que tem incidência mais detalhada nas dimensões afetas à qualidade do ensino. Ainda que esse documento contemple todas as atividades acadêmicas – investigação, ensino, relação com a sociedade e serviços –, destina atenção significativamente maior à avaliação do processo de ensino e aprendizagem.
À partida, o documento destaca que a universidade assumiu compromisso institucional com a qualidade e sua garantia e, para tanto, dispõe de um sistema interno para garantia da qualidade no âmbito do ensino, da investigação e da interação com a sociedade, sempre pautado nas orientações do sistema nacional e europeu de garantia da qualidade na educação superior. Constata-se, assim, que a IES em análise está em alinhamento com o quadro de referência europeu, orientando-se pelas políticas de garantia da qualidade propostas pelo Standards and Guidelines (ESG, 2015), o principal referencial europeu para avaliação na educação superior. Destaca, também, que a política institucional para qualidade passa pela criação de uma cultura organizacional de estímulo à qualidade, assente na participação ativa da comunidade acadêmica. Busca, dessa maneira, a interiorização de uma cultura de qualidade que seja transversal a todos os projetos da universidade e almeja que a avaliação seja vista como elemento natural da atividade institucional, sempre numa perspectiva de melhoria contínua. O fortalecimento de uma cultura de avaliação da qualidade é objetivo e desafio comum às instituições do Espaço Europeu de Educação Superior (GOVER; LOUKKOLA, 2015; GRIFFIN; COOK, 2009).
No que tange especificamente à AQE, o documento esclarece que a UC é a unidade base para monitorização das atividades de ensino, seguindo níveis progressivos de avaliação, ou seja, a UC, o curso, a unidade orgânica e a universidade. O documento descreve o processo de avaliação para cada um desses níveis, todos realizados com suporte informático. Para avaliação do funcionamento das UC está prevista a elaboração de um dossiê com elementos relacionados à sua organização e planejamento, aos resultados escolares dos estudantes e aos resultados dos inquéritos das percepções dos estudantes sobre o processo de ensino e de aprendizagem. É, portanto, no âmbito da avaliação do funcionamento das UCs que surge, pela primeira vez, a referência aos inquéritos pedagógicos de auscultação aos discentes, campo onde se insere a AQE pelos estudantes, discutida neste trabalho. O documento descreve, também, a avaliação dos cursos, feita com base nos resultados das UCs e de outros indicadores, como procura do curso, tempo médio de conclusão, empregabilidade; a avaliação ao nível da unidade orgânica, feita com base nos relatórios dos cursos daquela unidade; e a apreciação ao nível da universidade, feita por meio de documento-síntese dos aspectos mais importantes reunidos ao longo do processo, em toda a instituição. Para cada um desses níveis de avaliação são designados responsáveis específicos.
A partir dos relatórios de autoavaliação elaborados nos diferentes níveis, o manual prevê a elaboração e a atualização de um portfólio de práticas de mérito que tenham potencial de aplicação a toda a universidade. Prevê, também, ações associadas às UCs em que sejam identificados resultados a aprofundar (por se distanciarem dos objetivos e metas institucionalmente traçados) ou resultados exemplares (que superem tais objetivos e metas). Estabelece que esses resultados sejam identificados a partir dos resultados dos inquéritos aos estudantes e docentes, assim como das taxas de sucesso escolar. Decorre da interpretação do documento que as práticas de mérito são bastante abrangentes e contemplam os diversos atores e níveis de avaliação; já os resultados exemplares e aqueles a aprofundar circunscrevem-se às UCs. Da análise feita depreende-se que ambas as iniciativas pretendem contribuir para a ampliação de práticas exitosas e com certo potencial de enriquecimento do processo pedagógico. A valorização e a disseminação de práticas bem- sucedidas são apontadas como importantes estratégias de melhoria do sistema de avaliação pelos estudantes (GRIFFIN; COOK, 2009). Entretanto, nenhum docente participante desse estudo fez referência ao portfólio de práticas, sugerindo o seu fraco impacto na prática. Em contrapartida, referiram as ações de aprofundamento e de remediação dos problemas associados às UCs, indicando que essa dimensão está mais presente na realidade cotidiana dos professores.
Ainda a respeito das ações associadas às UCs, o manual esclarece que o sistema de informação que dá suporte à avaliação produz automaticamente a lista de UCs indicadas para melhoria, ou seja, com resultados a aprofundar. Para estas, estão previstas ações pelos diretores de curso e de departamento, a quem compete analisar o relatório da UC e outras informações disponíveis e, se julgarem necessário, entrar em contato com o coordenador da UC ou com seus docentes para averiguar as razões dos resultados negativos. Compete-lhes, ainda, indicar, no relatório do curso, o resultado das diligências efetuadas na análise da situação e o plano de ação para resolução dos problemas identificados. Na esfera dos planos de ação, constata-se que “poderão incluir a necessidade de os docentes fazerem formação em áreas de desenvolvimento pedagógico relevantes”. Por fim, o documento prevê, caso necessário, auditorias pedagógicas para análise mais aprofundada dos problemas identificados.
A partir da análise desses elementos e dos dados obtidos nas entrevistas, salienta-se que as ações de acompanhamento e melhoria associadas aos resultados da avaliação do ensino pelos estudantes são realizadas pelo coordenador de curso e não pelo próprio docente. Além disso, estão mais voltadas para a apresentação de justificativas do que para a apresentação de propostas de intervenção, denotando o caráter de prestação de contas que perpassa a AQE. Essa realidade parece, aliás, corresponder à situação de outras IES em Portugal (CARDOSO; TAVARES; SIN, 2015; VEIGA et al., 2013). Além disso, a análise do manual aponta para a opção da IES por processos eletrônicos e previamente formatados de escuta aos diferentes atores envolvidos no processo, não havendo referência a estratégias complementares, como já sugerido na literatura (BENTON; CASHIN, 2012; GOVER; LOUKKOLA, 2015; PENNY, 2003; PENNY; COE, 2004; SPOOREN; BROCKX; MORTELMANS, 2013), tampouco presenciais e dialogadas, conforme sugerido pelos alunos e professores participantes deste estudo.
Para finalizar, cabe mencionar a respeito da divulgação dos resultados da avaliação. Segundo o documento analisado, os resultados deverão ser amplamente divulgados para toda a comunidade acadêmica, “tanto pelo seu efeito pedagógico e facilitador de um processo sustentado de melhoria, como para estimular um maior empenho e participação de todos os elementos”. Entretanto, atendendo, sobretudo, às queixas dos estudantes nas entrevistas, em relação à ausência de feedback e ao desconhecimento dos resultados práticos da avaliação, parece não se cumprir essa diretriz institucional e a proposta da avaliação do ensino ministrado servir à construção de uma cultura de avaliação e da qualidade (GOVER; LOUKKOLA, 2015; GRIFFIN; COOK, 2009; PENNY, 2003). Entretanto, a fragilidade em tornar público o resultado da avaliação do ensino ministrado parece ser questão recorrente entre as IES do Espaço Europeu de Educação Superior, pois 59% do total de 222 instituições consideradas num estudo mantêm a informação sobre desempenho dos professores confidencial e disponível somente em nível de liderança, seja da instituição, da faculdade e/ou do departamento (LOUKKOLA; ZHANG, 2010). A ausência de sinais de impacto torna extremamente difícil construir e manter uma cultura de qualidade, conforme acaba por ser reconhecido no Manual da Qualidade da universidade ora investigada.
CONSIDERAÇÕES FINAIS
Os resultados deste estudo sugerem que, apesar de estudantes e professores serem favoráveis à AQE como estratégia para melhoria do processo de ensino e aprendizagem, parece existir certa discrepância entre essa opinião favorável e o efetivo envolvimento com o processo. Na verdade, os dois grupos de participantes sinalizam o fraco impacto da AQE nas práticas pedagógicas. Essa discrepância tem também sido apontada pela investigação na área, sugerindo o pouco aproveitamento do feedback discente nas políticas e práticas docentes e institucionais (ANDERSON, 2006; BERAN; ROKOSH, 2009; NASSER; FRESKO, 2002; NEWTON, 2000; PENNY, 2003; RICHARDSON, 2005; SPILLER; HARRIS, 2013).
As investigações e análises empreendidas ao longo deste estudo evidenciam, sem dúvidas, que a IES tem despendido grande esforço no desenvolvimento de um sistema interno de garantia e promoção da qualidade capaz de impactar a qualidade do ensino e da formação. Todavia, é preciso atentar para natureza do impacto desse sistema de avaliação, o qual também depende da implantação das medidas de apoio e promoção do ensino previstas pela instituição, como portfólio de práticas de mérito, jornadas anuais de inovação pedagógica e ações de formação docente. Concordando com Paricio Royo (2012), um sistema de qualidade não melhora, por si só, a qualidade das UCs, dos cursos e da universidade, mas certamente tem potencial para mobilizar e induzir ações internas de transformação. Estruturas formais fornecem a base para processos de avaliação da qualidade, mas a real consolidação de uma cultura de qualidade requer o envolvimento e o compromisso de toda a comunidade acadêmica.
Ainda que o principal documento institucional relacionado à política de garantia da qualidade anuncie a importância de uma cultura de qualidade e a intenção de constituí-la, os resultados das entrevistas sugerem que não se encontra ainda consolidada a cultura institucional de diálogo, reflexão ou ação em torno do feedback discente na preocupação contínua de melhoria do processo ensino-aprendizagem, consoante o que a literatura tem reportado. Da parte dos estudantes, o fato de não conseguirem ver conexões entre seu esforço em responder a vários inquéritos e os resultados práticos dessa avaliação, é provável que tal tarefa venha a se tornar outra rotina desprovida de sentido (OTANI; KIM; CHO, 2012; SPOOREN; BROCKX; MORTELMANS, 2013). O não reconhecimento de efeitos práticos parece ser a principal razão que leva os estudantes a ter posições ambivalentes diante da AQE e desacreditarem que suas opiniões são levadas em conta (AL-ABBADI et al., 2009; ASASSFEH et al., 2014; BISINOTO; ALMEIDA, 2016; CAMPBELL; BOZEMAN, 2008; GRIFFIN; COOK, 2009; IQBAL et al., 2016; KITE; SUBEDI; BRYANT-LEES, 2015).
Do lado dos professores, a literatura sugere que uma das barreiras para que adotem o feedback dos estudantes está relacionada à dificuldade de validar e interpretar os resultados (ARTHUR, 2009; PENNY; COE, 2004; SPILLER; HARRYS, 2013). Em contrapartida, outros estudos apontam que os professores reagem emocionalmente de forma negativa aos resultados dessas avaliações, vivenciando o feedback dos estudantes como fonte de estresse, desapontamento e desconforto (ARTHUR, 2009; LUTOVAC et al., 2017; OTANI; KIM; CHO, 2012).
Para imprimir maior aproveitamento às avaliações de feedback, tornando-as elemento naturalmente integrante das atividades acadêmicas e do desenvolvimento profissional docente, os resultados deste estudo, particularmente na perspectiva dos professores participantes, reiteram a importância de se constituir sistemas institucionais de suporte, conforme documentado em diversos estudos (LUTOVAC et al., 2017; PENNY; COE, 2004; SPILLER; HARRYS, 2013; WINCHESTER; WINCHESTER, 2014). Consoante os apontamentos da literatura, é necessário valorizar e criar mecanismos institucionais que possibilitem a análise, a reflexão e o diálogo a partir dessas avaliações; em outras palavras, incentivar o trabalho interno institucional de transformação. Sem isso, aumenta a percepção de uma prática desprovida de sentido individual e coletivo, reduzida a mero procedimento formal e burocrático, pouco ou nada transformador da realidade.
Outra barreira a ser superada relaciona-se à necessidade de maior clareza e transparência em termos dos objetivos e expectativas associados à AQE e ao seu papel no desenvolvimento e transformação das práticas pedagógicas. Tradicionalmente, as atividades de avaliação buscam atender a duas finalidades, uma de prestação de contas e outra para a melhoria dos processos. Hoje, entretanto, há uma diversidade de motivos que justificam avaliar a qualidade, aumentando as tensões, ambivalências e resistências por parte dos atores envolvidos (ANDERSON, 2006; BERAN; ROKOSH, 2009; NASSER; FRESKO, 2002; NEWTON, 2000; PENNY, 2003; SARRICO et al., 2010). Ao explicitar a política institucional para a qualidade, o documento analisado neste estudo faz referência ao processo de avaliação como elemento natural da atividade acadêmica para a melhoria contínua. Entretanto, ao descrever detalhadamente os procedimentos para avaliação do ensino, sobressai o caráter instrumental ou operacional da avaliação, bastante complexo e hierarquizado, mas que pouco traduz a perspectiva de melhoria contínua anunciada na introdução do documento. Para que os sistemas da qualidade consigam impulsionar mudanças na cultura de avaliação do ensino na direção de usá-la para melhorar a experiência de aprendizagem dos estudantes, esta deve ser expressamente concebida a partir da perspectiva de melhoria interna, não apenas como sistema de prestação de contas, requerendo clara definição conceitual do que seja a avaliação da qualidade (PARICIO ROYO, 2012; VIEIRA, 2014; VIEIRA; MORGADO; SILVA, 2016).
Tendo em vista que o ensino é um fenômeno dinâmico, composto por múltiplos elementos interconectados, e sensível aos fatores contextuais e históricos, é razoável considerar que a avaliação do ensino pelos estudantes não seja uma medida perfeita e abrangente, não podendo ser usada como única fonte de informação sobre a qualidade do ensino. Pelo contrário, deve integrar uma estratégia institucional ampliada que, de forma triangulada e complementar, fornece informações e evidências a partir de diferentes perspectivas do processo de ensino-aprendizagem (BENTON; CASHIN, 2012; CHAN; LUK; ZENG, 2014; GRIFFIN; COOK, 2009; PENNY, 2003; SILVA, 2004). Além dos tradicionais inquéritos pedagógicos respondidos pelos estudantes, outras estratégias, como autoavaliação, portfólios, observação por pares, entrevistas e grupos focais, podem ser adotadas. Argumentando que apenas a adoção da avaliação feita pelos estudantes possibilita uma imagem parcial do processo de ensino-aprendizagem, Silva (2004) defende a adoção de um programa de AQE universitário que integre pelo menos três componentes, a saber: a) a AQE por meio das percepções dos estudantes; b) a avaliação pelos professores de suas relações e interações com os estudantes e também a avaliação do ambiente acadêmico em que desenvolvem suas atividades de ensino; e c) avaliação pelos professores das avaliações realizadas pelos seus estudantes, numa perspectiva de meta-avaliação.
A terminar, cabe ressaltar que a concepção de qualidade não é clara, restando, entretanto, a certeza de que é um constructo histórico, social e político imbricado no papel da educação superior diante da construção de um mundo melhor, mais justo e igualitário (MOROSINI, 2001, 2009). Nesse sentido, é importante que as discussões da qualidade do ensino assumam compromisso com mudanças e condições objetivas que transformem e promovam o processo de ensino-aprendizagem, nele incluindo as práticas de avaliação das aprendizagens e competências adquiridas pelos estudantes. A esse respeito, estudo recente acerca das práticas A terminar, cabe ressaltar que a concepção de qualidade não é clara, restando, entretanto, a certeza de que é um constructo histórico, social e político imbricado no papel da educação superior diante da construção de um mundo melhor, mais justo e igualitário (MOROSINI, 2001, 2009). Nesse sentido, é importante que as discussões da qualidade do ensino assumam compromisso com mudanças e condições objetivas que transformem e promovam o processo de ensino-aprendizagem, nele incluindo as práticas de avaliação das aprendizagens e competências adquiridas pelos estudantes. A esse respeito, estudo recente acerca das práticas pedagógicas de ensino e de avaliação adotadas por docentes de universidades portuguesas constatou que, de forma geral, professores e estudantes partilham a ideia de que as práticas de ensino estão mais alinhadas a uma pedagogia centrada nos docentes, baseada na exposição dos conteúdos e na verificação das aprendizagens por meio de testes e/ou exames (FERNANDES, 2015). Em contrapartida, diante da relevância que a aprendizagem centrada nos estudantes tem adquirido nas reformas pedagógicas, a exemplo da sua gradual inserção nos Standards and Guidelines (ESG, 2015), como as IES irão conseguir demonstrar a adoção desse novo paradigma? A AQE conseguirá apreender se os estudantes estão mais envolvidos no seu processo de aprendizagem? No cenário recente de mudanças que afetam a educação superior, dois desafios prementes também se apresentam: a efetiva implementação da aprendizagem centrada no estudante e a capacidade de reunir evidências que a demonstrem.
Finalmente, este estudo tem algumas limitações que se prendem especialmente à pequena amostra de participantes de uma mesma instituição. Sendo, portanto, um estudo exploratório, não se pretendeu alcançar respostas conclusivas sobre temática tão complexa e controversa. Em contrapartida, embora o presente estudo reporte-se especificamente a uma instituição portuguesa, acredita-se que tem potencial de aplicação em outros contextos universitários, pois a preocupação com a qualidade do ensino na educação superior é hoje questão relevante em todo o mundo.
