INTRODUÇÃO

As duas últimas décadas têm sido especialmente frutíferas em termos de definição de metas e de mudanças legislativas relacionadas ao ensino superior (ES) na Europa. No contexto europeu, além das tendências globalizantes e desafios mundiais, o Processo de Bolonha (PB) gerou uma série de mudanças específicas voltadas para a criação de um Espaço Europeu de Ensino Superior (EEES), promovendo, assim, a comparabilidade dos padrões e da qualidade das qualificações de ensino superior.

Em Portugal, o Decreto-Lei n. 74 (2006) (posteriormente alterado pelo Decreto-Lei n. 107, 2008) estabeleceu a aplicação dos Princípios de Bolonha em instituições de ES. Formalmente, Portugal tem seguido mudanças estruturais nos ciclos de estudo conforme critérios europeus padronizados, e tem implementado um sistema de melhoria de qualidade. As mudanças envolvem uma transição de um sistema baseado na “transmissão de conhecimentos” para um sistema baseado no “desenvolvimento das competências do aluno”, com ênfase no trabalho experimental, no trabalho em projeto, e em habilidades transversais (Decreto-Lei n. 107, 2008). O objetivo dessas mudanças é favorecer ambientes de aprendizado mais competitivos, bem como mudanças nas concepções de ensino (^{Reimann & Wilson, 2012}), reconhecendo o papel central do aluno dentro de uma lógica de autonomia, trabalho em equipe e aprendizado ativo (^{Segers & Dochy, 2001}). O Processo de Bolonha implicou mudanças em várias dimensões, especialmente com relação à flexibilidade curricular e ao trabalho docente e discente (^{Pereira & Flores, 2016}).

Estudos realizados no contexto do ES português têm demostrado o compromisso das instituições de ES com o PB, bem como uma maior cooperação entre Portugal e as instituições de ES europeias (^{David & Abreu, 2017}). Entretanto, algumas contradições também foram identificadas, tais como: a aparente destruição do sistema binário (educação universitária e politécnica) e a complexa preservação da cultura, língua, sistemas de educação e autonomia institucional nacionais (David & Abreu, 2007); a realização bem-sucedida de aspectos mais formais do PB (^{Veiga & Amaral, 2008}) e a manutenção de práticas avaliativas tradicionais (^{Pires et al., 2013}); e a prevalência de práticas não alinhadas com os objetivos de Bolonha (Pires et al., 2013; European Students’ Union [ESU], 2015; ^{Barreira et al., 2015}; ^{Pereira et al., 2017}; European Commission, 2018). Outros achados dizem respeito a métodos avaliativos mistos (Pires et al., 2013; Pereira et al., 2017; ^{Flores & Pereira, 2019}).

Apesar dos resultados positivos, a adaptação de programas de ES à perspectiva de ensino e aprendizado de Bolonha ainda é um desafio. Em alguns casos, práticas avaliativas novas e inovadoras têm sido introduzidas visando a uma abordagem mais centrada no aluno. Entretanto, na maioria dos casos, a avaliação continua a ser uma questão de “emitir declarações acerca dos pontos fracos e fortes dos alunos” (^{Earl & Katz, 2006}, p. 4, tradução nossa).

Tradicionalmente, a avaliação em sala de aula tem se concentrado em sua função somativa, na avaliação e medição do aprendizado, utilizando as informações avaliativas para formular e transmitir julgamentos sobre o desempenho dos alunos, o que pode incentivar comparações e competições (^{Black & Wiliam, 1998}). Por outro lado, a função formativa da avaliação, relacionada a como melhorar o aprendizado dos alunos (Black & Wiliam, 1998), também tem sido destacada.

Embora formas mais tradicionais de avaliação possam ser eficazes em contextos e para fins específicos, elas não são adequadas a todos os objetivos avaliativos, e podem estimular a produção e a memorização (^{Perrenoud, 1999}; ^{Biggs, 2003}). Por sua vez, os chamados métodos avaliativos centrados no aluno (^{Webber & Tschepikow, 2013}; ^{Myers & Myers, 2015}) permitem o desenvolvimento de habilidades técnicas e de solução de problemas, como a promoção de um maior envolvimento do aluno no processo de aprendizado (Myers & Myers, 2015). Esses métodos implicam tarefas mais globais a serem desenvolvidas ao longo do tempo. Eles podem simultaneamente incluir as dimensões de processo e produto, individuais e coletivas. Além disso, estimulam a autonomia, a colaboração, a responsabilidade, o feedback construtivo, a interação com colegas e outras pessoas envolvidas, a construção do conhecimento (Webber & Tschepikow, 2013), o desenvolvimento de habilidades e o aprofundamento do aprendizado (^{Brew et al., 2009}). Tais métodos incluem, por exemplo, trabalhos experimentais práticos e reflexões (Weber & Tschepikow, 2013; ^{Struyven et al., 2005}).

Independentemente da abordagem avaliativa escolhida, é importante lidar “com todos os aspectos da avaliação de maneira integrada” (^{Black & Wiliam, 2018}, p. 552, tradução nossa). A seleção de estratégias avaliativas representa um componente-chave do processo de ensino e aprendizado. Essa seleção deve resultar em um processo de questionamento direcionado a metas no programa ou curso (^{Hadji, 2001}), definindo quais questões devem ser respondidas por meio da avaliação. Portanto é essencial utilizar uma variedade de métodos de avaliação com base em sua adequação aos objetivos de ensino e aprendizado e à natureza do curso e das unidades curriculares (^{Earl & Katz, 2006}; Black & Wiliam, 2018).

Um questionamento eficaz e bem-sucedido, no contexto do EEES, implica uma formulação apropriada dos objetivos e o reconhecimento da avaliação como um dos pilares do processo de ensino e aprendizado. Com o Processo de Bolonha, há uma expectativa de métodos avaliativos mais variados (métodos alternativos, incluindo aqueles que envolvem os alunos) e de adoção de outras abordagens avaliativas, tais como a avaliação para a aprendizagem (^{McDowell et al., 2011}), reconhecendo o papel do feedback no processo de avaliação e aprendizado (^{Black & Wiliam, 1998}; ^{Hattie & Timperley, 2007}; ^{Carless et al., 2011}). No contexto das práticas centradas no aluno, a literatura também reconhece o papel da sala de aula na organização de ambientes inovadores e facilitadores do aprendizado (Black & Wiliam, 1998) e no desenvolvimento de formas inovadoras de estruturar o ensino e a avaliação (^{Fernandes, 2015}).

Essa visão tem ganhado proeminência no contexto do PB (^{Flores & Simão, 2007}), desafiando os professores a promover oportunidades de aprendizado mais questionadoras, inovadoras e criativas (^{Zabalza, 2008}). Entretanto não está claro se os professores realmente a abraçaram (^{Webber & Tschepikow, 2013}).

Este artigo¹ relata pesquisas voltadas para a compreensão de práticas avaliativas do ES após o PB, especialmente no tocante a possíveis mudanças e seu significado, levando em consideração o contexto do ensino universitário.

MÉTODOS

Este artigo baseia-se em uma pesquisa mais ampla, dentro de um doutorado em ciências da educação, financiada pela Fundação para a Ciência e a Tecnologia (Ref. SFRH/BD/103291/2014), sendo tal pesquisa, por sua vez, parte de um projeto mais amplo, intitulado “Assessment in higher education: The potential of alternative methods”, financiado pela Fundação Nacional para a Ciência e a Tecnologia (Ref. PTDC/MHC-CED/2703/2014). O estudo relatado neste artigo busca identificar práticas avaliativas utilizadas por docentes e investigar a influência do PB sobre essas práticas. Em particular, foram abordadas as seguintes questões de pesquisa:

Foi realizada uma pesquisa em cinco universidades públicas portuguesas, combinando questões abertas e fechadas.

ANÁLISE

Foram realizadas análises estatísticas utilizando o software IMB SPSS Statistics 24. A análise fatorial é uma técnica que pode ser utilizada não apenas para entender a estrutura de uma medida, mas também para reduzir os dados a um conjunto mais manejável de variáveis (fatores ou dimensões), mantendo, ao mesmo tempo, o máximo possível de informações originais (^{Field, 2009}). Assim, realizou-se a análise fatorial exploratória (AFE), utilizando a análise de componentes principais com rotação varimax (Field, 2009). Os pressupostos de adequação do tamanho e esfericidade da amostra foram verificados. Neste estudo, essa análise serviu a dois propósitos: (a) obter evidências empíricas para a estrutura subjacente da escala de práticas avaliativas, por meio da identificação de dimensões essenciais baseadas nas intercorrelações entre os itens; e (b) reduzir os dados obtidos nos trinta itens a escores mais manejáveis que fossem interpretáveis e representassem as dimensões essenciais das práticas avaliativas. O número de fatores e itens a serem retidos baseou-se em dois critérios: fatores com eigenvalores maiores do que 1; e itens com cargas fatoriais maiores do que 0,35. A fidelidade das subescalas foi testada utilizando o alfa de Cronbach. Como este é um estudo exploratório, valores de alfa maiores do que 0,60 foram considerados (^{Hair et al., 2009}).

O escore médio dos itens foi calculado para cada dimensão, e foi explorada a relação entre essas dimensões e as características demográficas e profissionais dos participantes. Para investigar os efeitos da idade, gênero, anos de experiência, categoria profissional, área de conhecimento, ciclo de estudos e capacitação pedagógica sobre as práticas avaliativas, foi utilizada a análise multivariada de variância (Manova). Os pressupostos de independência das observações, normalidade univariada e homogeneidade das matrizes de variância-covariância foram garantidos (^{Field, 2009}). Os valores de eta-quadrado parcial (ηp²) foram calculados como medida do tamanho do efeito, considerando as seguintes diretrizes para sua interpretação: efeito pequeno, ηp² > 0,01; efeito médio, ηp² > 0,06; efeito grande, ηp² > 0,14 (Cohen, 1988). Com relação às características demográficas, na variável idade para este subestudo, dois grupos foram considerados para análise: 1) docentes abaixo de 45 anos de idade; 2) docentes acima de 45 anos de idade. Na variável experiência profissional (variáveis profissionais), o tempo de serviço foi somado da seguinte forma: 1) docentes com menos de 15 anos de experiência; 2) docentes com mais de 15 anos de experiência. Os pontos de corte para o agrupamento nas variáveis “idade” e “experiência profissional” foram definidos com base na data de implementação do Processo de Bolonha em Portugal. Assim, docentes mais velhos e com mais anos de experiência tinham maior probabilidade de possuir experiência nos dois períodos (antes e depois do Processo de Bolonha), enquanto entre docentes mais jovens e menos experientes era maior a probabilidade de não haver tal experiência. As categorias profissionais “professor associado com agregação” e “professor adjunto com agregação”, e “professor associado” e “professor adjunto”, e as áreas de conhecimento de ciências exatas e de engenharia e ciências da tecnologia também foram agrupadas a fim de obter unidades de análise mais adequadas.

Dados coletados por meio das questões abertas do questionário foram analisados por meio da análise de conteúdo orientada pelos princípios da completude, representatividade, consistência, exclusividade e relevância (^{Bardin, 2009}), e pelo reconhecimento da natureza interativa da análise de dados (^{Miles & Huberman, 1994}). Foram privilegiadas uma abordagem mista e a definição de categorias mais gerais (Bardin, 2009; ^{Esteves, 2006}), articulando uma perspectiva indutiva (caráter emergente dos dados) (^{Cho & Lee, 2014}) a uma perspectiva dedutiva por meio da definição de categorias de análise alinhadas com os objetivos da pesquisa e o referencial teórico (^{Ezzy, 2002}). As categorias de análise eram semânticas (Miles & Huberman, 1994).

A análise do discurso dos participantes, combinada a uma revisão crítica da literatura, apoiaram as seguintes dimensões centrais: 1) Mudanças nas práticas avaliativas; 2) Influência do PB sobre as mudanças nas práticas avaliativas. Cada dimensão gerou um conjunto de temas e categorias semelhantes ao protocolo do questionário, conforme as respostas “Sim”, “Não” e “Talvez”: (a) fatores estruturais e organizacionais; (b) fatores relacionados às mudanças introduzidas pelo quadro legal e institucional; e (c) fatores relacionados ao contexto da prática. Na primeira categoria, foram consideradas referências a fatores ligados direta ou indiretamente às circunstâncias (mais ou menos desafiadoras) em que se desenvolve o trabalho dos docentes (por exemplo, volume de trabalho, quantidade e características dos alunos, e recursos). Quanto aos fatores ligados às mudanças introduzidas pelo quadro legal e institucional, foram consideradas referências a documentos legais e institucionais, bem como planos curriculares, entre outros. Finalmente, com relação ao contexto da prática, foram incluídas referências à sala de aula e práticas de avaliação.

RESULTADOS

Os resultados da AFE sugeriram que o componente 1 representava o “engajamento e participação dos alunos na avaliação”,³ o componente 2 representava o “uso da avaliação pelos docentes no processo de ensino e aprendizado”,⁴ e o componente 3 representava a “avaliação como processo determinado por fatores externos”⁵ (para os resultados detalhados, ver a Tabela A1). Esses três componentes refletem, por um lado, a importância do envolvimento do aluno no processo de avaliação (European Commission, 2013). Por outro lado, refletem como os docentes utilizam a avaliação, reconhecendo que o modo como eles avaliam os alunos (^{Brown, 2005}) e seu uso das informações avaliativas (^{Earl & Katz, 2006}) têm sérias implicações para o aprendizado dos alunos. Contudo, a avaliação não está imune ao contexto, regras e procedimentos externos à sala de aula, na medida em que “as decisões dos professores sobre estratégias avaliativas estão intimamente ligadas às oportunidades e limitações oferecidas pelas decisões normativas e institucionais” (^{Ion & Cano, 2011}, p. 167, tradução nossa). Os três componentes explicaram 46,57% da variância. Todos os itens tiveram cargas fatoriais elevadas no respectivo componente. Os itens de cada fator revelaram uma consistência interna adequada, apoiando a confiabilidade dos escores obtidos. O alfa de Cronbach foi maior do que 0,60 em todos os três componentes (ver a Tabela A1).

A Tabela 2 apresenta os resultados das estatísticas descritivas com relação às práticas avaliativas dos docentes. As práticas associadas ao uso da avaliação no processo de ensino e aprendizado foram as mais utilizadas (ver Tabela 2). Os resultados das estatísticas descritivas também revelam uma tendência positiva no uso de práticas relacionadas ao envolvimento e participação dos alunos no processo de avaliação.

As análises Manova indicam que não há efeitos significativos da idade, gênero, anos de experiência como docente, categoria profissional e frequência da capacitação pedagógica dos participantes sobre as diferentes práticas avaliativas. Com relação à influência dos ciclos de estudo na utilização de diferentes práticas avaliativas, os testes multivariados revelaram a ausência de diferenças estatisticamente significativas entre os professores que lecionam nos programas de graduação, mestrado integrado e doutorado (ver a Tabela A2 para as estatísticas descritivas).

No entanto, os resultados da Manova indicaram a existência de diferenças estatisticamente significativas, com tamanho de efeito médio, entre os docentes que lecionam em programa de mestrado e aqueles que não o fazem (WILK’S Δ = 0,931, F(3, 158) = 3,876, p = 0,010, ηp² = 0,069). Os resultados dos testes univariados permitiram concluir que os docentes que lecionam nesse ciclo de estudos atribuíam mais importância às práticas associadas com o envolvimento e participação dos alunos na avaliação, e às práticas associadas com o uso da avaliação pelos docentes no processo de ensino e aprendizado. Uma menor importância foi atribuída a práticas determinadas por fatores externos (ver Tabela 3).

Com relação à área de conhecimento, os testes multivariados revelaram a existência de diferenças estatisticamente significativas, embora com tamanho de efeito pequeno, no uso de diferentes práticas avaliativas (WILK’S Δ = 0,876, F(9, 379,814) = 2,366, p = 0,013, ηp² = 0,043). Os resultados dos testes univariados (ver a Tabela 3) e as comparações pareadas sugeriram um maior uso de práticas associadas com o envolvimento dos alunos no processo avaliativo por professores que lecionam nas áreas de ciências sociais em comparação com aqueles que lecionam em ciências exatas e em engenharia e ciências da tecnologia (p = 0,031). Também foi possível identificar um maior uso de práticas avaliativas determinadas por fatores externos em professores que lecionam nas áreas de ciências exatas e de engenharia e ciências da tecnologia em comparação com docentes da área de ciências sociais (p = 0,029).

MUDANÇAS NAS PRÁTICAS AVALIATIVAS E O PAPEL DO PROCESSO DE BOLONHA

A avaliação é um ativo estratégico para as organizações de ensino superior. Escolhas acertadas sobre estratégias avaliativas por parte dos professores são um fator crucial para o sucesso acadêmico dos alunos. Uma boa avaliação pode ser mativadora e produtiva para os alunos, ajudando-os a saber “quão bem estão indo, e o que mais podem fazer” (^{Brown, 1999}, p. 3, tradução nossa). Por outro lado, uma má avaliação pode ser “tediosa, sem sentido, cansativa e contraproducente” (Brown, 1999, p. 4, tradução nossa).

Os docentes também foram questionados sobre possíveis mudanças avaliativas após a implementação do PB. A maioria dos participantes (85,9%) afirmou ter mudado a forma de avaliar seus alunos ao longo de sua carreira; 9,8% informaram não ter adotado mudança alguma, e 4,3% responderam “talvez” (ver Tabela 4). Questionados se a implementação do PB contribuiu para mudar suas práticas avaliativas, 47,8% responderam positivamente, 29,1% disseram “não”, e 23,1% responderam “talvez” (ver Tabela 4).

Fonte: Elaboração das autoras.

FIGURA 1 Mudanças nas práticas avaliativas e o papel do PB 

DISCUSSÃO

O Processo de Bolonha e a criação do EEES desafiaram países europeus, inclusive Portugal, a mudar suas práticas de ensino-aprendizado, focando em pedagogias centradas no aluno, iniciativas baseadas na solução de problemas, e práticas avaliativas inovadoras. Isso exige um ajuste nos padrões tradicionais de ensino e aprendizado baseados na transmissão do conhecimento, bem como um movimento em direção a formas mais inovadoras e criativas de ensino, aprendizado e avaliação. A avaliação deve ser diferenciada para responder de modo positivo à diversidade de origens e habilidades dos alunos (^{Scott et al., 2014}). Este estudo buscou examinar as práticas avaliativas dos docentes e os efeitos da implementação do PB sobre tais práticas. Utilizou-se uma escala de práticas avaliativas docentes. Os resultados sugerem que a medida apresenta propriedades psicométricas adequadas, podendo, portanto, constituir uma ferramenta útil para medir práticas avaliativas docentes no ES. Os resultados também indicam a existência de diversas práticas avaliativas, com uma prevalência das práticas avaliativas dos professores, e uma menor incidência de práticas avaliativas determinadas por fatores externos. Identificou-se também a influência do ciclo de estudos e da área de conhecimento sobre o uso de diferentes práticas avaliativas. Foram também encontradas indicações de que professores que lecionam em programas de mestrado utilizam mais práticas associadas ao envolvimento e participação do aluno na avaliação, bem como práticas avaliativas determinadas mais pelos docentes do que por fatores externos.

Além disso, identificou-se que práticas avaliativas associadas ao envolvimento e participação do aluno na avaliação também eram mais utilizadas por docentes de ciências sociais do que por docentes de ciências exatas e de engenharia e ciências da tecnologia. O estudo também identificou um maior uso de práticas determinadas por fatores externos entre professores de ciências exatas e de engenharia e ciências da tecnologia em comparação com professores de ciências sociais.

Os docentes também questionaram a existência de mudanças em suas práticas avaliativas e a possível contribuição do PB para mudá-las. A maioria dos docentes relataram ter modificado a forma como avaliam os alunos ao longo de suas carreiras; chama a atenção, no entanto, que menos da metade dos participantes reconhece a importância do PB na mudança das práticas avaliativas. Fatores relacionados a aspectos estruturais e organizacionais (por exemplo, número de alunos por classe, condições materiais, semestralização), a mudanças introduzidas pelo quadro legal e institucional (por exemplo, documentos legais e institucionais, planos curriculares, entre outros), e ao contexto da prática (por exemplo, concepções e uso de avaliação) explicam diferenças entre docentes mais otimistas e mais céticos em relação à contribuição do PB para a mudança das práticas avaliativas. Muitos participantes consideram que Bolonha pode não ter sido um momento-chave em termos de mudança, ou, ao menos, desafio a suas práticas avaliativas. No entanto, sua contribuição para a discussão e a atenção dedicada a questões de ensino e aprendizado e, principalmente, avaliativas parece inegável. Esses resultados destacam a complexidade dos cenários da formação universitária (^{Zabalza, 2004}) e da avaliação (^{Brown & Knight, 1994}), bem como a complexidade da adaptação de práticas acadêmicas aos princípios de Bolonha (European Commission, 2018).

Os achados reforçam a importância do uso da avaliação por docentes no processo de ensino e aprendizado - por exemplo, o grau de entendimento sobre uma questão ou tema, ou o papel da avaliação no planejamento de atividades de aprendizado futuras. Nesse contexto, o feedback assume particular relevância para melhorar o aprendizado dos alunos. Os achados também corroboram a contribuição crucial da avaliação e das escolhas e estratégias acertadas pelos docentes para o sucesso do aprendizado dos alunos (^{Brown, 1999}). O papel do engajamento e participação do aluno no processo avaliativo é outro achado relevante. Do ponto de vista da melhoria, e não da medição, a construção participativa dos critérios de avaliação contribui para o entendimento do que se espera, e também para a autorregulação dos alunos (^{Bonniol & Vial, 1997}). O papel dos planos curriculares e a necessidade de medir e atribuir uma classificação ou nota também aparecem, embora com menor relevância, nas práticas avaliativas dos docentes.

Ademais, as vozes dos participantes refletem as diferentes perspectivas internacionais no campo da avaliação, às vezes dentro de uma lógica somativa e de verificação (^{Perrenoud, 1999}), e às vezes em uma lógica avaliativa centrada no aluno (^{Webber, 2012}), reconhecendo a conexão entre concepções e práticas avaliativas, bem como sua influência sobre o aprendizado dos alunos (^{Gibbs, 1999}; ^{Light & Cox, 2003}).

O PB representou uma oportunidade de modernização e melhoria do ES. No entanto, há duas visões mutuamente conflitantes: “a opinião de que Bolonha foi uma evolução em direção à criação de melhores condições de aprendizado, com currículos mais adaptados à realidade”, e o argumento de que Bolonha representou “uma simples redução na duração dos programas de graduação e mestrado que, de forma alguma, mudou os programas ou metodologias de ensino” (^{Justino et al., 2017}, p. 1, tradução nossa).

Os achados deste estudo também apontam para uma série de tensões relacionadas ao impacto de Bolonha nas práticas avaliativa em vários níveis: fatores relacionados a características estruturais e organizacionais, a mudanças introduzidas pelo quadro legal e institucional, e ao contexto da prática. O Processo de Bolonha pode ser visto como uma oportunidade para introduzir algumas mudanças necessárias a responder a tais tensões, mas a literatura e os resultados deste projeto de pesquisa mostram a necessidade de uma avaliação mais sistemática e de uma reflexão mais profunda sobre as mudanças ocorridas no currículo, pedagogia e avaliação. O sucesso do PB em termos de como a avaliação é experimentada pelos docentes não está evidente nos dados que emergem deste estudo. No entanto, a ambição do PB é positiva, e mais esforços são necessários por parte das universidades para mitigar uma abordagem avaliativa puramente somativa. Esta pesquisa oferece evidências sobre o papel das condições e volume de trabalho em suas práticas avaliativas, bem como suas concepções sobre ensino, aprendizado e avaliação.