Portugués (pdf)
Articulo en XML
Traducción automática
Enviar articulo por email
Permalink
INTRODUÇÃO
A avaliação é uma prática social que tem por objetivo caracterizar, compreender, divulgar e melhorar diversas questões que afetam as sociedades contemporâneas, entre elas, a educação. Todo processo de ensino-aprendizagem prevê sistemas de avaliação que possam conduzir a mudanças em busca da qualidade do ensino.
A avaliação do desempenho docente em instituições de ensino superior (IES) é fundamental para o desenvolvimento profissional dos professores e também para a instituição, levantando indicadores para que os objetivos educacionais propostos no projeto pedagógico possam ser alcançados. De acordo com Gomes e Borges (2008), a avaliação do trabalho docente pelos discentes é importante se inserida em um programa de avaliação institucional que pretenda desenvolver o ambiente acadêmico, promovendo o engajamento e melhorando as possibilidades de aprendizagem dos discentes.
Para Embirucu et al. (2010), esses processos de avaliação são importantes desde a dimensão individual, no que diz respeito à atuação de cada professor, até uma dimensão coletiva e institucional para poder, na prática: fundamentar a avaliação dos professores na atividade docente com relação aos estágios probatórios, regimes de trabalho e progressões individuais na carreira; avaliar o desempenho de colegiados de graduação e pós-graduação a fim de contribuir na avaliação global da qualidade dos cursos oferecidos à sociedade; avaliar o desempenho de departamentos e unidades (escolas, faculdades e institutos), com vista à distribuição de recursos humanos, financeiros e materiais de diversas naturezas; avaliar o desempenho de IES, a fim de verificar o cumprimento de metas e objetivos de programas e políticas públicas, além de contribuir também com os mecanismos de distribuição de recursos entre essas instituições.
Sem desconsiderar os limites e as contradições envolvendo o uso dos resultados quantitativos de uma avaliação docente, verificamos que ela pode ser um instrumento importante para os cursos de graduação. Segundo Alves et al. (2018), uma avaliação docente pode cumprir seus objetivos no que tange ao desenvolvimento profissional docente, oferecendo à instituição de ensino informações que permitem identificar necessidades de ações de formação pedagógica com vista ao desenvolvimento profissional do seu corpo docente e à contribuição para a melhoria da qualidade do ensino e o reconhecimento das boas práticas, constituindo um fator de motivação para os professores atestarem a aprovação do seu trabalho na docência universitária.
Este artigo tem por objetivo apresentar as etapas do processo de desenvolvimento e validação de um instrumento de avaliação para disciplinas de um curso de graduação em Farmácia.
HISTÓRICO DA AVALIAÇÃO CONTINUADA NA FACULDADE DE CIÊNCIAS FARMACÊUTICAS DE RIBEIRÃO PRETO
A Faculdade de Ciências Farmacêuticas de Ribeirão Preto (FCFRP-USP) realiza semestralmente, desde 2007, a avaliação continuada dos docentes e disciplinas. Até 2017, esse processo contou com o apoio da Fundação Universitária para o Vestibular (Fuvest) na tabulação dos dados e confecção dos questionários.
Na avaliação continuada, todos os estudantes de graduação avaliam as disciplinas que cursaram naquele semestre, preenchendo um questionário composto de três partes: avaliação da disciplina; avaliação do docente; e autoavaliação do aluno. Após o preenchimento, os dados eram enviados à Fuvest para tabulação. Os gráficos contendo as médias e os comentários escritos dos alunos eram discutidos entre o professor e o Apoio Pedagógico da Unidade.
Em 2013, iniciaram-se as discussões para a construção coletiva de uma nova matriz curricular, alinhada com uma formação integral de um profissional de saúde capaz de intervir na sociedade de forma crítica, ética e reflexiva. As Diretrizes Curriculares do Curso de Farmácia promulgadas em 2002 e atualizadas em 2017, em consonância com a Lei de Diretrizes e Bases (9394/96), trouxeram discussões inovadoras para o ensino universitário, tais como o protagonismo do estudante no processo de ensino-aprendizagem, a autonomia de cada IES de construir seu currículo baseado nas especificidades de cada região, o rompimento com a especialização precoce, apontando para uma formação generalista, a formação integral do estudante em diversos cenários de aprendizagem desde o início do curso e conceitos como flexibilização e transdisciplinaridade, além de estimularem as metodologias ativas.
Essa nova concepção de ensino provocou mudanças nos modelos de formação docente e na relação professor-estudante. Assim, uma nova matriz curricular foi sendo construída na FCFRP-USP, tendo como pilares a interdisciplinaridade e a transdisciplinaridade, o estímulo às metodologias ativas e a integração de docentes, conteúdos e disciplinas. Uma das inovações dessa estrutura curricular foi a organização dos conteúdos em módulos temáticos e integradores, abordando diferentes conhecimentos teórico-práticos de forma interdisciplinar para a construção do conhecimento integrado nas diversas áreas de atuação do farmacêutico. Na reestruturação curricular, optou-se pelo nome de módulo para representar um conjunto de conhecimentos sistematicamente organizado e integrado, ou seja, as unidades curriculares. Nas Diretrizes Curriculares para os cursos de Farmácia está previsto que os componentes curriculares devem integrar conhecimentos teóricos e práticos de forma interdisciplinar e transdisciplinar. A Comissão de Graduação da FCFRP criou uma subcomissão composta de docentes para tratar de assuntos referentes à nova matriz curricular, para que as comunidades docente e discente continuassem as discussões sobre a matriz.
Todo esse processo de reestruturação curricular fez emergir a necessidade de o curso criar um novo instrumento de avaliação dos módulos e do corpo docente, que se adequasse a uma matriz integrada. O presente artigo apresenta a mudança no formato e no instrumento de avaliação do curso de graduação da FCFRP-USP, ocorrida em 2018.
MÉTODOS
Elaboração do instrumento
Em 2016, após a aprovação da nova estrutura curricular, iniciou-se a discussão da necessidade de a FCFRP-USP elaborar um questionário para avaliação dos módulos que contemplasse as especificidades do novo currículo. Começaram, então, no âmbito da Comissão de Graduação, discussões sobre a necessidade de melhoria no processo e no instrumento da avaliação continuada.
Em primeiro lugar realizou-se um diagnóstico dos problemas atuais encontrados na aplicação do questionário que era utilizado até 2017, destacando os seguintes pontos: demora na aplicação e na devolutiva dos dados tabulados; excesso de gasto de papel para os formulários; tempo necessário para o preenchimento (geralmente era utilizado o tempo das aulas); e necessidade de transcrever os comentários escritos à mão no formulário impresso.
Assim, o Apoio Pedagógico, em conjunto com a Comissão de Graduação da FCFRP-USP, trabalhou na elaboração e no desenvolvimento de um formulário on-line, que os graduandos pudessem receber por e-mail e preencher a qualquer momento, de forma anônima.
Durante o processo de elaboração, foram observadas experiências de outras IES e unidades da Universidade de São Paulo (USP). A experiência mais parecida com a desejada pelos pesquisadores da FCFRP-USP era aquela utilizada pela Faculdade de Medicina de Ribeirão Preto (FMRP-USP), que realiza sua avaliação pela plataforma Moodle institucional e-Disciplinas. Em contato com os responsáveis por essa plataforma, concluiu-se que na FCFRP-USP a implantação seria difícil, pois menos de 10% dos professores da unidade a utilizavam regularmente.
Para agilizar e facilitar a implantação, o novo sistema de avaliação continuada foi criado com o uso da plataforma Google Docs. Também criou-se um e-mail institucional (avaliacaocontinuada@fcfrp.usp.br) para envio dos formulários aos estudantes e dos resultados aos docentes. A escolha desse nome se deu pelo fato de os estudantes já estarem familiarizados com o termo e, ao receberem o e-mail para preenchimento, reconhecerem do que se trata, não confundindo com outro tipo de avaliação.
Para a elaboração das questões do novo instrumento, além de um levantamento de outros formulários usados em IES do Brasil e do mundo, foi feito um brainstorming envolvendo as seguintes perguntas norteadoras: O que deve ser avaliado na disciplina? Quais saberes docentes devem ser valorizados? Quais elementos a gestão do curso precisa saber para promover ações de intervenção?
Foi construído então um instrumento com 20 itens estruturados contemplando três dimensões específicas: aspectos gerais do módulo; avaliação sobre o professor; e autoavaliação. A distribuição dos itens nessas dimensões foi feita com base no estudo de Bittencourt et al. (2011). Nesse contexto, o instrumento elaborado tinha o seguinte objetivo: Identificar a percepção do aluno sobre o módulo cursado levando em consideração a estrutura (organização do módulo, o corpo docente e as atividades pedagógicas) disponibilizada.
Com a finalidade de garantir a robustez metodológica, foram utilizadas, para o processo de elaboração e validação de conteúdo desse instrumento, as recomendações de Streiner e Norman (2008), Terwee et al. (2007) e Pasquali (2010).
População de estudo
Este estudo foi realizado com a participação de estudantes de graduação da FCFRP-USP, uma tradicional instituição pública de ensino superior, que disponibiliza à sociedade a formação de farmacêutico, além de atividades relacionadas à pesquisa e extensão. O critério de inclusão era que os estudantes fossem concluintes, em 2018, dos módulos pertencentes à estrutura curricular (Faculdade de Ciências Farmacêuticas de Ribeirão Preto [FCFRP], 2020) estabelecida a partir das novas Diretrizes Curriculares Nacionais do Curso de Graduação em Farmácia (Ministério da Educação, 2017). Os estudantes foram convidados a participar dessa pesquisa por meio de assinatura digital do Termo de Consentimento Livre e Esclarecido (TCLE) e com posterior preenchimento do questionário disponível on-line conforme os procedimentos listados na seção “Elaboração do instrumento”.
Os dados dos estudantes que participaram do estudo não foram identificados de maneira alguma, bem como os respectivos módulos e docentes correspondentes. Dessa maneira, os resultados serão representados por meio de frequências absolutas e relativas correspondentes a cada item e respectivas alternativas de resposta. Considerando que um estudante poderia responder a mais de um questionário, o que dependeria do número de módulos que estivesse concluindo, o denominador a ser utilizado no cálculo das frequências relativas foi o número total de questionários preenchidos.
Já o numerador da fração (frequência relativa) foi o somatório das frequências absolutas de determinada alternativa para dado item em todos os módulos. Os estudantes foram indicados por números sequenciais (1, 2, 3…) e os módulos foram indicados por letras do alfabeto da língua portuguesa (A, B, C…). Em nenhuma hipótese os estudantes, módulos e/ou docentes serão identificados.
Assim, o cálculo da frequência de resposta de cada item foi feito utilizando a seguinte fórmula:
FR item 1 = [Item 1 Módulo A Σ (E1+E2…+En) x 100/n QAC
Em que:
FR item 1 = frequência relativa item 1;
E = escore respondido pelo estudante;
n QAC = número total de questionários preenchidos.
Validação de conteúdo
A primeira versão do instrumento foi submetida à validação de conteúdo quanto à clareza e pertinência de cada item, realizada por um grupo de oito juízes formado por professores doutores da FCFRP-USP com vasta experiência na docência no ensino superior. Os juízes receberam o instrumento por meio de seus respectivos endereços eletrônicos via formulário on-line; após essa avaliação, as sugestões foram analisadas, o que resultou na segunda versão do instrumento contendo um total de 21 itens.
Ainda no processo de validação de conteúdo, em abril de 2018, foi realizado um pré-teste com a aplicação do instrumento em uma amostra de 20 alunos de graduação concluintes dos módulos pertencentes à nova estrutura curricular da FCFRP-USP, com o objetivo de identificar possíveis dificuldades para responder o instrumento, bem como o tempo médio para respondê-lo.
Para essa aplicação, foi utilizada uma planilha contendo os e-mails de estudantes que cursavam determinado módulo, por meio da lista de presença do sistema de gerenciamento da graduação denominado Sistema Júpiter. No e-mail enviado havia o link para preenchimento do questionário, no formato Google Docs. Foi definido um calendário de envio conforme as disciplinas. Esse processo garantia que apenas os graduandos matriculados na disciplina fizessem o preenchimento.
Após essa etapa, o instrumento resultante foi submetido ao estudo piloto por meio de sua aplicação em uma amostra composta de estudantes concluintes dos módulos, seguindo os mesmos critérios estabelecidos no pré-teste. Os estudantes receberam o instrumento após a conclusão dos módulos, e, portanto, um estudante matriculado em vários módulos recebeu um questionário relacionado a cada módulo concluído. Foram enviados 1.077 questionários a esses alunos. Com os dados obtidos, analisaram-se o tempo para responder ao referido questionário e a presença de escores mínimos e máximos.
Esse trabalho foi submetido ao Comitê de Ética de Pesquisa em Seres Humanos pertencente à Faculdade de Ciências Farmacêuticas de Ribeirão Preto, Universidade de São Paulo, com o número CAE: 34927020.1.0000.5403.
Análise estatística
Os dados obtidos foram tabulados e analisados utilizando o Programa Microsoft Office Excel (Office 2013). Para a estatística descritiva dos dados foram utilizadas as frequências absoluta e relativa (%) para as variáveis categóricas. Empregou-se a estatística descritiva para avaliação da presença de escores mínimos e máximos nos resultados obtidos.
RESULTADOS
Dos 19 itens da primeira versão do Questionário para a Avaliação Continuada analisada pelos juízes, 75,8% foram considerados claros e 100% pertinentes. Após essa avaliação foi sugerida a inclusão de dois itens totalizando 21 na versão final. A Figura 1 apresenta as etapas da elaboração desse instrumento.
Fonte: Elaboração dos autores.
FIGURA 1 Fluxograma das etapas de elaboração do instrumento para avaliação continuada
O questionário contém quatro domínios estruturados: avaliação sobre o professor contendo nove itens e um item final semiestruturado; avaliação sobre o módulo com dois itens estruturados; autoavaliação do estudante com quatro itens estruturados; e ao final dois itens semiestruturados para coletar sugestões dos estudantes. As opções de resposta obedeciam a uma escala tipo Likert variando de um (nunca) a cinco (sempre) para os domínios avaliação sobre o professor e autoavaliação do aluno, enquanto no domínio avaliação sobre o módulo, as opções de resposta variavam entre um (concordo plenamente) e cinco (discordo plenamente). A Tabela A (Apêndice) apresenta a descrição completa dos itens antes e após a avaliação pelos juízes. Esse instrumento, nomeado como QAC, tem caráter formativo, pois os domínios avaliação sobre o professor, avaliação sobre o módulo e autoavaliação do aluno compõem a variável latente denominada avaliação continuada.
Durante o pré-teste (n = 20), um aluno afirmou que o domínio “autoavaliação” deveria ser mais claro, e este passou pela revisão dos autores. Porém não foram realizadas alterações, uma vez que os demais graduandos não encontraram dificuldade.
No estudo piloto, foram enviados 1.077 QAC, e 383 retornaram preenchidos, o que equivale a uma taxa de resposta de 35,56%. O tempo médio para o preenchimento desse questionário foi de, aproximadamente, dois minutos.
Para a análise da presença de escores mínimos e máximos, foram calculados a média dos escores totais obtidos pelos estudantes (62,19 - IC95% / 61,14-72,72), o desvio padrão (10,53), o escore máximo (75) e o escore mínimo (29). A pontuação máxima (75) foi atingida em 5,48% dos QAC preenchidos. Os itens em escala do tipo Likert e as respectivas distribuições de frequência relativa das respostas fornecidas pelos participantes encontram-se na Tabela 1.
TABELA 1 Distribuição de frequência relativa (%) das respostas ao Questionário de Avaliação Continuada, segundo o item, por nível da escala (383 QAC preenchidos)
| Avaliação sobre o professor | Nunca | Sempre | Total1 | |||
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 1. O professor estava presente nas aulas | 0 | 1,05 | 3,66 | 10,47 | 84,55 | 381 |
| 2. O professor demonstrou planejar/preparar suas aulas | 2,62 | 5,5 | 11,26 | 13,35 | 67,02 | 381 |
| 3. O professor demonstrou domínio de conteúdo | 1,05 | 3,14 | 8,12 | 15,45 | 71,99 | 381 |
| 4. O professor foi claro em suas explicações | 8,64 | 10,47 | 15,71 | 23,04 | 41,62 | 380 |
| 5. O professor relacionou-se bem com a turma | 5,76 | 6,54 | 9,95 | 18,59 | 59,16 | 382 |
| 6. O professor ressaltou a importância do conteúdo para a formação do aluno | 6,54 | 4,97 | 11,78 | 10,99 | 65,45 | 381 |
| Avaliação sobre o professor | Nunca | Sempre | Total1 | |||
| 1 | 2 | 3 | 4 | 5 | ||
| 8. As estratégias de ensino- -aprendizagem realizadas pelo professor contribuíram com meu aprendizado |
11,52 | 10,47 | 15,97 | 19,9 | 41,88 | 381 |
| 9. As formas de avaliação do professor foram coerentes com o programa apresentado | 5,76 | 7,85 | 12,04 | 16,49 | 57,85 | 382 |
| Autoavaliação do aluno | Nunca | Sempre | Total | |||
| 1 | 2 | 3 | 4 | 5 | ||
| 10. Os conhecimentos que eu já possuía me permitiram acompanhar o conteúdo do módulo | 2,62 | 8,38 | 16,75 | 32,2 | 39,79 | 383 |
| 11. Estudei os conteúdos trabalhados no módulo | 0,79 | 3,93 | 8,9 | 19,63 | 67,02 | 383 |
| 12. Realizei as atividades propostas durante o módulo | 0,26 | 0,52 | 3,66 | 16,23 | 79,32 | 381 |
| 13. Participei das discussões propostas contribuindo para o desenvolvimento de meus conhecimentos e de meus colegas | 2,36 | 3,66 | 11,78 | 24,62 | 57,59 | 383 |
| Avaliação sobre o módulo | Discordo plenamente | Concordo plenamente | Total | |||
| 1 | 2 | 3 | 4 | 5 | ||
| 14. Considero que a duração do módulo foi adequada | 21,99 | 10,21 | 13,61 | 17,02 | 37,43 | 382 |
| 15. Considero que a carga horária do módulo (total de créditos) foi adequada | 12,57 | 10,73 | 14,14 | 21,99 | 40,84 | 382 |
Fonte: Elaboração dos autores.
Nota: São apresentados apenas os itens construídos com alternativa de respostas em escala Likert.
1 Frequência total de respostas obtidas nesse item.
DISCUSSÃO
Os construtos subjetivos mensurados pelos instrumentos de medida podem possuir caráter formativo ou reflexivo; no que tange aos instrumentos de caráter reflexivo, os itens são reflexos do construto em questão e, por isso, precisam estar correlacionados; com relação aos instrumentos de caráter formativo, os itens formam o construto e não estão, portanto, necessariamente correlacionados (Mokkink et al., 2010; Diamantopoulos et al., 2008). O construto qualidade da estrutura curricular sob o ponto de vista do estudante tem caráter formativo, uma vez que os domínios avaliação sobre o professor, avaliação sobre o módulo e autoavaliação dos alunos compõem o construto avaliado, ou seja, sob uma ótica conceitual-lógica à luz da revisão da literatura apresentada neste estudo, uma alteração na autoavaliação do aluno não corrobora necessariamente uma mudança em sua percepção sobre o módulo e/ou o professor.
Ainda nesse contexto, segundo Mokkink et al. (2010), a análise da consistência interna em instrumentos de caráter formativo não é recomendada, pois tais instrumentos não apresentam, necessariamente, correlação entre os itens contidos. Assim, não foi calculado o alfa de Cronbach, apesar de ser uma medida amplamente utilizada na literatura para essa análise (Streiner, 2003).
A utilização do QAC proporcionou que a unidade não dependesse das datas e do formulário da Fuvest; além disso, os dados já viriam tabulados e os comentários digitados. Ademais, com a validação de conteúdo do instrumento, os resultados da avaliação passariam maior confiabilidade para a comunidade.
Nesse cenário, apesar de a elaboração do QAC ter sido realizada em um contexto de ensino das Ciências Farmacêuticas, a apresentação do itinerário metodológico para elaboração do QAC pode auxiliar não somente as IES que oferecem esse curso, mas também as demais IES no processo de avaliação continuada de suas estruturas curriculares, uma vez que os termos empregados nesse instrumento podem ser utilizados em IES que oferecem cursos de graduação no formato modular em quaisquer áreas do conhecimento, pois não foram incluídos termos específicos para o curso de Farmácia.
Diante dos resultados obtidos acerca da pertinência e clareza sob o ponto de vista dos juízes, é possível observar que o QAC contemplou itens importantes para o processo de avaliação continuada, pois houve consenso no que tange à pertinência dos itens e concordância acima de 75% sobre a clareza deles. Diversos autores apresentam evidências da importância da avaliação dos juízes como contribuição para a robustez da seleção dos itens do questionário (Souza et al., 2017; Mokkink et al., 2010; Streiner & Norman, 2008; Terwee et al., 2007; Pasquali, 2010). Com relação à clareza dos itens, o estudo de pré-teste propiciou evidências de que o entendimento dos itens pelos alunos de graduação foi considerado suficiente, tendo em vista a facilidade do autopreenchimento por meio do formato digital do referido instrumento. Em face desses fatos, o QAC apresenta evidências da validação de conteúdo.
Ainda nesse sentido, na aplicação do QAC no estudo piloto, 5,48% dos alunos atingiram o escore máximo, o que constitui mais uma evidência da robustez da validade de conteúdo, uma vez que Terwee et al. (2007) descrevem que a presença de escores máximos e/ou mínimos em mais de 15% da amostra pode denotar lacunas na validação de conteúdo.
Como limitação referente à reformulação da avaliação continuada para o formato on-line, pode ser citada a baixa taxa de retorno dos questionários enviados (35,56%), corroborando resultados encontrados em estudos em que a avaliação também foi realizada no formato on-line (Vasconcellos & Guedes, 2007; Vieira et al., 2010).
Ainda com relação à baixa adesão ao estudo, salienta-se a importância de investir em estratégias massivas de divulgação, para que os alunos participem. No entanto, salienta-se que a amostra do estudo piloto foi de 383 questionários, número suficiente para a avaliação do tempo de resposta e dos efeitos dos escores mínimos e máximos (Terwee et al., 2007).
Considerando tais fatos, pode-se observar que o QAC demonstra ter evidências de validade de conteúdo e, dessa forma, é possível sua utilização para processos de avaliação continuada de IES. Ademais, o processo de reformulação da avaliação continuada descrito neste estudo pode contribuir e auxiliar outras IES que estejam vivenciando cenários semelhantes.
CONCLUSÃO
Este estudo apresentou o itinerário vivenciado pela FCFRP-USP para a reformulação do processo de avaliação continuada. O processo decorre de um contexto educacional que impôs reflexões sobre a atuação do docente e sobre a matriz curricular. As etapas de construção do instrumento foram: elaboração dos itens, avaliação por especialistas, estudo de pré-teste. O instrumento para avaliação dos professores e disciplinas Questionário da Avaliação Continuada (QAC) apresentou evidências de robustez e confiabilidade e pode ser utilizado por outros cursos de graduação em instituições de ensino superior.
