Português (pdf)
Artigo em XML
Tradução automática
Enviar este artigo por email
Permalink
Introdução
A multidimensionalidade do profissional de administração está no desenvolvimento de suas habilidades como gestor, com a compreensão de que essa competência profissional engloba habilidades técnicas, conceituais e humanas. Academicamente, segundo Stoner (1999) e Silva (2001), existem três tipos de habilidade que o gestor deve desenvolver para a ação administrativa: habilidade técnica que é a capacidade de utilizar procedimentos, técnicas e conhecimentos de uma área específica e que estão relacionados com o desempenho de determinadas funções dentro da organização; habilidade humana, referente à capacidade de trabalhar com outras pessoas, entendê-las e motivá-las, estando relacionada ao discernimento do tratamento com pessoas e da capacidade de liderá-las entendendo suas atitudes e motivações; habilidade conceitual, que é a capacidade de coordenar e integrar todos os interesses e atividades de uma organização, entendendo-a como um todo, compreendendo as complexidades e promovendo o ajustamento do comportamento dos seus participantes.
Para que essa multidimensionalidade possa ser desenvolvida, metodologias ativas devem ser utilizadas. Para Del Fiaco (2005), Prince (2004) e White et al. (2016), elas levam o estudante a vivenciar situações propícias que possibilitam sua conversão em um ente ativo, criador, capaz de contribuir com o desenvolvimento do entorno social e sua própria autotransformação. Além de desenvolver talentos individuais, os métodos participativos são capazes de desafiar o aluno a argumentar e pensar, contribuindo para a construção de um aprendizado mais ativo. Entre suas características, as mais importantes são: a centralização nos processos de descobrimento, criação e recriação de conhecimentos; a importância dos conhecimentos que emergem dos participantes para a estruturação dos problemas e das ações superadoras; o atendimento das necessidades concretas do grupo pelos processos desenvolvidos; a existência de uma estreita ligação entre os referenciais teóricos que explicam a prática, e uma prática que organiza novos referenciais teóricos; sintonia, no transcorrer do processo, entre os pesquisadores, os objetos estudados, as ações propostas e os objetivos do trabalho; obediência da sistematização do saber, da produção do conhecimento e da forma de organização das atividades a uma ordenação lógica e a um rigor científico; e a construção da dimensão da pesquisa e da dimensão pedagógica a partir de um esforço ativo, ordenado, sistemático, reflexivo e consciente por parte dos envolvidos (WOLLMANN; STEINER; WOLLMANN, 2012).
Nesse contexto, é apresentado um processo de avaliação por pares, fundamentado na técnica de análise multicritério Analytic Hierarchy Process (AHP), com o objetivo de desenvolver as habilidades humanas dos estudantes dos cursos de Administração.
Metodologia
Uma das mais importantes contribuições ao estudo de metodologia no campo da modelagem quantitativa foi o artigo seminal de Mitroff et al. (1974), cujo modelo proposto é representado por seis processos básicos (Figura 1): (i) conceituação: interpretação da realidade, ou partes dela, e descrição dessa situação-problema por meio de um modelo conceitual - processo que pode ser considerado a fase qualitativa da pesquisa; (ii) modelagem: representação do modelo conceitual por um modelo científico, que, em algumas situações, consiste em modelos matemáticos; (iii) resolução do modelo: processo de obtenção de uma solução para o modelo científico; (iv) feedback: análise da coerência entre a solução obtida e o modelo conceitual; (v) implementação: processo de aplicação da solução obtida na realidade ou situação-problema; (vi) validação: verificação da correspondência do modelo científico à realidade ou partes dela.
Fundamentados no trabalho de Mitroff et al. (1974), Bertrand e Fransoo (2002) apresentam uma classificação das metodologias de pesquisa que utilizam modelagem quantitativa.
A pesquisa quantitativa, baseada em modelos, é a pesquisa na qual são desenvolvidos, analisados e testados modelos de relações causais entre as variáveis de controle e desempenho. Estas partem do princípio de que é possível construir modelos, os quais expliquem parte do comportamento dos processos reais ou considerar parte das variáveis utilizadas nos processos decisórios em ambientes empresariais.
Os dois tipos de pesquisa quantitativa são a pesquisa axiomática e a pesquisa empírica. Ambas as classificações podem ser ainda subdivididas em descritiva e normativa - sendo que a área descritiva relaciona-se com o estudo de um processo, enquanto a normativa, o estudo de um problema.
A pesquisa axiomática possui as seguintes características:
a) é desenvolvida a partir de um modelo matemático (assume-se que alguns aspectos do problema não afetam a solução);
b) procura soluções que forneçam conhecimento sobre a estrutura do problema;
c) utiliza métodos formais, como matemática, estatística e ciências da computação.
Os passos para sua realização: (i) descrição das características do problema a ser estudado, a partir de um modelo conceitual; (ii) especificação do modelo científico (em termos matemáticos).
A pesquisa axiomática descritiva parte de um modelo conceitual, representativo do problema, desenvolvendo a partir dele, um modelo científico, o qual é analisado, gerando assim, um novo conhecimento sobre o problema em questão. Portanto, os modelos conceitual e científico são a “espinha dorsal” desse tipo de pesquisa, em que não se busca a solução do modelo, mas, sim, a efetividade da descrição das características do problema estudado.
Avaliação por pares na aprendizagem baseada em times
As metodologias ativas são práticas pedagógicas que têm foco no engajamento do estudante, tornando-o protagonista do processo de aprendizagem (PRINCE, 2004; WHITE et al., 2016). Estudos de caso e resolução de problemas são alguns exemplos de atividades que vão além do conhecimento e da compreensão e buscam uma aprendizagem colaborativa e cooperativa. A aprendizagem baseada em times (Team-Based Learning - TBL), por sua vez, consiste em uma estratégia instrucional, fundamentada no construtivismo, que procura criar oportunidades e obter os benefícios do trabalho em equipe, por meio da constituição de pequenos grupos de aprendizagem (MICHAELSEN; SWEET, 2008).
Uma das características mais importantes da TBL é a necessidade dos estudantes envolvidos nos grupos terem que se preparar previamente para as aulas, uma vez que podem ser lançados desafios para os grupos antes, durante ou depois delas. Além disso, é importante ressaltar que não há necessidade dos estudantes possuírem conhecimento prévio sobre trabalho em equipe, uma vez que serão submetidos a atividades que farão com que desenvolvam essas habilidades de forma intrínseca (MICHAELSEN; SWEET, 2008).
As oportunidades para o estudante adquirir e aplicar conhecimento são criadas pela metodologia a partir de uma sequência de atividades que incluem etapas prévias ao encontro com o professor, as quais têm seu acompanhamento e um processo de avaliação consistente.
A integração da avaliação na prática pedagógica é essencial ao sucesso dos estudantes. Pesquisadores como Allal (2010) e Biggs e Tang (2007) comprovam a importância dessa integração na qualidade da aprendizagem. Para eles, a aprendizagem ativa e a avaliação construtivista são processos que se desenvolvem de modo integrado, direcionando uma aprendizagem mais efetiva.
O elo entre o processo de aprendizagem e a avaliação é o feedback. É por seu intermédio que as informações da avaliação são utilizadas para melhorar a aprendizagem dos estudantes, pois auxilia a correção de falhas na realização de uma tarefa, indica o progresso feito pelo estudante e permite a melhoria do seu desempenho em situações futuras semelhantes (BIGGS; TANG, 2007; BROWN, 2007; CRISP, 2007; HATTIE; TIMPERLEY, 2007).
A avaliação é classificada em dois grupos: (i) autoavaliação, na qual o estudante faz julgamentos sobre sua própria aprendizagem; (ii) avaliação por pares, na qual faz julgamentos sobre seus colegas de equipe (CESTONE; LEVINE; LANE, 2008, LEE; LIM, 2012).
Percebe-se, pelas pesquisas desenvolvidas, que as ferramentas de avaliação são elaboradas com características específicas, customizadas para cada situação de aprendizagem. Cria-se, portanto, uma lacuna para a discussão e proposição de um novo processo, integrando autoavaliação e avaliação por pares.
AHP
A programação multicritério, por meio do AHP, é estruturada para tomada de decisão em ambientes complexos, em que diversos critérios (ou atributos ou variáveis) são considerados para a priorização e seleção de alternativas (WOLLMANN et al., 2013; WOLLMANN; STEINER, 2017).
O AHP foi desenvolvido, na década de 1980, por Thomas L. Saaty e tem sido intensivamente utilizado. Atualmente, é aplicado para a tomada de decisões em diversos cenários complexos, em que pessoas trabalham em conjunto para tomar decisões, além de as percepções humanas, julgamentos e consequências possuírem repercussão de longo prazo.
Inicia-se pela decomposição do problema em uma hierarquia de critérios ou atributos que são mais facilmente analisáveis e comparáveis de modo independente, conforme ilustrado na Figura 2. A partir do momento em que essa hierarquia lógica é construída, a etapa seguinte do processo é avaliar sistematicamente as alternativas, por meio da comparação, duas a duas, sob a óptica de cada um dos critérios ou atributos. Essa comparação pode utilizar dados concretos das alternativas ou julgamentos humanos como forma de informação.
O AHP transforma as comparações, muitas vezes empíricas, em valores numéricos, que são processados e comparados. O peso de cada um dos fatores permite a avaliação de todos os elementos dentro da hierarquia definida. Essa capacidade de conversão de dados empíricos em valores numéricos é o principal diferencial do AHP com relação a outras técnicas.
A comparação entre dois elementos utilizando essa técnica pode ser realizada de diferentes formas, sendo, no entanto, a escala de importância relativa entre duas alternativas proposta por Saaty (2005, 2013, 2015) a mais amplamente utilizada. Atribuindo valores que variam de 1 a 9, a escala determina a importância relativa de uma alternativa i com relação à alternativa j e, reciprocamente, da alternativa j em relação à alternativa i, conforme apresentado na Tabela 1.
Tabela 1 Escala de importância relativa de Saaty.
| ESCALA | AVALIAÇÃO NUMÉRICA (aij) (alternativa i em relação à j) | RECÍPROCO (1/aij) (alternativa j em relação à i) |
|---|---|---|
| Extremamente preferido | 9 | 1/9 |
| Muito fortemente preferido | 7 | 1/7 |
| Fortemente preferido | 5 | 1/5 |
| Moderadamente preferido | 3 | 1/3 |
| Igualmente preferido | 1 | 1 |
| Valores intermediários | 2, 4, 6 e 8 | 1/2, 1/4, 1/6 e 1/8 |
Fonte: Adaptado de Saaty (2005, 2013, 2015).
A utilização dessa escala na avaliação dos critérios e/ou atributos gera uma matriz consolidada com valores numéricos, sendo o mesmo procedimento utilizado para a avaliação dos pares de alternativas sob a óptica de cada um daqueles critérios e/ou atributos. Essas matrizes de julgamento das preferências nem sempre são consistentes, isto é, não podem ser utilizadas para seu processo de hierarquização. Tal fato ocorre por duas razões: (i) dificuldade de ajustar a escala de Saaty às comparações par a par; (ii) racionalidade limitada dos julgadores.
Para garantir sua consistência, Davoodi (2009) e Wollmann e Steiner (2017) sugerem que a matriz de julgamento seja desdobrada em n matrizes provisórias, cada uma tendo como referência uma das colunas da matriz original e sendo os demais elementos determinados proporcionalmente. A partir dessas n matrizes, determina-se uma matriz (de julgamento das preferências) consistente, seguindo o procedimento descrito no próximo parágrafo.
Essas avaliações, com as respectivas atribuições de pesos, podem ser feitas por K julgadores. Com as matrizes de avaliação de todos eles, é necessário estabelecer um único conjunto de matrizes (atributos e alternativas por atributos) que represente todo o processo de avaliação. Deve-se utilizar a média geométrica dos valores, pois, assim, as características dos pesos e seus recíprocos ficam mantidos (ACZÉL; SAATY, 1983; SAATY, 2005, 2013, 2015; WOLLMANN; STEINER, 2017). Em termos numéricos, cada elemento aij c das matrizes consolidadas é determinado pela Equação 1.
Após a obtenção das matrizes consolidadas, seus valores devem ser padronizados com relação às suas colunas. A partir da matriz dos atributos consolidada e padronizada, podem-se calcular os pesos relativos entre os critérios e/ou atributos. Tais pesos são determinados pelo cálculo da média aritmética dos elementos das linhas correspondentes a eles, conforme apresentado na Equação 2.
Após a determinação dos pesos dos critérios e/ou atributos, é possível estabelecer a hierarquia entre eles. Isso significa obter o grau de importância que as pessoas percebem para cada um deles.
Similarmente, o mesmo processo matemático pode ser realizado para cada uma das alternativas sob a óptica de cada atributo. Os valores dos pesos (paij) significam a classificação (hierarquização) das alternativas pela perspectiva de cada um dos atributos.
Finalmente, para que se possa obter o resultado final da análise, determina-se o peso global de cada alternativa. Para isto, calcula-se a média ponderada dos pesos de cada alternativa sob a óptica dos diversos atributos, conforme a Equação 3. Conhecidos os pesos globais, é possível, finalmente, hierarquizar as alternativas, selecionando a de maior valor.
Processo de avaliação por pares, como AHP
Os estudantes são avaliados pelo seu desempenho individual e também pelo resultado do trabalho em grupo (habilidade técnica), além de se submeterem à avaliação entre os pares (habilidade humana). Os integrantes dos grupos têm a oportunidade de avaliar as contribuições individuais para o desempenho da equipe. A avaliação pelos pares é essencial, pois os componentes da equipe são, normalmente, os únicos que têm informações suficientes para avaliar a contribuição do outro.
Nesse contexto, propõe-se o seguinte processo de avaliação por pares:
a) Professor define os critérios da avaliação.
b) Utilizando a técnica AHP, o professor faz uma avaliação pareada dos critérios definidos por ele.
c) Dessa avaliação, resulta o grau de importância relativa dos critérios.
d) Cada estudante avalia, segundo os critérios definidos pelo professor e em questionário específico, a intensidade relativa da participação dos integrantes da sua equipe (inclusive ele).
e) Utilizando a técnica AHP, determinam-se as avaliações individuais e a representativa da equipe (média geométrica entre as avaliações individuais).
f) Dessas avaliações, resultam os graus de desempenho dos estudantes para cada um dos critérios e o grau de desempenho global.
g) Os desempenhos, global e por critérios, são discutidos com cada equipe.
Para exemplificar, considera-se um exemplo hipotético. Um determinado professor estabelece os seguintes critérios de avaliação: (i) preparação - percepção da intensidade de preparação dos integrantes da equipe antes do início das aulas; (ii) contribuição - percepção da intensidade de contribuição dos integrantes da equipe para o desenvolvimento das atividades; (iii) assistência - percepção da intensidade de contribuição dos integrantes da equipe para o aprendizado dos outros integrantes; (iv) flexibilidade - percepção da intensidade de contribuição dos integrantes da equipe para a busca do consenso (solução de conflitos) no desenvolvimento das atividades. O framework de avaliação, para equipes com cinco estudantes, está representado na Figura 3.
Após fazer a avaliação pareada entre os critérios, o professor identifica seus graus de importância (Figura 4).
Fonte: O autor (2017).
Figura 4 Grau de importância dos critérios de avaliação definidos pelo professor
Observa-se que o professor considera que contribuição tem maior importância; em segundo lugar, assistência. Com esses graus de importância, entende-se que o docente privilegia a dedicação à equipe e seus integrantes. Na sequência, ele elabora questionário para equipes com cinco estudantes, tal qual a Figura 5.
Após obter as respostas dos estudantes de cada equipe, utilizando a técnica AHP, são obtidas as representações gráficas, apresentadas nas Figuras 6 a 9.
Na Figura 6, observa-se um melhor desempenho dos estudantes 01 e 05, quando o critério é a preparação para as aulas.
Na Figura 7, observa-se um melhor desempenho dos estudantes 02 e 05, quando o critério em pauta é a contribuição para a equipe.
Fonte: O autor (2017).
Figura 7 Desempenho dos estudantes da equipe, segundo o critério contribuição
Na Figura 8, observa-se um melhor desempenho do estudante 05, quando o critério em pauta é a assistência aos colegas de equipe.
Na Figura 9, observa-se um melhor desempenho do estudante 01, quando o critério em foco é a capacidade de solucionar conflitos.
Fonte: O autor (2017).
Figura 9 Desempenho dos estudantes da equipe, segundo o critério flexibilidade
Finalmente, apresenta-se a Figura 10, com o resultado do desempenho global de cada um dos estudantes.
Observa-se que o estudante 05 teve o melhor desempenho global, seguido dos estudantes 01 e 02.
Os diagramas permitem que a equipe reflita sobre seus comportamentos e possíveis influências no resultado da atividade principal, bem como perceba o perfil de cada integrante e o esforço desenvolvido para a consecução da atividade.
Se houvesse a necessidade de transformar o desempenho global em uma determinada nota, seria feito ajustando o grau de desempenho do estudante 05 a essa nota. As demais seriam proporcionais. Assim, por exemplo, se a atividade de avaliação valesse 2 pontos, ter-se-ia: (i) estudante 05 com nota 2,0; (ii) estudante 01 com nota 1,5; (ii) estudante 02 com nota 1,4; (iv) estudante 03 com nota 0,9; (v) estudante 04 com nota 0,8.
Considerações finais
A autoavaliação e a avaliação por pares podem trazer benefícios significativos para todos os envolvidos no processo de aprendizagem, ou seja, tanto para professores quanto para estudantes. Ao aprender avaliar seu trabalho e o dos colegas de equipe, desenvolvem a capacidade de julgamento, sob as mais variadas ópticas. Com isso, melhoram seus desempenhos e desenvolvem hábitos de colaboração. Além disso, levam para sua vida profissional essa capacidade de se avaliar (como membro de equipes), avaliar equipes e refletir sobre pontos de melhoria.
Para que esse objetivo seja alcançado, o processo de avaliação (auto e por pares) foi estruturado a partir da técnica de multianálise denominada AHP. Isso foi possível porque a técnica está fundamentada em análise de julgamento entre pares de alternativas, sob a óptica de diversos critérios de avaliação. Assim, o professor pode estabelecer seus critérios (quaisquer que sejam eles) de avaliação das equipes, hierarquizá-los e comunicá-los aos estudantes. Os estudantes de cada equipe observam seus colegas e os julgam, comparando os desempenhos dois a dois. Esse é o processo original desenvolvido por Saaty, na década de 1980, e amplamente difundido entre os profissionais que participam de processos decisórios com múltiplos critérios e decisores.
Os resultados representam o pensamento da equipe e podem ser discutidos com o objetivo de melhorar a performance desta, bem como indicar os aspectos individuais que cada estudante deve focar. Além disso, os resultados numéricos gerados podem ser utilizados para atribuir nota a cada um dos integrantes da equipe avaliada.
Apesar da aplicação da técnica, aqui, ser apresentada hipoteticamente, ela foi aplicada a uma atividade real em sala de aula, tendo gerado o engajamento de todos os estudantes, principalmente pelo fato de poder ser replicada em situações reais de sua vida profissional. Essa limitação abre a possibilidade de uma aplicação real, durante o desenvolvimento de um semestre letivo, de modo a avaliar as mudanças de comportamento dos estudantes como integrantes de equipes de trabalho.
