SciELO - Scientific Electronic Library Online

 
vol.30 número63EDUCAÇÃO AMBIENTAL E EDUCAÇÃO ESTÉTICA: UM PROCESSO EDUCATIVO PARA A SUSTENTABILIDADEA AULA DE FILOSOFIA COMO CRIAÇÃO CONCEITUAL E LABORATÓRIO CONCEITUAL índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Compartilhar


Educação: Teoria e Prática

versão impressa ISSN 1993-2010versão On-line ISSN 1981-8106

Educ. Teoria Prática vol.30 no.63 Rio Claro  2020  Epub 07-Jul-2020

https://doi.org/10.18675/1981-8106.v30.n.63.s12950 

Artigos

AVALIAÇÃO DA USABILIDADE DE SIMULADORES NO ENSINO DE FÍSICA: APLICAÇÃO DO MÉTODO DO PERCURSO COGNITIVO

USABILITY EVALUATION OF SIMULATORS FOR TEACHING PHYSICS: APPLICATION OF COGNITIVE WALKTHROUGH METHOD

EVALUACIÓN DE USABILIDAD DE SIMULADORES EN LA ENSEÑANZA DE FÍSICA: APLICACIÓN DEL MÉTODO DEL RECORRIDO COGNITIVO

César Augusto Rangel Bastos1 
http://orcid.org/0000-0002-8826-5796

Gustavo de Oliveira Almeida2 
http://orcid.org/0000-0003-0672-6649

1Fundação de Apoio à Escola Técnica, Rio de Janeiro, Rio de Janeiro – Brasil. E-mail:cesar.bastos@uniriotec.br.

2Universidade Federal Fluminense, Rio de Janeiro, Rio de Janeiro – Brasil. E-mail:goalmeida@gmail.com.


Resumo

O uso de simuladores e aplicativos customizados para o uso educativo abre novas possibilidades no processo de ensino e aprendizagem das mais variadas disciplinas, através de interações mediadas pelo computador (Buzato, 2006). Nesse contexto, professores estão desenvolvendo material digital considerando essa poderosa ferramenta. O uso de aplicativos e simuladores educacionais tem aumentado significativamente com a difusão da internet nas escolas. No entanto, a avaliação da efetividade desses aplicativos é complexa e incipiente (Barroso, Felipe e Silva, 2006). Este artigo apresenta uma proposta de avaliação da usabilidade de interface para uso de simuladores com alunos do ensino básico utilizando uma versão customizada do PSSUQ, com uma avaliação pelo método do percurso cognitivo (Wharton, Rieman, Lewis e Polson, 1990). A interface escolhida foi o simulador de pêndulo simples - parte do pacote de simulações PhET. Os resultados apontaram usabilidade satisfatória do aplicativo, embora algumas limitações e dificuldades de usabilidade tenham sido encontradas. Sugestões para aplicações, pesquisas futuras e recomendações são apresentadas.

Palavras-chave Percurso cognitivo; Avaliação de ferramentas educacionais; Simuladores

Abstract

The use of simulators and customized applications for educational use opens new possibilities in the teaching and learning process of the most varied disciplines through computer-mediated interactions (Buzato, 2006). In this context, teachers are developing digital material considering this powerful tool. And the use of educational apps and simulators has increased significantly with the spread of the internet in schools. However, the evaluation of the effectiveness of these applications is complex and incipient (Barroso, Felipe e Silva, 2006). This paper presents a proposed interface usability assessment for the use of simulators with elementary school students using a customized version of the PSSUQ, along with an evaluation by the cognitive walkthrough method (Wharton, Rieman, Lewis and Polson, 1990). The interface chosen was the simple pendulum simulator - part of the PhET simulations package. The results indicated satisfactory usability of the application, although some limitations and usability difficulties were found. Suggestions for applications, future research and recommendations are presented.

Keywords Cognitive walkthrough; Evaluation of educational tools; Simulators

Resumen

El uso de simuladores y aplicaciones personalizadas para el uso educativo abren nuevas posibilidades en el proceso de enseñanza y aprendizaje de las más variadas disciplinas a través de interacciones mediadas por el ordenador (Buzato, 2006). En este contexto, los profesores están desarrollando material digital considerando esta poderosa herramienta. Y el uso de aplicaciones y simuladores educativos ha aumentado significativamente con la difusión de Internet en las escuelas. Sin embargo, la evaluación de la efectividad de estas aplicaciones es compleja e incipiente (Barroso, Felipe e Silva, 2006). Este artículo presenta una propuesta de evaluación de usabilidad de interfaz para el uso de simuladores con alumnos de enseñanza básica utilizando una versión personalizada del PSSUQ, junto con una evaluación por el método del recorrido cognitivo (Wharton, Rieman, Lewis y Polson, 1990). La interfaz elegida fue el simulador de péndulo simple utilizado forma parte del paquete de simulaciones PhET. Los resultados apuntaron usabilidad satisfactoria de la aplicación, aunque algunas limitaciones y dificultades de usabilidad se encontraron. Sugerencias para aplicaciones, investigaciones futuras y recomendaciones se presentan.

Palabras clave Recorrido cognitivo; Evaluación de herramientas educativas; Simuladores

1 Introdução

Atualmente o papel autoral dos professores está cada vez mais evidente com o uso de materiais educativos digitais e a consequente necessidade de criação desses materiais. Buzato (2006) indica que pensar no uso de novas tecnologias visando melhorar o mundo é também pensar em educação. Nesse contexto, o “professor-autor” está incluído em um modelo com grande complexidade tecnológica, com implicações sociais, culturais e educacionais. Mesquita (2013) aponta que os saberes docentes incluem as disciplinas, programas e materiais, além de uma série de competências referentes a organização e gestão e à didática específica relacionada ao contexto em que se desenvolve o processo ensino-aprendizagem.

Nesse contexto, o uso de simuladores e aplicativos customizados para o uso educativo abre novas possibilidades no processo de ensino e aprendizagem das mais variadas disciplinas através de interações mediadas pelo computador. Segundo Fiolhais e Trindade (2003):

O computador apresenta-se como uma ferramenta que possibilita sua utilização em várias dessas vertentes: com textos, com animações, com experiências simuladas, entre outras. A disseminação da internet faz com que esta ferramenta possa ser amplamente divulgada e multiplicada. As possibilidades de utilização de computadores em processos de aprendizagem são múltiplas

(FIOLHAIS & TRINDADE, 2003, p. 1).

As recentes mudanças tecnológicas trazem desafios para os desenvolvedores de softwares educacionais e também para os professores, já que exigem a definição clara dos objetivos educacionais a serem alcançados, o conhecimento do público-alvo destas aplicações e a incorporação dos fundamentos básicos da teoria de aprendizagem selecionada e relacionada ao modelo (FALKEMBACH, 2015).

Barroso, Felipe e Silva (2006) indicam quatro características imprescindíveis para a efetividade do processo de aprendizagem: (a) engajamento ativo (ao invés de passivo) dos alunos no processo de aprendizagem; b) organização de atividades em grupo, utilizando trabalho colaborativo; c) interação com retorno, ou seja, com mecanismos de feedback; d) presença de conexões relacionadas aos contextos e aplicações do aprendizado com o mundo real, compatível com o cotidiano vivido pelos alunos.

Nesse contexto, uma questão muito importante para os professores e desenvolvedores de materiais digitais é a de garantir a usabilidade das interfaces, ou seja, de responder à questão sobre o grau em que a interface escolhida está suficientemente clara para os alunos, e se de fato auxilia o processo de aprendizado, em vez de o dificultar. Uma interface com boa usabilidade tende a alcançar um maior engajamento, colaboração, feedback e conexões com o mundo real, por exemplo o caso de uma simulação do comportamento físico de corpos submetidos a forças e gravidade, em diferentes contextos.

Barroso, Felipe e Silva (2006) afirmam que assim como acontece com materiais e ferramentas educacionais tradicionais, a verificação de questões relacionadas com a utilização e a eficácia de ferramentas baseadas em computador para a educação são de difícil avaliação, consistindo em um desafio atual e importante.

O presente artigo teve como objetivo avaliar a usabilidade de uma interface desenvolvida para o ensino de física utilizando dois métodos distintos e complementares: a) a aplicação de questionários para verificar a satisfação com o uso e b) análise da usabilidade por inspeção de interfaces, com o método do percurso cognitivo para identificar e antecipar dificuldades dos alunos ao utilizarem a interface e propor melhorias ou estratégias para o ensino utilizando o simulador. O trabalho também ambicionou demonstrar a aplicação do método do percurso cognitivo como uma estratégia viável para a análise de aplicações digitais educacionais.

2 Fundamentação Teórica

Uma interface computacional transmite uma grande quantidade de informação e deve ser projetada em conformidade com diretrizes de acessibilidade e com foco na usabilidade. O designer se comunica com o usuário através da interface, que deve comunicar claramente as intenções de design e a lógica que determina o comportamento dos usuários. Três conceitos são importantes no desenho de uma interface: comunicabilidade, usabilidade e acessibilidade.

A comunicabilidade reflete a intenção de uso e resposta às ações do usuário, com comunicações úteis e adequadas ao contexto de uso. Já a usabilidade está relacionada à facilidade de uso de um produto, enquanto a acessibilidade está relacionada ao preparo de uma interface para facilitar o seu uso para usuários com algum tipo de limitação (visual, auditiva, motora, cognitiva etc.) (ALMEIDA et al., 2013).

A avaliação da usabilidade se refere aos métodos utilizados para examinar os aspectos relacionados ao uso de uma interface. Um sistema orientado para a usabilidade deve possuir uma interface, em que a execução da tarefa possa ser realizada de modo que os usuários não precisem gastar sua energia para aprender ou lidar com ela, mas possam focar nas atividades que desejam executar (FERREIRA, 2008).

O método percurso cognitivo (PC) foi proposto inicialmente por Wharton, Rieman, Lewis e Polson (1990). É um método de inspeção de usabilidade usado para identificar problemas de interatividade. O método é uma aplicação da teoria cognitiva para avaliar, por meio de exploração sistemática de uma interface, a facilidade de aprendizado por exploração de um sistema. Nesse modelo, as tarefas dos usuários são decompostas em ações, ou em sequência de passos importantes para a realização da tarefa. Durante o processo de avaliação, cada ação deve ser analisada, com o especialista se colocando no lugar do usuário, questionando se é possível realizar as ações propostas e estas ações levam ao cumprimento da tarefa.

Deve-se registrar as características de usabilidade problemática, e levantar hipóteses sobre o problema e propor soluções. A aplicação do método deve ser realizada considerando uma sequência de quatro atividades: preparação, coleta de dados e interpretação, consolidação e relato dos resultados (ROCHA & BARANAUSKAS, 2003).

Para avaliar a facilidade com que a ação correta será executada, quatro critérios são utilizados para avaliar as histórias sobre as ações dos usuários: o objetivo do usuário, a acessibilidade do controle correto, a qualidade da combinação entre o rótulo do controle e o objetivo, e os comentários ou formações fornecidas após os controles serem atuados (RIEMAN, FRANZKC e REDMILES, 1995).

3 Método de Pesquisa

3.1 Tipo de Pesquisa

A presente pesquisa realiza estudo da percepção de alunos sobre a usabilidade de uma interface durante a realização de uma atividade proposta. Trata-se de uma pesquisa descritiva, com a interpretação dos fatos do mundo físico sem a interferência do pesquisador (BARROS & LEHFELD, 2000).

3.2 Delimitação da pesquisa

Optou-se por utilizar nesta pesquisa simultaneamente métodos de inspeção e questionários, para verificar a facilidade de uso deste tipo de simulador, sem observar diretamente a interação dos estudantes com o simulador.

3.3 Etapas do Método

Este trabalho está organizado em quatro etapas: (a) escolha do simulador; (b) definição do método de avaliação; (c) avaliação de usabilidade e (d) análise de resultados

3.3.1 Etapa 1 - Escolha de um simulador do tipo applet

Escolheu-se o simulador “Laboratório de Pêndulos PhET” (https://phet.colorado.edu/pt_BR/), por ser um simulador de um pêndulo simples que permite determinar uma grandeza física importante para o estudo dos movimentos dos corpos no currículo de física básica. O simulador de pêndulo simples faz parte do pacote de simulações PhET (Wieman, Adams, Perkins, 2008), disponível na Figura 1:

Fonte:https://phet.colorado.edu/pt_BR/simulation/pendulum-lab

Figura 1 Simulador de pêndulo simples 

3.3.2 Etapa 2 - Definição do método de avaliação

Empregou-se um método de avaliação por inspeção para avaliar a usabilidade, a eficiência, a facilidade de uso e o aprendizado do sistema. Foram também aplicados questionários para coletar a percepção sobre usabilidade.

3.3.3 Etapa 3 – Avaliação de usabilidade

A avaliação por meio de questionários foi realizada com alunos da Escola Técnica Estadual Ferreira Viana, uma escola pública da rede FAETEC (www.faetec.rj.gov.br) situada no Maracanã-Rio de Janeiro. O método de inspeção por percurso cognitivo é realizado sem participação de usuários, utilizando um simulador de pêndulos como objeto de estudo; os especialistas analisaram os elementos da interface para responder a questões sobre a completude de informações e facilidade de execução.

3.3.4 Etapa 4 - Análise de resultados

Criou-se um questionário on-line para coletar a satisfação dos usuários e usabilidade da interface. As respostas do questionário permitiram conhecer a opinião dos usuários acerca da usabilidade da interface. Adicionalmente, os resultados do percurso cognitivo foram compilados e apresentados em formulários específicos.

4 Procedimentos

Foram utilizadas duas técnicas distintas para avaliar a usabilidade da interface: a) aplicação de questionários e b) percurso cognitivo. O primeiro método a ser empregado foi a aplicação de questionários. Utilizou-se como referência um questionário com elevado índice de aceitação internacional, Post-Study System Usability Questionnaire - PSSUQ (ROSA, 2105). Alguns itens foram utilizados para desenvolver as questões para o questionário empregado nesta pesquisa. Foram selecionados nove estudantes para responder às questões sobre o uso da ferramenta.

5 Resultados e Análises

Os resultados nesta seção estão divididos entre a aplicação do questionário para os alunos e uma aplicação do método do percurso cognitivo. Em relação ao questionário, a primeira questão foi relacionada à facilidade de marcar o pêndulo com o cronometro na interface. Os usuários não apontaram dificuldades para medir o período do pêndulo (44% dos usuários concordaram fortemente com essa afirmação). Em relação à facilidade com que os usuários encontraram as informações necessárias para resolver a tarefa proposta, a maioria deles (88,8%) as encontrou com alguma facilidade, e apenas 11,1% dos usuários não tiveram facilidade. De um modo geral, 11,1% dos usuários não demonstraram satisfação com a usabilidade da interface (88,8% demostraram satisfação no uso).

Após a identificação do nível de satisfação, foi aplicado o método de percurso cognitivo. Foram definidas as tarefas, divididas em subtarefas, com as ações esperadas dos usuários para o alcance dos objetivos. Utilizou-se um formulário para registrar os resultados da primeira fase do percurso, conforme Polson et al. (1992).

Em seguida foi realizada a análise detalhada de cada ação identificada na fase anterior do percurso cognitivo, utilizando os dois formulários propostos por Polson et al. (1992). As principais informações relacionadas à avaliação pelo percurso cognitivo estão disponíveis na Tabela 5:

Tabela 5 Avaliação da Ação Associada aos Cinco Objetivos Propostos 

Ação 1 Ação 2 Ação 3 Ação 4 Ação 5
Marcar, no quadro verde, a opção de cronômetro gráfico. Utilizar os controles deslizantes na parte superior esquerda para ajustar o comprimento do pêndulo para 2,00 m e a massa, para 1,00 kg, se necessário. Marcar, no quadro verde, a opção de Terra. Arrastar a massa (azul) do pêndulo até 5º (cinco graus) e soltar o pêndulo. Clicar no botão INICIAR, localizado no cronômetro gráfico, e anotar o tempo . para uma oscilação completa (período).
Objetivo
Ativar o cronometro. Ajustar o comprimento e massa do pêndulo. Selecionar o planeta Terra como o local do experimento. Colocar o pêndulo em movimento a partir de posição inicial de 5 graus. Medir o período do pêndulo.
Objetivos corretos
Neste estágio, o usuário deveria ativar o cronômetro para iniciar o procedimento de medição do período do pêndulo. Neste estágio, o usuário deve ajustar o comprimento e a massa do pêndulo conforme solicitado no exercício. Neste estágio, o usuário deve ajustar o local do experimento para o Planeta Terra. Neste estágio, o objetivo é colocar o pêndulo em movimento partindo de uma trajetória de 5 graus. Neste estágio, o objetivo é medir o período (tempo de um deslocamento completo) do pêndulo.
Confusão com outros objetivos. Qual o percentual de usuários que não buscarão esse objetivo, considerando o passo anterior? Os usuários terão esse objetivo em mente, ou podem não ter entendido o subobjetivo ou deixado de buscá-lo? É importante verificar se alguns objetivos não desejáveis ou não apropriados para este passo serão entendidos ou retidos pelos usuários – ?
Como se trata do primeiro passo, e o objetivo está relacionado com o objetivo maior da tarefa, acredita-se que os usuários não terão outros objetivos (0%). Após mostrar o cronometro, este objetivo está relativamente claro e visível na interface, portanto, acredita-se que os usuários não terão outros objetivos (0%). Após ajustar a massa e o comprimento do pêndulo, é possível que o usuário não busque esse objetivo e simplesmente passe para a próxima ação, sem verificar corretamente o que deve ser realizado. Acredita-se que 25% dos usuários farão confusão com outros objetivos. Este objetivo pode ser considerado o mais claro. Se os usuários chegaram a esse ponto, é improvável que não continuem ou deixem de buscar esse objetivo (0 % dos usuários). Este objetivo é claro e apresenta um dos itens mais destacados na declaração do objetivo e das ações, ou seja, espera-se que 0 % dos usuários tenham problema em entender o objetivo.
Escolhendo e executando a ação
Ação correta neste passo
Marcar, no quadro verde, a opção de cronômetro gráfico, acima do botão Reiniciar. Utilizar os controles deslizantes na parte superior esquerda para ajustar o comprimento do pêndulo para 2,00 m e a massa, para 1,00 kg, se necessário O usuário deve localizar as opções referentes ao local de execução do experimento e marcar, no quadro verde, a opção “Terra”, entre as opções “Lua”, “Terra”, “Júpiter”, “Planeta X” e “g=0”. Arrastar a massa (azul) do pêndulo até 5º (cinco graus) e soltar o pêndulo. Clicar no botão INICIAR, localizado no cronômetro gráfico, e anotar o tempo T para uma oscilação completa (período).
Disponibilidade: É óbvio que a ação correta é possível neste ponto?
Não é óbvio. 25 % dos usuários podem não localizar essa opção, ou ter alguma dificuldade para acessá-la, pois está com pouco destaque e em forma de texto. Não é óbvio. 25 % dos usuários podem não localizar essa opção, ou ter alguma dificuldade para acessá-la, já que a ação está descrita em formato texto e de forma não intuitiva. Não é óbvio. 25 % dos usuários podem não localizar essa opção, ou ter alguma dificuldade para acessá-la, já que não há qualquer tipo de indicação sobre o LOCAL de experimento. Não é óbvio. Em um primeiro momento, até 25 % dos usuários tiveram dificuldades em entender como realizar a movimentação do pêndulo, já que não há uma indicação visual sobre o passo a ser tomado, nem de como deve ser colocado em movimento ou “agarrado” o pêndulo. É relativamente claro que a ação correta é possível. Não há uma descrição de que o botão iniciar comece a medida do período do pêndulo, por isso consideramos que menos de 25 % dos usuários tiveram alguma dúvida de que lhe é possível medir o período.
Rótulo: Qual descrição associada com a ação correta?
Checkbox localizado na inferior direita, com a inscrição “cronômetro gráfico”. Rótulos localizados na parte superior esquerda, “compr.” e “massa”, acompanhados dos valores atuais do pêndulo, mas não há indicação clara de que nessa parte da interface se aumente o comprimento ou a massa do pêndulo. Não existem rótulos associados à ação correta. Embora exista uma lista de opções, não há uma descrição sobre como executar a ação correta. Não existem rótulos associados à ação correta. Não há informação textual ou gráfica de como colocar o pêndulo em um grau determinado e iniciar o movimento. A descrição iniciar, localizada no botão correspondente, dá início ao processo de mensuração do período do pêndulo.
Ligação do Rótulo com a ação: existe um rótulo ou descrição associado com a ação correta? Existe algum rótulo ou descrição associado com a ação correta, e é obvio e claramente associado com essa ação?
Não parece estar óbvio a ligação entre a ação e o rótulo. A opção está somente disponível em texto, com tamanho reduzido, difícil de localizar. 50 % dos usuários podem ter problema nessa fase. O termo “cronômetro gráfico” poderia ser algo mais intuitivo como “ativar cronômetro”. Não parece estar óbvia a ligação entre a ação e o rótulo. Novamente, somente há uma informação em texto, com tamanho reduzido, difícil de localizar. Além disso, o rótulo não especifica a ação, apenas informa ao usuário as duas grandezas. O uso dos deslizadores não é intuitivo e pode apresentar problemas. 25 % dos usuários podem ter problema. Novamente não é óbvia a ligação entre a ação e o rótulo. O usuário pode conseguir realizar este passo, mas por tentativa e erro, e sem uma confirmação que a ação é correta. O uso das seleções não é intuitiva e pode apresentar problemas para 25 % dos usuários. Não existe uma descrição associada com a ação correta. O desenho parte do pressuposto de que o usuário entenderá que precisa clicar e arrastar até um determinado grau, mas não apresenta descrição textual, gráfica ou outros avisos. Eventualmente os usuários serão capazes de colocar o pêndulo em movimento, mas até 25 % dos usuários podem ter problema. Há apenas uma descrição de um botão com o termo “Iniciar”; considera-se que a descrição é genérica. Iniciar pode estar associada ao início do cronômetro, mas com outras ações. Não é claro que o cronômetro é automático. Durante os testes, os especialistas tentaram iniciar e parar o pêndulo no momento em que o período parecia completo. 25 % dos usuários podem ter algum tipo de dificuldade.
Ligação do rótulo com o objetivo: Se existe um rótulo ou descrição associado com a ação correta, existe algum rótulo ou descrição associado com a ação correta, e é obvio e claramente associado com um dos objetivos para este passo? De que forma?
A ação correta está associada, de certa forma, ao objetivo ativar o cronômetro e ao objetivo principal, que é medir o período do pêndulo. Os usuários não terão problema em associar o rótulo com o objetivo (25%), se tiverem executado a ação “exibir o cronômetro”. A ação correta está associada ao objetivo de ajustar o comprimento e a massa do pêndulo. Os usuários não terão problema em associar o rótulo com o objetivo (0%). A ação correta está associada a selecionar o local do experimento. O usuário somente chega à opção correta, por eliminação. Alguns usuários terão problemas em associar o rótulo com o objetivo (25%). Não existe um rótulo específico para descrever a ação correta, e a ligação com o objetivo também não está suficientemente clara, principalmente em relação aos graus de inclinação e operação pegar/soltar do pêndulo. O pêndulo pode iniciar o movimento, sem que o usuário saiba se atingiu o objetivo. Até 50% dos usuários podem ter algum problema. O rótulo, embora com as limitações apresentadas no item anterior, uma vez acionado, está ligado com o objetivo de medir o tempo. Ou seja, a ação e o objetivo são praticamente iguais, não há dificuldade para os usuários em associar a ação com o objetivo final (0% dos usuários).
Sem rótulo – Se não existe um rótulo associado com a ação correta, como os usuários relacionarão a ação com o objetivo atual?
N/A N/A Não existe um rótulo para indicar, sem sombra de dúvidas, como o usuário pode realizar a mudança de local do experimento. 25 % dos usuários podem ter problema. Como não existe um rótulo para indicar que o usuário está caminhando em direção ao objetivo correto, embora espere-se que os usuários irão intuitivamente apreender que devem clicar, arrastar e soltar. 25 % dos usuários podem ter problema. N/A
Escolhas erradasExistem ações que podem dar a impressão de ser apropriadas para o objetivo atual?
Não foi detectada a possibilidade de ações que podem parecer apropriadas, mas que sejam ações erradas. Acredita-se que nenhum usuário terá problema nesse sentido (0%). O usuário pode momentaneamente ajustar a massa ou o comprimento do pêndulo para outros valores, no entanto, à medida que realiza o ajuste, os valores são mostrados automaticamente. O usuário pode tentar realizar os ajustes usando diretamente o pêndulo para aumentar a sua massa ou o seu volume, mas poderia ser realizado diretamente no objeto a ser afetado. Estima-se que 25 % dos usuários terão alguma dificuldade. Se o usuário selecionar uma opção de local, dificilmente terá algum problema ou dúvida sobre o local escolhido. Estima-se que não haverá dificuldade nesse ponto (0%). Sim, este ponto é um dos mais críticos. Após soltar o pêndulo, e o movimento se iniciar, não existe mais a indicação dos graus do lançamento do pêndulo. Embora exista uma pequena marcação na parte superior (em cor azul), não existem números associados, sendo difícil diferenciar pequenas gradações fazendo com que o usuário tenha a impressão de que realizou o procedimento, sem ter efetivamente realizado. Estima-se que haverá dificuldade nesse ponto, atingindo 75% dos usuários. Não foram detectadas ações que possam ser confundidas e vistas como apropriadas para medir o período do pêndulo. O percentual de usuários afetados seria 0%.
Time-out – Existe um tempo definido para a interface neste passo que permite que o usuário selecione a ação apropriada?
Não existe tempo definido para a tarefa (N/A)
Dificuldade de execução – Existe algo fisicamente complexo para se executar a ação? Qual o percentual de usuários que podem ter problemas?
Não existe dificuldade para executar a ação. Não existe dificuldade para executar a ação. Não existe dificuldade para executar a ação. A operação de arrastar e soltar exige uma coordenação motora razoavelmente desenvolvida e, principalmente, a forma de definição dos graus para o movimento do pêndulo, sem a possibilidade de soltar o botão, portanto pode representar problemas para até 25% dos usuários. A operação consiste em clicar em um botão de tamanho adequado. Não foi vislumbrado nenhum problema potencial, ou seja, não há impacto nos usuários (0%).
Modificação da estrutura de objetivos - Ao assumir que a ação correta foi executada, qual é a resposta do sistema?
Ao se realizar a ação correta, o sistema mostra um cronômetro gráfico, em posição destacada dentro da interface. Ao se realizar a ação correta, o sistema mostra graficamente o ajuste da massa do pêndulo, ajustando o volume do pêndulo automaticamente. Neste estágio, o sistema não apresenta nenhuma informação sobre a alteração e o alcance dos objetivos. A única forma de verificação é a seleção do botão do tipo radio-button, sem nenhum outro aviso. As respostas do sistema podem ser vistas de duas formas para indicar o alcance deste objetivo. Em relação à movimentação do pêndulo, o usuário percebe claramente o início da movimentação e o período do pêndulo, não restando dúvidas que alcançou o objetivo. No entanto, em relação aos graus de movimento do pêndulo, não há uma indicação clara para o usuário. O sistema fornece uma série de indicativos de que o objetivo está sendo alcançado. Quando se inicia o cronômetro, o feedback inicial é que o valor do período se altera conforme os segundos passam; também se forma uma trilha azul que mostra o que é o período de um pêndulo. Uma luz na janela do cronômetro muda seu status de vermelho para verde, durante a ação.
Desistir ou Retornar – Os usuários perceberão que estão alcançando o objetivo? O que indicará este alcance? Qual o percentual de usuários não verá progresso e tentará sair ou retornar?
A indicação de sucesso na execução da tarefa é explícita. O usuário que executar a ação correta terá certeza de que atingiu o objetivo intermediário de ativar o cronômetro. Estimamos 0% de usuários com dificuldade. Sim, os usuários perceberão que estão cada vez mais próximos aos objetivos, já que o pêndulo vai modificando sua forma física (tamanho para representar a massa e o comprimento do fio), deixando claro para o usuário que está a caminho do objetivo esperado. Consideramos que 0% dos usuários terá problemas. Neste caso, não é evidente que o usuário está alcançando o objetivo. Não há nenhum tipo de indicação sobre o alcance deste objetivo. 25% dos usuários não verão progresso e tentarão reexecutar as transações ou terão dúvidas. Como apontado no item anterior, o sistema apresenta uma mudança perceptível de estado, ao iniciar o movimento, mas não há detalhes suficientes para determinar se os graus corretos foram atingidos. Não há indicação sobre o alcance desse aspecto do objetivo. 25% dos usuários não verão progresso e tentarão reexecutar as transações, ou terão problemas. As indicações são claras e apresentadas de múltiplas formas, com distintos sinais gráficos. O usuário identificará que a medição do tempo foi iniciada e está em curso. 0% dos usuários terão problemas
Objetivos incompletos que parecem atingidos – Existem objetivos que não foram alcançados, mas podem dar a impressão de que o usuário atingiu o objetivo?
Como não há forma alternativa para a ativação do cronômetro, o usuário dificilmente acreditaria que o ativou, se não há nenhuma indicação nesse sentido. Não há nenhuma resposta do sistema que indique que o objetivo foi alcançado (aumento da massa ou do comprimento), quando, na verdade, não foi. A estimativa é de 0 % dos usuários terão problema. Não há nenhuma resposta do sistema que indique que o objetivo foi alcançado (mudança para o local de experimento), sem ter ocorrido uma mudança nesse local. A estimativa é de que 0 % dos usuários terão problema. Este problema tende a ser frequente na interface, quando erros são cometidos, já que o pêndulo pode estar em movimento e dar a impressão de que o objetivo foi alcançado. Sem uma indicação clara dos graus utilizados, não é possível ter certeza do alcance dos objetivos. 75 % dos usuários que atingirem o objetivo de mover o pêndulo em um grau diferente do determinado terá a impressão de que conseguiram atingir o objetivo. Não há passos intermediários que para alcançar o objetivo de mensurar o tempo. Após clicar em iniciar, o usuário vê o período sendo medido por meio da linha azul e do tempo. Somente quando o cronômetro deixa de contar o tempo é que se mede o período. Não foram identificadas formas de atingir objetivos incompletos para essa tarefa, não afetando os usuários.
Estrutura “e-então” – Existe uma estrutura do tipo “e-então”, e um dos subobjetivos parece estar completo? Se o subobjetivo é similar ao objetivo, estime quantos usuários podem prematuramente terminar a estrutura.
Como o objetivo final é completo e envolve uma série de subobjetivos claramente definidos, é improvável que o usuário, ao ativar o cronômetro, pense que já alcançou o objetivo inicial. 25% dos usuários poderão clicar em “iniciar” para medir o período do pêndulo. Como o pêndulo não estará em movimento, ficará claro que a tarefa precisa continuar. Novamente, é improvável que o usuário acredite que já tenha alcançado o objetivo final, ao concluir esta etapa. Como o pêndulo continua imóvel, os usuários não terão a impressão de que já alcançaram o resultado final. Estima-se que 0 % dos usuários terminarão a estrutura antecipadamente. Novamente, é improvável que o usuário acredite que já tenha alcançado o objetivo final, ao concluir esta etapa. Como não há nenhuma mudança no estado da interface, os usuários não terão a impressão de que já alcançaram o resultado final. Estima-se que 0 % dos usuários terminarão a estrutura antecipadamente. O usuário que chegou a este ponto pode ter mais claro o seu percurso em relação a atingir o objetivo final. Como não há indicação do tempo sendo medido, acredita-se que os usuários prosseguirão nos sub-objetivos para mensurar o período do pêndulo. Estima-se que 0 % dos usuários terminará a estrutura antecipadamente. Como se trata do ponto final, o objetivo é alcançado neste ponto, e o objetivo final foi alcançado. 0% dos usuários teria problema.
Novos objetivos em respostas a avisos ou alertas – A resposta do sistema contém um aviso ou dica para sugerir novos objetivos em sequência? Se sim, descreva os objetivos; se o aviso não é claro, qual o percentual de usuários que não conseguiram formar os objetivos?
O sistema não avisa qual fase será a próxima e o que deve ser realizado. Os usuários não sabem que devem mover o pêndulo e não há nenhuma indicação. Nenhum usuário deixará de formar os próximos objetivos (0%). Os usuários não recebem indicação de que devem mover o pêndulo (ou ajustar o local de execução do experimento). No entanto, como está descrito nos objetivos da tarefa, nenhum usuário deixará de formar os próximos objetivos (0%). Os usuários não recebem nenhuma indicação que devem mover o pêndulo. No entanto, como está descrito nos objetivos da tarefa, nenhum usuário deixará de formar os próximos objetivos (0%). Os usuários não recebem nenhuma indicação de qual deve ser o próximo passo. Não existe um destaque, neste ponto, para indicar o próximo passo nem de orientar sobre como pedir o período do pêndulo. Nenhum usuário deixará de formar os próximos objetivos (0%). Não se aplica, já que é o passo final para o alcance do objetivo, e afeta 0% dos usuários.
Outros novos objetivos – Os usuários formarão outros objetivos ao considerarem os objetivos atuais, o estado da interface e a formação dos usuários?
Não foi detectado nenhum outro objetivo levando em consideração aos itens mencionados (Todas as Ações)

Fonte: Elaboração própria baseada nos formulários propostos por Polson et al. (1992)

A aplicação do método de percurso cognitivo nas tarefas apresentadas para os usuários destacou uma série de problemas no design que poderiam ser utilizados para melhoria da interface. Polson e colaboradores (1992) apontam que em uma situação real de design, esses resultados seriam levados à equipe de desenvolvimento para correção.

No entanto, nem sempre o redesenho da interface é uma opção, existindo três opções viáveis: a) treinar os usuários para realizar as tarefas; b) informar os usuários sobre os detalhes e estados do sistema; c) mudar o sistema para corrigir os erros. Obviamente a última solução é a preferível, mas envolve custos, e depende da viabilidade de modificar a interface.

Independentemente das opções a serem executadas, alguns itens podem ser identificados como ponto de atenção e devem ser abordados como sugestões para melhorias na interface ou para a orientação dos usuários, quando executarem as atividades. Em um processo ideal, todas as sugestões deveriam ter sido empregadas durante a fase inicial da construção do sistema, com o objetivo de desenhar uma interface mais amigável e com melhor usabilidade.

No entanto, mesmo constatando que o sistema não continua em desenvolvimento, a análise realizada neste trabalho é relevante, pois auxilia os professores e outros profissionais a se anteciparem aos erros e dificuldades dos alunos, durante a operação desse sistema, e a desenvolverem instruções mais detalhadas nos itens em que foram encontrados problemas na interface.

5 Conclusões

O presente artigo realizou uma análise da usabilidade do simulador de física utilizando duas técnicas distintas e complementares: a aplicação de questionário sobre a satisfação com o uso e uma aplicação completa do método do percurso cognitivo. Os resultados da abordagem proposta indicam que os objetivos do aplicativo educacional foram atendidos satisfatoriamente. Adicionalmente, a proposta da interface com uso de simuladores para alunos de ensino médio pode ser aplicável para alunos de outros níveis educacionais, devido ao nível adequado de usabilidade dessa interface.

Contudo, vale ressaltar que alguns pontos podem ser revistos para novas abordagens ou em trabalhos futuros, principalmente relacionados à clareza das ações e indicações de como realizar os procedimentos. Conforme discutido anteriormente, mesmo não sendo possível realizar a manutenção no sistema, a identificação de pontos passíveis de dúvidas ou erros durante o processo de uso do aplicativo é essencial para um aproveitamento e uso eficaz dentro do contexto escolar.

Os resultados deste trabalho podem ser aplicados também em duas vertentes, seja uma abordagem focada na educação ou no estudo de interfaces humano-computador. Em relação ao contexto de aprendizagem, pode-se considerar seu uso de grande relevância para professores de física que desejam desenvolver atividades com conteúdo digital interativo na web, principalmente identificando pontos que devem ser considerados ao apresentarem a ferramenta para os alunos. Em relação ao estudo de interfaces, foram apontados alguns itens que devem ser considerados no desenho de interfaces para esse público.

Destaca-se que o presente trabalho realizou também a aplicação e validação do método percurso cognitivo em um ambiente digital em um contexto educacional on-line. Desta forma, é possível sugerir que essa proposta seja também aplicada para a avaliação de simuladores de outras áreas, com as devidas adaptações para aumentar a usabilidade durante o processo de desenvolvimento de sistemas educacionais, ou para evitar dificuldades dos estudantes no uso de ferramentas já existentes, que já não estão em desenvolvimento, podendo ser aplicados para uma infinidade de aplicações dentro do contexto educacional, inclusive em atividades não digitais.

Referências

ALMEIDA, R. X. E. de; FERREIRA, S. B. L.; SILVEIRA, D. S. da; PIMENTEL, M.; GOLDBACH, R.; BESSA, A. T. Heurísticas de Usabilidade Orientadas às Redes Sociais. In: IV ENADI - ENCONTRO DA ADMINISTRAÇÃO DA INFORMAÇÃO, 2013, Rio de Janeiro. Anais [...] Rio de Janeiro, 2013. p. 1-12. [ Links ]

BARROS, A. J. da S.; LEHFELD, N. A. de S. Fundamentos de metodologia científica: um guia para a iniciação científica. São Paulo: MAKRON, 2. ed. ampliada, 2000. [ Links ]

BARROSO, M. F.; FELIPE, G.; SILVA, T. Aplicativos computacionais e ensino de física. Atas do IX EPEF–Encontro de Pesquisa em Ensino de Física, 2006. [ Links ]

BUZATO, M. El K. Letramentos digitais e formação de professores. São Paulo: Portal Educarede, 2006. [ Links ]

FALKEMBACH, G. A. M. Concepção e desenvolvimento de material educativo digital, CINTED-UFRGS, v. 3, n. 1, p. 03-07, 2005. [ Links ]

FERREIRA, S. B. L; NUNES, R. E-usabilidade. 1. ed., Rio de Janeiro, LTC Editora. 2008. [ Links ]

ROCHA, H. V. Da; BARANAUSKAS, M. C. C. Design e Avaliação de Interfaces Humano-Computado. Campinas: Unicamp, 2003. [ Links ]

ROSA, A. F. et al. European Portuguese validation of the Post-Study System Usability Questionnaire (PSSUQ). In: Information Systems and Technologies (CISTI), 2015 10th Iberian Conference on. IEEE, 2015. p. 1-5. [ Links ]

RIEMAN, J.; FRANZKC, M.; REDMILES, D. Usability Evaluation with the Cognitive Walkthrough. CHI’95 MOSAIC OF CREATIVITY, 1995. [ Links ]

SILVA, B. S. da; BARBOSA, S. D. J. Interação Humano-Computador: Projetando a Experiência Perfeita. Rio de Janeiro: Campus, 2010. [ Links ]

LEWIS, C. et al. Testing a walkthrough methodology for theory-based design of walk-up-and-use interfaces. In: Proceedings of the SIGCHI conference on Human factors in computing systems. ACM, 1990. p. 235-242. [ Links ]

MAGALHÃES, E. et al. Impacto da Usabilidade na Educação a Distância: Um estudo de caso no Moodle IFAM. Artigos Industriais. IHC 2010 –IX Simpósio de Fatores Humanos em Sistemas Computacionais, Belo Horizonte, p. 01-06, MG, 2010. [ Links ]

MESQUITA, E. Competências do professor: representações sobre a formação e a profissão. Edições Sílabo, 2013. [ Links ]

POLSON, P. G.; LEWIS, C. H. Theory-based design for easily learned interfaces. Human–Computer Interaction, v. 5, n. 2-3, p. 191-220, 1990. [ Links ]

POLSON, P. G. et al. Cognitive walkthroughs: a method for theory-based evaluation of user interfaces. International Journal of man-machine studies, v. 36, n. 5, p. 741-773, 1992. [ Links ]

WHARTON, C., RIEMAN, J., LEWIS, C., and POISON, P. The cognitive walkthrough method: A practitioner's guide.1994. [ Links ]

WIEMAN C. E.; ADAMS W.K.; PERKINS K.K. “PhET: Simulations That Enhance Learning”, Science, v. 322, p. 683, 2008. [ Links ]

Recebido: 04 de Janeiro de 2018; Revisado: 19 de Maio de 2019; Aceito: 05 de Dezembro de 2019; Publicado: 30 de Junho de 2020

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que o trabalho original seja corretamente citado.