publicações/

Teste de Usabilidade

IHC

O teste de usabilidade avalia a usabilidade de sistemas interativos por meio da observação de usuários reais realizando tarefas típicas e pré-predefinidas, no intuito de melhorar a facilidade de uso do sistema interativo, avaliar o grau de efetividade da interação e determinar o grau com que o sistema se ajusta e apoia as necessidades dos usuários (Pressman & LOWE, 2009; Moraes & Rosa, 2008).

Esse método visa avaliar a qualidade da interação entre usuários e sistema, identificando problemas e avaliando seu impacto na interação (Cybis et alii, 2010; Preece et alii, 2005). Pressman & Lowe (2009) enfatizam que não há como determinar a usabilidade de um sistema sem realizar uma avaliação de usabilidade. Assim, em síntese, Preece et alii (2005) descreve a realização de um teste de usabilidade:

Os testes de usabilidade envolvem avaliar o desempenho dos usuários típicos na realização de tarefas cuidadosamente preparadas, por sua vez típicas daqueles para os quais o sistema foi planejado. O desempenho dos usuários é geralmente avaliado no que diz respeito ao número de erros e ao tempo para completar a tarefa (p.361).

Os testes de usabilidade realizam medições do desempenho dos usuários (números de erros e tempo de duração da tarefa) na experiência de uso do sistema, possuindo uma abordagem quantitativa (Souza et alii, 1999). No entanto, os autores Preece et alii (2005), Pressman & Lowe (2009), Cybis (et alii, 2010), Silva & Barbosa (2010) e Nielsen & Loranger (2007) afirmam que os resultados também possuem uma abordagem qualitativa, visto que apenas medir os resultados é uma abordagem simplista, sendo necessário o avaliador julgar e interpretar os resultados no intuito de identificar problemas e recomendar soluções.

Para realizar um teste de usabilidade e avaliar a experiência de uso de um sistema por meio da observação, Silva & Barbosa (2010) recomendam um série de atividades planejadas a fim de obter resultados mais eficazes, conforme tabela 7.

Tabela 7: Aplicação do teste de usabilidad (Silva & Barbosa, 2010, p.342)

Atividade Tarefa
Preparação • definir tarefas para os participantes executarem
• definir o perfil dos participantes e recrutá-los
• preparar material para observar e registrar o uso
• executar um teste-piloto
Coleta de dados • observar e registrar a performance e a opinião do participantes durante sessões de uso controladas
Interpretação e consolidação dos resultados • reunir, contabilizar e sumarizar os dados coletados dos participantes
Relato dos resultados • relatar a performance e a opinião dos participantes

Na atividade de preparação, diversas decisões devem ser tomadas. A primeira é a definição das tarefas. Tendo em mente os objetivos e as expectativas da avaliação, são definidas tarefas típicas que usuários pertencentes ao público-alvo realizarão. Cybis (et alii, 2010) recomenda que as tarefas, além de típicas, estejam relacionadas aos objetivos e as principais funções do sistema. Dumas & Redish, (1999 apud Moraes & Rosa, 2008) aconselham a criação de cenários curtos, claros e objetivos a fim de facilitar a realização das tarefas pelos usuários, e assim, aumentar a eficácia dos resultados, visto que os cenários são estórias que representam situações reais de uso e permite criar um ambiente mais realístico, eliminando a superficialidade, característica dos testes.

Após a criação de tarefas e cenários, Silva & Barbosa (2010) indicam selecionar e recrutar os usuários. Os participantes devem ser selecionados tendo como critério o perfil e as características dos usuários típicos do sistema, e não apenas relacionados a critérios demográficos.

No recrutamento, além de ter certeza que os participantes representam os usuários típicos do sistema, os participantes não podem, em nenhuma hipótese, sentir-se pressionados a participar, mesmo sendo remunerados, além de que, o local planejado para ocorrer os testes deve ser preparado para receber os participantes com conforto, com equipamentos básicos para a realização do teste, com privacidade e segurança (Cybis et alii, 2010).

Testes com participantes podem ocorrer em dois lugares: em laboratório ou em ambiente real de trabalho. Teste em laboratório pode ter o ambiente controlado pelo avaliador, ao contrário do teste em ambiente de trabalho, onde interrupções e ruídos podem ocorrer (Cybis et alii, 2010). O teste em laboratório, além do espaço físico, exige equipamentos para coleta de dados. Embora alguns laboratórios possam ser extremamente sofisticado e caros (figura 13a), Moraes & Rosa (2008) e Cybis (et alii, 2010) afirmam que laboratórios simples (figura 13b), porém com equipamentos adequados, produzem os mesmos resultados que laboratórios mais preparados.

Em laboratório, apenas uma sala com um computador, uma cadeira para o participante realizar as tarefas, uma câmera de vídeo para filmar os movimentos e reações dos usuários e um software para capturar o movimento realizado pelo usuário no sistema são suficientes para realizar o teste (Moraes & Rosa, 2008). Em laboratório ou em ambiente real de trabalho, Krug (2000) ressalta que apenas equipamentos básicos, que permitem capturar a interação do usuário com o sistema, como o citado anteriormente, são necessários. A figura 13 apresenta um laboratório apenas com equipamentos essenciais e com equipamentos mais sofisticados.


Figura 13: Tipos de laboratório de usabilidade (Moraes & Rosa, 2008, p.152)

Os equipamentos devem ser testados antes de realizar a avaliação. Para tanto, faz-se necessário realizar um teste piloto para, além de configurar e verificar o funcionamento e configuração do sistema, checar e validar se o teste ocorrerá de acordo com o planejado. Quanto à configuração a ser utilizada, Nielsen & Loranger (2007) recomendam a utilização da mesma configuração e equipamentos utilizados pelo usuário alvo do sistema, que pode ser obtido por meio de análise de logs e tráfego de dados do sistema.

A próxima atividade na realização do teste é a coleta de dados, que envolve questionários pré-teste, sessão de observação e entrevista pós-teste. Os questionários serão detalhados nos próximos tópicos. A coleta de dados na sessão de observação utiliza diversas técnicas. Preece et alii (2005, p.394) cita três técnicas principais:

  • anotações e uso de uma câmera: anotações são uma forma simples e flexível de coletar dados e marcar observações e detalhes, porém, a velocidade é limitada, sendo recomendada para fazer apenas pequenas observações, enquanto a câmera filma e coleta todos os outros detalhes para análise posterior.
  • gravação em áudio e câmera fixa: a gravação em áudio possui as mesmas características que as anotações, porém, de forma mais fácil. Entretanto, a transcrição do áudio é um processo mais demorado e oneroso, e maiores detalhes da sessão são capturados por câmera fixa.
  • vídeo: os vídeos coletam tanto dados visuais como sonoros e com mais detalhes que as anotações e gravação de áudio, porém, é mais intrusiva e pode intimidar, no inicio, o participante; e sua análise pode ser muito lenta e exigir muito tempo.

Além dessas três técnicas, Cybis (et alii, 2010) cita softwares como uma ferramenta de apoio para registro dos dados, permitindo marcações e registro das interações ocorridas durante a sessão. Além de software para apoio, Nielsen & Loranger (2007) recomendam que durante a sessão seja utilizado um método para o usuário pensar em voz alta. Nesse método, o usuário é convidado a pensar em voz alta ao executar uma tarefa durante a sessão. Nielsen & Loranger (2007) justificam a necessidade desse método afirmando que “ouvir os pensamentos de um usuário permite entender a razão de suas ações, e essas informações são valiosas em processo de teste” (p.6). Moraes & Rosa (2008) também fazem algumas recomendações durante a sessão: cuidado com palavras e expressões corporais usadas; agir com imparcialidade; procurar entender por que ocorreu cada erro; criar roteiros e scripts para serem lidos para o participante; assim, todos recebem os mesmo procedimentos.

Depois de realizadas as sessões de observação com todos os usuários, a próxima atividade é a interpretação e consolidação dos resultados. Nessa fase, segundo Silva & Barbosa (2010), os dados obtidos são analisados no intuito de obter resultados quantitativos e qualitativos.

Um foco quantitativo permite testar hipóteses, descobrir tendências, comparar soluções alternativas e verificar se o sistema atingiu as metas de usabilidade; para isso, utilizando gráficos, índices, médias, tabelas, porcentagens e outros dados estatísticos. O foco qualitativo exige uma análise conjunta e interpretativa de todos os dados, permitindo identificar a origem dos problemas, identificar quais as características e comportamentos da interface contribuem para gerar o problema, elaborar explicações para os problemas e justificar as recomendações de soluções. Saber qual foco utilizar, quantitativo ou qualitativo, segundo Preece et alii (2005), exige uma análise dos objetivos e metas da avaliação. Segundo Dumas & Redish, (1999 apud Moraes & Rosa, 2008, p.167), os dados coletados em uma sessão de teste de usabilidade são:

  • Lista de problemas ocorridos durante a produção do teste;
  • Dados quantitativos sobre tempo, número e tipos de erros e outras medidas de performance;
  • Dados quantitativos nos resultados subjetivos e outras perguntas a partir dos questionários pós-tarefa e pós-teste;
  • Comentários dos participantes sobre seus logs ou notas e sobre o questionário;
  • As notas escritas pela equipe do teste e seus comentários que tenham sido registrados num log;
  • Dados sobre o histórico dos participantes, sobre os perfis dos usuários, questionários de recrutamento ou questionários pré-teste;
  • Videotapes, eventualmente, mostrando diversas cenas do teste.

Finalmente, a última atividade do teste de usabilidade é apresentar um relatório dos resultados. Nesse relatório, segundo Silva & Barbosa (2010, p.343), devem descrever:

  • os objetivos e o encorpo de avaliação;
  • breve descrição dos métodos de teste de usabilidade;
  • o número e o perfil dos avaliadores e dos participantes;
  • as tarefas executadas pelos participantes;
  • uma lista dos problemas encontrados, indicando, para cada problemas:
  • local onde ocorreu o erro
  • descrição e justificativa
  • discussão, indicando os fatores de usabilidade prejudicados
  • sugestões de solução

As atividades apresentadas neste tópico foram propostas por Silva & Barbosa (2010). Existem também diversos outros roteiros de atividades para realização de teste de usabilidade. Na tabela 8, Moraes & Rosa (2008) apresentam outro roteiro, embora com poucas variações.

Tabela 8: Planejamento do teste de usabilidade (Moraes & Rosa, 2008, p.148)

Atividade Objetivo
Planejamento do teste Determinar o objetivo do teste e tarefas
Organização dos materiais Determinar script do teste, formulários de consentimentos e outros materiais
Preparação do local Preparar e verificar local, equipamento e sala
Teste piloto Aplicar teste piloto com um ou dois colaboradores
Recrutamento dos usuários Selecionar e agendar as horas de teste
Condução do teste Aplicar o teste
Análise dos resultados Revisar os problemas encontrados, priorizar os problemas baseado na frequência e nas severidades e identificar as soluções possíveis
Correção Fazer as alterações modificadas e testar mais uma vez

Moraes & Rosa (2008) afirmam que existem diversos roteiros com amplas variações, porém, todos apresentam as seguintes características em comum:

  • Objetivo principal
  • Os participantes representam usuários reais
  • Os participantes executam tarefas reais
  • Observa-se e registra-se o que os usuários fazem e dizem
  • Analisam-se os dados, diagnosticam-se os problemas reais e, então, recomendam-se alterações para consertar tais problemas.

Referências: