Dos mundos virtuais ao ser humano aumentado

António Coelho

  (1)Faculdade de Engenharia da Universidade do Porto

  (1)INESC TEC

Augusto Sousa

  (1)Faculdade de Engenharia da Universidade do Porto

  (1)INESC TEC

Rui Rodrigues

  (1)Faculdade de Engenharia da Universidade do Porto

  (1)INESC TEC

Filipa Ramalho

  (1)Faculdade de Engenharia da Universidade do Porto

  (1)INESC TEC

Prevê-se que a indústria do futuro venha a sofrer uma revolução na forma como o ser humano interage com as máquinas, cada vez mais inteligentes. Nos próximos anos a indústria enfrenta o desafio de se ajustar e tirar partido de grandes vetores de mudança já bastante percetíveis. Baseado em diversas tecnologias digitais, o mundo em que hoje vivemos é já altamente interconectado, com o ser humano, os sistemas inteligentes, as máquinas e os dispositivos a atuarem em conjunto, tentando evoluir para novas formas de inteligência coletiva. Com o desenvolvimento dos sistemas ciber-físicos, da internet das coisas (IoT - Internet of Things) e das redes de sensores, assistimos atualmente a uma maior interpenetração entre o mundo físico, real, e o mundo virtual. O ser humano encontra hoje ambientes e sistemas produtivos cada vez mais autónomos e inteligentes que envolvem uma enorme diversidade de tecnologias.

 

 

Esta tendência traz novos desafios, principalmente no que concerne à relação entre o ser humano e esses ambientes industriais, com uma quantidade crescente de dados e de informação disponíveis que têm que ser compreendidos, aumentando também a complexidade de gestão e de tomada de decisão. A revolução na forma como o ser humano interage com as máquinas traduz-se na resolução de vários desafios, dos quais se podem destacar os seguintes:

● Transformação da força de trabalho, promovendo o desenvolvimento de novas competências no ser humano, que lhe permitam gerir o trabalho digitalmente com o suporte dos sistemas ciber-físicos;

● Desenvolvimento de sistemas industriais centrados no ser humano, permitindo uma maior atuação em todos os processos industriais e fornecendo-lhe recursos mais adequados para alargar a sua capacidade de decisão e de ação;

● Promoção de uma maior, mais eficiente e mais eficaz colaboração do ser humano com máquinas, sistemas e robôs inteligentes, permitindo também o aumento do valor acrescentado dos produtos e serviços finais.

Face a estes desafios, a tecnologia dos sistemas imersivos tem vindo a desenvolver-se de forma a aumentar a capacidade de intervenção do ser humano neste novo ambiente de trabalho, através de tecnologias como a Realidade Virtual (VR - Virtual Reality) ou a Realidade Aumentada (AR - Augmented Reality).

O artigo seminal de Paul Milgram, publicado em 1994 mas ainda hoje atual, define um contínuo entre a Realidade e a Virtualidade, onde as soluções como a VR e a AR se mapeiam (figura 1). Estas representam, portanto, combinações diferentes de elementos reais e virtuais dentro do que Milgram refere como realidade mista (MR – Mixed reality) e que atualmente são englobados no conceito mais alargado de realidade estendida (XR - eXtended Reality).

Do lado direito do contínuo realidade-virtualidade surgem os ambientes virtuais, onde o utilizador se encontra totalmente imerso num mundo que não se interliga com o contexto real em que se encontra o utilizador - sistemas imersivos. No ambiente virtual da figura 2, desenvolvido no âmbito de um projeto industrial do INESC TEC, observa-se uma situação de treino em que um técnico de manutenção pratica um procedimento. O utilizador está completamente isolado do mundo real pelo equipamento que utiliza, sentindo-se “transportado” para um ambiente virtual, onde tem a capacidade de operar um conjunto de ferramentas para reparar o equipamento elétrico. A imersão e a sensação de presença que daí podem advir são duas características muito relevantes de um sistema de VR.

Do lado esquerdo do contínuo surge a realidade aumentada, na qual objetos tridimensionais virtuais são posicionados de forma integrada com objetos reais. Aqui surge uma ligação forte do utilizador com o contexto onde se insere ou opera. A título de exemplo, na figura 3 apresenta-se um mapa em papel a ser aumentado com informação virtual, tais como rotas e áreas verdes. O tablet é neste caso utilizado como uma “lente de aumento”...

Tendo em consideração estes exemplos, que soluções poderíamos considerar como algo intermédio no contínuo realidade-virtualidade? As soluções intermédias, de Realidade Mista, combinam ambientes virtuais aumentados por objetos reais presentes no ambiente real em que o utilizador se insere. As paredes da sala real e o respetivo mobiliário podem ser integrados no ambiente virtual, permitindo ao utilizador tocar na parede ou encostar-se a uma mesa para realizar uma determinada tarefa. A figura 4 ilustra o pisar de um degrau de um passadiço virtual. Embora o utilizador esteja a poucos milímetros do chão, sobre uma tábua de madeira, o seu cérebro sente-se presente num ambiente virtual a centenas de metros de altura, proporcionando uma sensação fisiológica de vertigem.

A investigação na área dos sistemas imersivos tem várias décadas, desde o "Sensorama", de Morton Heilig nos anos 50, ou a "Sword of Damocles", de Ivan Sutherland nos anos 60.

A investigação na área dos sistemas imersivos tem várias décadas, desde o "Sensorama", de Morton Heilig nos anos 50, ou a "Sword of Damocles", de Ivan Sutherland nos anos 60.

Podemos encontrar hoje no mercado diversos sistemas, com diferentes configurações de dispositivos, sendo uma das mais apelativas a que contempla um dispositivo de visualização e audição a colocar na cabeça do utilizador - o chamado "Head-Mounted Display" (HMD) - e um par de controlos a usar nas mãos - denominados "varinhas" ou "wands" (entre outros dispositivos auxiliares).

Estas configurações conciliam:

a) Visão estereoscópica - o utilizador tem a sensação de profundidade, uma vez que cada olho recebe a imagem de um ponto de vista ligeiramente diferente, como acontece em situação real;

b) Sincronização entre os movimentos da cabeça e o ponto de vista/audição virtual - a vista recebida segue o movimento da cabeça, e os sons são reproduzidos de acordo com a orientação relativa às fontes sonoras;

c) Controlo da posição e orientação das mãos, acesso a botões para interação simbólica, e feedback por vibração;

d) Posição do utilizador no espaço (em algumas configurações) - o utilizador tem a sensação de se deslocar no espaço virtual ao fazê-lo no espaço real em que se encontra.

Em alguns casos, os utilizadores podem reportar uma sensação de náusea ao utilizar este tipo de dispositivos, que ocorre principalmente quando a sincronização entre os movimentos reais e o que é visualizado não é bem conseguida. A sincronização de movimentos é um dos desafios partilhados com os sistemas de realidade aumentada. Adicionalmente, a integração - também referida como registo - dos elementos virtuais nos elementos reais da cena que está a ser aumentada é outro dos desafios da AR. A título de exemplo, uma caixa virtual parece estar corretamente pousada numa mesa real, mantendo a coerência visual mesmo quando o utilizador ou o dispositivo se movem.

O INESC TEC tem desenvolvido cenários de treino e formação e, no âmbito da Indústria 4.0, uma das aplicações que tem vindo a ganhar interesse é a dos "digital twins", em que máquinas e sistemas reais em funcionamento são replicados virtualmente e aumentados com informação em tempo real sobre o seu estado e planeamento de tarefas. Também ao nível do planeamento e gestão, tem sido possível testar os futuros ambientes reais de trabalho em ambientes virtuais e avaliar a sua eficácia e a carga cognitiva, centrando os novos sistemas industriais no ser humano. E nas tarefas de manutenção ou até nas tarefas numa linha de montagem, a realidade aumentada permite uma atuação mais eficiente, através da informação aumentada sobre a própria máquina, ou a colaboração remota com especialistas, em ambiente de realidade mista, para resolução de problemas mais complexos.

Referências

1. https://massive.inesctec.pt/