유비쿼터스 컴퓨팅개론 3강 - 가상현실 및 메타버스

1. 가상현실

(1) 가상현실 (VR: Virtual Reality)

- 실제로 존재하지 않은 환경이나 상황을 컴퓨터 등으로 구현한 후 인간의 감각을 이용하여 체험하게 하는 기술

- 실제로 존재하지 않는 완전히 허구적 환경이나 상황을 가능하게 하는 기술

 

(2) 증강현실 (AR: Augmented Reality)

- 단말 소프트웨어 등을 활용해 현실에 가상의 정보를 추가한 "실제와 허구가 혼합된" 환경을 구현하는 기술

- 현실의 사물들을 카메라로 보여주면서 거기서 부가적인 정보가 보이는 것이다.

- 예시로는 애플의 비전프로 메타의 제품 포켓몬GO 등이 있다.

 

(3) 가상현실과 증강현실

- 넓은 의미의 가상현실은 증강현실을 포함하고 있다. ( 가상현실안에는 완전한 가상현실과 증강현실이 존재 )

- 가상현실은 현실의 물리적 공간과 관련성이 필수적이지 않지만, 증상현실은 현실에 가상정보를 추가한 형태임.

* 현재는 증강현실은 네트워크가 필수이고, 가상현실은 네트워크가 없어도 되는 경우가 존재한다.

- 기술의 발달은 가상세계를 단지 보는 것에 그치지 않고 가상현실 속에 구현된 것들과 상호작용을 가능하게 만든다.

- 가상현실 내에서 사용자와 상호작용이 가능함으로써 사용자는 새로운 경험을 할 수 있다.

- 특징으로는 의도한 대로만 보여주는 시뮬레이션과는 구분이 될 수 있다.

 

(4) 가상현실과 증강현실의 특징

[1] 가상현실

- 현실과 단절되어 가상세계에 '몰입'을 할 수 있다.

- 집중이 필요한 교육훈련 등 또는 게임에 활용이 많이 된다.

[2] 증강현실

- 실제 현실 속에서 현실과 연계되어 사용자를 보조를 한다.

- 현실 개체 간 상호작용이 필요한 유통이나 서비스 산업 등에 주로 활용이 된다.

 

(5) 가상성의 연속성

- 현실과 가상세계 사이에서 가상성의 정도를 구분하기 위해 제시된 개념이다.

- 쉽게말해, 현실에 얼마나 많은 가상적인 요소가 포함되어 있는지를 의미한다.

 

(6) 증강가상 (AV: Augmented Virtuality)

- 가상 환경을 기본으로 하되 현실의 데이터를 가져와서 반영하는 방식이다.

- 디스플레이에 보여지는 내용이 현실보다 컴퓨터 그래픽으로 만든 가상 요소의 활용이 상대적으로 더 많은 단계

- 실제를 대체하는 것이 아닌 실제를 보완하는 역할(인공적인 기술을 통한 가상정보)을 함.

* 예시 : 줌 화상회의에서 사용자의 얼글인식을 통한 아바타를 보여주는 기술

 

(7) 혼합현실 (MR: Mixed Reality)

- 현실과 가상환경 사이에 존재하는 모든 것을 의미함.

- 증강현실은 혼합현실의 한 부류임

- 현실세계와 가상의 대상물이 함께 존재하는 것을 의미함.

* 일정 부분은 컴퓨터 그래픽 일정 부분은 카메라를 통해 현실의 사물을 보여주는 개념

---

2. 가상현실 주요 기술

(1) 가상현실 기술

- 사용자가 가상현실을 체험하고 상호작용하는 입출력 인터페이스 기술

- 콘텐츠 제작이나 서비스 제공을 위한 콘텐츠 기술로 구분이된다.

 

(2) 가상현실 입출력 기술의 특징 ( 입력 인터페이스 )

 

(3) 가상현실 입출력 기술의 특징 ( 출력 인터페이스 )

 

(4) 가상현실 콘텐츠 관련 기술의 특징

- 가상현실 콘텐츠를 개발 / 실행하기 위한 개발 엔진

- 가상현실 콘텐츠를 개발 / 제작하기 위한 저작 도구(에디터)

- 가상현실 콘텐츠를 사용자에게 제공하는 서비스 기술

 

(5) 가상현실을 위한 입력 인터페이스

- 몰입감을 위한 입체감을 표현하기 위해 3D 입체 기술을 많이 활용 한다.

- 상호작용을 위한 영상 기반의 제스처인식과 하드웨어 센서를 활용한 동작인식 및 상황인지 기술 활용

- 다양한 하드웨어와의 호환성을 가진 모션 플랫폼 기술을 제공한다.

- 네트워크 기반 기술을 활용한 지리적 공간의 제약을 극복한다.

- 스마트폰을 이용한 사용자의 지원을 해주기도 한다.

- HMD(Head Mounted Display)와 같은 착용형 디스플레이 기술

 

(6) 가상현실을 위한 입력 인터페이스

- 제스처 및 생체신호 인식을 위한 센서디바이스등 하드웨어 기술

- 사용자가 이동하거나 가상 사물과 상호작용을 지원하려면 부수적 요소 기술의 활용이 필요하다.

- 사물 인터넷과 기술적으로 겹치는 부분이 많다.

- 다양한 센서로부터 데이터를 수집하고 분석하여 의미 있는 정보를 제공하는 측면에서 겹치는 부분이 많음.

 

(7) 가상현실을 위한 출력 인터페이스

- 기본 감각인 시각을 통해 정보 전달을 위한 영상 출력 인터페이스 기술로 발전함.

- 현장감과 몰입감을 위해 시각효과에서 어지러움과 모션블러 현상을 제거하기 위한 방향으로 기술 개발

- HMD, 증강현실 안경, 프로젝션 매핑, 홀로그램 등의 기술 개발

 

(8) 가상현실 관련 음향 기술

- 시각과 함께 콘텐츠를 인지하는 음향 기술은 기본적인 감각인 청각을 통해 정보를 전달하는 기술로 시점 이동에 따른 입체 표현과 현장감 및 몰입감을 극대화할 수 있는 3D 실감음향 기술로 발전하고 있다.

- 영상에 나오는 사물의 움직임, 사용자의 움직임등을 실시간으로 추적하고 예측함으로써 음향에 발향성을 부여하는 음향 기술이다.

[1] 헤드폰방식

- HMD 기기 일체형이거나 연결하는 방식으로 지원됨

- 음향이 출력되는 공간 제어가 가능하여 3D 실감음향 표현이 쉬움

[2] 스피커방식

- 공간 내 음향 출력을 움직임에 따라 제어하는 기술이다.

- 기술적으로 어렵지만 헤드폰 방식에 비해 입체감이 좋다.

 

(9) 가상현실 관련 오감 기술

- 시각, 청각 외에도 가상현실 콘텐츠의 실감성과 몰입감 향상을 위해 오감 기술은 촉각, 후각, 미각 기관 등 오감을 자극하여 정보를 전달하는 인터페이스 기술이다.

- 기존에는 전용 시뮬레이터 장치로 촉각을 제공하였으나 범용성이 있는 장갑이나 슈트 같은 착용형 기기로 발전하고 있음

- 촉감 등을 포함하는 햅틱 인터페이스는 스마트폰의 진동 표현이 대표적 사례이다.

[1] 에어리얼(Aireal)

- 디즈니 연구팀이 개발한 이 에어리얼은 인터페이스 장치로부터 사용자의 손이나 얼굴 같은 대상까지의 거리를 계산하여 링 형태의 압축 공기를 분사함으로 촉각을 느끼게한다.

 

(10) 가상현실 관련 모션 기술

- 가상현실 공간에서 적절하게 움직이거나 동작을 취하면서 사실적인 체험을 할 수 있는 기술이다.

- 현재는 공간과 비용이 최소화된 형태의 모션 플랫폼으로 발전하고 있다.

[1] 모션 플랫폼

- 탑승 디바이스를 전후좌우로 움직이는 기계공학적인 기술이며, 움직임에 따라 3자유도, 6자유도로 구분할 수 있다.

- 넓은 시야각 화보를 위한 광시야각 HMD, 바람 체감, 입체 음향과 함께 가상현실 영상과 동기화된 모션이 제공되는 가상현실 융햡형 모션 플랫폼이 개발되고 있다.

모션플랫폼 출처 : https://www.clien.net/service/board/news/17608840

(11) 가상현실 관련 입력 기술

- 기본적으로 가상현실 관련 입력 기술은 내추럴 사용자 인터페이스 방식(NUI)이다.

- NUI는 가상현실의 상호작용을 실현하기 위한 인식 기능이다.

- 현재는 직관적인 인터페이스 활용을 위한 내추럴 사용자 인터페이스 방식(NUI)로 진화를 하고 있다.

- 상호작용 인터페이스는 단일 기능을 이용하는 방식에서 음성, 동작 등의 여러 기능을 복합적을 활용하는 멀티모달 형태로 진화를 하고 있다.

[1] 3D 센싱

- 동작 인식 기술은 움직임과 동작을 추적하여 사용자의 의도를 파악하는 것이 핵심 기술 요소이다.

- 더욱 정밀한 추적을 위해 3D 센싱 기술 등을 활용한다.

- 3D 센싱은 카메라를 이용하여 몸, 머리, 손, 눈동자 등 추적 부위의 움직임을 인식하고 배경과 사람을 분리한 후 3D 공간 정보를 제공하는 기술이다.

- 착용형 형태 : 움직임 감지가 가능한 가속도 센서, 자이로 센서 등을 디바이스 또는 사용자 신체에 직접 부착하고 인식함

- 비착용형 형태 : 직접 장착하지 않고 적외선 카메라 등을 이용하여 손가락 움직임에 대한 데이터를 얻음

---

3. 메타버스

(1) 메타버스(Metaverse) 개요

- 웹과 인터넷 등의 가상세계가 현실세계에 흡수된 형태를 의미한다.

- 메타버스는 디지털 세계를 구축하여, 현실처럼 소통하며 활동을 할 수 있게 만든 가상의 환경을 의미한다.

- 메타버스는 기존의 가상현실보다 진보된 개념으로 지금도 발전하고 있는 개념이다.

- 가상현실의 몰입감을 높이기 위해 시각적 요소뿐만 아니라 청각, 촉각, 후각 등 인간의 여러 감각 정보로 확장하는 기술까지도 포함하고 있다.

[1] 개념

- 메타버스란 단어는 본래 "가상, 추상"을 의미하는 메타와 "현실 세계"를 의미하는 유니버스의 합성어이다.

- 메타버스에서는 가상의 인물이 가상의 사물을 이용하여 다양한 활동을 할 수 있다.

- 현실세계와 같은 사회적, 경제적 활동이 통용되는 3차원 가상공간 정도의 의미로 사용되고 있다.

* 개인적 견해 : 메타버스안에 가상현실이 들어가 있는 개념이라고 생각이 든다.

 

(2) 미래 가속화 연구재단(ASF) 메타버스 시나리오

- 미래 가속화 연구재단(ASF)는 초기에 메타버스를 증강과 시뮬레이션, 외적인 것과 사적인 것 이라는 두 가지 기준에 따라 네 가지 시나리오로 구분을 했다.

[1] 현실과 가상을 결합한 증강현실(Augmented Reality)

[2] 창조된 가상세계(Virtual Worlds)

[3] 현실을 복제한 거울세계(Mirror Worlds)

[4] 사람의 일상생활을 통해 인생을 기록하는 일상기록(Lifelogging)

---

4. 메타버스 플랫폼

(1) HTC - 바이버스

- HTCP의 메타버스 플랫폼인 '바이버스(Viverse)'

- 바이버스에서는 사용자가 아바타로 변신해 사무실에서 근무하고, 게임이나 콘서트, 쇼핑 등을 즐길 수 있다.

- 인게이지(Engage), VR챗(VRCHAT) 등 다른 회사의 메타버스 플랫폼과 연동되는 개방형으로 개발되었음

 

(2) SK 텔레콤 - 이프랜드

- SK 텔레콤은 메타버스 플랫폼인 이프랜드의 글로벌 비전과 헤드셋 기기 버전을 선보였다.

- 블록체인 기반의 NFT, 마켓 플레이스 등과 같은 경제 활동을 지원하는 시스템을 갖추어 80개국 이상에 서비스를 제공할 계획이다.

 

(3) LG유플러스 - 아이돌 라이브

- K팝 확장 현실 플랫폼인 아이돌 라이브에 NFT 이용을 활성화하여 동남아시아에 이어 중동지역과 아프리카까지 수출할 계획이다.

 

(4) 메타버스 플랫폼의 유형

- 메타버스 플랫폼은 개발 동기, 접속 목적에 따라 세 가지 유형으로 분류할 수 있으며, 아바타 치장을 3D 그래픽으로 만들어서 판매하고 이것을 NFT로 거래를 하고 이런것들이 순환이 되면 그게 하나의 플랫폼이 된다.

[1] 소셜 기반 메타버스

- 소셜 미디어가 모임, 쇼핑, 게임 등이 가능한 메타버스로 발전한 형태이다.

- 대표적으로 제페토, 게더타운, 호라이즌 월드, 위버스 등이 있다.

* 게더타운은 아바타 사용이 가능하며, 화상 채팅 및 음성 채팅이 가능한 플랫폼이다.

[2] 게임 기반 메타버스

- 모바일, 컴퓨터 콘솔용 게임이 확장하여 탄생한 것이다.

- 게임을 수행하는 것이 주목적이지만 소통공간을 겸하고 있다.

- 게임 제작, 판매, 쇼핑, 공연 등 이용 형태가 계속해서 발전 중이다.

- 대표적으로 로블록스, 마인크래프트, 포트나이트 등이 있다.

* 로블록스에서는 "로벅스"라는 가상화폐를 통한 거래가 이뤄지고 있다.

[3] 생활 산업 기반의 메타버스

- 혼합현실이나 증강현실 등의 기술이 적용된 디바이스를 이용하여 운동, 교육 및 훈련, 시뮬레이션 등을 수행하기 위한 목적의 메타버스를 의미한다.

- 레벨 향상 및 그에 따른 보상 시스템과 같은 게임적 요소를 접목하여 활동에 몰입할 수 있도록 한다.

- 대표적으로 마이크로소프트사의 홀로렌즈2, 닌텐도의 링피트 어드벤처, 탁스의 므사트로라 인도어 사이클리 등이 있다.

* 개인적으로는 생활 산업 기반의 메타버스는 메타버스라고 보기에는 애매한 것 같다 이유는, 자유로운 컨텐츠 창작이 부족한 것 같아서

혼합현실은 현실공간과 단절된 가상현실 기기와 달리 현실공간에 가상정보를 보여 주어 주변과 상호작용할 수 있음.

- 증강현실처럼 단순히 가상정보를 현실공간에 표시하는 것을 넘어, 현실의 공간과 사물정보를 파악해 거기에 맞는 3D 홀로그램을 입히는 것을 의미한다.

 

5. 정리하기

1. 가상현실은 실제로 존재하지 않는 완전히 허구적 환경이나 상활을 가능하게 하는 기술이다.

2. 증강현실은 현실에 가상정보를 추가하는 형태이다.

3. 메타버스는 '가상, 추상'을 의미하는 메타(Meta)와 '현실세계' 를 의미하는 유니버스(Universe)의 합성어이다.