스타트업에서 POC를 위해 논문 참고하는 법_AR Glass,원격협업

회사에서 최근 원격 협업 시스템 POC를 진행하고 있어요

 

Hololens2, Quest3, TCL 등의 AR glass를 이용해서, 원격으로 협업할 수 있는 샘플 프로젝트를 만들어야해요.

너무 막막한 상황 속에서... 구글링하다가 도움을 받은 논문을 정리해보려고 해요.

 

Development of a Remote Collaboration System for Interactive Communication with Building Information Model in Mixed Reality https://www.mdpi.com/2076-3417/12/17/8738

 

인천대학교에서 작성한 것으로, 건설 현장에서의 원격 협업 시스템 개발에 대해 이야기를 해요.

먼저 GPT가 요약한 내용을 보고, 제가 인사이트를 얻은 부분에 대해서 정리하려고 합니다.

# 논문 요약 (GPT)

1. 이 연구는 혼합 현실(Mixed Reality, MR)을 기반으로 한 건설 현장 관리를 위한 원격 협업 시스템 개발에 관한 것입니다. 
2. 건축 정보 모델링(BIM)의 데이터 호환성을 활용하고, MR 기술을 통해 실세계 객체 위에 3D 가상 BIM 객체를 중첩시켜 시각적 인식을 개선합니다. 
3. 시스템은 현장 운영자 시스템(FOS), 통신 서버, 사무실 관리자 시스템(OMS)으로 구성됩니다. 
4. FOS는 MR 스마트 글래스를 기반으로 하며, 현장 운영자가 가상 BIM 객체를 손가락으로 가리키는 동작으로 조작할 수 있습니다. 
5. OMS를 통해 사무실 관리자는 현장 운영자의 시야를 볼 수 있으며, 효과적인 원격 협업을 가능하게 합니다​​.

# 논문 요약 (김학건)

> 건설 현장에서 AR 글래스를 끼고, 관제 센터에서 창문을 어디에 두어야할지 물어볼 수 있는 장점이 있어요. 

# 논문으로 도움 받은 부분

## 명칭 통일

> 팀에서 각 단계 별 명칭을 뭐로 통일할지 정해야 했는데 도움을 받았어요.

 

AR Glass를 이용한, 원격 협업 시스템의 단계를 크게 3단계로 나누어져 있어요. 

1. AR Glass를 쓰는 곳
2. 데이터를 받아서 가이드를 하는 곳 
3. 기타 시스템들

어떻게 이 부분을 명명할지 정하지 못했어요. 하지만 해당 논문에서는 아주 명확하게 3단계로 나누어줬습니다.

1. 협업 시스템의 3단계
   • Filed Operator System: 현장 (AR 글래스 착용)
   • Communication Server: 기타 시스템
   • Office Manager System: 오피스 관제 타워

그래서 저희도 이 용어를 사용하려고 합니다. #필드 #서버 #오피스

 

## 사용 기술 참고

AR Glass로는 Hololen2를 사용하셨더라고요. 

Communication은 webrtc, socket으로 구현하신것 같고,

Office는 Web으로 구현하셨어요.

 

## 산업 군 별 특성

As mentioned previously, remote collaboration research has not been sufficiently conducted in the AEC industry because construction products are attached to the land. Therefore, the spatial alignment of BIM elements is essential for remote collaboration in a construction project. On the other hand, spatial alignment is not very important in the manufacturing industry because manufacturing is product-oriented and not heavily influenced by the surrounding environment. 

 

건설과 제조업은 비슷한 도메인이라고 생각했는데 (IT 입장에서는) 다르다고 하더라고요.

여기서 언급한것은 `Spatial Alignment`이에요. 

건설에서 예를 들면, 창문을 옮기는데 벽이 아닌 가구에 반영이 안되잖아요. 그래서 따로 작업을 해줘야하는데,  이 때 QR 코드를 이용해 미리 작업한 모델을 불러오는 방식을 사용해요. 

하지만 제조업에서는 자동차 엔진을 수리한다면 이러한 작업을 할 필요 없기 때문이에요

# 어떻게 업무에 도움이 되었을까 

## 업무 분배

다른 자료들도 찾았지만, 위 논문을 토대로 Sprint를 정했어요.

<AR Glass를 이용한 원격 협업 시스템 1차 POC>

1. 인프라 및 기본 구성

2. Unity를 통한 컨텐츠

 

1번은 webrtc, socket, web 을 이용하는 거라서 저희 팀이 해오던거라 팀원에게 할당했어요.

채팅 방을 만들고, 초대하고 승인되면 동영상이 공유되는 정도로 업무 롤을 정의했어요.

 

그런데 2번은... 딱히 해본 사람이 없네요.. 어쩌겟어요 제가 해야죠 ㅜㅠ

요즘 눈알이 빠지려고 해요. AR Glass 계속 보다 보니까..

저는 ms의 MRTK(mixed reality toolkit)을 이용해서 간단하게 채팅 방에 로그인하고 동영상을 udp로 쏘는 작업을 진행하려 합니다.

# 참고

https://www.mdpi.com/2076-3417/12/17/8738

Development of a Remote Collaboration System for Interactive Communication with Building Information Model in Mixed Reality