概述

ErgoVR多人交互虛擬現(xiàn)實(shí)實(shí)驗(yàn)室，基于“人-機(jī)-環(huán)境”系統(tǒng)工程理論建設(shè)，適用于工業(yè)設(shè)計(jì)與用戶體驗(yàn)、建筑設(shè)計(jì)、工業(yè)工程、交通駕駛等多個(gè)領(lǐng)域的多人或團(tuán)體測(cè)評(píng)科學(xué)研究以及高校實(shí)驗(yàn)教學(xué)等方面的工作。能夠滿足多種研究需求，并能夠進(jìn)行多人團(tuán)體交互下的理論驗(yàn)證、設(shè)計(jì)測(cè)評(píng)、虛擬樣機(jī)測(cè)評(píng)與產(chǎn)品測(cè)試等研究。   

多人交互虛擬現(xiàn)實(shí)實(shí)驗(yàn)室可基于大型沉浸式CAVE虛擬現(xiàn)實(shí)系統(tǒng)及可穿戴虛擬現(xiàn)實(shí)系統(tǒng)進(jìn)行測(cè)試，支持多人在同一個(gè)虛擬現(xiàn)實(shí)場(chǎng)景中協(xié)同完成人機(jī)交互等協(xié)同任務(wù)并進(jìn)行人機(jī)環(huán)境數(shù)據(jù)的定量評(píng)價(jià)。在系統(tǒng)中，用戶可以自定義創(chuàng)建虛擬環(huán)境，并且進(jìn)行多感知交互體驗(yàn)研究，其中包含嗅覺模擬系統(tǒng)、觸覺模擬系統(tǒng)、聽覺模擬系統(tǒng)等多感知交互系統(tǒng)。

同時(shí)，結(jié)合津發(fā)自主研發(fā)的ErgoLAB人機(jī)環(huán)境同步云平臺(tái)，基于“以人為中心”的理念，同步采集與分析多人的多模態(tài)數(shù)據(jù)，為科學(xué)研究和設(shè)計(jì)評(píng)價(jià)提供完整的數(shù)據(jù)指標(biāo)。

系統(tǒng)組成

(1) 實(shí)驗(yàn)室概述

實(shí)驗(yàn)室可用于進(jìn)行虛擬現(xiàn)實(shí)環(huán)境多人交互系統(tǒng)的研究。實(shí)驗(yàn)室主要分為被試間與主試間兩大功能區(qū)域，之間由單向玻璃隔開，使主試間中的研究人員看見被試間內(nèi)受試者的行為，而受試者看不見主試間，從而減小干擾。其中，被試間為實(shí)驗(yàn)進(jìn)行的區(qū)域，搭建為虛擬現(xiàn)實(shí)測(cè)試室，可通過(guò)CAVE式虛擬現(xiàn)實(shí)系統(tǒng)、8K眼動(dòng)腦電多模態(tài)虛擬現(xiàn)實(shí)頭盔或者多人交互虛擬現(xiàn)實(shí)系統(tǒng)進(jìn)行虛擬現(xiàn)實(shí)場(chǎng)景呈現(xiàn)，并可依照測(cè)試需求布置所需的多模態(tài)數(shù)據(jù)采集設(shè)備，如虛擬現(xiàn)實(shí)眼動(dòng)儀、可穿戴人因生理儀等；被試間中有多個(gè)行為觀察攝像頭與拾音器，從不同角度攝取受試者的行為影像并采集受試者的聲音，音視頻信號(hào)傳送給主試間中的人機(jī)環(huán)境同步平臺(tái)進(jìn)行數(shù)據(jù)分析。主試間為觀察與數(shù)據(jù)分析區(qū)域，布置有語(yǔ)音控制臺(tái)，研究人員的指令通過(guò)被試間的揚(yáng)聲器傳送給受試者；主試間還布置有人機(jī)環(huán)境同步平臺(tái)、人因智能邊緣計(jì)算平臺(tái)等設(shè)備，研究人員可在主試間實(shí)時(shí)同步采集多模態(tài)人因數(shù)據(jù)并進(jìn)行分析。

實(shí)驗(yàn)室被試間設(shè)置有多模態(tài)人因數(shù)據(jù)采集設(shè)備，包括CAVE式虛擬現(xiàn)實(shí)系統(tǒng)、8K眼動(dòng)腦電多模態(tài)虛擬現(xiàn)實(shí)頭盔、多人交互虛擬現(xiàn)實(shí)系統(tǒng)、虛擬聽覺嗅覺觸覺感知模擬系統(tǒng)、虛實(shí)時(shí)空行為分析系統(tǒng)、虛擬現(xiàn)實(shí)雙手交互系統(tǒng)、虛擬現(xiàn)實(shí)腦機(jī)交互設(shè)備、虛擬現(xiàn)實(shí)情感交互設(shè)備、虛擬現(xiàn)實(shí)動(dòng)作交互設(shè)備、表情語(yǔ)音采集儀、行為觀察儀、可穿戴人因生理儀、虛擬現(xiàn)實(shí)腦成像儀、可穿戴多模態(tài)腦功能儀、動(dòng)作捕捉儀以及裝備設(shè)計(jì)人因測(cè)試系統(tǒng)等。被試間的產(chǎn)品組成與選型可根據(jù)實(shí)際研究需求進(jìn)行配置。此外，被試間系統(tǒng)的多模態(tài)數(shù)據(jù)采集設(shè)備可結(jié)合ErgoAI人因智能邊緣計(jì)算終端，將計(jì)算和數(shù)據(jù)處理能力移至接近數(shù)據(jù)源的終端設(shè)備上，進(jìn)行數(shù)據(jù)的智能化處理和分析。

實(shí)驗(yàn)室主試間設(shè)置有多模態(tài)人因數(shù)據(jù)同步采集、分析和邊緣智能設(shè)備，包括ErgoLAB人機(jī)環(huán)境同步平臺(tái)和ErgoAI人因智能評(píng)估平臺(tái)。其中，ErgoLAB人機(jī)環(huán)境同步平臺(tái)支持多模態(tài)數(shù)據(jù)同步采集與分析，確保所需要的人、機(jī)、環(huán)境三方面的多模態(tài)數(shù)據(jù)可基于同一時(shí)間軸進(jìn)行實(shí)時(shí)同步，消除事后對(duì)齊數(shù)據(jù)分析的負(fù)擔(dān)，并使數(shù)據(jù)“協(xié)同增效”，多角度綜合印證結(jié)果，確保數(shù)據(jù)結(jié)果的有效性與準(zhǔn)確性。ErgoAI人因智能應(yīng)用平臺(tái)，對(duì)接人機(jī)環(huán)境同步平臺(tái)所同步采集的多模態(tài)數(shù)據(jù)，搭建開放式AI算法應(yīng)用平臺(tái)，能夠?yàn)椴煌珹I算法基礎(chǔ)的用戶，提供從數(shù)據(jù)采集、數(shù)據(jù)降噪、數(shù)據(jù)標(biāo)注、模型訓(xùn)練、模型評(píng)估及部署應(yīng)用的全流程智能化應(yīng)用系統(tǒng)。平臺(tái)可提供數(shù)千人次數(shù)據(jù)搭建的各類應(yīng)用數(shù)據(jù)集，涵蓋人員基數(shù)據(jù)集、狀態(tài)數(shù)據(jù)集等，以及數(shù)十種人因工程預(yù)訓(xùn)練模型，包括單模態(tài)狀態(tài)識(shí)別模型、多模態(tài)狀態(tài)識(shí)別模型等。同時(shí)，ErgoAI人因智能應(yīng)用平臺(tái)支持根據(jù)實(shí)際研究?jī)?nèi)容與方向創(chuàng)建數(shù)據(jù)集、訓(xùn)練并驗(yàn)證模型，并進(jìn)行模型部署與實(shí)時(shí)狀態(tài)預(yù)測(cè)。