JoVE Logo

サインイン

このコンテンツを視聴するには、JoVE 購読が必要です。 サインイン又は無料トライアルを申し込む。

この記事について

  • 要約
  • 要約
  • 概要
  • プロトコル
  • 結果
  • ディスカッション
  • 開示事項
  • 謝辞
  • 資料
  • 参考文献
  • 転載および許可

要約

この研究では、VRデバイスがサポートする没入型でインタラクティブな実験機能をユーザーに提供する、WebVRベースのオンライン仮想現実(VR)ラボラトリーシステムについて説明します。提案されたシステムは、オンライン実験へのユーザー参加のリアリズムを高めるのに役立つだけでなく、幅広いオンラインラボフレームワークにも適用できます。

要約

オンラインラボは、工学教育において重要な役割を果たしています。この作業では、WebVRベースの仮想実験室システムについて説明します。ユーザーは、仮想現実(VR)デバイスを介してシミュレートされた実験室環境に入り、物理的な実験室での実践的な実験と同様に、実験装置と対話します。さらに、提案されたシステムでは、ユーザーは独自の制御アルゴリズムを設計し、さまざまな制御パラメータの影響を観察して、実験の理解を深めることができます。提案された仮想実験室の特徴を説明するために、この論文では、二重倒立振り子システムの実験である例が示されています。実験結果は、提案されたシステムが、ユーザーが没入型でインタラクティブな方法で実験を行うことを可能にし、ユーザーにプリンシパルデザインから実験操作までの完全な実験プロセスを提供することを示しています。また、あらゆるバーチャルラボを教育やトレーニングのためのWebVRベースのバーチャルラボに変えるソリューションも提供されています。

概要

インターネットの進歩とモバイルデバイスの人気に伴い、オンライン教育の需要が高まっています1。特に、流行が蔓延している時期には、従来の教育機関は対面式の指導を効果的に行う上で課題に直面することが多く、これは重要な教育的アプローチとしてのオンライン教育の重要性を浮き彫りにしています2。理論コースは、オンラインプラットフォームに比較的簡単に移行できます。これらは、リモートビデオ会議ソフトウェアや大規模公開オンラインコース(MOOC)3などのツールを使用して実施できます。しかし、実践的なコースでは、従来の研究室で実践的な実験を行う必要があるため、より大きな課題に直面しています。

研究者は、実験装置をオンラインで利用できるようにするという課題に取り組むために多大な貢献をしてきました。過去20年間にわたり、オンラインラボ4,5の概念と技術について広範な研究が行われてきました。オンラインラボには、通常、リモートラボ6、バーチャルラボ7、およびハイブリッドラボ8が含まれます。これらのオンラインラボアプローチは、制御工学9、機械工学10、ソフトウェア工学11など、さまざまな工学分野で広く応用されています。

オンラインラボ12での実験操作の利便性の点では大きな進歩が見られましたが、ユーザーは従来のラボ環境と比較して、リアリズムや同様の実践的な操作が不足していると依然として感じており、これが全体的なエクスペリエンス13に影響を与えています。このユーザーエクスペリエンスの不一致は、オンラインラボ環境でのリアリズムとエンゲージメントを強化するためのさらなる研究開発の取り組みを動機付けています。

上記の問題を解決するために、バーチャルリアリティ(VR)技術がバーチャルラボ14 に適用され、バーチャルラボ15の没入感と双方向性が向上した。VRベースのバーチャルラボは、ユーザーに現実に近い実験体験を提供します。ユーザーは、アバター16を通じて建築教育プロセスのグループ課題を完了することができ、従来の教室環境と同じように、建築測量プロセスを没入型で一緒に実行できます。さらに、VRベースの仮想実験室は、ユーザーが仮想実験室の没入型環境に入り、VRヘッドセットとハンドル17を装着して仮想実験装置と対話することを可能にし、ユーザーの実践能力18を向上させる。さまざまな教育目的のために、さまざまな仮想環境を設計できます。例えば、VRをゲーミフィケーション理論と組み合わせることで、一般市民向けの工学教育を充実させ、持続可能な開発などの理解しにくい知識の普及効率を向上させることができる19

オンラインラボ、特にバーチャルラボと同様に、WebVRベースのバーチャルラボには多くの利点があります。まず、従来の実験室の時間とスペースの制限を打ち破り、ユーザーはいつでもどこでも実験を行うことができます20。第二に、オンラインラボは、実験操作21で起こりうる危険や事故を回避するために、より安全な実験環境を提供できる。第三に、仮想実験室は、ユーザーの実験範囲と経験を拡大するために、より多くの実験リソースとシミュレーション状況を提供することもできます22。最も重要なことは、WebVRベースの仮想実験室は、ユーザーの学習関心とイニシアチブを刺激し、実験経験と参加を向上させることができるということである23

他のVRベースのバーチャルラボと比較して、WebVRベースのバーチャルラボは、VRベースのバーチャルラボとWebベースのオンラインラボのメリットをシームレスに組み合わせています。Virtual Instrument Systems in Reality(VISIR)24 は、実際の回路基板を構築することにより、基本的なアナログ電子リモートラボを構築します。ユーザーは、Webインターフェースでシミュレートされた実験を実行して、実際の回路基板の実験を完了することができます。Weblab-Deusto8 は、ユーザーが他のプラグインに頼らずにWebプラットフォーム内の水タンクの3次元(3D)モデルを操作できる、水タンクField Programmable Gate Array(FPGA)ラボを構築します。このホワイトペーパーで提案されているシステムは、WebVRをモジュラーコンポーネントとして既存の仮想ラボインフラストラクチャにシームレスに統合する機能を導入しています。この統合は、実験室の元の建築フレームワークを破壊することなく達成できるため、実験室の基本構造と機能が維持されます。この統合は、フロントエンドとバックエンドが分離されたオンラインラボのフレームワークにも適用できます。

本稿で提案するシステムは、NCSLabシステムの柔軟性、双方向性、モジュール性、およびクロスプラットフォーム機能を継承したNetworked Control System Laboratory(NCSLab)25に基づいて実装されています。ユーザーは、さまざまなモジュールに従って実験を行うことができ、アルゴリズムや設定インターフェースをカスタマイズすることもでき、自己実現のための十分なスペースをユーザーに提供できます。オンライン実験は、ユーザーが実行したアルゴリズムに従ってリアルタイムで実行されます。ユーザーは、VR実験を行う際に仮想モデルと対話して実験アルゴリズムの入力を変更したり、コンポーネントを介して制御アルゴリズムのパラメータを変更したりできるため、ユーザーは制御アルゴリズムの原理をよりリアルに体験できます。

WebVRベースの仮想実験室は、オンライン教育に大きな可能性をもたらします。没入型の実験体験を提供し、従来の実験室の限界を克服し、ユーザー間で実践的な実践スキルと革新的な思考を促進することができます。

Access restricted. Please log in or start a trial to view this content.

プロトコル

この研究は、武漢大学の人間研究倫理委員会のガイドラインを満たしており、すべての実験データについてインフォームドコンセントが得られました。この論文では、二重倒立振子システムの実験ステップについて説明し、すべてのステップをWebVRベースのNCSLabで実行します。

1. WebVRベースのNCSLabシステムにアクセスする

  1. WebVRをサポートするWebブラウザを開きます。WebVR ベースの NCSLab の Uniform Resource Locator (URL) を入力して、システムにアクセスします。
  2. 「実験の開始」ボタンをクリックして、NCSLabシステムにログインします。初めてシステムにログインする場合は、アカウント登録を行ってください。
  3. NCSLabシステムにログインし、左側のメニューバーから別の実験を選択し、この場合は二重倒立振子実験を選択します。
  4. メインページの3Dサブページにアクセスします。
    注:メインページには5つのサブページがあり、最初のサブページは機器モデルの紹介です。これには、3D モデルのアニメーションとドキュメントが含まれています。このページにアクセスすることで、ユーザーは二重倒立振子システムの原理を把握でき、その後の実験を便利に実行できます。
  5. 「Request Control」ボタンをクリックして実験制御を申請し、リソースを効率的に使用できるようにします。これにより、ユーザーは 30 分間の実験時間を確保できます。
    注: 仮想実験の場合、500 人のユーザーが同時に実験を実施できます。
  6. プラント情報のサブページに入ると、実験装置に関する包括的な詳細にアクセスできます。現在使用している機器、未使用のままの機器、メンテナンス関連機器の情報が含まれます。
  7. [Experimental Algorithm] サブページでダウンロードするシステムのデフォルト制御アルゴリズムを選択します。または、アルゴリズム設計サブページに進み、別のアルゴリズムを設計します。
    1. 新しい制御アルゴリズムを設計するには、アルゴリズム設計サブページの 「新規モデルを作成」ボタンをクリックして 、設計インターフェースに入ります。
      注:アルゴリズム設計のプロセスはMATLAB/Simulinkのプロセスと密接に一致しており、ユーザーは直感的なドラッグアンドドロップアプローチで制御アルゴリズムのブロック図を作成し、さまざまなモジュールを使用して目的の制御ロジックを作成します。
    2. 図 1 に示すように、完全な制御アルゴリズムのブロック図を作成し、以下で説明する手順に従います。
    3. 左のデバイスモデルから ダブル倒立振り子システムモジュール を選択します。
    4. ゲインモジュールを選択して、線形二次レギュレータ(LQR)コントローラのフィードバックマトリクスを設計します。
    5. 入力として ステップシグナル を選択し、他のモジュールを追加します。モジュールをダブルクリックして詳細情報を表示し、パラメータ設定を変更します。たとえば、 定数信号モジュール をダブルクリックして、定数信号の値を変更します。
  8. 制御アルゴリズムの設計が完了したら、[ シミュレーションの開始 ]ボタンをクリックします。シミュレーションが完了したら、設計したアルゴリズムの制御効果を観察します。シミュレーション結果に満足できない場合は、パフォーマンスが向上した制御アルゴリズムが得られるまで、LQRコントローラーのパラメーターを微調整します。
  9. [コンパイル] ボタンをクリックして、制御アルゴリズムを生成します。コンパイル後、アルゴリズムは、実験アルゴリズムのサブページとアルゴリズム設計のサブページのプライベートアルゴリズム領域に保存されます。
  10. 実験アルゴリズムのサブページで、制御アルゴリズムセクションの右側にある [Download Algorithm ]ボタンをクリックして、制御アルゴリズムをダウンロードします。
  11. 実験的な設定を選択し、 モニタリング設定 サブページで実験を実施します。このシステムは、ユーザーの一般的な実験要件を満たすために、事前に定義された構成を提供します。
    注:ユーザーは、 新しいモニター の作成ボタンをクリックして、特定の実験要求に合わせたカスタマイズされたモニタリングセットアップを作成する柔軟性があります。
  12. 2 に示すように、モニタリング設定をカスタマイズし、モニタリング設定サブページの編集インターフェイスで使用可能なさまざまなコンポーネントから選択します。これらのコンポーネントには、入力変数コンポーネント、出力変数カーブ表示コンポーネント、および 3D モデルコンポーネントが含まれます。
  13. VR 実験の場合は、 3D モデル コンポーネントを選択します。3Dモデルコンポーネントを使用すると、ユーザーは3Dモデルを監視構成に統合できます。
  14. パラメータの設定を容易にするために、システムパラメータ変数に直接リンクされている各コンポーネントのパラメータを調整します。コンポーネントをダブルクリックし、ウィンドウにアクセスして、実験システム内の関連するオプションパラメータを選択します。
  15. ユーザーは、コンポーネントのサイズを変更することで、監視構成のレイアウトを柔軟に最適化できます。これを行うには、各コンポーネントのエッジを目的の寸法にドラッグします。
  16. 「Save」ボタンをクリックすると、設計したモニタリング構成が今後の実験で使用するために保存されるため、モニタリングシステムを繰り返しセットアップする時間と労力を節約できます。
    注意: 監視設定は、制御アルゴリズムが正しくダウンロードされた後にのみ実行できます。
  17. ウィンドウの [実験の開始 ] ボタンをクリックして、実験を開始します。3D モデル コンポーネントの右下隅にある VR ボタンをクリックして 、VR 実験を開始します。
    注: VR 実験は Web ページに埋め込まれています。ユーザーが初めて使用するとき、ブラウザは左上隅でブラウザがVR機能を使用することを許可するように求める場合があります。[ 許可 ]を選択して続行します。

2. アクセス方法の選択

  1. WebVR エミュレータ拡張機能を使用します。この方法を使用して実験を行うには、ブラウザーの拡張機能ストアから簡単に検索およびダウンロードできる WebVR エミュレーター拡張機能をインストールします。
    注:WebVRエミュレータ拡張機能は、ユーザーがWebブラウザでWebVRコンテンツを実行するのに役立ち、実際のVRデバイスを使用せずに仮想VRヘッドセットとハンドルコントローラー環境を提供します。
  2. WebVR をサポートする VR デバイスを使用します。VRデバイスを初めて使用する場合は、基本的な環境設定が必要です。まず、ヘッドセットとコントローラーの電源をONにして、システムを起動します。ヘッドセットで最初のROOMプログラムを設定します。ヘッドセットの画面に表示される視覚的な手がかりに従って、ハンドルコントローラーを使用して、仮想空間環境の境界と向きを慎重に調整します。最後に、ヘッドセットとコンピューターの間にストリーミング接続を確立します。
    注:これは、提案されたシステムにアクセスするための2番目の方法です。VRデバイスには、通常、ヘッドセットとハンドルコントローラーのペアが含まれています。VR デバイスには、ユーザーが WebVR 対応ブラウザーをダウンロードできるストアが組み込まれています。または、ユーザーは、一般的にWebVRをサポートする組み込みのブラウザを使用することもできます。注目すべきは、さまざまなVRデバイスが接続に異なる方法を採用している可能性があることです。

3. 実験手順

  1. 遠近法を調整して、二重倒立振子システムの実験を行うのに最適な位置を見つけます。
    1. WebVR エミュレータ拡張機能を利用しているユーザーの場合は、 開発者ツールを開き、WebVR 拡張機能を見つけ、マウスを使用して仮想 VR デバイスを操作してパースペクティブを調整します ( 図 3 を参照)。
    2. VRデバイスを使用するユーザーは、仮想実験環境に没入し、身体の動きを通じて最適な実験位置を確認します。
  2. 以下に説明するように、ハンドルコントローラーを使用して二重倒立振り子システムと対話します。
    1. ハンドルをキューブに近づけます。 トリガー ボタンを押してキューブを拾うと、二重倒立振り子システムの動きが停止します。
    2. ハンドルを動かして、立方体の位置を制御します。トリガーボタンを離して、キューブが目的の位置になったら離します。この位置は、 図 3 に示すように、カートの後続の設定値として指定されます。
  3. 二重倒立振子システムの運動過程を観察します。交流(AC)サーボモーターを操作して、ベルトを動かします。ベルトの推進力の下で、逆振り子はガイドレールに沿って移動することができ、二重倒立振り子のシステム構造を 図4で解明します。最終的に、二重倒立振り子は設定値で安定します。
  4. キューブの位置を繰り返し操作し、カートの設定値を継続的に調整し、二重倒立振り子システムの動的動作を細心の注意を払って観察するようにユーザーに促します。

Access restricted. Please log in or start a trial to view this content.

結果

今回紹介するVR実験システムは、VRデバイスを用いた没入型実験を行うことで、ユーザーと実験装置とのインタラクションを強化するものです。さらに、システムはWebベースであるため、ユーザーがローカル環境を構成する必要がありません。この設計により、システムのスケーラビリティが確保され、大規模なアプリケーションやトレーニング、教育目的に適しています。

Access restricted. Please log in or start a trial to view this content.

ディスカッション

提示されたプロトコルは、ユーザがオンラインでVR実験を行うことを可能にするが、また、大規模なアプリケーションの推進を助長する低コストのPCコントローラ28を使用することを可能にする仮想実験室システムを説明する。ユーザーは、原理やアルゴリズムから実際の実験操作まで、実験プロセス全体についての知識を得ることができます。このシステムにより、ユーザ?...

Access restricted. Please log in or start a trial to view this content.

開示事項

著者は何も開示していません。

謝辞

この研究は、一部は中国国家自然科学基金会(National Natural Science Foundation of China Under Grant 62103308 and Grant 62073247)、一部はGrant 2042023kf0095、一部はChina Postdoctoral Science Foundation(中国ポスドク科学基金会)のGrant 2022T150496、一部はWuhan University Experiment Technology Project Funding(WHU-2022-SYJS-10)の支援を受けました。

Access restricted. Please log in or start a trial to view this content.

資料

NameCompanyCatalog NumberComments
3DS MaxAutodesk3ds Max professional 3D modeling, rendering, and animation software enables you to create expansive worlds and premium designs.
https://www.autodesk.com/ca-en/products/3ds-max/overview
Meta Quest 2Meta Platforms10036728220341meta quest 2 is a standalone virtual reality headset that allows users to experience WebVR content.
https://www.meta.com/it/quest/products/quest-2/
UnityUnity TechnologiesUnity is the platform for real-time 3D interactive content creation and operation.
All creators, including game developers, artists, architects, automotive designers, film and television, use Unity to bring their ideas to life.
The Unity platform offers a complete suite of software solutions for creating, operating, and realizing any real-time interactive 2D and 3D content
on cell phones, tablets, PCs, game consoles, augmented reality, and virtual reality devices.
https://unity.com/cn

参考文献

  1. Martin, F., Sun, T., Westine, C. D. A systematic review of research on online teaching and learning from 2009 to 2018. Comput Educ. 159, 104009(2020).
  2. Al-Nsour, R., Alkhasawneh, R., Alqudah, S. Online engineering education: Laboratories during the pandemic - A case study. 2022 Intermountain Eng, Tech Comp. , 1-4 (2022).
  3. Chirikov, I., Semenova, T., Maloshonok, N., Bettinger, E., Kizilcec, R. F. Online education platforms scale college stem instruction with equivalent learning outcomes at lower cost. Sci Adv. 6 (15), (2020).
  4. Gamage, K. A. A., et al. Online delivery of teaching and laboratory practices: continuity of university programmes during covid-19 pandemic. Educ Sci. 10 (10), Basel. 291(2020).
  5. Kefalis, C., Drigas, A. Web based and online applications in stem education. Int J Eng Pedagogy. 9 (4), 76-85 (2019).
  6. Maiti, A., et al. A framework for analyzing and evaluating architectures and control strategies in distributed remote laboratories. IEEE Trans Learn Technol. 11 (4), 441-455 (2018).
  7. Liang, Y., Liu, G. Design of large scale virtual equipment for interactive hil control system laboratories. IEEE Trans Learn Technol. 11 (3), 376-388 (2018).
  8. Rodriguez-Gil, L., Garcia-Zubia, J., Orduna, P., Lopez-De-Ipina, D. Towards new multiplatform hybrid online laboratory models. IEEE Trans Learn Technol. 10 (3), 318-330 (2017).
  9. Chevalier, A., Copot, C., Ionescu, C., De Keyser, R. A three-year feedback study of a remote laboratory used in control engineering studies. IEEE Trans Educ. 60 (2), 127-133 (2017).
  10. Wang, N., et al. A novel wiki-based remote laboratory platform for engineering education. IEEE Trans Learn Technol. 10 (3), 331-341 (2017).
  11. Cruz-Benito, J., et al. Usalpharma: a software architecture to support learning in virtual worlds. IEEE Revista Iberoamericana De Tecnologias Del Aprendizaje. 11 (3), 194-204 (2016).
  12. Letowski, B., Lavayssière, C., Larroque, B., Schröder, M., Luthon, F. A fully open source remote laboratory for practical learning. Electronics. 9 (11), 1832(2020).
  13. Potkonjak, V., et al. Virtual laboratories for education in science, technology, and engineering: a review. Comput Educ. 95, 309-327 (2016).
  14. Rukangu, A., Tuttle, A., Johnsen, K. Virtual reality for remote controlled robotics in engineering education. IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW). , 751-752 (2021).
  15. Sermet, Y., Demir, I. Geospatialvr: a web-based virtual reality framework for collaborative environmental simulations. Comput Geosci. 159, 105010(2022).
  16. zacar, K., Ortakcı, Y., Küçükkara, M. Y. VRArchEducation: Redesigning building survey process in architectural education using collaborative virtual reality. Comp Graph. 113, 1-9 (2023).
  17. Li, Y., Lei, Z., He, Y., Liu, Z. A virtual simulation experiment of mechanics: material deformation and failure based on scanning electron microscopy. J Vis Exp. (191), e64521(2023).
  18. Alsaleh, S., Tepljakov, A., Kose, A., Belikov, J., Petlenkov, E. Reimagine lab: bridging the gap between hands-on, virtual and remote control engineering laboratories using digital twins and extended reality. IEEE Access. 10, 89924-89943 (2022).
  19. Han, B., Weeks, D. J., Leite, F. Virtual reality-facilitated engineering education: A case study on sustainable systems knowledge. Comput Appl Eng Educ. 31 (5), 1174-1189 (2023).
  20. Lei, Z., Zhou, H., Hu, W., Liu, G. Concurrent experimentation in ncslab: a scalable approach for online laboratories. Fut Gen Comp Sys. (148), 139-149 (2023).
  21. Li, W., Huang, H., Solomon, T., Esmaeili, B., Yu, L. Synthesizing personalized construction safety training scenarios for vr training. IEEE Trans Vis Comput Graph. 28 (5), 1993-2002 (2022).
  22. Zhang, Y., et al. Virtual simulation system of paste filling for green mining of metallic mine. 2020 International Conference on Virtual Reality and Visualization. , 256-257 (2020).
  23. Callaghan, M. J., Mccusker, K., Losada, J. L., Harkin, J., Wilson, S. Using game-based learning in virtual worlds to teach electronic and electrical engineering. IEEE Trans Industr Inform. 9 (1), 575-584 (2013).
  24. Garcia-Zubia, J., et al. Empirical analysis of the use of the VISIR remote lab in teaching analog electronics. IEEE T EDUC. 60 (2), 149-156 (2017).
  25. Lei, Z., Zhou, H., Hu, W., Liu, G. Unified and flexible online experimental framework for control engineering education. IEEE T Ind Electron. 69 (1), 835-844 (2022).
  26. Galan, D., Chaos, D., de la Torre, L., Aranda-Escolastico, E., Heradio, R. Customized online laboratory experiments: a general tool and its application to the furuta inverted pendulum [focus on education. IEEE Cont Sys. 39 (5), 75-87 (2019).
  27. Lei, Z., Zhou, H., Hu, W., Liu, G., Guan, S. Web-based digital twin communication system of power systems for training and education. IEEE T Pow Syst. , (2023).
  28. Lei, Z., Zhou, H., Hu, W., Liu, G. Controller effect in online laboratories-An overview. IEEE Trans. Learn. Technol. 17, 1-12 (2024).
  29. Liu, Y., et al. Virtual reality system for industrial training. 2020 International Conference on Virtual Reality and Visualization. , 338-339 (2020).
  30. Lei, Z., et al. Interactive and visualized online experimentation system for engineering education and research. J Vis Exp. (177), e63342(2021).

Access restricted. Please log in or start a trial to view this content.

転載および許可

このJoVE論文のテキスト又は図を再利用するための許可を申請します

許可を申請

さらに記事を探す

WebVR

This article has been published

Video Coming Soon

JoVE Logo

個人情報保護方針

利用規約

一般データ保護規則

研究

教育

JoVEについて

Copyright © 2023 MyJoVE Corporation. All rights reserved