虛擬英語學習環境APP

Avatar of 吳家慶.
Avatar of 吳家慶.

虛擬英語學習環境APP

雲林科技大學 電子工程系 碩士
Taichung City, Taiwan

下圖為系統運作流程圖,學生透過手機APP接收語音,之後APP將接收到的資料傳送至網頁伺服器及自然語言伺服器,網頁伺服器由Node.js所架設,前端使用Three.js套件建立虛擬空間,自然語言伺服器則是使用flask結合自然語言框架Rasa所建立。

圖片左邊為虛擬世界畫面,底下可看到對話框及麥克風按鈕,ENTER為手動發送按鈕;圖片右邊為配合故事劇情所顯示的圖片,目的是讓使用者在操作這套程式時可以更加貼近故事內容。

在下方影片中可看到虛擬世界能夠使用觸控進行移動及放大縮小,配合故事劇情,地圖中的機器人會進行移動,並且夾取物件。

這個專案使用Android APP來讓國小學生來進行英語口說的練習,結合了英語故事書的內容,讓學生在口說練習的過程感到更有趣,APP的部分主要用於資料的傳送及接收、語音辨識以及WebView,網頁使用Node.js網頁框架建立,並且使用了基於JavaScript的Three.js套件來建立3D虛擬空間,透過Web Socket串接前後端,虛擬機器人會依照劇情進行地點的移動並且夾取指定物件,本專案使用了機器學習框架Rasa來進行英語口說的語意分析及回覆語句,進而達到與機器人互動的效果。
Avatar of the user.
Please login to comment.

Published: Sep 29th 2022
25
4
0

Tools

github
GitHub
git
Git
nodejs
Node.js
android
Android
javascript
JavaScript

Android APP
WebSocket
Three.js
JavaScript

Share