Dzjnrjzr4ltq5ibezhic

林暐峪   

  雲林縣,台中市,TW 

電子信箱: [email protected]

Skill: AI、Unity、web、AR、VR

碩士論文

Mediapipe Hands and Inflated 3D-CNN for Taiwanese Sign Language Recognition 

研究所時期的主要研究方向為資料分析、AI影像分析、深度學習相關技術,並再研二時期與教授討論後決定以台灣手語辨識及台灣手語專家資料庫為主要主題,過程找到台灣聾人協會及文化部合作,並開發手語辨識專案,最後將過程及結果寫成畢業論文。 

 論文從資料採集乃至之資料驗證及分析都有請專業手語人員協助,保持資料的可信度及泛用性。 程式架構主要是透過Mediapipe 抓取手部骨架,並將骨架資訊及光流影像組合成新的特徵圖,通過改良後的I3D-CNN演算法進行台灣手語單字辨識。

而最後開發完成的系統能夠辨識出聾啞人士常用的98個台灣手語單字,且辨識準確率達到97.4%。此成果也超越了大部分台灣手語辨識的相關研究,並利於未來的研究發展。

                                         網頁/應用程式專案

LINE線上點餐機器人

使用程式語言: Python, Git

製作軟體: Git, heroku, Line Developers

系統概述:LINE點餐器人是一款自製機器人,只要加入機器人好友就能跟他點餐,並將點餐結果傳至後台,也可以透過轉帳方式線上付款。


開始點餐

加入好友後即可利用下方六宮格開始點餐。
下方範例:  選擇飲料類菜單,接著選擇點餐輸入數量後跳出是否確定,如選擇確定則完成點餐。
Paragraph image 06 00@2x
Paragraph image 06 01@2x
Paragraph image 06 02@2x



其他餐點

點及六宮格上的不同餐點會跳出不同種類菜單。


Paragraph image 04 00@2x
Paragraph image 04 01@2x


付費方式

點餐完後將點餐資料及價錢傳送給商家後台,消費者透過加入店家收款LINE帳號加入商家好友,最後用line內建轉帳將商品的價錢轉帳給商家。

Paragraph image 04 00@2x
Paragraph image 04 01@2x

手語資料庫蒐集網站 



使用程式語言

Python, javascript, html, node.js


系統概述:

手語資料庫蒐集網站 為了有效進行台灣手語單字辨識系統,且保持資料公正性及可信度,為此研究設計了一個專門蒐集專家手語資料的網頁。


使用教學影片:https://drive.google.com/file/d/1EXA3Mk3I7cfCSlbZWjGs7Csbx2TR8QIQ/view?usp=sharing



Paragraph image 01 00@2x

受測人員

首先前往啟聰學教以及手語協會尋找合適志工或聾人學生,並發給他們每個人獨特的QRCODE方便身分驗證,只要協助實驗者有空閒時間,就可使用該網站錄製手語單字影片。




連結後端資料庫

將錄製結果連結後端資料庫,錄製完成的手語切成固定40張frame。

最後將手語類別及使用者代號歸類存入SERVER端資料庫,創建相對應資料夾存放,並回傳個人儲存成功的單字編號回前端,並顯示在介面中。

Paragraph image 04 00@2x
Paragraph image 04 01@2x

                                                 遊戲專案作品


專案

Projects 02 00@2x

三視圖教學系統

使用程式語言: 

         C# 

製作軟體

         UNITY

系統概述 

        本此教學系統是在輔教公司擔任程式設計師所開發,此系統可以在平板、網頁以及電腦中使用,老師們可以透過此系統更改四方型立體圖不同樣貌,介面中就會顯示不同視圖的圖像,亦可以透過設計不同的視圖,還原四方形的樣貌,此系統也有考試模式及練習模式,幫助老師課堂中出題,以及學生回家練習。

Projects 02 00@2x 6227e1dd8d579aa7eb17ca5279e4e648533b56c12c0236273259f97439ba38fe

 VR日文教學遊戲-

御菓子日本料理店

使用程式語言: 

         C# 

製作軟體

         UNITY,、STEAM VR 

系統概述 

        本系統「御菓子-VR日本料理店」旨在結合時下熱門VR(虛擬實境)建立一款有教育學習與娛樂為一體的學習軟體。

系統特色 

        將遊戲與語言學習作結合,並且放在時下流行的VR之中,給予使用者耳目一新的遊戲體驗。在我們的廚房中,可以利用控制器在這個空間裡面移動,根據客人的點餐在廚房中收集各種材料,並且製作出一道精緻的日式料理。在遊戲的過程中使用者也可以跟著語音一起講出來訓練口說的能力,也能了解日常食物名稱的日文發音,有機會到日本的話就能大膽的用自己所學來點餐了。 另外,我們也為了這款遊戲增加了一個附屬APP,可以在智能手機上以小遊戲方式學習日文,遊戲內容均為VR遊戲中相關,讓玩家可以在非使用這款VR遊戲以外的時間也可以練習日文以鞏固所學。

VR遊戲軟體功能操作說明 

遊戲開始後將先進行遊戲說明與操作教學,教學結束後可以選擇關卡進行遊戲。

Paragraph image 03 00@2x a10257c22ab8b43ba541f7170ecfbbafea76718648ab6504b9015d9950ed2250

起始畫面

遊戲開始後將先進行遊戲說明與操作教學,教學結束後可以選擇關卡進行遊戲。

遊戲說明

遊戲一開始將會出現的操作說明,玩家可以透過VR手把進行打字及料理的製作,接著將製作好的餐點拿給客人。

Paragraph image 06 00@2x 87e77cbcc732097bbd3c1ea0cc62ddde26e5adb1eceee8497e66e58206763cfd
Paragraph image 06 01@2x 13ec779ca27733557a5d2830d84049bfdfc54edd6ade36ee5766eea97298cf4a
Paragraph image 06 02@2x 3081b368fb6b38d988063c1300041f0c2b0cb92aae2fac6f55abc21c8e235124

VR遊戲中畫面

Paragraph image 03 00@2x a10257c22ab8b43ba541f7170ecfbbafea76718648ab6504b9015d9950ed2250

進入遊戲

進入關卡後會看到客人進門,客人會進行點餐,打開左手邊的收銀機會出現日文鍵盤,將客人點的餐點日文正確輸入鍵盤。

Paragraph image 05 00@2x d170fe8d3169a1e4180deac7150bb5e073029308e837c64ef461e01445ee7d3f
Paragraph image 05 01@2x 48a2e32b6416927a94cff749639e9bc2ccdc88b497b221b2c2ee9fe56c1e7cdd

點餐及菜單

        鍵盤打開後可以使用右手控制器選取日文拼音,為了讓沒有日文基礎的玩家可以順利進行遊戲,與當前遊戲的流暢性,目前版本於鍵盤左下角設置了提示,可依照提示去進行答案回答。

        輸入完餐點後右手邊螢幕上會自動出現食物需要的食材以及做法,根據菜單在廚房中拿取食材,完成餐點。

Paragraph image 05 00@2x d170fe8d3169a1e4180deac7150bb5e073029308e837c64ef461e01445ee7d3f
Paragraph image 05 01@2x 48a2e32b6416927a94cff749639e9bc2ccdc88b497b221b2c2ee9fe56c1e7cdd

餐點製作

將餐點所需食材放入器具中,轉開瓦斯,即會自動完成餐點,若放入的食材不全或是錯誤,則無法製作。

Paragraph image 03 00@2x a10257c22ab8b43ba541f7170ecfbbafea76718648ab6504b9015d9950ed2250

製作完成

餐點製作完成後,將餐點交給客人就完成了,客人離開餐廳後下一位客人將會進來。

內部儲存資料庫

Paragraph image 03 00@2x a10257c22ab8b43ba541f7170ecfbbafea76718648ab6504b9015d9950ed2250

自動儲存

遊戲設置了自動存檔的功能,若是使用者感到暈眩或是累了可以隨時關掉遊戲,下次開啟遊戲會讀取你當時闖關紀錄。



Projects 02 00@2x 6227e1dd8d579aa7eb17ca5279e4e648533b56c12c0236273259f97439ba38fe

御果子VR日式料理店

-附屬學習日文手機APP

使用語言: 

C# 

製作軟體:

UNITY

系統概述 

        VR日本料理店附屬手機APP,可以在智能手機上以小遊戲方式學習日文,遊戲內容均為VR遊戲中相關,讓玩家可以在非使用這款VR遊戲以外的時間也可以練習日文以鞏固所學。

開始遊戲

Paragraph image 01 00@2x 1a3881c875a7a1fb1e859435ef9363b5ddf36f4e73d1ad63a1a0af69f2a9f745

選擇關卡

此畫面可以選擇關卡,點擊50音圖示可以進入練習畫面。

點擊Level 1可以進入第1關,第1關設有10題,對應VR遊戲第一關白飯 。 

點擊Level 2可以進入第2關,第2關設有8題,對應VR遊戲第二關拉麵。 

點擊Level 3可以進入第3關,第3關設有7題,對應VR遊戲第三關壽喜燒。

遊戲畫面

Paragraph image 05 00@2x d170fe8d3169a1e4180deac7150bb5e073029308e837c64ef461e01445ee7d3f
Paragraph image 05 01@2x 48a2e32b6416927a94cff749639e9bc2ccdc88b497b221b2c2ee9fe56c1e7cdd

作答及結算

        玩家需於10秒內根據題目選擇正確的日文答案。 

        1.點擊此處可以回到主選單。 

        2.此方格將進行倒數10秒,需於倒數結束前選擇答案。 

        3.題目:中文題目與圖示。 

        4.每題題目會有3個選項可以選擇,僅有一個是正確答案。

        該關卡作答完畢後,可以看到正確答案以及是否正確,按下字版也會再重複撥放此單字,點擊下方 "回主選單" 按鈕可以回到主選單。

練習

Paragraph image 05 00@2x d170fe8d3169a1e4180deac7150bb5e073029308e837c64ef461e01445ee7d3f
Paragraph image 05 01@2x 48a2e32b6416927a94cff749639e9bc2ccdc88b497b221b2c2ee9fe56c1e7cdd

50音練習

         點擊單字可以發出相對應的五十音發音,進行練習。 下方箭頭可以切換為濁音/半濁音練習。


Projects 02 00@2x 6227e1dd8d579aa7eb17ca5279e4e648533b56c12c0236273259f97439ba38fe

PC遊戲-

屈原檢粽子

端午應景小遊戲


使用語言:

C# 

製作軟體: 

UNITY 

系統概述 

        屈原檢粽子是一款端午節時製作的遊戲,玩家必須透過操控湖裡的屈原檢取粽子及其他物品獲得分數的小品遊戲。 

系統導覽影片

https://youtu.be/NUO5lcg0-0k


起始畫面

Paragraph image 05 00@2x d170fe8d3169a1e4180deac7150bb5e073029308e837c64ef461e01445ee7d3f
Paragraph image 05 01@2x 48a2e32b6416927a94cff749639e9bc2ccdc88b497b221b2c2ee9fe56c1e7cdd

視角設定

玩家可透過左下角fpp及tpp按鈕選擇要用第一人稱或第三人稱視角進行遊戲,左圖為選擇不同視角之圖片

遊戲說明



操作與遊戲說明

使用鍵盤及滑鼠控制屈原進行遊戲。

Paragraph image 02 00@2x cb1a9cce8ec2420576e7f93d4a97d2663cb38d3060b7943702140d7f6da9f81e

遊戲畫面

Paragraph image 05 00@2x d170fe8d3169a1e4180deac7150bb5e073029308e837c64ef461e01445ee7d3f
Paragraph image 05 01@2x 48a2e32b6416927a94cff749639e9bc2ccdc88b497b221b2c2ee9fe56c1e7cdd

遊戲進行

        遊戲開始後會從湖頂掉落垃圾及粽子,玩家須操控屈原並利用屈原手中的籃子接取掉落物品。

        左圖為選擇不同視角之遊戲畫面。

結算畫面

時間結束後會出現結算畫面,畫面中會有獲得的分數及依玩家的表現出現的評價。

Paragraph image 06 00@2x 87e77cbcc732097bbd3c1ea0cc62ddde26e5adb1eceee8497e66e58206763cfd
Paragraph image 06 01@2x 13ec779ca27733557a5d2830d84049bfdfc54edd6ade36ee5766eea97298cf4a
Paragraph image 06 02@2x 3081b368fb6b38d988063c1300041f0c2b0cb92aae2fac6f55abc21c8e235124
Paragraph image 03 00@2x a10257c22ab8b43ba541f7170ecfbbafea76718648ab6504b9015d9950ed2250

離線排行榜

        每次玩完遊戲後都會記錄你的成績, 透過點擊主畫面的獎盃按鈕即可觀看目前的排行榜。此行榜會記錄所有在此台電腦遊玩過此遊戲的玩家成績, 就算關掉遊戲此排行榜紀錄依然會保留。


Projects 02 00@2x

網頁遊戲-

雷霆炸機

THUNDER CHICKEN

使用語言:

JavaScript ,phaser

系統概述  

雷霆炸機是受知名街機遊戲(雷電)所啟發,所創造的網頁遊戲 系統特色 可以讓玩家客制化自己的戰機,透過不斷地遊玩及嘗試搭配出最適合自己的戰機。

導覽影片: https://www.youtube.com/watch?v=a7ORCd566KQ

遊戲網址: http://www.cyut.edu.tw/~s10414109/nal  

準備畫面

Paragraph image 05 00@2x d170fe8d3169a1e4180deac7150bb5e073029308e837c64ef461e01445ee7d3f
Paragraph image 05 01@2x 48a2e32b6416927a94cff749639e9bc2ccdc88b497b221b2c2ee9fe56c1e7cdd

音量開關及遊戲說明

       左圖為音量開關畫面及遊戲的操作方式, 遊戲說明。

        遊戲透過上下左右移動戰機,透過Z件使用技能擊破最後BOSS後便可通關遊戲,此外本遊戲也能在手機上面遊玩。

能力值及技能配點

玩家可以透過此系統搭配出適合自己的戰機能力,首先先選擇子彈的發射模式。接著選擇想要搭配的技能,最後選擇戰機的特性。

Paragraph image 06 00@2x 87e77cbcc732097bbd3c1ea0cc62ddde26e5adb1eceee8497e66e58206763cfd
Paragraph image 06 01@2x 13ec779ca27733557a5d2830d84049bfdfc54edd6ade36ee5766eea97298cf4a
Paragraph image 06 02@2x 3081b368fb6b38d988063c1300041f0c2b0cb92aae2fac6f55abc21c8e235124

遊戲內畫面

Paragraph image 05 00@2x d170fe8d3169a1e4180deac7150bb5e073029308e837c64ef461e01445ee7d3f
Paragraph image 05 01@2x 48a2e32b6416927a94cff749639e9bc2ccdc88b497b221b2c2ee9fe56c1e7cdd

開始遊戲

        進入遊戲後首先會出現出大量的小型敵機,玩家如果被小敵機撞到則會扣除1點生命值,擊倒一台小敵機獲得10分 ,左下角為生命值,右下角為技能是否可以使用。

        假如玩家以擊破10台小敵機則會出現大BOSS宇宙戰艦  上方為BOSS當前血量 。

BOSS的攻擊模式

一開始的BOSS只會使用普通的子彈攻擊, 而當BOSS被攻擊後會依剩餘的血量而做出不同的反擊技能。 下圖為BOSS的各種技能。

BOSS血量剩餘75% 開始使用巨型火球掃射。 

BOSS血量剩餘50% 火球及小飛機生成變多,速度更快。 

BOSS血量剩餘25% BOSS發射一整排無法被削除的飛彈。 

Paragraph image 06 00@2x 87e77cbcc732097bbd3c1ea0cc62ddde26e5adb1eceee8497e66e58206763cfd
Paragraph image 06 01@2x 13ec779ca27733557a5d2830d84049bfdfc54edd6ade36ee5766eea97298cf4a
Paragraph image 06 02@2x 3081b368fb6b38d988063c1300041f0c2b0cb92aae2fac6f55abc21c8e235124

結算

結算畫面

當BOSS被擊倒或玩家死亡後會出現當次結算畫面, 會顯示當次是否擊倒BOSS及能力值配點和得到分數。

Paragraph image 04 00@2x 0a60eca693a10c928b852fbc59ecb80f69e59f0d26acd4c74f39c7f256369567
Paragraph image 04 01@2x d7b528f9ab8e34777562695011fbbc2a4f3f28d8b47f4c8e57ee7c3410afdfa8

各種能力遊戲畫面

下圖為選擇不同的子彈模式的遊戲畫面。

由右至左分別是集中型子彈,分裂型子彈,掃射行子彈。

Paragraph image 06 00@2x 87e77cbcc732097bbd3c1ea0cc62ddde26e5adb1eceee8497e66e58206763cfd
Paragraph image 06 01@2x 13ec779ca27733557a5d2830d84049bfdfc54edd6ade36ee5766eea97298cf4a
Paragraph image 06 02@2x 3081b368fb6b38d988063c1300041f0c2b0cb92aae2fac6f55abc21c8e235124

選擇不同技能的遊戲畫面

由右至左分別是飛彈技能,盾牌技能,雷射光技能。
Paragraph image 06 00@2x 87e77cbcc732097bbd3c1ea0cc62ddde26e5adb1eceee8497e66e58206763cfd
Paragraph image 06 01@2x 13ec779ca27733557a5d2830d84049bfdfc54edd6ade36ee5766eea97298cf4a
Paragraph image 06 02@2x 3081b368fb6b38d988063c1300041f0c2b0cb92aae2fac6f55abc21c8e235124