科技日新月異,而我希望透過不斷精進自己來跟上時代的腳步。
Apr 2019 - present
Apr 2019- Jan 2019
開發該公司專用教學系統,協助老師講課時與學生的互動,學生回家也能使用網頁版教材中的題目進行練習。
使用技術 /
UNITY C#, html, javascript
協助開發不同小型專案,如line bot 機器人、室內建築導覽網站、3D模型建模。
使用技術 /
python, LineBot API, html, javascript, 3Dmax
Mediapipe Hands and Two-Stream Inflated 3D-CNN for Taiwanese Sign Language Recognition
研究所時期的主要研究方向為資料分析、AI影像分析、深度學習相關技術,並再研二時期與教授討論後決定以台灣手語辨識及台灣手語專家資料庫為主要主題,過程找到台灣聾人協會及文化部合作,並開發手語辨識專案,最後將過程及結果寫成畢業論文。
論文從資料採集乃至之資料驗證及分析都有請專業手語人員協助,保持資料的可信度及泛用性。
程式架構主要是透過Mediapipe 抓取手部骨架,並將骨架資訊及光流影像組合成新的特徵圖,通過改良後的I3D-CNN演算法進行台灣手語單字辨識。
此系統能夠辨識出常用的100個台灣手語單字,其辨識準確率達到95%以上。
為了有效進行台灣手語單字辨識系統,且保持資料公正性及可信度,為此研究設計了一個專門蒐集專家手語資料的網頁,首先前往啟聰學教以及手語協會尋找合適志工或聾人學生,並發給他們每個人獨特的QRCODE方便身分驗證,只要協助實驗者有空閒時間,就可使用該網站錄製手語單字影片,並將錄製結果連結後端資料庫,將錄製完成的手語壓縮並依類別及使用者歸類存入SERVER端資料庫,也會記錄每位使用者各自錄製完成的手語單字並呈現在網站中。
使用技術:
python flask, html, javascript
導覽影片https://drive.google.com/file/d/1EXA3Mk3I7cfCSlbZWjGs7Csbx2TR8QIQ/view?usp=sharing
將遊戲與語言學習作結合,並且放在時下流行的VR之中,給予使用者耳目一新的遊戲體驗。在廚房中,可以利用控制器在這個空間裡面移動,根據客人的點餐在廚房中收集各種材料,並且製作出一道精緻的日式料理。在遊戲的過程中使用者也可以跟著語音一起講出來訓練口說的能力,也能了解日常食物名稱的日文發音。 另外,也為了這款遊戲開發一個附屬手機APP,在手機上以小遊戲方式學習日文,遊戲內容均為VR遊戲中相關,讓玩家可以在遊戲以外的時間也可以練習日文以鞏固所學。
使用技術:unity c#
導覽影片: https://drive.google.com/file/d/148-6r3_HJTREMZWRnUorFxkcFKXOGZUI/view?usp=sharing
得獎紀錄
放視大賞VR遊戲組-入圍
得獎PPT
https://drive.google.com/file/d/15kA4a2Dmb3rlLrShcb280YjXmQXrgTf7/view?usp=sharing
科技日新月異,而我希望透過不斷精進自己來跟上時代的腳步。
Apr 2019 - present
Apr 2019- Jan 2019
開發該公司專用教學系統,協助老師講課時與學生的互動,學生回家也能使用網頁版教材中的題目進行練習。
使用技術 /
UNITY C#, html, javascript
協助開發不同小型專案,如line bot 機器人、室內建築導覽網站、3D模型建模。
使用技術 /
python, LineBot API, html, javascript, 3Dmax
Mediapipe Hands and Two-Stream Inflated 3D-CNN for Taiwanese Sign Language Recognition
研究所時期的主要研究方向為資料分析、AI影像分析、深度學習相關技術,並再研二時期與教授討論後決定以台灣手語辨識及台灣手語專家資料庫為主要主題,過程找到台灣聾人協會及文化部合作,並開發手語辨識專案,最後將過程及結果寫成畢業論文。
論文從資料採集乃至之資料驗證及分析都有請專業手語人員協助,保持資料的可信度及泛用性。
程式架構主要是透過Mediapipe 抓取手部骨架,並將骨架資訊及光流影像組合成新的特徵圖,通過改良後的I3D-CNN演算法進行台灣手語單字辨識。
此系統能夠辨識出常用的100個台灣手語單字,其辨識準確率達到95%以上。
為了有效進行台灣手語單字辨識系統,且保持資料公正性及可信度,為此研究設計了一個專門蒐集專家手語資料的網頁,首先前往啟聰學教以及手語協會尋找合適志工或聾人學生,並發給他們每個人獨特的QRCODE方便身分驗證,只要協助實驗者有空閒時間,就可使用該網站錄製手語單字影片,並將錄製結果連結後端資料庫,將錄製完成的手語壓縮並依類別及使用者歸類存入SERVER端資料庫,也會記錄每位使用者各自錄製完成的手語單字並呈現在網站中。
使用技術:
python flask, html, javascript
導覽影片https://drive.google.com/file/d/1EXA3Mk3I7cfCSlbZWjGs7Csbx2TR8QIQ/view?usp=sharing
將遊戲與語言學習作結合,並且放在時下流行的VR之中,給予使用者耳目一新的遊戲體驗。在廚房中,可以利用控制器在這個空間裡面移動,根據客人的點餐在廚房中收集各種材料,並且製作出一道精緻的日式料理。在遊戲的過程中使用者也可以跟著語音一起講出來訓練口說的能力,也能了解日常食物名稱的日文發音。 另外,也為了這款遊戲開發一個附屬手機APP,在手機上以小遊戲方式學習日文,遊戲內容均為VR遊戲中相關,讓玩家可以在遊戲以外的時間也可以練習日文以鞏固所學。
使用技術:unity c#
導覽影片: https://drive.google.com/file/d/148-6r3_HJTREMZWRnUorFxkcFKXOGZUI/view?usp=sharing
得獎紀錄
放視大賞VR遊戲組-入圍
得獎PPT
https://drive.google.com/file/d/15kA4a2Dmb3rlLrShcb280YjXmQXrgTf7/view?usp=sharing