Jfw1ajpfeh7b7hjjapy4

游士龍  Jack Yu

  有責任感、思想靈活、堅持不懈  


我是游士龍,畢業於成功大學工程科學研究所碩士班,研究方向是以機器學習(ML)為主要,碩士論文是實作出一中文唇語識別系統,由於目前沒有公開的中文唇語資料集,所以我自製了資料集並提出新的訓練方法(特徵點座標差)來訓練一神經網路,脣形圖片資料部分使用了3D CNN及Resnet來提取圖片特徵,再使用LSTM及GRU來處理時間序列上的特徵,座標差資料部分使用了LSTM及GRU來處理,最後進入全連接層,經過無數的參數優化與模型結合,最終其辨識準確率可高達76%,並使用了python(django)、html、Javascripts以及CSS來實作出一網頁系統。

我大學時是就讀資訊工程學系,會就讀此系的原因是我的強項科目為數理方面,但是對純數以及生物化學方面不感興趣,故選擇資訊工程學系。在此期間學過的程式語言與課程有C、C++、java、matlab、資料庫(php+MYSQL)、網頁設計(html、CSS、Javascripts)、R語言。

我在研究所期間學習機器學習的同時也做了幾個相關的練習,像是預測台電在春假期間的尖峰負載、使用爬蟲爬取網路圖片與文章、人臉表情分析與辨識、手寫數字辨識、使用多執行緒加速運作、使用YOLO來偵測圖片中之物件、中文文本之分類以及實作keras、pytorch、tensorflow這三個深度學習框架的小練習。在此期間也有參加了幾個競賽,像是kaggle的Predict Future Sales、Social Media Prediction Challenge以及第一屆的法律黑客松,這些點點滴滴讓我在2年的研究所期間青春不留白。

Data Scientist \ Machine Learning engineer \ Deep Learning engineer \ 數據科學家

Taipei City,TW

mail: [email protected]

技能


程式設計

  • Python
  • C/C++
  • java
  • Tensorflw
  • Keras
  • Pytorch
  • Sklearn
  • OpenCV
  • Django
  • MySQL
  • HTML5
  • CSS
  • Javascripts
  • Matlab
  • R Language

專長

  • Deep Learning
  • Machine Learning
  • Data Mining
  • LSTM/GRU
  • CNN/Resnet
  • NLP(Natural Language Processing)
  • Word Embbeding
  • Word2Vec
  • Crawler
  • Digital Image Processing


工具

  • SublimeText
  • Anaconda
  • Jupyter Notebook
  • Visual Studio
  • Visual Studio Code
  • QT
  • Eclipse
  • Android Studio
  • Sourcetree

學習歷程

國立成功大學工程科學系, 碩士學位, 工程科學所資訊組(資訊工程相關), 2018 ~ 2020

畢業論文 基於唇部特徵點座標差之中文唇語識別系統  碩士論文
  • 目前並沒有公開的中文唇語資料集,故本研究自製中文唇語資料並以此來做訓練。
  • 資料部分除了唇語影片之外,還有本研究提出的方法(唇部特徵點座標差)來當作神經網路的輸入,本研究是使用dlib的68個特徵點模型來得到臉部輪廓,其中第49~68為唇部輪廓,以此來抓取唇形圖片並且保存這20個唇部特徵點座標,而前一張與後一張圖片的20個特徵點座標差就是嘴唇在運動時的變化,本研究神經網路的輸入就是脣形圖片與特徵店座標差。
  • 模型選擇,圖片部分是先使用3D CNN或Resnet來提取圖片特徵,在經過LSTM或GRU來抓取序列上的資訊;而座標差的部分只考慮序列上的資訊,故使用LSTM或GRU來訓練,兩者特徵訓練完後會合併起來,最後經過全連接層對應到所要分類的目標標籤。
  • 本研究的系統為網頁系統,是以django為框架,並使用html、CSS、Javascripts來寫網頁前端,後端部分則是使用python來撰寫。
已修畢之課程 共修習24學分
  • 人工智慧、創意物聯網應用設計(arduino)、行動網路與服務、組織工程、半導體製程技術、隨機程序、Android應用程式開發、資料科學與人工智慧競技。

國立臺南大學資訊工程系, 學士學位, 2014 ~ 2018

專題研究 智慧旅遊眼  專題報告
  • 將拍攝到的文字畫面使用光學字元辨識(OCR)來得到文字,再將文字POST到翻譯網頁上,最後再把翻譯結果GET回來並以語音進行輸出
已修畢之課程 共修習142學分
  • 程式設計(C)、程式設計(C++)、計算機概論、微積分、普通物理學、離散數學、線性代數、資料結構、工程數學、數位電路設計、物件導向設計(Java)、網頁程式設計、機率與統計、組合語言與系統程式、計算機網路、數位系統、資料庫系統、作業系統、演算法、計算機組織、數值方法、正規語言、訊號與系統、網路程式設計、組合數學、網路規劃與管理、嵌入式系統設計、資訊安全、電腦對局理論與應用

工作經歷

國立成功大學工程科學系, 行政人員 工讀生, Oct 2018 ~ Jun 2019

  1. 系辦的文書資料處理
  2. 系辦與學校間的公共文件傳遞
  3. 系辦電話接聽
  4. 系所系統管理
  5. 系所學生的大小事處理

專案經歷與練習

1. kaggle的Predict Future Sales
  • 根據每個商店的歷史銷售數據來預測每個商店出售的產品總數
2. Social Media Prediction Challenge
  • 根據社群媒體上的貼文(包含照片與敘述)來預測該篇貼文的點閱率之高低
3. 法律黑客松  PPT
  • 與台北大學、台灣大學以及東吳大學的法律系同學共同參與的法律判決書分析比賽
4. 預測台電的尖峰負載
  • 根據台電給的資訊來預測台電2019春假期間的尖峰負載
5. 爬蟲抓取資料
  • 使用爬蟲抓取flickr的圖片以及文字敘述,並以多執行緒來提升抓取的速度
6. 表情辨識
  • 根據某表情資料集來做人臉表情的分析與辨識
7. 手寫數字辨識
  • 使用MNIST的資料集來實作手寫數字辨識
8. 物件辨識
  • 使用YOLO來對flickr的圖片抓取特定物件
9. 中文文本之分類
  • 使用大陸的某新聞頭條資料集來分析各個新聞應屬於哪一個類別
10. 資料庫系統-產學合作
  • ⼤學時因課堂需求與奕成五金行進行產學合作,⽽本專案藉由開發資料庫管理系統取代紙本的⽅式進⾏五金行的管理,進⽽提升⼯作效率

法律黑客松

與台北大學、台灣大學以及東吳大學法律系合作,用數值模型、分類模型、文本LSTM模型合併做出一個性侵案件慰撫金預測,但因為資料標記的數量太少,所以使用LightGBM的模型預測效果比神經網路好了一些。

Paragraph image 04 00@2x
Paragraph image 04 01@2x

Social Media Prediction Challenge

對flickr貼文中的圖片使用YOLO來偵測,偵測是否有coco資料集中的80個物件,因為圖片中的某些物件可能會影響點閱率

Paragraph image 04 00@2x
Paragraph image 04 01@2x

資料庫系統-產學合作

⼤學時因課堂需求與奕成五金行進行產學合作,⽽本專案藉由開發資料庫管理系統取代紙本的⽅式進⾏五金行的管理,進⽽提升⼯作效率

Paragraph image 04 00@2x
Paragraph image 04 01@2x

大學專題

將拍攝到的文字畫面使用光學字元辨識(OCR)來得到文字,再將文字POST到翻譯網頁上,最後再把翻譯結果GET回來並以語音進行輸出

Paragraph image 04 00@2x
Paragraph image 04 01@2x

碩士論文

自製中文唇語資料並以此來做訓練,本研究提出一個新的方法,使用唇部特徵點座標差來與圖片一起當作神經網路的輸入,最終的準確率可達76%

Paragraph image 04 00@2x
Paragraph image 04 01@2x
Powered by CakeResumePowered by CakeResume