簡介

我熱衷學習新的事物，在就讀研究所時我們常常需要自己探索新的領域，這段時間我自學了 python 並透過網路上的資源自行撰寫 Machine Learning 的程式；並且我們時常需要協助老師上課、策畫工作坊，在教學的過程中為了能讓學生更了解上課內容，我會去琢磨我的講解方式，因此在研究所不僅培養了程式的能力，也訓練出了基本的溝通能力，希望在未來的工作中能夠發揮所學。

專業能力

• 程式語言：C 、python
• ML 框架： Tensorflow
• 3D繪圖、雷射切割：Fusion 360、Coreldraw

授課經驗

• 福和國中 武器工作坊 - 結合Unity與達靈頓電路製作觸覺回饋遊戲手把                        2019/03~04

         簡介達靈頓電路並帶領學生操作麵包板實現達靈頓電路、引導學生思考如何結合達靈頓電路與武器，最終作出                一個能與Unity 遊戲結合的觸覺回饋遊戲手把。

• 淡江大學  AI 工作坊(助教)                                                                                                                                      2019/11

         協助講師講解影像處理 、深度學習之基本概念，進而透過 MLP、CNN 實作出手寫數字之辨識，最後使用 Jupyter            Notebook 實現鐵達尼號生存率之預測。

• 淡江大學 暑期課程                                                                                                                                                     2020/07

         於暑修期間教授 Arduino 基本操作，並結合 MCS、Linkit Remote 實作出兩作品。

• 淡江大學 數值分析(助教)                                                                                                                      2020/9~2021/1

         於學校課堂上擔任老師之助教，補充說明老師上課所教，主要說明 Arduino 程式撰寫之基本語法與觀念。

碩士論文

• 此論文以卷積神經網路(CNN)及CIRAR-10資料集來進行模型壓縮之研究，針對CNN中全連接層的部分進行壓縮，透過特徵選取(Feature Selection)、隨機取樣(Random Selection)及偽神經元選擇(False Neuron Selection)三種方式來進行優化，經過層層疊代刪除冗於之神經元，找出模型中的最佳子網路，最終將處理完的網路架構放進邊緣裝置(Jetson Nano、Raspberry pi 4)上，使得壓縮過後的模型得以提升在邊緣裝置上的運行速度。

特徵選取(Feature Selection)：

• 特徵選取是機器學習中常用來精簡模型的技巧，本論文參考特徵選擇中包裝法的其中一個做法「前向浮點搜尋法」來進行網路壓縮，而前向浮點搜尋法的作法是，一開始會先建立一個空的集合作為子神經網路，在每一次的搜尋時只加入一個神經元至子神經網路中，並根據加入一測試神經元後子神經網路的辨識率評估該測試神經元的重要性，透過此方法逐一計算出神經元的重要性，最後選出重要性最高之測試神經元加入子神經網路中，作為該次搜尋之結果，經過多次搜尋我們可以找到一個表現最好的子神經網路組合，但此實驗每次搜尋必須將所有神經元都運算過一次，且最後僅取一個神經元，這樣的做法相當耗時，因此模型架構越大越不適用此方法。

隨機取樣(Random Selection)：

• 根據「前向浮點搜尋法」的實驗結果，我們希望能更有效率的將網路進行壓縮，因此使用了「隨機取樣」的方法來將網路進行壓縮，在搜尋的過程我們選擇一部分的神經元加入子神經網路中，並根據該子神經網路之辨識率來判斷該組合的子神經網路表現如何，經過多次的搜尋得到辨識率最高的子神經網路即為經過壓縮的子神經網路，此方法之壓縮時間極快，但每次搜尋的表現相當不穩定，且面對神經元數量較多之網路，此方法將難以找出表現好的子神經網路。

偽神經元選擇(False Neuron Selection)：

• 統整以上兩種方法，我們提出「偽神經元選擇」的概念，此方法是在原始網路的全連接層中加入數個「偽神經元」其參數皆為0，其在辨識的過程中沒有實質貢獻且不會影響準確率，因此將以「偽神經元」作為是否將神經元刪除的基準，對加入偽神經元的網路 我們參考隨機取樣的做法進行「重要性排序 」，根據排序後的結果找出表現最差且重要性低於「偽神經元」的神經元將其刪除，此方法我們可以快速地找出表現較好的子神經網路，並且確保重要的神經元不會在搜尋過程中被誤刪。
• 「重要性排序 」：參考隨機取樣的作法，我們每次搜尋時隨機選取數個神經元進入子神經網路，並將其進行準確率測試，接著我們進一步紀錄每個神經元的「使用次數 」與「所對應之準確率」，並「所對應之準確率」 之總和除以使用次數即可得到該神經元之重要性。

• 本論文根據上述三種方法對CNN模型中的全連接層進行壓縮，將全連接層中的神經元壓縮88%，經過實驗證實「前向浮點搜尋法(FFS)」的效果最好能保有較高的辨識率，但卻最耗時；而「隨機取樣(Random Selection)」效率最高所需時間最少，但效果不穩定不一定能夠找到最好的子神經網路組合；「偽神經元選擇 (FNS)」為三個方法中既能保有辨識率且花費時間不會太高的方法，因此此方法較能夠廣泛運用於網路壓縮領域之研究，最後將壓縮過後的網路分別放在 Jetson Nano 與 Raspberry Pi 4 上進行運算，在速度上分別得到43.7%與70.2%的提升。