—
林厚安 Hou-An, Lin
高 EQ、積極、抗壓性高、負責
畢業於國立中山大學資訊工程研究所，研究方向為利用深度學習建立語音辨識以及語音合成為主。參與過的產學合作計畫為中山大學管理學院的智慧商務平台。曾經負責其中的語音辨識以及語音合成系統。
在研究過程中，投稿至研討會以及期刊論文被接受：ROCLING 2021、2022 (中華民國計算語言學與語音處理研討會)、JISE。
主要接觸的程式語言為：Python、C++，深度學習框架有 Pytorch、Tensorflow等等，以及其他如 JavaScript、Docker等。
Changhua, Taiwan
0978606298 [email protected]
學歷 Education
2020 - 2022
國立中山大學
資訊工程學系 碩士
論文題目
利用語音合成和對抗性文本鑑別器對語音辨識進行訓練以改進單語言以及語碼轉換下的語音辨識系統
指導教授：陳嘉平教授
Python、PyTorch
- 基於端到端 Conformer 模型架構，應用於語音辨識領域。
- 加入文本鑑別器，應用生成對抗網路的概念，來鑑別語音辨識模型輸出的文本以及 ground-truth 文本，初步的改善拼字錯誤的問題，以提昇語音辨識系統的效能。
- 加入使用 Conformer-FastSpeech2 語音合成模型，並將 FastSpeech2 中的 Transformer 架構改為 Conformer 架構，改良合成語音的質量。並將語音合成模型整合至語音辨識系統，將語音辨識輸出的文本合成對應的梅爾頻譜圖，並計算合成梅爾頻譜圖與 ground-truth 梅爾頻譜圖進行計算，再將損失回傳給語音辨識系統，用來改善音調對於辨識所造成的錯誤，以提昇語音辨識系統的效能。
- 將文本鑑別器以及語音合成模型加入至語音辨識系統，應用 CycleGAN 的概念，將語音合成以及文本鑑別器的對語音辨識系統的改善繼承至此語音辨識系統上，同時改善拼字錯誤以及音調對於辨識所造成錯誤的問題。
學業成績
- 研究所成績：GPA 3.7。
- 已修畢課程：高等電腦網路、高等作業系統、進階資料探勘、機器學習、超啟發式演算法、深度學習等28個學分。
2016 - 2020
逢甲大學
應用數學系 學士
專題實作
數字與英文字母辨識 指導教授：林英志教授
Python、Tensorflow、OpenCV
- 透過 MLP 網路架構，來進行影像辨識。
- 以 Python、Tensorflow、OpenCV 進行開發以及圖片區塊的影像辨識。
學業成績
- 大學歷年成績：系排名 6 / 88，GPA 3.7 / 4.0。
- 已修畢課程：資料搜索與探勘、類神經網路與應用、邏輯設計、統計學、機率學、計算機概論、計算機程式-C、物件導向設計、工程統計與軟體應用、線性代數、微積分、高等微積分、離散數學、拓墣學等 138 個學分。
經歷 Experience
Project 。國立中山大學智慧電子商務研究中心：人工智慧商務平台
- 與中山大學管理學院合作，建置人工智慧商務平台。
- 利用深度學習架構建立台灣腔以及北京腔的語音合成系統，使用架構為 Conformer-Fastspeech2 作爲合成器以及 Parallel WaveGAN 作爲聲碼器，以縮短合成時間。
- 並以 Pipeline 排程將長句以短句的形式進入系統合成，來降低合成時間。
- 與校內資管系合作，將系統與無人書店機器人進行串接。
Project。國立中山大學智慧電子商務研究中心：人工智慧商務平台
- 與中山大學管理學院合作，建置人工智慧商務平台。
- 利用深度學習架構建立即時語音辨識系統，使用架構為 Conformer-Transformer，並以 Contextual Block Processing 以及Blockwise Synchronous Beam Search 方法達到 Real-time辨識的結果。
- 以提供自動上字幕的系統，幫助遠距教學課程，可以減少人力成本以及縮短上字幕時間。
- 在教育方面的字元錯誤率可以達到 20-25% 的錯誤率。
Conference。ROCLING 2021
- 論文名稱：Exploiting Low-Resource Code-Switching Data to Mandarin-English Speech Recognition Systems
- 第 33 屆計算語言學與語音處理研討會。
- 論文內容是基於 Transformer 架構建立的語碼轉換語音辨識系統，探討在少量語碼轉換資料的情況下，如何開發一個語碼轉換的語音辨識系統，且該論文已被接受並於研討會上發表。
Conference。ROCLING 2022
- 論文名稱：Mandarin-English Code-Switching Speech Recognition System For Specific Domain
- 第 34 屆計算語言學與語音處理研討會。
- 論文內容是基於 Conformer 架構建立的語碼轉換語音辨識系統，探討在語碼轉換資料的情況下，對特定領域的資料進行調試並達到系統上的改進，且該論文已被接受並於研討會上發表
Journal。Journal of Information Science and Engineering
- 論文名稱：Training Speech Recognition Model with Speech Synthesis and Text Discriminator
- 論文內容是基於 Conformer 架構建立的語音辨識系統，並針對語音辨識模型進行改進。其中提出的架構如下：
- 加入文本鑑別器對語音辨識模型的輸出進行判別並將損失回傳給語音辨識模型以進行訓練
- 結合語音合成模型以加強語音辨識模型的訓練
- 結合文本鑑別器與語音合成模型，利用生成對抗網路概念對語音辨識模型訓練
技能 Skill
程式語言
- Ｇood: Python、C++
- Moderate: Html、JavaScript
其他
- Machine Learning: Pytorch、Tensorflow
- Version Control: Github、Git
- Containerization: Docker
- IDE/Editor: Visual Studio、Jupyter
- Others: Photoshop、Excel
