Profile 03 00@2x

Julie Wang | 王奕雯

現任職於聯發科技股份有限公司(MediaTek),於Android手機顯示團隊工作,擔任軟韌體開發工程師。曾就讀於國立中山大學資訊工程所,研究所方向以深度學習技術結合語音合成、聲音事件偵測為主。擅長程式語言C/C++與Python,深度學習方面使用 PyTorch、Tensorflow,額外接觸過CSS、HTML、Arduino、Android。


經歷 Experience

Work聯發科技股份有限公司Android手機多媒體系統軟韌體開發工程師  Jan 2022 - Present

  • 於 Android smartphone display team 擔任開發工程師
  • 開發 Android multimedia framework、driver、function
  • 於 Foldable display,開發 Secondary display 功能
  • 協助客戶解決相關 issue,並 refine framework、vendor

Project.國立中山大學智慧電子商務研究中心:人工智慧平台

  • 與國立中山大學資訊管理學院合作,共同建置人工智慧平台 
  • 利用深度學習技術,建置單語者台灣腔中文即時語音合成系統,並將其佈署。 
  • 與校內麗文書局合作,將系統與無人書店之聊天機器人串接。

Project中華電信研究院:進階語者驗證與聲音事件偵測技術

  • 與中華電信巨量資料研究所合作,針對室內聲音事件偵測任務進行開發。
  • 未來將應用於居家安全系統、老人照護系統等等。
  • 聯名參賽 DCASE 2021 Task 4 Sound Event Detection and Separation in Domestic Environments。 

Project科技部專題研究:以深度學習進階模型架構探討語音訊號中語者訊息之擷取與應用

  • 探討 Transformer 架構在語音訊號領域中之應用。
  • 應用語者資訊於語音合成、語音辨識、語者辨識之任務。
  • 於該計畫著重於建置多語者跨語言語音合成系統。

ChallengeDCASE 2021 Task 4 Sound Event Detection and Separation in Domestic  Environments

  • 針對家庭環境中的聲音事件進行檢測。
  • 需在規定的使用資料下,針對不同的實際應用場景,建置相應的系統。
  • 最終排名,Team Ranking 為 7/28System Ranking 為 14/80 (隊名:Wang_NSYSU_task4_SED)。

ConferenceROCLING 2020

  • 論文名稱:Real-Time Single-Speaker Taiwanese-Accented Mandarin Speech Synthesis System  
  • 投稿於第 32 屆計算語言學與語音處理研討會
  • 論文內容是基於 Tacotron2 與 GST-Tacotron2 架構,探討不同腔調的中文語料,在配合預訓練與微調參數的方式,建置一個單語者台灣腔中文語音合成系統,且該論文已被接受並於研討會上發表。

ConferenceAPSIPA ASC 2021

  • 論文名稱:Semi-Supervised Sound Event Detection Using Self-Attention and Multiple Techniques of Consistency Training 
  • 投稿於第 13 屆 Asia Pacific Signal and Information Processing Association Annual Summit and Conference
  • 論文內容是利用卷積層獲取局部資訊與 Transformer 架構捕捉上下文資訊的能力,並提出三種一致性策略來增強半監督式學習 Mean-Teacher 中的一致性損失,建置一個居家聲音事件偵測系統。與 DCASE 2020 Baseline 系統相比,於 Event-based F-Score 提升了 12%、Segment-based F-Score 提升了 6%、PSDS 提升了 10%,且該論文已被接受並於研討會上發表

ConferenceDCASE 2021 Workshop

  • 論文名稱:Semi-Supervised Sound Event Detection Using Multi-scale Channel Attention and Multiple Consistency Training    
  • 投稿於第 6 屆 Workshop on Detection and Classification of Acoustic Scenes and Events
  • 論文內容是基於 CRNN 與 CNN-Transformer 架構,提出具有注意力機制的多尺度卷積層可更有效的捕捉局部特徵,並利用不同池化函數來因應不同實際應用場景,建置一個更完善的居家聲音事件偵測系統。與 DCASE 2021 Baseline 系統相比,於 PSDS 1 提升了 2.4%、PSDS 2 提升了 11.5%,且該論文已被接受並於研討會上發表

ConferenceINTERSPEECH 2021

  • 論文名稱:Improving Time Delay Neural Network Based Speaker Recognition With Convolutional Block And Feature Aggregation Methods  
  • International Speech Communication Association
  • 論文內容是基於 ECAPA-TDNN 語者驗證網路架構,探討網路中的卷積模塊注意力機制,以及特徵聚合方法,提出更適用於語音訊號之模組,精進原先基礎架構之效能,且該論文已被接受並於研討會上發表

ConferenceROCLING 2021

  • 論文名稱:RCRNN-based Sound Event Detection System with Specific Speech Resolution  
  • 第 33 屆計算語言學與語音處理研討會
  • 論文內容是基於 R-CRNN 架構的居家聲音事件偵測系統,探討聲學特徵參數的選擇,進一步強化該系統於 Speech 類別的偵測能力,且該論文已被接受並於研討會上發表。

學歷 Education

國立中山大學 資訊工程學系 碩士  Sep 2019 - Oct 2021 

    論文題目 整合潛藏語者風格資訊於多語言語碼轉換之語音合成  指導教授:陳嘉平教授

       Python、PyTorch、Tensorflow、Github、CSS、HTML5

  • 基於主流語音合成模型 Tacotron-2,應用機器翻譯參數產生器之概念,使編碼器各層網路參數取決於語言嵌入
  • 加入對抗式語者分類器,應用梯度反轉層之概念以達到跨語言轉換聲音之效果,亦即使用英文語者合成中文語音。
  • 加入語者編碼器,應用語者驗證系統擷取音訊中之說話人資訊以輔助模型學習,達到複製任一說話人聲音之效果。
  • 加入批量實例標準化之全局風格標註層,使模型學習對語音訊號中之韻律建模,達到遷移任一說話人風格之效果。
  • 加入語音鑑別器,應用生成對抗網路之概念,進一步改善合成語音之質量。
  • 應用遷移式學習法所訓練之 WaveGlow 聲碼器,即時生成高保真的語音。
  • 該系統包含 Code-SwitchingVoice-CloningMulti-Speaker 與 Multi-Style 等功能。

    學業成績

  • 已修畢課程:計算機結構、高等作業系統、深度學習、機器學習實務與應用等等,共計28學分,GPA 4.1

  

私立淡江大學 資訊工程學系 學士 Sep 2015 - Jun 2019

    專題實作 智慧學習帽 Intelligence Hat  指導教授:張志勇教授  

       Python、C、Tensorflow、Arduino、Raspberry Pi 3

  • 透過影像辨識語音合成,告知使用者眼前景象。
  • 作為學齡兒童探索世界的工具也可作為盲人導航的輔助工具。
  • PythonCTensorflowArduinoRaspberry Pi 3開發,由藍芽連接,達到物聯網技術
  • 淡江大學資訊週聯合展,獲得最佳人氣獎
    學業成績

  • 大學歷年成績班排名 6/63系排名 19/192,GPA 3.8
  • 已修畢課程:LINUX 作業系統實務、網頁程式設計、演算法、資料結構與處理、組合語言與系統程式、行動裝置程式設計、數位系統實驗、資訊安全導論、大數據分析技法、個人通訊系統、資料探勘等等,共計 141 學分。

技能 Skill


程式語言

  • Good:C/C++、Python
  • Moderate:CSS、HTML5
  • Basic:Java、MySQL、Android、Falcon


其他

  • Machine Learning:PyTorch、Tensorflow、Scikit-Learn、Keras
  • Version Control:Github、Git、WordPress
  • Containerization:Docker
  • IDE/Editor:Visual Studio Code、Jupyter、Colab
  • Hardware:Arduino、Raspberry Pi3