An Smart Automatic Door Lock and Visitor Management System Using Deep Learning

具深度學習之智慧門鎖訪客管理系統

臺北大學資訊工程學系 大學專題

指導教授 : 陳裕賢

學生 : 黃綉容, 柳譯筑, 吳思葶

本作品獲得科技部大專生計畫

研究概述

此作品展示了一個創新的居家安全解決方案，該方案結合了 AI 人臉識別技術和物聯網元件。通過手機應用程式和智能門禁系統，這個方案旨在提供一個經濟實惠而高效的方式來保護家庭安全。我們的門禁管理系統結合了KIOSK、深度學習、手機應用程式，以及樹莓派技術。以下是系統的六大核心元素：

1. Kiosk 介面

• 使用opencv控制攝影機拍攝照片
• 提供簡單、直觀的用戶界面，包括一鍵式人臉掃描和個性化的歡迎信息。

2. 人臉識別技術

• 使用google facenet模型進行單樣本學習，完成一張照片就能準確地識別出用戶。

3. 伺服器

• server使用4G和HTTP協議，與KIOSK和手機應用程式進行數據交換。
• 使用Django開發三種API : 人臉辨識（Face_recognition）、人臉訓練 （Face_training）、

與明星臉偵測（Star_detect）。

• 使用Microsoft SQL Server作為數據庫。

4. 手機應用程式

• 允許用戶輕鬆註冊和上傳照片至server端訓練。
• 若有陌生人試圖進入門禁系統，會傳送警示訊息到手機

5. 樹莓派與電磁鎖

• 當人臉識別成功後，樹莓派會自動控制電磁鎖打開，實現智能門鎖功能。

使用情境

1. 使用者首先在手機應用程式上登入並上傳自己的照片。
2. 伺服器接收照片並進行人臉訓練，訓練成功的資訊會被存到資料庫中。
3. 當使用者走到 Kiosk 前，啟動攝像頭拍下照片，並回傳至server進行人臉辨識。
4. 若人臉和活體辨識成功，樹莓派會控制電磁鎖開啟。
5. 同時，Kiosk 上會顯示與使用者相似的明星臉孔。

成果展示

1. 手機APP

(1) 註冊/登入

新會員在註冊畫面中，將基本資料輸入到系統中，以擁有會員資格。成為本系統會員後，登入畫面使用本系統提供的服務。

(2) 上傳照片

為了讓人臉訓練模型認識使用者的長相，因此使用者在手機先上傳自己的照片，由於本系統使用one shot learning模型，所以使用者只要上傳一張照片即可。

• 左下方的按鈕是從相簿中挑選照片
• 中間的按鈕是開啟相機拍攝
• 若選擇好滿意的照片，就按下右下角的按鈕，app即會透過網路將照片上傳到server進行人臉訓練。

(3) 陌生人警示

若是有心人士試圖進入門禁系統，系統傳送警示訊息到屋主的app，包含時間和照片

2. 互動式資訊服務站 (KIOSK)

(1) 開始頁面

使用者到KIOSK面前進行拍照，並將照片回傳至server進行後續AI辨識。

(2) 人臉辨識和明星臉偵測成果頁面

接收伺服器傳送的辨識成果，若成功，會呈現使用者和相似明星臉的姓名、照片，以及明星臉偵測的相似度，若失敗，則呈現失敗畫面，系統將於5秒後回到首頁以重新進行辨識。

3. 樹莓派和電磁鎖

本系統使用樹莓派接收人臉辨識的結果，若成功，則會由樹莓派控制電磁鎖打開。以下分別介紹樹莓派開發板模組、電源模組、電磁感應門鎖磁鐵等相關硬體設備，其各自功能。

1. 主控模組 : 集中分配的功能，需要提供測驅動晶片等工作信號。

2. KIPO-門禁開關電源供應模組 : 提供符合要求的電流與電壓，由於樹莓派使用5V，然而電磁鎖需要12V，所以此模組將輸入12V電壓開門，專用於直接輸出電壓控制電鎖的門禁控制器。

3. 電磁感應門鎖磁鐵 : 負責開關門的動作，本系統所使用的電磁閥為鎖扣式的，利用通12V的電壓把鎖頭中心的軸利用電磁鐵相吸，若沒有通電時，鎖頭會呈現突起的狀態，以勾住孔洞使門卡住無法開啟。

作品demo影片