【導(dǎo)讀】本文旨在通過提取人臉特征點(diǎn)，分析由血壓引起的皮膚細(xì)微運(yùn)動(dòng)，再以一個(gè)穩(wěn)健的方式重構(gòu)光電容積圖（PPG）信號(hào)。所得結(jié)論是，傳感器檢測(cè)到的PPG信號(hào)與使用人臉特征點(diǎn)重構(gòu)的PPG信號(hào)有很強(qiáng)的相關(guān)性，而且我們從實(shí)驗(yàn)結(jié)果中獲得了支持這一結(jié)論的證據(jù)。
汽車工業(yè)的最新發(fā)展引起了科研人員對(duì)疲勞駕駛監(jiān)測(cè)的研究興趣，意圖開發(fā)一種有效的駕駛員監(jiān)測(cè)系統(tǒng)，能及時(shí)發(fā)現(xiàn)心理物理狀態(tài)異常，減少疲勞駕駛引起的交通事故。現(xiàn)在許多文獻(xiàn)特別專注于生理信號(hào)的研究，通過測(cè)量心率變異性（HRV）來得到有關(guān)心臟運(yùn)動(dòng)的信息。事實(shí)上，HRV還是一個(gè)有效的評(píng)估生理壓力的指標(biāo)，因?yàn)樗梢蕴峁┡c自主神經(jīng)系統(tǒng)支配的心血管系統(tǒng)活動(dòng)相關(guān)的信息。
1 前言
困倦是一種生理狀態(tài)，其特征是人的意識(shí)程度降低，難以保持清醒狀態(tài)。根據(jù)國(guó)家安全委員會(huì)的調(diào)查，在美國(guó)，疲勞駕駛導(dǎo)致的致命性事故的占比正在顯著上升[1]。因此，開發(fā)一種可以提前發(fā)現(xiàn)駕駛員生理狀況不適宜開車的有效預(yù)警系統(tǒng)將具有重要意義。據(jù)報(bào)道，有研究顯示，心率變異性（HRV）與駕駛員的注意力程度相關(guān)聯(lián)[2]。準(zhǔn)確的講，心率變異性是一個(gè)代表個(gè)體的生理適應(yīng)能力和行為靈活性的重要指標(biāo)。評(píng)估心臟運(yùn)動(dòng)的方法是使用PPG信號(hào)測(cè)量血壓，由此再評(píng)估心率變異性。具體地說，PPG信號(hào)是由代表逐次心動(dòng)周期的血管容積峰值組成，PPG檢測(cè)方法是，使用LED光源照射皮膚的不同部位，再用光電二極管評(píng)價(jià)光的反射強(qiáng)度[3]。盡管生理信號(hào)使我們能夠監(jiān)測(cè)困倦程度，但是最近的研究方向主要是使用計(jì)算機(jī)視覺技術(shù)評(píng)估駕駛員的疲勞程度[4]。雖然在汽車環(huán)境中開發(fā)人臉檢測(cè)系統(tǒng)肯定具有挑戰(zhàn)性，但仍有許多方法使用攝像頭確定眨眼率，由此來評(píng)估疲勞程度[5]。與其它研究不同，我們的方法側(cè)重于利用計(jì)算機(jī)視覺技術(shù)來檢測(cè)和提取人臉特征點(diǎn)，通過分析先前錄制的視頻序列的像素強(qiáng)度變化，來定義人臉特征點(diǎn)的時(shí)間序列。更具體地說，我們的方法的基本原理也是通過“視頻放大”來揭示血壓變化引起的面部細(xì)微運(yùn)動(dòng)。本研究的目的是通過定義人臉特征點(diǎn)時(shí)間序列而不是使用傳感器來構(gòu)建PPG信號(hào)。
本文后面的結(jié)構(gòu)如下：第二部分介紹相關(guān)的研究成果；第三部分概述PPG信號(hào)，并介紹我們的基于長(zhǎng)期短記憶和卷積神經(jīng)網(wǎng)絡(luò)的管道。第四部分解釋實(shí)驗(yàn)過程。最后，第五部分討論我們方法的優(yōu)點(diǎn)和未來研究方向。
2 相關(guān)研究
在以往發(fā)表的論文著作中，大部分是通過生理信號(hào)檢測(cè)駕駛員困倦，取得了很高的檢測(cè)精度。事實(shí)上，很多研究證明，僅基于計(jì)算機(jī)視覺技術(shù)的駕駛員疲勞監(jiān)測(cè)解決方案可能不一定行之有效，尤其是側(cè)重于分析交通標(biāo)志的視覺方法，在路況不佳時(shí)，往往會(huì)失敗。
一部分科研人員曾公布了一項(xiàng)光體積描述信號(hào)(PPG) 檢測(cè)研究成果[6]，作者使用低功率無線PPG傳感器取得了很好的檢測(cè)效果。另一種方法 [7] 是作者利用在手指和耳垂檢測(cè)到的低頻和高頻PPG信號(hào)來評(píng)估疲勞程度。本文引用的研究成果主要是通過研究ECG和PPG信號(hào)來評(píng)估HRV信號(hào)。不過，本文所引用的方法對(duì)計(jì)算性能有較高的要求，需要在車上集成昂貴的檢測(cè)設(shè)備。盡管集成的傳感器不一定是直接測(cè)量工具，但為了準(zhǔn)確地獲取生理信號(hào)，駕駛員還是需要將手或身體的其它部分（例如耳垂或手指）放在傳感器上，這對(duì)于在汽車上推廣應(yīng)用是一個(gè)限制。本文另辟蹊徑，提出一個(gè)創(chuàng)新的框架，基本原理是抓取司機(jī)面部圖像，采集人臉特征點(diǎn)，重建PPG信號(hào)，以此評(píng)估HRV信號(hào)和疲勞程度。
3 背景和管道方案
如前所述，我們提出了一種創(chuàng)新的駕駛員困倦狀態(tài)監(jiān)測(cè)方法，而無需使用傳感器來獲取PPG信號(hào)。部分學(xué)者的研究成果[8]闡述了視頻放大方法是如何通過放大普通視頻圖像來揭示人臉面部的運(yùn)動(dòng)變化，因?yàn)橹鸫涡膭?dòng)周期中的血壓變化會(huì)引起皮膚不同部位的顏色變化。研究證明，自主神經(jīng)系統(tǒng)活動(dòng)可調(diào)節(jié)某些生理過程，例如，血壓和呼吸速率，通過評(píng)估心率變異性信號(hào)可以間接測(cè)量這些生理過程，因?yàn)樾穆首儺愋孕盘?hào)在生理壓力、極度疲勞和困倦期間會(huì)出現(xiàn)變化。
評(píng)估HRV心率變異性需要使用生物反饋工具或軟件，以及檢測(cè)心電信號(hào)的高質(zhì)量傳感器，還需要功能強(qiáng)大的處理器來管理大量的數(shù)據(jù)。ECG信號(hào)是傳統(tǒng)的心率變異性評(píng)估方法，不過，這種方法在使用上存在某些缺陷，盡管檢測(cè)效果良好，但是在數(shù)據(jù)采集（數(shù)據(jù)采樣）過程中，人體的細(xì)微運(yùn)動(dòng)會(huì)導(dǎo)致信號(hào)內(nèi)出現(xiàn)一些噪聲和偽影。為了克服ECG的問題，業(yè)界提出PPG信號(hào)是可靠的解決方案，檢測(cè)血液容積變化的能力使PPG能夠有效地檢測(cè)裸眼難以觀察到的皮膚細(xì)微運(yùn)動(dòng)。特別是，通過分析PPG信號(hào)，我們能夠界定在特定時(shí)段內(nèi)的心率變化，顯示自主神經(jīng)系統(tǒng)的兩個(gè)分支（副交感神經(jīng)和交感神經(jīng)）是否都在正常工作。通常，HRV值小，表示心率間隔恒定；HRV值大，則表示心率間隔異常。非常正常的心律和心率的細(xì)微變化可以確定注意力是否因?yàn)槁陨韷毫Χ档汀５牵淮嬖谝粋€(gè)標(biāo)準(zhǔn)的HRV值，因?yàn)镠RV值因人而異。
考慮到這一點(diǎn)，我們采用長(zhǎng)期短記憶（LSTM）神經(jīng)網(wǎng)絡(luò)[9]與卷積神經(jīng)網(wǎng)絡(luò)（CNN）[10]相結(jié)合的方法開發(fā)了一個(gè)駕駛員困倦監(jiān)測(cè)系統(tǒng)。本文提出的管道機(jī)制代表心臟運(yùn)動(dòng)評(píng)估方法取得了進(jìn)步，因?yàn)樗鞘褂靡粋€(gè)低幀率（25fps）攝像頭檢測(cè)和提取人臉圖像中的關(guān)鍵特征點(diǎn)，并分析每個(gè)視頻幀的像素變化。準(zhǔn)確地講，LSTM是評(píng)估數(shù)據(jù)之間隱藏的非線性相關(guān)性的有力解決方案。
具體地講，LSTM管道的輸出是綜合傳感器檢測(cè)到的原始PPG目標(biāo)數(shù)據(jù)后預(yù)測(cè)的人臉特征點(diǎn)時(shí)間序列。
此外，CNN模型的準(zhǔn)確分類表示LSTM預(yù)測(cè)有效，可以確定汽車駕駛員的注意力程度。
4 實(shí)驗(yàn)
總共有71個(gè)對(duì)象參與了我們的LSTM-CNN管道運(yùn)行。更具體地說，數(shù)據(jù)集是來自不同性別、年齡（20至70歲之間）和病理的病患/駕駛員的PPG樣本。在這種情況下，我們不僅采集健康對(duì)象的數(shù)據(jù)，還收集高血壓、糖尿病等病患的數(shù)據(jù)。考慮到這兩種困倦狀態(tài)的差異，分別測(cè)量了兩種困倦各自的PPG信號(hào)樣本。具體地而言，我們模擬被同步ECG采樣信號(hào)證實(shí)的完全清醒和困倦兩種情景，其中Beta和Alpha波形分別證實(shí)大腦在喚醒和困倦時(shí)的活動(dòng)狀態(tài)。每種情景的模擬間隔設(shè)為5分鐘，以確保系統(tǒng)有充足的時(shí)間完成初步校準(zhǔn)和實(shí)時(shí)連續(xù)學(xué)習(xí)。同時(shí)，我們使用低幀率（25fps）全高清攝像機(jī)記錄一段駕駛員的面部視頻，如前文所述，我們先用基于Kazemi和Sullivan機(jī)器學(xué)習(xí)算法 [11] 的dlib庫(kù)，檢測(cè)先前錄制的視頻幀，提取人臉面部特征點(diǎn)，然后，計(jì)算與每個(gè)特征點(diǎn)關(guān)聯(lián)的像素強(qiáng)度，以及每幀像素強(qiáng)度的變化，確定人臉特征點(diǎn)的時(shí)間序列，將其輸入LSTM神經(jīng)網(wǎng)絡(luò)。
4.1 CNN管道
本節(jié)將更詳細(xì)地介紹實(shí)驗(yàn)中使用的CNN模型架構(gòu)。本文提出的CNN架構(gòu)為驗(yàn)證LSTM預(yù)測(cè)結(jié)果提供有力的證據(jù)。具體地講，我們的CNN模型能夠跟蹤和學(xué)習(xí)汽車駕駛員的面部表情，從而提高困倦檢測(cè)水平。為了訓(xùn)練模型，我們將批大小(batch size)設(shè)為32，初始學(xué)習(xí)率設(shè)為0.0001。此外，我們?cè)陔[藏層中使用了32個(gè)神經(jīng)元，在二進(jìn)制分類中使用了2個(gè)輸出神經(jīng)元。
我們非常看好實(shí)驗(yàn)結(jié)果，因?yàn)闇?zhǔn)確率達(dá)到80％。
4.2 長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM，Long Short-Term Memory）管道
圖. 1. LSTM管道
關(guān)于長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM，Long Short-Term Memory）檢測(cè)順序數(shù)據(jù)（時(shí)間序列）的關(guān)聯(lián)性的能力，我們構(gòu)建了一個(gè)LSTM模型，用面部特征點(diǎn)時(shí)間序列作為輸入數(shù)據(jù)，原始PPG信號(hào)作為目標(biāo)數(shù)據(jù)，重建PPG信號(hào)（圖1）。在使用MinMaxScaler算法調(diào)整（0.2，0.8）范圍內(nèi)的所有時(shí)間序列值后，綜合考慮以下參數(shù)，我們進(jìn)行了模型訓(xùn)練。模擬訓(xùn)練采用256個(gè)神經(jīng)元，批大小(batch size)128，初始學(xué)習(xí)率和輟學(xué)率分別設(shè)為0.001和0.2。為了評(píng)估PPG重構(gòu)信號(hào)的魯棒性，我們計(jì)算了PPG最小點(diǎn)的頻率（傅里葉頻譜），我們特別分析了這些點(diǎn)的頻率，比較了原始PPG最小點(diǎn)的頻率與重構(gòu)PPG最小點(diǎn)的頻率。
5 結(jié)論
圖2.原始PPG最小點(diǎn)的快速傅立葉變換（FFT）頻譜（藍(lán)色）和重建PPG最小點(diǎn)的快速傅立葉變換（綠色）。
最后，我們提供了一種基于LSTM-CNN的有效的監(jiān)測(cè)系統(tǒng)，通過PPG信號(hào)評(píng)估心臟活動(dòng)來確定駕駛員的困倦程度。與其它方法不同，我們的方法是利用面部特征點(diǎn)數(shù)據(jù)重建PPG信號(hào)，不涉及傳感器系統(tǒng)。如前文所述，我們構(gòu)建了LSTM管道，用面部特征點(diǎn)時(shí)間序列作為輸入數(shù)據(jù)，傳感器檢測(cè)到的PPG作為目標(biāo)數(shù)據(jù)，證明PPG重構(gòu)信號(hào)的魯棒性。此外，我們還構(gòu)建了CNN模型，不僅可以對(duì)駕駛員的生理狀態(tài)進(jìn)行分類，還可以驗(yàn)證LSTM的預(yù)測(cè)結(jié)果。最后，我們計(jì)算了原始PPG最小點(diǎn)的快速傅立葉變換（FFT）頻譜和重構(gòu)的PPG最小點(diǎn)的FFT頻譜（圖2）。實(shí)驗(yàn)結(jié)果證明，我們的方法有廣闊的應(yīng)用前景，因?yàn)槲覀兡軌騾^(qū)分瞌睡的對(duì)象與清醒的對(duì)象，準(zhǔn)確率接近100％，這與科學(xué)文獻(xiàn)報(bào)道的類似管道取得的平均成績(jī)一致。使用改進(jìn)的PPG傳感器[12]，以及利用Stacked-AutoEconder架構(gòu)[13]學(xué)會(huì)的特殊功能對(duì)PPG信號(hào)進(jìn)行深度處理，將會(huì)給本文提出的管道帶來哪些改進(jìn)，是本文作者目前正在研究的方向。
參考文獻(xiàn)
[1] National Safety Council: https://www.nsc.org/road-safety/safety-topics/fatality-estimates
[2] Melo, H. M., Nascimento, L. M., Takase, E., Mental fatigue and heart rate variability (HRV): The time-on-task effect. Psychology & Neuroscience, 10 (2017) 428-436.
[3] Rundo, F.; Ortis, A.; Battiato, S.; Conoci, S., Advanced Bio-Inspired System for Noninvasive Cuff-Less Blood Pressure Estimation from Physiological Signal Analysis, Computation 6 (2018) 46.
[4] Zhang, W., Cheng, B., Lin, Y., Driver drowsiness recognition based on computer vision technology, Tsinghua Science and Technology 17 (2012) 354-362.
[5] Haq, Z. A., Hasan, Z., Eye-blink rate detection for fatigue determination. In 1st India International Conference on Information Processing (IICIP), Delhi, India, 2016, 1-5.
[6] Xu Y. J.; Ding, F.; Wu, Z.; Wang, J.; Ma, Q.; Chon, K.; Clancy, E.; Qin, M.; Mendelson, Y.; Fu, N.; Assad, S.; Jarvis, S.; Huang, X., Drowsiness control center by photoplythesmogram, In Proceedings of 38th Annual Northeast Bioengineering Conference (NEBEC), Philadelphia, USA, 2012, 430-431.
[7] Koh, S.; Cho, B. R.; Lee J.-I.; Kwon, S.-O.; Lee, S.; Lim, J. B.; Lee, S. B.; Kweon, H.-D., Driver drowsiness detection via PPG biosignals by using multimodal head support, In Proceedings of the 4th International Conference on Control, Decision and Information Technologies (CoDIT), Barcelona, Spain, 2017, 383-388;
[8] Wu, H.-Y., Rubinstein, M., Shih, E., Guttag, J., Durand, F., Freeman, W. T. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics 31 (2012)
[9] Hochreiter, S., Schmidhuber, J, Long Short-Term Memory, Neural Computation 9 (1997) 1735 1780
[10] Lecun, Y., Bengio, Y., Convolutional Networks for Images, Speech, and Time-Series, The Handbook of Brain Theory and Neural Networks (1995).
[11] Kazemi, V., Sullivan, J., One millisecond face alignment with an ensemble of regression trees., In 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, USA, 2014, 1867-1874.
[12] Mazzillo, M., Maddiona, L., Rundo, F., Sciuto, A., Libertino, S., Lombardo, S., Characterization of SiPMs With NIR Long-Pass Interferential and Plastic Filters, In IEEE Photonics Journal, 10 (2018) 1-12.
[13] Rundo, F., Conoci, S., Banna, G.L., Ortis, A., Stanco, F., Battiato, S., Evaluation of Levenberg-Marquardt neural networks and stacked autoencoders clustering for skin lesion analysis, screening and follow-up, IET Computer Vision 12 (2018) 957-962.
推薦閱讀：
