智能家居無疑是近年來炙手可熱的概念，一些高檔的住宅小區(qū)已經(jīng)配套了比較完善的智能家庭網(wǎng)絡(luò)，其中人機交互界面的友好化已作為一個最大的亮點。系統(tǒng)智能化程度的提高大大降低了居住者管理及控制家居工作量的同時，也增加了家庭成員對復(fù)雜的操作界面的認知能力，如面對滿目的按鈕和圖標、雜亂的界面主題，反而會令一些簡單的操作變復(fù)雜，甚至還會對一些不熟悉這些操作界面的人，如老人、孩子、訪客等造成新的困擾[1]，使智能家居系統(tǒng)的智能化有些本末倒置。
智能家居人機交互界面隨著計算機技術(shù)的飛速發(fā)展已經(jīng)經(jīng)歷了4個階段。最早的命令行界面可以看成第一代智能家居人機界面。當時人被看成操作員，機器只能作出被動的反應(yīng)，人只能使用手一種交互通道通過鍵盤輸入信息，界面輸入只能為靜態(tài)單一字符，因此，這種人機界面交互的自然性和效率都很差。緊接著的以窗口、圖標、菜單和指點裝置為基礎(chǔ)的人機交互界面可以看作第二代智能家居人機界面，如在WIMP界面中，基于圖形方式的界面，輸出靜態(tài)/動態(tài)二位圖形/圖像及其他多媒體信息。近期的多通道人機界面是基于視線跟蹤，語音識別，手勢輸入、感覺反饋等新的交互技術(shù)，用戶可以使用自然的交互方式，如語音、手勢、眼神、表情等與計算機系統(tǒng)進行協(xié)同工作，利用感知能力在3D模型的虛擬現(xiàn)實家居系統(tǒng)中漫游，如MMI可以看作是第3代人機界面[2]。隨著人們的不斷創(chuàng)新，以求推出最容易和掌握的控制界面，基于自適應(yīng)模式識別的360°全景圖像與第三代人機界面的融合，可以看作是第4代人機界面，目前用于觸摸屏設(shè)備的swipe技術(shù)正式采用了以實景為背景的界面已給用戶帶來全新的環(huán)境控制體驗。在基于系統(tǒng)界面“皮膚”是室內(nèi)的360°全景實景照片的基礎(chǔ)上，采用針對圖像中可控點如燈、門、窗簾狀態(tài)的自動智能識別技術(shù)，滿足客戶對“所見即所得”人機界面的要求。
本文主要研究在VS 2008+OpenCV工具平臺上，對智能家居系統(tǒng)以360°實景圖像為背景的界面中的窗簾部分進行的模式識別。
1 虛擬全景人機界面的實現(xiàn)
三維全景漫游是指在由全景圖像構(gòu)建的全景空間里進行切換，達到瀏覽各個不同場景的目的，目前比較流行的方法是采用普通數(shù)碼相機采集的圖片作為場景的虛擬表示，通過對具有重疊部分的圖像進行拼接融合，合成一幅較大視角的場景圖像，即全景圖，對全景圖進行重投影，可以實現(xiàn)在不同視域和視角方向下的透視視圖[3]。
本文采用2006年bay等提出的基于特征點全景圖像配準的SURF（Speed Up Robust Feature）算法進行圖像拼接[4]，其具有可重復(fù)性和魯棒性，還有較快的計算速度。
1.1 特征點檢測
Surf算法對特征點的檢測是基于尺度空間理論，依據(jù)Hessian矩陣行列式的局部最大值定位特征點位置[5]。對于圖像I中的任意一點u=（x，y）在尺度為σ下的Hessian矩陣H（u，σ）可以定義如下：
[H（u，σ）=Lxx（u，σ）Lxy（u，σ）Lyx（u，σ）Lyy（u，σ）]（1） 式中：[Lxx（u，σ）]是高斯函數(shù)二階導(dǎo)數(shù)與圖像I在點u處的卷積，以此類推得到[Lxy（u，σ）]，[Lyx（u，σ）]和[Lyy（u，σ）]。Hessian的行列式為：
[det（H）=Lxx×Lyy-Lxy2] （2）
Bay等人提出用框式濾波器近似高斯二階導(dǎo)數(shù)，框式濾波器在x，y，xy三個方向上的近似分別記為[Dxx]，[Dyy]和[Dxy]，大大提高了運算效率。得到近似的Hessian矩陣[H（approx）]，如下：
[det（Happrox）=Dxx×Dyy-（0.9×Dxy）2] （3）
利用尺度空間被表述為金字塔的原理，使原始圖像保持不變而只改變?yōu)V波器大小，特征點檢測過程中使用與圖像解析度相對應(yīng)大小的濾波器快速檢測及定位特征點。
1.2 特征點的描述
SURF特征描述符利用Hessian快速檢測出來特征點的尺度，來描述像素點強度的分布情況。為保證旋轉(zhuǎn)不變形，首先以特征點為中心，計算半徑6s（s為特征點所在的尺度值）的鄰域內(nèi)的點在x，y方向的Harr小波（Harr小波邊長去4s）響應(yīng)，并給這些響應(yīng)值賦高斯權(quán)重系數(shù)，靠近特征點的響應(yīng)貢獻大，遠離特征點的響應(yīng)貢獻小，計算所有特征點的Harr小波響應(yīng)向量進行累加，選擇最長矢量的方向為該特征點的主方向。
以特征點為中心，首先將坐標軸旋轉(zhuǎn)到主方向，按主方向選取邊長為20s的正方形區(qū)域，將該窗口區(qū)域劃分為4×4的子區(qū)域，在每一個子區(qū)域內(nèi)，計算5s×5s范圍內(nèi)的小波響應(yīng)，相對于主方向的水平、垂直方向的Haar小波響應(yīng)分別記為dx，dy，賦予響應(yīng)值以權(quán)值系數(shù)，對每個子區(qū)域的響應(yīng)以及響應(yīng)的絕對值相加形成[dx，dy，dx，dy]，因此對每個特征點形成64維的描述向量，再進行向量的歸一化處理[6]，即可描述特征點。
2 可控點自動識別
在全景漫游的人機交互界面中，利用圖像處理技術(shù)對可控點如窗簾、燈、門等設(shè)備進行識別，本文以窗簾為例進行分析。據(jù)常識可知窗簾關(guān)時，窗戶部分應(yīng)該是透明玻璃或者空氣（即什么都沒有），兩者的紋理是一樣的，都是一個常數(shù)圖片；窗簾關(guān)時，窗戶部分應(yīng)該是窗簾，從而我們可以以該圖片中玻璃與窗簾的紋理特征為依據(jù)進行分類。 南康布藝沙發(fā) 南康家具 順德家具網(wǎng)
2.2 支持向量機的圖像識別
支持向量機（SVM）是建立在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小的原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中，本文中就是利用支持向量機來完成分類的。訓(xùn)練之前首先將特征數(shù)據(jù)映射到0～1范圍內(nèi)，以防大量的大數(shù)據(jù)計算問題。訓(xùn)練時將窗簾開、關(guān)的標號設(shè)定為[0，1]，選徑向基函數(shù)為核函數(shù)。選擇窗簾開、關(guān)圖像各100張作為樣本來訓(xùn)練SVM，另取50張作為測試樣本，正確率達到98%。本文選取的4個參數(shù)及已經(jīng)訓(xùn)練的分類器能較好地完成窗簾圖像的自動識別[9?10]。
3 結(jié) 語
本文首先了解基于SURF算法圖像拼接的360°全景技術(shù)，在三維漫游人機交互界面的基礎(chǔ)上研究灰度共生矩陣及窗簾和玻璃紋理特征，通過SVM成功地對其狀態(tài)進行識別。同樣地可以對系統(tǒng)中其他家居如燈的開關(guān)狀態(tài)，門的開關(guān)狀態(tài)等進行自動圖像識別，從而形成一個家居人機界面可控點的智能識別系統(tǒng)。該系統(tǒng)可以避免人力資源的消耗，適應(yīng)于不同類人群的需求，同時基于真實圖像拼接的全景圖的界面，增加了用戶的真實現(xiàn)場感和交互感受，這是未來虛擬控制界面發(fā)展的一種趨勢。本文下一步工作是根據(jù)用戶的空間位置及觀察方向?qū)崟r地調(diào)入響應(yīng)的實景圖像，使其與用于模式識別的圖像更新達到同步。
智能家居人機交互界面隨著計算機技術(shù)的飛速發(fā)展已經(jīng)經(jīng)歷了4個階段。最早的命令行界面可以看成第一代智能家居人機界面。當時人被看成操作員，機器只能作出被動的反應(yīng)，人只能使用手一種交互通道通過鍵盤輸入信息，界面輸入只能為靜態(tài)單一字符，因此，這種人機界面交互的自然性和效率都很差。緊接著的以窗口、圖標、菜單和指點裝置為基礎(chǔ)的人機交互界面可以看作第二代智能家居人機界面，如在WIMP界面中，基于圖形方式的界面，輸出靜態(tài)/動態(tài)二位圖形/圖像及其他多媒體信息。近期的多通道人機界面是基于視線跟蹤，語音識別，手勢輸入、感覺反饋等新的交互技術(shù)，用戶可以使用自然的交互方式，如語音、手勢、眼神、表情等與計算機系統(tǒng)進行協(xié)同工作，利用感知能力在3D模型的虛擬現(xiàn)實家居系統(tǒng)中漫游，如MMI可以看作是第3代人機界面[2]。隨著人們的不斷創(chuàng)新，以求推出最容易和掌握的控制界面，基于自適應(yīng)模式識別的360°全景圖像與第三代人機界面的融合，可以看作是第4代人機界面，目前用于觸摸屏設(shè)備的swipe技術(shù)正式采用了以實景為背景的界面已給用戶帶來全新的環(huán)境控制體驗。在基于系統(tǒng)界面“皮膚”是室內(nèi)的360°全景實景照片的基礎(chǔ)上，采用針對圖像中可控點如燈、門、窗簾狀態(tài)的自動智能識別技術(shù)，滿足客戶對“所見即所得”人機界面的要求。
本文主要研究在VS 2008+OpenCV工具平臺上，對智能家居系統(tǒng)以360°實景圖像為背景的界面中的窗簾部分進行的模式識別。
1 虛擬全景人機界面的實現(xiàn)
三維全景漫游是指在由全景圖像構(gòu)建的全景空間里進行切換，達到瀏覽各個不同場景的目的，目前比較流行的方法是采用普通數(shù)碼相機采集的圖片作為場景的虛擬表示，通過對具有重疊部分的圖像進行拼接融合，合成一幅較大視角的場景圖像，即全景圖，對全景圖進行重投影，可以實現(xiàn)在不同視域和視角方向下的透視視圖[3]。
本文采用2006年bay等提出的基于特征點全景圖像配準的SURF（Speed Up Robust Feature）算法進行圖像拼接[4]，其具有可重復(fù)性和魯棒性，還有較快的計算速度。
1.1 特征點檢測
Surf算法對特征點的檢測是基于尺度空間理論，依據(jù)Hessian矩陣行列式的局部最大值定位特征點位置[5]。對于圖像I中的任意一點u=（x，y）在尺度為σ下的Hessian矩陣H（u，σ）可以定義如下：
[H（u，σ）=Lxx（u，σ）Lxy（u，σ）Lyx（u，σ）Lyy（u，σ）]（1） 式中：[Lxx（u，σ）]是高斯函數(shù)二階導(dǎo)數(shù)與圖像I在點u處的卷積，以此類推得到[Lxy（u，σ）]，[Lyx（u，σ）]和[Lyy（u，σ）]。Hessian的行列式為：
[det（H）=Lxx×Lyy-Lxy2] （2）
Bay等人提出用框式濾波器近似高斯二階導(dǎo)數(shù)，框式濾波器在x，y，xy三個方向上的近似分別記為[Dxx]，[Dyy]和[Dxy]，大大提高了運算效率。得到近似的Hessian矩陣[H（approx）]，如下：
[det（Happrox）=Dxx×Dyy-（0.9×Dxy）2] （3）
利用尺度空間被表述為金字塔的原理，使原始圖像保持不變而只改變?yōu)V波器大小，特征點檢測過程中使用與圖像解析度相對應(yīng)大小的濾波器快速檢測及定位特征點。
1.2 特征點的描述
SURF特征描述符利用Hessian快速檢測出來特征點的尺度，來描述像素點強度的分布情況。為保證旋轉(zhuǎn)不變形，首先以特征點為中心，計算半徑6s（s為特征點所在的尺度值）的鄰域內(nèi)的點在x，y方向的Harr小波（Harr小波邊長去4s）響應(yīng)，并給這些響應(yīng)值賦高斯權(quán)重系數(shù)，靠近特征點的響應(yīng)貢獻大，遠離特征點的響應(yīng)貢獻小，計算所有特征點的Harr小波響應(yīng)向量進行累加，選擇最長矢量的方向為該特征點的主方向。
以特征點為中心，首先將坐標軸旋轉(zhuǎn)到主方向，按主方向選取邊長為20s的正方形區(qū)域，將該窗口區(qū)域劃分為4×4的子區(qū)域，在每一個子區(qū)域內(nèi)，計算5s×5s范圍內(nèi)的小波響應(yīng)，相對于主方向的水平、垂直方向的Haar小波響應(yīng)分別記為dx，dy，賦予響應(yīng)值以權(quán)值系數(shù)，對每個子區(qū)域的響應(yīng)以及響應(yīng)的絕對值相加形成[dx，dy，dx，dy]，因此對每個特征點形成64維的描述向量，再進行向量的歸一化處理[6]，即可描述特征點。
2 可控點自動識別
在全景漫游的人機交互界面中，利用圖像處理技術(shù)對可控點如窗簾、燈、門等設(shè)備進行識別，本文以窗簾為例進行分析。據(jù)常識可知窗簾關(guān)時，窗戶部分應(yīng)該是透明玻璃或者空氣（即什么都沒有），兩者的紋理是一樣的，都是一個常數(shù)圖片；窗簾關(guān)時，窗戶部分應(yīng)該是窗簾，從而我們可以以該圖片中玻璃與窗簾的紋理特征為依據(jù)進行分類。 南康布藝沙發(fā) 南康家具 順德家具網(wǎng)
2.2 支持向量機的圖像識別
支持向量機（SVM）是建立在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小的原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折中，本文中就是利用支持向量機來完成分類的。訓(xùn)練之前首先將特征數(shù)據(jù)映射到0～1范圍內(nèi)，以防大量的大數(shù)據(jù)計算問題。訓(xùn)練時將窗簾開、關(guān)的標號設(shè)定為[0，1]，選徑向基函數(shù)為核函數(shù)。選擇窗簾開、關(guān)圖像各100張作為樣本來訓(xùn)練SVM，另取50張作為測試樣本，正確率達到98%。本文選取的4個參數(shù)及已經(jīng)訓(xùn)練的分類器能較好地完成窗簾圖像的自動識別[9?10]。
3 結(jié) 語
本文首先了解基于SURF算法圖像拼接的360°全景技術(shù)，在三維漫游人機交互界面的基礎(chǔ)上研究灰度共生矩陣及窗簾和玻璃紋理特征，通過SVM成功地對其狀態(tài)進行識別。同樣地可以對系統(tǒng)中其他家居如燈的開關(guān)狀態(tài)，門的開關(guān)狀態(tài)等進行自動圖像識別，從而形成一個家居人機界面可控點的智能識別系統(tǒng)。該系統(tǒng)可以避免人力資源的消耗，適應(yīng)于不同類人群的需求，同時基于真實圖像拼接的全景圖的界面，增加了用戶的真實現(xiàn)場感和交互感受，這是未來虛擬控制界面發(fā)展的一種趨勢。本文下一步工作是根據(jù)用戶的空間位置及觀察方向?qū)崟r地調(diào)入響應(yīng)的實景圖像，使其與用于模式識別的圖像更新達到同步。
