自文明誕生以來，人類智慧一直在創造和維護復雜的系統。數字化雙胞胎的出現，將幫助人們實現更復雜系統的運作，并改善設計和生產效率。人工智能（AI）和擴展現實（XR）——包括增強現實（AR）和虛擬現實（VR）等，已經成為可以幫助管理復雜系統運作的工具。數字化雙胞胎可以用AI來增強，而新興的用戶界面（UI）技術可以提高人們通過數字化雙胞胎管理復雜系統的能力。

　　數字化雙胞胎可以將人類智慧和AI結合起來，通過創建復雜系統的可用代表，產生更偉大的東西。終端用戶不需要擔心進入機器學習（ML）、預測建模和AI系統的公式，也可以利用它們的力量作為他們自己知識和能力的延伸。數字化雙胞胎與AR、VR和相關技術相結合為用戶提供了一個框架，將智能決策覆蓋到日常運營中（圖1） 。

圖1：數字化雙胞胎可以用AI來增強，而新興的用戶界面技術可以提高人們通過數字化雙胞胎管理復雜系統的能力。圖片來源：SAS和IIC

 

　　為數字化雙胞胎創建智能現實

　　物理雙胞胎的操作可以通過傳感器、照相機和其他類似的設備進行數字化，但這些數字流并不是唯一可以供給數字化雙胞胎的數據來源。除了流數據，積累的歷史數據也可以為數字化雙胞胎提供信息。相關的數據可以包括不是由資產本身產生的數據，如天氣和商業周期數據。此外，計算機輔助設計（CAD）繪圖和其他文件可以為數字化雙胞胎提供幫助。AI和其他分析模型可以獲取原始數據，并將其處理成幫助人類理解的系統形式。

　　AI還可以幫助用戶智能地選擇內容。這樣的指導可能非常受用戶歡迎，因為用戶輸入工具與典型的鍵盤和鼠標非常不同。如圖1右上角所示，人類可以將系統視為一個智能現實（一個技術增強的現實），可以幫助他們進行認知和判斷。

　　人類與數據和數據可視化的互動有著悠久的歷史，從William Playfair在17世紀末發明的線圖、條形圖和餅圖就開始了。而現在，當使用平板電腦、智能手機和AR頭盔等移動技術時，數字現實被疊加在物理現實上成為一個視圖。

　　考慮為數字雙胞胎創造智能現實的第一步是了解整個用戶界面的數據可視化選項。接下來，考慮一種報告整合方法，它可以在不需要新的硬件范式（如AR頭盔）的情況下實現智能操作和分析。AR頭盔有可能為運營帶來好處，但前提是要在應用中成功地設計為可用性。

　　可視化數字化雙胞胎輸出

　　在Cap Gemini的“運營中的增強現實和虛擬現實”報告中，來自奧迪AR / VR能力中心的Jan Pflueger建議采用以業務為先的方式進行可視化項目，“首先，專注于您的應用，而不是技術本身。確定用例后，請專注于信息處理和數據，以便為技術提供正確的信息。”

　　考慮呈現數字化雙胞胎的5種技術方法和它們各自的能力。這些是傳統的臺式機；智能手機或平板電腦；單鏡片AR；立體AR，包括混合現實（MR）設備；和全沉浸式VR（圖2）。

圖2：該表顯示了呈現數字化雙胞胎的5種技術方法：傳統臺式機；智能手機或平板電腦；單鏡片AR；立體AR，包括MR設備；和全沉浸式VR。每種類型的設備功能各不相同，這些差異可能會影響產品在不同應用下的使用效果。

 

　　每一類設備的能力各不相同，而這種差異可能會影響產品在不同使用情況下的可行性。這對AR頭盔來說尤其如此。顯示分辨率、視場和計算能力因產品而異。此外，關于將電池和計算單元放在耳機上，還是放在一個單獨的連接模塊上的設計決定，會對其舒適度和實用性產生影響。AR頭盔的另一個實際問題是它們與工作服是否可以無縫整合，如無塵室和食品加工操作所需的工作服。

　　在數字化雙胞胎環境中進行報告

　　在一個交互式的視覺分析應用中，可以使用集成的3D模型創建智能現實報告（圖3）。數字化雙胞胎提供了可以與報告中其他對象進行交互的自定義可視化效果，包括在表格或圖形中顯示數據。 

圖3：使用SAS Visual Analytics和Autodesk Forge軟件可以實現系統集成。在這個例子中，Autodesk Forge被集成到SAS Visual Analytics的報告界面中。

 

　　這種可視化方法遵循了長期存在的數據顯示傳統，不需要增加常規臺式機設置以外的新硬件。 用戶界面顯示在帶有鼠標和鍵盤的典型計算機上。 用戶幾乎不需要額外的培訓就可以使用數字化雙胞胎的功能。

　　增強現實的可用性和易學性

　　當從臺式機轉移到AR頭盔時，應用程序設計人員將面臨一系列新的可用性挑戰。可用性是任何技術成為工具的基石。盡管AR是一種新的交互范例，但長期使用的可用性標準仍然適用。這些標準可以指導將AR與數字化雙胞胎集成的工作。一個良好的界面應該是高效、易學、令人難忘、不經常出錯且使用愉快的。

　　一些用戶發現AR最初很困難，因為他們無法依靠自己的固有知識來操作系統。然而，這種挫折是暫時的，用戶通常會有所改善。根據目標受眾的不同，學習能力差異很大。為專家設計的工具具有較高的學習曲線，但整體功能更強大，專家的效率應證明延長培訓時間是合理的。通過將現實世界中的信息與程序中的信息相結合，體驗認知提高了執行任務的效率。

　　與任何應用程序一樣，錯誤率通常受界面設計的影響。一個好的界面設計人員將能夠在人為因素的限制內很好地創建用戶體驗，這也適用于AR。盡管交互方式不同于點擊式，但系統設計人員已經考慮了可以識別的輸入種類，并限制了使用過程中不可恢復的錯誤數量。多項研究表明，相比傳統的交互范例用戶更喜歡AR。

　　創建深度學習模型的常見做法

　　深度學習模型是在大型數據庫上訓練的，幾乎總是脫機完成的。花費數小時或數天的時間來訓練模型并不罕見。訓練完模型后，通過推理進行的模型應用程序將不再需要大量的計算資源，但仍比數字化雙胞胎應用需要更多的計算資源。

　　對于某些應用，接近實時或稍微延遲的結果就足夠了。例如，在某些計算機視覺缺陷檢測中，在執行缺陷檢測的同時保留生產批次可能是可以接受的。而在其他情況下，則需要實時推斷。可以在有足夠資源的云或數據中心中進行推斷。對于邊緣推理，具有足夠計算能力的邊緣網關正使其變得可用，但是這種特殊需求需要進行規劃。

　　遞歸神經網絡（RNN）是一類專門為序列或時間數據設計的深度學習神經網絡。在物聯網和數字化雙胞胎應用中，有許多此類序列和時間數據的示例。隨著時間的推移，許多傳感器都在收集數據。隨時間變化的測量順序或模式可用于了解數字化雙胞胎資產的有趣特征。一個示例是測量智能建筑或電網中的能源電路。電路上的能源使用模式可以捕獲資產運行的開始或結束（例如電機啟動），這預示著數字化雙胞胎資產的運行變化。RNN的另一個用途是預測異常的時間序列數據。一個示例是預測太陽能發電場的能量輸出。

　　使用序列數據與使用時間數據時，訓練RNN的過程有所不同。用序列數據訓練RNN的過程如下：

　　● 將數據分為順序測量的各個部分。段的長度由數據的時間間隔和事件前兆的預期持續時間確定。

　　● 為感興趣的事件創建目標變量，并將其用于標記事件發生的序列。

　　● 訓練RNN。在這種情況下，不需要雙向模型擬合，因為測量數據始終會及時向前移動。

　　然后可以將訓練后的模型用于推理。在大多數情況下，模型推斷功能將足夠快，可以在云，服務器或邊緣設備中的實時測量流上使用。

　　基于機器視覺的數字化雙胞胎

　　計算機視覺或機器視覺是一種功能強大的工具，它因能識別場景中的面部和物體而引起了眾多關注。對于數字化雙胞胎，它可以增加有關被監測物體的重要信息。可以通過與數字化雙胞胎的AR界面來增強需要目視檢查的任務。例如，計算機視覺可以通過比較成千上萬的圖像來檢測人類可能無法檢測到的異常，從而檢測缺陷。而且，諸如紅外線之類的專用攝像機通過組合多個信息流，甚至可以進行進一步的分析。

　　另一個選擇是創建一個模型，該模型可以在零件上找到容易識別的特征。生成的圖像可以使用卷積神經網絡（CNN）創建分類模型。根據數據標簽的好壞，模型可能具有各種復雜性。

　　通過收集大部分為良好的圖像，可以創建一個二元分類模型，該模型可以識別出具有已知良好圖像或可疑異常圖像的可能性很高的圖像。通過用已知缺陷類型標記圖像，可以創建識別各種缺陷的更復雜的分類模型。通過良好的位置識別，還可以分解圖像并找到圖像中有缺陷的部分。例如在半導體晶片生產中，可以基于具有缺陷的晶片的比例來量化預期的產量。

　　在模型被訓練之后，需要確定推斷的延遲并測試捕獲的新圖像，以及是否需要逐流傳輸圖像并立即獲得結果。也可以捕獲一批圖像并進行批量處理。還要確定是否可以在云中或服務器中完成推理，或者是否需要邊緣網關。

　　當在智能現實的保護下進行適當的架構和集成時，物聯網、人工智能和擴展現實技術可以開辟新的可能性，而數字化雙胞胎提供了一種可用的表示方式，使得此類架構中固有的大量信息的價值被充分挖掘出來。