【摘要】本文以某建行全業務系統同城雙活中心建設項目為背景，按照監管新政要求，完善短期以及中常年的生產業務系統災備建設目標，詳盡介紹了業務系統、中間件、基礎構架、容災構架、備份系統和關鍵儲存選型、架構方案設計等方面的實踐，希望能為同業災備或雙活數據中心建設帶來一些借鑒和啟發。
【作者】李先科，四川裕民建行中級系統工程師。10多年金融信息技術服務及管理工作，多年的網路、主機、存儲、虛擬化、云估算、備份相關技術經驗，對容器云原生技術比較感興趣。
1項目概述
快速發展的業務需求和愈加嚴格的行業監管要求使得建行的信息系統穩定性和業務連續性對基礎設施的要求越來越高。為了響應銀銀監會的監管要求，同時結合自身業務發展的須要，我行啟動了“同城災備建設”項目，保障基礎設施環境有效支撐業務的穩定運行、持續發展和業務連續性的監管要求。
我行現有主數據中心機房空間、電力、空調等基礎設施容量漸漸減小，但沒有相應的災備數據中心保證相應的業務連續性要求，已難于滿足當前及未來業務發展的須要。因此，我行正在建設同城災備中心建設。在災備數據中心具備投運運行條件后，需盡早施行新數據中心的搭建及業務遷移，因而使數據中心的綜合管理和生產運行能力上一個新臺階。
我行現有兩個數據中心，其中在用的有A數據中心，B數據中心正在建設中。
A數據中心作為目前主生產中心作為全行信息中樞紐，承載行里所用信息系統的運行保障，在A數據中心進行數據中心運行、系統監控及運行管理。
啟動新數據中心建設項目，B數據中心將作為同城災備中心，同城災備范圍覆蓋當前重要業務系統并滿足相應的RPO與RTO要求。
未來A數據中心將作為全行生產中心運行全部信息系統，B數據中心承當部份業務或未來全部業務系統的雙活運行。
2建設目標
本次災備系統建設的關鍵目標是根據中國人民建行《銀行業信息系統災難恢復管理規范》（JR/T0044-2008）6級要求，通過布署雙活災備模式，實現業務級別的災備；應用系統手動切換，采用同步復制技術，實現數據零遺失，因而實現RTO/RPO的近零目標，保障業務訪問的連續性。
3建設內容
云數據中心建設是建設云平臺的核心與關鍵，虛擬數據中心負責按需提供滿足要求的運算處理資源、存儲資源、網絡資源等IT基礎構架服務。
數據中心提供滿足安全、高效管理和保障業務連續性的功能。通過“AB站點雙活異地數據備份”方案，實現不同災難場景下的業務連續性要求。
未來A數據中心將作為全行生產中心運行全部信息系統，B數據中心同樣承載大部分業務系統的生產運行，A數據中心與B數據中心實現主要業務系統雙活，通過小規模改建逐漸實現全業務系統雙活目的。
本次方案的主要建設內容為“AB站點雙活異地數據備份”建設。
4雙活數據中心建設方案4.1建設模式剖析
出于災備（）的目的，通常還會建設2個（或多個）數據中心。主流的容災模式包括主備模式和雙活模式，主備模式又分為主備模式和互備模式，雙活模式分為準雙活和云雙活模式。如右圖所示：
▲容災模式圖
4.1.1主備模式建設剖析
在主備中心模式中同城信息系統，一個是主數據中心用于承當用戶的業務，一個是備份數據中心用于備份主數據中心的數據、配置、業務等。兩數據中心間的備份方法通常有主備（-）熱備、冷備、雙活（-）備份方法。
其中主備數據中心有兩種模式：
兩個數據中心1:1建設，一個數據中心作為業務的主處理中心，數據全部落到該數據中心，之后數據通過數據庫和儲存的同步和復制技術將數據備份到備中心，達到容災的目的。但缺點是資源的借助率很低。
兩個數據中心1:1建設，按照業務的需求及未來發展考慮，將不同的業務布署在不同是數據中心內，而且兩中心承當各自業務的互備，數據通過數據庫和儲存的同步和復制技術將數據備份到備中心，達到容災的目的，這些容災模式資源借助率較主備模式有一定優勢，但整體資源借助率仍處于較低水平。
4.1.2雙活模式建設剖析
在雙活中心模式中，兩個數據中心均承載用戶的業務，通過全局負載均衡、存儲復制等技術實現應用及數據的負載。
其中雙活數據中心有兩種模式：
雙生產中心均須要完成數據更新的業務，主中心通過數據復制技術將數據復制到同城，通過全局負載均衡、業務模塊或用戶的方法將業務分配到不同的中心，平常主要的處理能力均分配給生產應用系統使用，出現災難時，按照須要接管的方法，動態調度資源給備份系統使用。同城災備中心的主機平常處于“備份”狀態，但主要的資源均動態分配給生產系統使用。沒有完全閑置的設備。數據庫數據只在單邊寫入，同城采用數據同步的方法。
業務或用戶根據服務需求（On－）將業務分配到不同的中心，平常主要的處理能力均分配給不同的中心。跨雙生產中心構建共享的資源訪問方法，并完善跨生產中心高可用集群。通過數據復制技術將數據鏡像到對方，出現災難時，按照須要接管的形式，根據當前的業務狀態動態調度服務和資源（)，所有的中心、主機和儲存設備均處于生產狀態和實現負載分擔。
在本次項目中，結合我行實際情況、災備等級建設目標和保監會要求，決定采用雙活模式建設“AB站點數據中心”。
4.2數據復制技術剖析
為了實現雙活模式的數據中心建設，數據復制技術的選擇至關重要，只有選擇合適的數據復制技術，能夠實現雙活數據中心的建設。
目前業界主流的數據復制技術如右圖所示：
▲災備復制技術對比圖
在災備復制技術的選擇上，各類數據復制技術都有其自身的異同點，最適宜雙活數據中心建設的數據復制技術主要是儲存系統數據復制技術。這其中又包括“基于儲存設備的數據復制”和“存儲虛擬化復制技術”基于儲存設備的數據復制”適合新建項目。而儲存虛擬化復制技術”同時會對儲存虛擬化網路有一定要求，同時對儲存系統的整體性能也有一定影響，主要技術異同點對諸如下：
復制技術比較項目
儲存系統數據復制技術
主機數據復制技術
數據庫
復制技術
備份技術
基于儲存設備數據復制
儲存虛擬化復制技術
操作系統
相關性
無關
無關
相關
無關
無關
儲存相關性
相關
無關
無關
無關
無關
主機性能影響
無
無
有
有
較小
儲存性能影響
有
無
無
無
無
復制實時性
高
高
高
高
低
數據一致性
高
高
低
高
高
復制數據類型
結構化數據、非結構化數據
結構化數據、非結構化數據
結構化數據、非結構化數據
結構化數據
結構化數據、非結構化數據
邏輯故障恢復
基于快照恢復，快照保存周期短
基于快照恢復，快照保存周期短
基于快照恢復，快照保存周期短
日志回滾恢復
定點恢復，保存周期長
鏈路帶寬
高
高
高
較高
低
維護管理難度
日常維護小
日常維護小
日常維護量較大
日常維護大
日常維護小
▲災備復制技術對比表
在本期項目建設中，依照現有A中心的儲存設備使用情況、雙活數據中心的數據實時復制和一致性要求，決定采用“基于儲存設備的數據復制”。實現兩個數據中心同設備儲存間的數據復制，在實時性、可靠性和數據復制類型上可以兼具并滿足雙活數據中心建設要求
4.3總體構架設計
為了實現對“AB站點數據中心”的雙活構架設計，兩個數據中心內的各個層次都須要具備雙活的技術能力。
如右圖所示：A數據中心為主中心，B數據中心作為備中心。我們主要通過以下幾個層面實現同城兩中心的災備系統：
在雙活數據中心的建設過程中，儲存層的建設最為重要，由于它主要負責兩個數據中心的數據復制同步，是雙活數據中心建設的基礎，只有在儲存層實現了數據同步，就能實現雙活數據中心的建設任務。
4.4儲存構架設計4.4.1雙活儲存設備選型
儲存雙活方案作為全行業務的核心基礎構架，其構架的選擇決定了整個系統是否可靠高可用、安全可信賴、彈性可擴充。這次項目建設，采用基于專業的虛擬化儲存設備來建立高可用、高性能、可擴充的儲存雙活方案。
依據實際情況，本項目中華為儲存布署在B數據中心，雙活方案采用華為18000系列高檔儲存產品，實現儲存雙活構架，為數據中心提供讀寫服務，且整個儲存系統構架全冗余。
儲存層，在B數據中心選擇了兩臺華為18000系列高檔儲存，配置實現兩臺儲存雙活，為下層數據庫及應用系統提供穩定、可靠的儲存托架。同時，選擇兩臺華為5310V5分別布署于AB兩個數據中心，也配置實現AB數據中心全業務系統的NAS雙活（底層儲存雙活，對外提供NFS網路為主備）。
兩臺華為18000系列高檔儲存組成一個集群，為該數據中心主機業務同時提供讀寫服務。支持擴充至16控制器，高檔支持32控制器。為了保證數據庫及部份延時敏感型應用的IO需求，兩臺儲存配置3.8TSSD，采用RAID6以實現高IOPS和可靠冗余的c盤組管理。
4.4.2SAN儲存方案設計
兩臺華為18000系列高檔儲存在基于SAN儲存類型應用的雙活方案設計上，采用華為儲存雙活技術方案。
4.4.2.1方案對網路的要求
采用IP/FC鏈路實現同城雙數據中心間的數據實時同步，為減少數據詞尾對業務系統的影響，須要將同城鏈路的信噪比控制在1ms以內。
同城鏈路帶寬需求，與須要在兩數據中心間同步的數據量相關，要求鏈路帶寬小于業務系統高峰期的數據寫帶寬。因我行是在同數據中心，故鏈路質量可以較容易保證。
4.4.2.2應用系統對碼流的要求
雙活數據中心的建設除了是儲存一個層面的雙活布署，須要端到端地進行考慮。尤為重要的是，當前雙數據中心的網路信噪比是否能滿足應用系統對網路信噪比的要求。
以下例舉了雙活數據中心解決方案的兩種典型應用場景對信噪比的建議：
類型
性能好
性能可接受
性能差
dbfileread
>20ms
dbfilewrite
>15ms
logfilewrite
≤5ms
>15ms
4.4.2.3方案對仲裁鏈路的要求
為保證各類異常情況下，儲存雙活集群才能進行仲裁，業界儲存雙活方案都須要設計第三方仲裁站點，以保證多種異常情況下的業務連續性。
兩個雙活數據中心與第三方仲裁站點間的鏈路選擇IP網路，可以降低方案的靈活性，有利于減少建設的整體成本。
華為儲存雙活技術方案提供了兩種仲裁模式：
仲裁服務器模式比靜態優級模式具備更高的可靠性，可保證在各類單點故障場景下，業務連續運行。因而，雙活方案推薦采用仲裁服務器模式，建議有條件仲裁服務器布署在第三個機房。
下邊列舉了仲裁服務器模式下，各類故障場景下雙活業務表現。
編號
示意圖
仲裁結果
故障類型：仲裁失效
仲裁結果：H1繼續運行業務
故障類型：一套陣列與仲裁之間鏈路故障
仲裁結果：H1繼續運行業務
故障類型：一套陣列失效
仲裁結果：H1失效，H2繼續運行業務
故障類型：陣列間鏈路中斷
仲裁結果：H1繼續運行業務
故障類型：一套陣列與仲裁同時失效
仲裁結果：H1失效，H2停止業務
故障類型：一套陣列與對端、仲裁的鏈路同時中斷
仲裁結果：H1停止業務，H2繼續運行業務
故障類型：一套陣列失效，且對端與仲裁鏈路中斷
仲裁結果：H1失效，H2停止業務
故障類型：仲裁失效，且陣列間鏈路中斷
仲裁結果：假如兩個兩個故障同時發生時，H1與H2均停止業務；假如兩個故障發生存在分鐘級時間差，則H2停止業務，H1繼續運行業務，相關原理見仲裁模式互轉功能
故障類型：仲裁失效，且其與一套陣列鏈路中斷
仲裁結果：H1繼續運行業務
4.4.2.4高可靠鏈路設計的要求
假如是跨中心雙活布署，建議每位控制器節點都與對端陣列構建起碼2條陣列間鏡像鏈路，并對兩條鏈路的交換機進行隔離，獲得較好的鏈路可靠性。假如使用仲裁服務器模式，則建議每位控制器節點都有1條聯接到仲裁服務器的鏈路。
為保證雙活性能，華為儲存雙活技術方案對站點間雙活鏈路的網路要求如下：
4.4.3NAS儲存方案設計
兩臺華為18000系列高檔儲存在基于NAS儲存類型應用的雙活方案設計上，采用基于IP網路華為儲存雙活技術方案。
4.4.3.1方案對網路和設備的要求
1．A數據中心與B數據中心NAS業務IP二層網路打通
2．A數據中心與B數據中心使用相同品牌機型的NAS儲存（兩套NAS儲存替換原有NAS儲存）
在生產中心與災備中心使用相同機型的NAS儲存，通過兩中心之間的二層網路連通。兩中心NAS配置一個或多個VIP地址用于服務器主機掛載使用，生產中心與災備中心服務器掛載主中心NAS儲存業務IP。
當生產中心或災備中心NAS儲存受損時或NAS網路斷掉時，不影響NAS正常對外提供服務（主NAS儲存故障會有一個切換時間即MAC地址老化時間）。
NOTE：按照實際測試，假如部份Linux版本未更新內核補丁，會出現NAS業務IP主備切換時的hang機情況，可通過更新OS內核補丁解決。因而NAS業務上線前，可先對網內各版本NFS顧客端操作系統進行驗證測試。
4.4.3.2雙活儲存鏡像技術
1．NAS雙活基于住戶細度的切換，致使用戶可以依據業務分布靈活配置不同的房客即可完成業務在跨中心的負載均衡。
2．華為通過實時鏡像功能，保證坐落兩個站點的之間數據的時刻一致。主機寫操作通過實時鏡像技術同時寫入兩個數據中心的成員文件系統。具體的寫懇求處理如右圖所示。
3．主機下發寫懇求到主文件系統。
4．主文件系統將寫I/O懇求講到雙活I/O管理模塊。
5．雙活I/O管理模塊記錄LOG。
6．雙活I/O管理模塊同時將該寫I/O寫入本端Cache和遠端Cache。
7．主端和遠端Cache向雙活I/O管理模塊返回寫I/O結果。
8．雙活I/O管理模塊返回寫I/O結果到主文件系統。
9．主文件系統將寫懇求的結果返回給主機。
10．雙活I/O管理模塊判定詞尾是否成功。
11．假若兩端都寫成功，雙活I/O管理模塊消除LOG。
12．假若有任意一端寫失敗，LOG轉換成DCL，記錄本端文件系統和遠端文件系統的差別數據。
4.4.3.3雙活IO訪問路徑
NAS合同依賴IP地址輪詢，配置有雙活關系的兩個，具有相同的IP地址，但只有一個IP地址是激活的，另一個IP地址是未激活的。如右圖，當用戶執行主從切換后，陣列B的IP地址被激活，陣列A的IP地址未激活，主機應用的操作被轉發到陣列B。
4.4.3.4數據一致性保證
通過實時鏡像功能，保證兩個站點儲存陣列之間數據的實時同步。主機寫操作通過實時鏡像技術同時寫入兩個數據中心的雙活成員FS，保持數據實時一致。具體的寫I/O流程如右圖所示。
如圖所示，系統正常情況下，應用寫IO數據下發同城信息系統，都要同時講到兩臺陣列的FSCache再返回主機，確保兩臺陣列數據實時一致。
4.4.4雙活儲存設備優勢4.4.4.1極簡組網
采用華為雙活儲存構架相比IBMSVC或則EMCVPLEX無需額外布署網段設備，最大支持32個儲存控制器，即兩套16控儲存系統成立雙活關系。雙活的兩套儲存系統間通訊從性能上考慮推薦使用FC鏈路，儲存系統和仲裁服務器之間的鏈路采用IP鏈路。
4.4.4.2跨站點集群
兩套獨立的儲存陣列組建成跨站點集群，并以跨站點集群為核心，提供雙活儲存構架，向應用服務器提供無差別的并行訪問，處理應用服務器的I/O懇求。
在跨站點集群基礎上，SAN雙活以雙活Pair或雙活一致性組為單位提供服務和進行狀態管理；NAS雙活以雙活住戶為單位進行狀態管理。用戶可以按住戶分布自己的業務，將一個業務系統涉及的SAN和NAS均放在某個住戶管理界面內，以便管理。
兩套儲存陣列上的雙活成員LUN組成一個虛擬雙活LUN，通過實時鏡像技術保持兩個數據中心的雙活成員LUN的數據實時一致。
4.4.4.3跨站點數據實時鏡像
通過實時鏡像功能，保證兩個站點儲存陣列之間數據的實時同步。主機寫操作通過實時鏡像技術同時寫入兩個數據中心的雙活成員LUN，保持數據實時一致。具體的寫I/O流程如圖所示。
如果數據中心A陣列收到寫I/O，鏡像處理流程如下：
1．主機下發寫I/O到雙活管理模塊。
2．系統記錄LOG。
3．執行詞尾：雙活管理模塊同時將該寫I/O寫入本端Cache和遠端Cache。
4．本端Cache和遠端Cache向雙活管理模塊返回寫I/O結果。
5．詞尾結果處理：等待兩端Cache的寫處理結果都返回，才向主機返回寫I/O結果。
6．判定詞尾是否成功。
7．假若都寫成功：消除LOG。
8．假若有一端失敗：LOG轉換成DCL，記錄本端LUN和遠端LUN的差別數據。
的數據同步支持斷點續傳功能，當個別故障場景（如單套儲存系統故障）造成異常斷掉時，通過記錄DCL的形式，記錄主機新形成的寫I/O，DCL采用具有掉電保護能力的Cache空間記錄以獲得良好的性能。當故障恢復時，將手動恢復鏡像關系，而且將所記錄的增量數據手動同步到遠端，無需全量同步所有數據，整個過程對主機“透明”，不會影響主機業務。
4.4.4.4
為了保證兩個數據中心儲存的數據實時一致，寫操作都須要等待兩端儲存寫成功以后再返回主機“寫成功”。設計了一系列I/O性能優化方案，陣列間IO使用SCSI合同進行發送，通過功能對陣列間數據傳輸進行了合同級優化，將寫數據的鏈路傳輸交互次數減低一半。前后優化如圖所示。
4.4.4.5雙活就近優先訪問
SAN雙活與NAS雙活不同，SAN雙活由多路徑下發寫懇求至陣列，可以基于路徑進行更好的選擇。當雙活數據業務場景，兩站點的距離遠近，是影響I/O訪問性能的關鍵誘因。特點通過與華為多路徑配合，按照雙活站點布署距離，提供了負載均衡模式(I/O以分片的形式在兩個陣列上下發)和優選陣列模式(自動在上指定優選訪問陣列)兩種I/O訪問策略供選擇。
負載均衡模式主要應用于雙活業務布署在同一數據中心的場景。在該場景下，主機業務訪問兩套雙活儲存設備的性能幾乎相同，為最大化借助兩套儲存設備的資源，將主機I/O按分片形式下發到兩套陣列上。
優選陣列模式主要應用于雙活業務布署在距離較遠的雙數據中心場景。優選陣列模式可以降低跨站點交互次數，進而提高I/O性能。
針對數據寫場景，業務主機直接寫本數據中心對應的雙活儲存陣列，防止主機跨數據中心轉發數據，充分借助AA雙活能力，AA集群的每位控制器都還能接收寫I/O，由本地控制器處理本地主機的寫I/O懇求，減輕跨數據中心的轉發次數，提高方案整體性能。
5雙活數據中心切換方案5.1災備切換流程
5.2災備切換步驟
生產中心機房發生災難，引起信息技術設備（網路、服務器、存儲等）故障或數據庫與應用系統故障，短時間內難以修補，直接造成生產中心承載業務處理的應用系統未能提供正常服務。當出現災難場景時可分為數據中心切換、應用系統切換、數據庫系統切換、存儲系統切換，依據不同的場景須要依照實際情況使用不同策略及方式進行切換，以下為幾種典型場景進行切換。
1、數據中心切換
當生產中心發生災難，比如機房停水等故障，而且暫時未能恢復時須要將整個數據中心切換至災備中心，所有訪問均從災備中心訪問，待生產中心恢復正常后，再將所有系統切換回生產中心。
2、應用系統切換
應用系統切換分為無狀態應用切換和有狀態應用切換，切換均要通過手工執行操作，不同業務系統需按照實際情況選擇適宜方式進行切換。
3、數據庫系統切換
數據庫系統切換應按照不同的數據庫類型（包括、MySQL和等）分別進行切換，切換完成后須要對數據庫狀態和數據完整性進行驗證。
4、存儲系統切換
本項目中儲存系統采用的雙活構架布署，任何一端的儲存故障都不會對業務系統形成影響，可以保證業務的連續性。須要注意的是，待故障儲存故障恢復后，須要先做數據同步，之后再恢復雙活數據復制狀態。
6項目總結
在本次項目中，結合我行實際情況，得出雙活數據中心項目建設實踐中使用華為儲存雙活技術方案的亮點如下：
秒級切換：SAN和NAS一體化雙活典型場景下，通常能在數秒至數十秒內完成雙活切換，有效保護業務的連續性。
手動恢復：假如站點A發生故障造成Pair工作站點切換到站點B，在A故障恢復后，可以手動發起重同步，而無需人工接入。在重同步完成后，雙活變為正常狀態，該狀態下站點B再發生故障，雙活可以繼續切換到站點A，業務不中斷。
組網簡單：整合雙活數據復制鏈路、配置同步鏈路和脈搏鏈路到一個化學網路，簡化了兩個數據中心的組網，兩套儲存系統間的復制鏈路可以使用IP或FC鏈路。考慮到后端業務鏈路一定是IP網路，所以能工作在全IP網路環境下，以減少建立成本。
免網段：降低網段故障點，提升方案可靠性；I/O響應速率更快，無需經過儲存網段轉發，防止網段轉發I/O信噪比；明顯增加雙活組網復雜度，以便維護。
便于升級擴充：當我們須要為原有SAN和NAS業務配置雙活時，只須要訂購雙活并升級到最新的軟件版本，就可以和另一臺陣列配置雙活，而不須要額外的數據遷移過程。
兩中心“雙活”：通過GLSB負載均衡，實現兩數據中心按一定比列分發業務流量，較好的實現了雙中心流量均衡負載及設備資源的有效借助。
原題：建行雙活數據中心項目建設實踐
免責聲明：部分文章信息來源于網絡以及網友投稿，本站只負責對文章進行整理、排版、編輯，出于傳遞更多信息之目的，并不意味著贊同其觀點或證實其內容的真實性，如本站文章和轉稿涉及版權等問題，請作者在及時聯系本站，我們會盡快為您處理。
