亚洲人人在线,中文字幕久久久久久一区二区三区,色欲色欲久久综合网

簡介

　　目前，云存儲技術一般存在各種安全問題，如數(shù)據(jù)丟失和數(shù)據(jù)被盜。結合HDFS數(shù)據(jù)完整性驗證系統(tǒng)的技術特點，研究了基于HDFS的數(shù)據(jù)傳輸和存儲技術的實現(xiàn)方案，接下來小編簡單介紹一篇優(yōu)秀云存儲技術論文。

信息技術與標準化

　　云存儲技術逐步發(fā)展成為數(shù)據(jù)信息存儲的一種重要方式，其數(shù)據(jù)信息的安全性能作為社會各個領域所關注的關鍵問題。HDFS是基于云計算技術的開源分布式文件處理系統(tǒng)，能夠廣泛地支持高容錯的特性，可以直接布設在低成本的計算機系統(tǒng)中，有利于進行高吞吐量的訪問操作，適用于部分大規(guī)模數(shù)據(jù)處理功能的操作程序。然而HDFS的安全性能問題包含很多方面，比如系統(tǒng)用戶的安全認證問題、DataNode的安全認證問題、文件存儲和傳輸?shù)臋C密性問題等。現(xiàn)階段國內(nèi)外領域?qū)τ谠拼鎯夹g安全性能的涉及研究不多，對于數(shù)據(jù)信息的完整性保護功能，國外的研究學者曾經(jīng)提出使用加密工具的處理方法、分布式加密系統(tǒng)的數(shù)據(jù)機密性處理方法以及數(shù)據(jù)信息可恢復機制等。在國內(nèi)的研究領域，對于云計算技術的安全性能問題，相關的學者曾經(jīng)提出數(shù)據(jù)信息的安全體系與保護策略，研究設計出一種數(shù)據(jù)信息安全虛擬監(jiān)控系統(tǒng)的技術實施方案。本文結合HDFS文件的讀取和寫入的具體特點，提出以HDFS系統(tǒng)為基礎的輸入輸出流、在客戶端實現(xiàn)數(shù)據(jù)加解密功能的技術實施方案，有利于達到密文形式的數(shù)據(jù)傳輸和存儲目標，有效地解決HDFS系統(tǒng)的數(shù)據(jù)丟失與竊取的實際問題。

　　1 HDFS的系統(tǒng)架構體系

　　HDFS的系統(tǒng)架構體系是主從結構的形式，HDFS集群通常是由一個名字節(jié)點NameNode與若干個數(shù)據(jù)節(jié)點DataNode所構成的，同時可能會包括一個Secondary NameNode，定期與NameNode進行通信，對NameNode上相應的元數(shù)據(jù)信息進行備份處理。NameNode屬于HDFS的主服務器，主要負責在分布式文件系統(tǒng)中的元數(shù)據(jù)管理機制，同時需要負責客戶端Client對系統(tǒng)文件的訪問功能。DataNode主要負責存儲文件相應的數(shù)據(jù)塊block，響應Client的命令請求，實現(xiàn)文件數(shù)據(jù)的讀與寫等各種操作功能。

　　字節(jié)點NameNode的主要功能有以下幾點：

　　(1)管理元數(shù)據(jù)與塊信息。NameNode主要負責管理文件系統(tǒng)中的元數(shù)據(jù)信息，比如文件標識、文件大小、文件屬性、文件塊數(shù)、塊大小、對應塊的實際位置，塊文件和DataNode的映射關系等各種信息。數(shù)據(jù)塊的管理功能一般有新建數(shù)據(jù)塊、刪除數(shù)據(jù)塊、復制數(shù)據(jù)塊等操作。

　　(2)管理名字空間。NameNode作為HDFS系統(tǒng)的主控中心，對文件系統(tǒng)中元數(shù)據(jù)的任意修改操作都需要通過NameNode進行處理，NameNode可以通過事務日志進行相關記錄，各種對文件的實際操作都通過日志系統(tǒng)映射到本地的文件系統(tǒng)中。為了能夠保證數(shù)據(jù)信息的有效性，元數(shù)據(jù)并不是只保存在內(nèi)存之中，存儲到本地硬盤空間也是很有必要的。

　　(3)請求處理。后臺通常是以保護進程的模式執(zhí)行監(jiān)聽與處理客戶端Client的實際服務請求，同時可以處理來源于DataNode的請求與響應�？蛻舳说恼埱笸ǔ０募牟樵�、新建、刪除或者修改等各種處理功能，DataNode的請求操作主要包括數(shù)據(jù)塊的處理。

　　(4)管理心跳檢測。因為HDFS具有大規(guī)模的特點，包含著有大量的數(shù)據(jù)節(jié)點DataNode，這樣使得主控中心掌握整個系統(tǒng)中存儲節(jié)點的實際運行情況。心跳檢測主要針對上述需求而產(chǎn)生的執(zhí)行機制，NameNode根據(jù)HDFS系統(tǒng)的相關設置對全部數(shù)據(jù)節(jié)點進行心跳檢測，將返回得到的檢測數(shù)據(jù)信息及時地反映到系統(tǒng)中，確保實際服務的連續(xù)性與完整性。

　　數(shù)據(jù)節(jié)點DataNode的主要功能：

　　(1)報告心跳狀態(tài)。在HDFS系統(tǒng)集群中包括若干個DataNode，同時根據(jù)實際需要擴展具體的集群規(guī)模，各種可以連接到互聯(lián)網(wǎng)并且符合系統(tǒng)配置要求標準的主機都能夠作為Datanode。HDFS通過機架的方式組織DataNode，具有相同子網(wǎng)的Datanode直接構成一個機架，各個不同機架之間主要通過交換機、路由器等各種網(wǎng)絡通信設備達到互聯(lián)目的。機架內(nèi)部節(jié)點之間的傳輸效率高于機架之間節(jié)點的傳輸效率。如果集群功能開啟后，DataNoda會向NameNode進行注冊，注冊操作完成之后以心跳的方式與NameNode維持定期的通信。同時DataNode可以根據(jù)心跳返回的控制命令實現(xiàn)數(shù)據(jù)的增加、刪除與復制等各種操作。

　　(2)數(shù)據(jù)塊的讀寫。NameNode是不負責數(shù)據(jù)信息的物理存儲與讀寫操作處理功能，如果客戶端請求NameNode獲取相關文件的元數(shù)據(jù)信息之后，通過元數(shù)據(jù)信息Client可以與DataNode進行主動交互。文件數(shù)據(jù)塊以并行方式地傳送到DataNode上，DataNode負責數(shù)據(jù)信息的校驗與存儲功能。DataNode在本機系統(tǒng)上保存相應的數(shù)據(jù)塊文件與數(shù)據(jù)塊元文件，數(shù)據(jù)塊元文件存儲的是數(shù)據(jù)塊文件相應的校驗信息，主要用于在數(shù)據(jù)傳輸之前與定期掃描過程中進行數(shù)據(jù)校驗處理。DataNode開啟之后，應當定期地掃描需要存儲的數(shù)據(jù)塊文件，同時把計算獲取得到的校驗信息和數(shù)據(jù)塊元文件進行對比分析。假如不符合要求，說明這個數(shù)據(jù)塊已經(jīng)出現(xiàn)損壞狀況，需要進行相應的恢復處理。DataNode可以把在系統(tǒng)獲取得到的校驗信息傳輸?shù)絅amenode中，Namenode根據(jù)相應的塊數(shù)據(jù)失效信息記錄到NameNode中，等待數(shù)據(jù)恢復流程實現(xiàn)異步處理功能。

　　(3)數(shù)據(jù)的流水線復制。HDFS為了能夠確保系統(tǒng)正常的運行狀態(tài)，讓各個數(shù)據(jù)塊在系統(tǒng)中保存三個副本，寫入塊數(shù)據(jù)時，并非是等待上一個數(shù)據(jù)塊的寫操作功能完成之后，再開始執(zhí)行下一個數(shù)據(jù)塊的寫操作處理。

　　2 云存儲安全技術

　　2.1 文件加解密設計

　　文件數(shù)據(jù)信息在實際的傳輸過程中通過AES加密處理之后，需要對加密功能的密鑰進行RSA加密處理，獲取到的密鑰密文和文件通過加密處理之后的密文進行綁定操作，通過系統(tǒng)分塊的作用存儲在HDFS的各個存儲節(jié)點中，這樣不僅可以有效提升系統(tǒng)的實際存儲效率，同時能夠解決單鑰密碼相應的密鑰分配問題。在加載HDFS系統(tǒng)上的文件時，應當在存儲密文中抽取對應的AES密鑰密文，使用用戶的私鑰可以進行解密處理，獲取到密鑰明文之后，再通過文件密文的解密處理實現(xiàn)文件明文的獲取。

　　具體的執(zhí)行過程如以下幾方面：

　　(1)在文件的加密上傳操作過程中，用戶登錄進入云存儲系統(tǒng)，向HDFS發(fā)起傳輸文件請求的過程中需要選擇加密處理的傳輸方式，同時根據(jù)客戶端的隨機密鑰生成器產(chǎn)生一個128位的AES加密密鑰。

　　(2)在客戶端對系統(tǒng)用戶需要進行傳輸?shù)奈募ㄟ^生成的AES密鑰進行加密處理獲取到文件密文。

　　(3)使用系統(tǒng)用戶2048位RSA公鑰對文件的加密密鑰key進行加密處理，得到相應的密鑰密文。

　　(4)通過對密鑰密文和文件密文進行綁定處理，根據(jù)文件密文的實際儲存格式加上對應的標識位與數(shù)據(jù)長度標識，存儲在HDFS的文件系統(tǒng)中。

　　(5)在文件解密操作的下載過程中，如果系統(tǒng)用戶在云端的HDFS文件系統(tǒng)中下載相應的文件時，在獲取到在HDFS系統(tǒng)傳送到客戶端的相應文件之后，系統(tǒng)首先會自動判斷文件的第一位比特值，如果值為零，則表示文件屬于明文存儲方式，去掉標識位之后可以還原成原始的文件格式;如果值為1，則說明文件屬于密文的文件格式，應當進行相應的解密處理。

　　(6)首先需要提取文件中128字節(jié)的AES密鑰密文，通過系統(tǒng)用戶的RSA私鑰能夠解密得到AES對應的明文密鑰。

　　(7)通過獲取得到的AES密鑰對存儲文件密文的相關部分進行相應的解密處理，得到具體存儲文件的明文。

　　2.2 文件存儲格式分析

　　云端文件的存儲格式通�？梢苑殖擅魑拇鎯εc密文存儲兩種類型。存儲格式中的第1位比特值為零，則說明文件屬于明文存儲的格式;如果值為1，則說明文件屬于密文存儲的格式。假如文件以密文形式進行存儲時，在密文的前面應當增加128字節(jié)的空間用于存放RSA加密處理后生成的密文密鑰，使用四個字節(jié)表示有效的文件數(shù)據(jù)長度。

　　3 結束語

　　結合HDFS系統(tǒng)的數(shù)據(jù)輸入輸出與完整性校驗功能的執(zhí)行特點，在HDFS系統(tǒng)的客戶端運用AES算法對用戶上傳到系統(tǒng)中的文件進行加密處理，確保云存儲系統(tǒng)用戶數(shù)據(jù)的安全性;通過使用RSA算法提高AES密鑰的機密性，同時能夠有效解決AES單鑰密碼的實際分配問題;設計云端系統(tǒng)文件兩種類型的存儲格式，有利于系統(tǒng)用戶進行加密方式的自主選擇。在本文技術實施方案的理論基礎上可以通過加入加密緩沖區(qū)域來為系統(tǒng)用戶提供體驗功能，同時需要進一步引入PKI技術，有利于實現(xiàn)HDFS系統(tǒng)用戶的CA安全認證與數(shù)字簽名功能，從而可以更好地提高HDFS系統(tǒng)的安全性能。

　　參考文獻：

　　[1]馮登國，張敏，張妍.云計算安全研究[J].軟件學報，2011(01)：71-83.

　　[2]侯清鏵，武永衛(wèi)，鄭緯民.一種保護云存儲平臺上用戶數(shù)據(jù)私密性的方法[J].計算機研究與發(fā)展，2011(07)：1146-1154.

　　[3]李書鵬.分布式文件系統(tǒng)在云存儲環(huán)境下的若干問題研究[D].北京：中國科學技術大學，2011.

　　[4]黃曉云.基于HDFS的云存儲服務系統(tǒng)研究[D].大連：大連海事大學.2010.

　　閱讀期刊：信息技術與標準化

　　《信息技術與標準化》(月刊)創(chuàng)刊于1959年，由中華人民共和國工業(yè)和信息化部主管、中國電子技術標準化研究所主辦，中國電子工業(yè)標準化技術協(xié)會、全國信息技術標準化技術委員會協(xié)辦，是面向產(chǎn)業(yè)、面向市場、面向信息化建設，集基礎性、實用性和先導性于一體的綜合性技術刊物。