(換膚)
語言：
文章編號：11493時間：2024-10-01人氣：
HDFS 的默認數據塊大小為 128MB，但在實踐中，這個大小可能會根據具體應用場景進行調整。
一般來說，對于大多數應用場景，128MB 的默認數據塊大小是一個合理的起點。但是，建議根據具體應用需求進行調整和測試，以找到最優值。
一，HDFS的基本特征與構架 1.基本特征 （1）大規模數據分布存儲能力：以分布式存儲能力和良好的可擴展性。
（基于大量分布節點上的本地文件系統，構建一個邏輯上具有巨大容量的分布式文件系統，并且整個文件系統的容量可隨集群中節點的增加而線性擴展） （2）高并發訪問能力：提供很高的數據訪問寬帶（高數據吞吐率），并且可以把帶寬的大小等比例擴展到集群中的全部節點上 （3）強大的容錯能力：（設計理念中硬件故障被視作常態）保證在經常有節點發生硬件故障的情況下正確檢測硬件故障，并且能自動從故障中快速恢復，確保數據不丟失（采用多副本數據塊形式存儲） （4）順序式文件訪問：（大數據批處理都是大量簡單數據記錄的順序處理）對順序讀進行了優化，支持大量數據的快速順序讀出，代價是對于隨機的訪問負載較高 （5）簡單的一致性模型（一次寫多次讀）：支持大量數據的一次寫入，多次讀??；不支持已寫入數據的更新操作，但允許在文件尾部添加新的數據 （6）數據塊存儲模式：默認的塊大小是64MB。
好處：減少元數據的數量，允許這些數據塊通過隨機方式選擇節點，分布存儲在不同地方 2.基本框架與工作過程 （1）基本組成結構與文件訪問過程 [1]HDFS；一個建立在一組分布式服務器節點的本地文件系統之上的分布式文件系統（采用經典主-從結構） [2]主控節點nameNode: 1）是一個主服務器，用來管理整個文件系統的命名空間和元數據,以及處理來自外界的文件訪問請求 2）保存了文件系統的三中元數據 命名空間：整個分布式文件系統的目錄結構 數據塊與文件名的映射表 每個數據塊副本的位置信息，每一個數據塊默認有3個副本 [3]從節點DataNode： 1）用來實際存儲和管理文件的數據塊 2）為了防止數據丟失，每個數據塊默認有3個副本，且3個副本會分別復制在不同節點上，以避免一個節點失效造成一個數據塊的徹底丟失 [4]程序訪問文件時，實際文件數據流并不會通過NameNode傳送，而是從NameNode獲得所需訪問數據塊的存儲位置信息后，直接去訪問對應的DataNode獲取數據 [5]設計好處： 1）可以允許一個文件的數據能同時在不同DataNode上并發訪問，提高數據訪問的速度 2）減少NameNode的負擔，避免使NameNode成為數據訪問瓶頸 [6]基本訪問過程： 1）首先，用戶的應用程序通過HDFS的客戶端程序將文件名發送至NameNode 2）NameNode接收到文件名之后，在HDFS目錄中檢索文件名對應的數據塊，再根據數據塊信息找到保存數據塊的DataNode地址，講這些地址回送到客戶端 3）客戶端接收到這些DataNode地址之后，與這些DataNode并行的進行數據傳輸操作，同時將操作結果的相關日志提交到NameNode 2.數據塊 （1）為了提高硬盤的效率，文件系統中最小的數據讀寫單元是數據塊 （2）HDFS數據塊的默認大小是64MB，實際部署中，可能會更多 （3）將數據塊設置大的原因是減少尋址開銷的時間 （4）當應用發起數據傳輸請求： [1]NameNode首先檢索文件對應的數據塊信息，找到數據塊對應的DataNode [2]DataNode根據數據塊信息在自身的存儲中尋找相應的文件，進而與應用程序之間交換數據 [3]因為檢索過程是但進行，所以要增加數據塊大小，這樣就可以減少尋址的頻度和時間開銷 3.命名空間 （1）文件命名遵循“目錄/子目錄/文件”格式 （2）通過命令行或者是API可以創建目錄，并且將文件保存在目錄中。
可以對文件進行創建，刪除，重命名操作 （3）命令空間由NameNode管理。
所有對命名空間的改動都會被記錄 （4）允許用戶配置文件在HDFS上保存的副本數量，保存的副本數稱作“副本因子” 4.通信協議 （1）采用TCP協議作為底層的支撐協議 （2）應用協議 [1]應用可以向NameNode主動發起TCP連接 [2]應用和NameNode交互協議稱為Client協議 [3]NameNode和DataNode交互的協議稱為DataNode協議 （3）用戶和DataNode的交互是通過發起遠程調用（RPC），并由NameNode響應來完成的。
另外，NameNode不會主動發起遠程過程調用請求 5.客戶端：是用戶和HDFS通信最常見的渠道，部署的HDFS都會提供客戶端 二，HDFS可靠性設計 數據塊多副本存儲設計 （1）采用了在系統中保存多個副本的方式保存數據，且同一個數據塊的多個副本會存放在不同節點上 （2）優點： [1]采用多副本，可以讓客戶從不同數據塊中讀取數據，加快傳輸速度 [2]HDFS的DataNode之間通過網絡傳輸數據，如果采用多個副本可以判斷數據傳輸是否出錯 [3]多副本可以保證某個DataNode失效的情況下，不會丟失數據 2.可靠性的設計實現 （1）安全模式： [1]HDFS啟動時，NameNode進入安全模式 [2]處于安全模式的NameNode不能做任何文本操作，甚至內部的副本創建不允許 [3]NameNode需要和各個DataNode通信，獲得其中保存的數據塊信息，并對數據塊信息進行檢查 [4]只有通過了NameNode檢查，一個數據塊被認為安全。
當被認為安全的數據塊所占比例達到某個閾值，NameNode退出 （2）SecondaryNmaeNode [1]使用它來備份NameNode元數據，以便在其失效時能從中恢復出其上的元數據 [2]它充當NameNode的一個副本，本身并不處理任何請求。
[3]作用：周期性保存NameNode的元數據 （3）心跳包和副本重新創建 [1]心跳包：位于HDFS核心的NameNode，通過周期性的活動檢查DataNode的活動 [2]檢測到DataNode失效，保存在其上的數據不可用。
則其上保存的副本需要重新創建這個副本，放到另外可用的地方 （4）數據一致性 [1]采用了數據校驗和機制 [2]創建文件時，HDFS會為這個文件生成一個校驗和，校驗和文件和文件本身保存在同一空間上， [3]傳輸數據時會將數據與校驗和一起傳輸，應用收到數據后可以進行校驗 （5）租約 [1]防止同一個文件被多個人寫入數據 [2]NameNode保證同一個文件只會發放一個允許的租約，可以有效防止出現多人寫入的情況 （6）回滾 三，HDFS文件存儲組織與讀寫 1.文件數據的存儲組織 （1）NameNode目錄結構 [1]借助本地文件系統來保存數據，保存文件夾位置由配置選項（{}/{/tmp/dfs/name}）決定 [2]在NameNode的${}之下有3個文件夾和1個文件： 1）current目錄： 文件VERSION:保存了當前運行的HDFS版本信息 FsImages:是整個系統的空間鏡像文件 Edit：EditLog編輯文件 Fstime：上一次檢查點時間 2）目錄：和上一個一致，但是保存的是上一次檢查點的內容 3）image目錄：舊版本的FsImage存儲位置 4）in_:NameNode鎖，只在NameNode有效（啟動并且能和DataNode正常交互）時存在。
（2）DataNode目錄結構 [1]借助本地文件系統來保存數據。
保存文件夾位置由配置選項{}決定 [2]在其之下有4個子目錄和2個文件 1）current目錄：已經成功寫入的數據塊，以及一些系統需要的文件 a)文件VERSION：保存了當前運行的HDFS版本信息 b)subdirXX:當同一目錄下文件超過一定限制，新建一個目錄，保存多出來的數據塊和元數據 2）tmp目錄和blockBeingWritten目錄：正在寫入的數據塊，是HDFS系統內部副本創建時引發的寫入操作對應的數據塊 3）detach目錄：用于DataNode升級 4）Storage目錄：防止版本不同帶來風險 5）in_文件：DataNode鎖。
只有在DataNode有效時存在。
（3）CheckPointNode目錄結構：和上一個基本一致 2.數據的讀寫過程 （1）數據讀取過程 [1]首先，客戶端調用FileSystem實例的open方法，獲得這個文件對應的輸入流，在HDFS中就是DFSInputStream [2]構造第一步的輸入流時，通過RPC遠程調用NameNode可以獲得NameNode中此文件對應的數據塊保存位置，包括這個文件副本的保存位置（注：在輸入流中會按照網絡拓撲結構，根據與客戶端距離對DataNode進行簡單排序） [3]-[4]獲得此輸入流后，客戶端調用READ方法讀取數據。
輸入流選擇最近的DFSInputStream會根據前面的排序結果，選擇最近的DataNode建立連接并讀取數據。
[5]如果已達到數據塊末端，關閉這個DataNode的連接，然后重新查找下一個數據塊 [6]客戶端調用close，關閉輸入流DFSInputStream （2）數據輸入過程 [1]-[2]:客戶端調用FileSystem實例的create方法，創建文件。
檢查后，在NameNode添加文件信息，創建結束之后，HDFS會返回一個輸出流DFSDataOutputStream給客戶端 [3]調用輸出流的write方法向HDFS中對應的文件寫入數據。
數據首先會被分包，這些分包會寫入一個輸出流的內部隊列Data隊列中，接收完整數據分包，輸出流回想NameNode申請保存文件和副本數據塊的若干個DataNode [4]DFSDataOutputStream會（根據網絡拓撲結構排序）將數據傳輸給距離上最短的DataNode，這個節點接收到數據包后傳給下一個。
數據在各節點之間通過管道流通，減少傳輸開銷 [5]數據節點位于不同機器上，數據需要通過網絡發送。
（為保證數據節點數據正確，接收到數據的節點要向發送者發送確認包） [6]執行3-5知道數據全部寫完，DFSDataInputStream繼續等待知道所有數據寫入完畢并確認，調用complete方法通知NameNode文件寫入完成 [7]NameNode接收到complete消息之后，等待相應數量的副本寫入完畢后，告知客戶端 傳輸過程，當某個DataNode失效，HDFS執行： 1）關閉數據傳輸的管道 2）將等待ACK隊列的數據放到Data隊列頭部 3）更新正常DataNode中所有數據塊版本。
當失效的DataNode重啟，之前的數據塊會因為版本不對被清除 4）在傳輸管道中刪除失效的DataNode,重新建立管道并發送數據包 文件系統操作命令 （1）HDFS啟動與關閉 [1]啟動過程： 1）進入到NameNode對應節點的Hadoop安裝目錄 2）執行啟動腳本:bin/ [2]關閉過程:bin/ （2）文件操作命令格式與注意事項 [1]基本命令格式： 1）bin/hadoop dfs-cmd
HDFS適合存儲大量的小文件是錯誤的。
HDFS的全稱是Hadoop Distributed File System，即Hadoop分布式文件系統。 HDFS可將多臺機器組合在一起進行數據存儲，具有整體存儲的能力。 HDFS推薦存儲大文件，并不適合存儲小文件，因為每個文件需要記錄對應的元數據，這些元數據是存放在內存中的，當小文件足夠多時，內存會更多的占用。
HDFS一般針對的是歷史數據，故適合用來做離線計算和離線存儲，由于歷史數據一般比較龐大，處理起來比較耗時，所以，我們允許HDFS有一定的延遲，不用做到實時。 HDFS支持無限拓展，比如集群中的容量不夠存儲了，可以額外加機器，理論上是可以存儲無限多的文件。
HDFS的特點
1、簡單一致性模型
大部分的HDFS程序對文件操作需要的是一次寫多次讀取的操作模式。 一個文件一旦創建、寫入、關閉之后就不需要修改了。 這個假定簡單化了數據一致的問題，并使高吞吐量的數據訪問變得可能，一個Map-Reduce程序或者網絡爬蟲程序都可以完美地適合這個模型。
2、流式數據訪問
運行在HDFS之上的應用程序必須流式地訪問它們的數據集，它不是運行在普通文件系統之上的普通程序。 HDFS被設計成適合批量處理的，而不是用戶交互式的。 重點是在數據吞吐量，而不是數據訪問的反應時間，POSIX的很多硬性需求對于HDFS應用都是非必須的，去掉POSIX一小部分關鍵語義可以獲得更好的數據吞吐率。
HDFS（Hadoop Distributed File System）的默認副本保存數量取決于數據塊的大小。 通常，數據塊的大小設置為64MB或128MB，這意味著每個數據塊在HDFS中都有三份副本，其中兩份在不同的數據節點上，另一份在主副本所在的節點上。 這種設計是為了提高數據的可靠性和可用性。
此外，HDFS還支持通過配置來增加副本的數量，以應對不同的情況和需求。 例如，可以通過配置將更多的副本放在不同的數據節點上，以提高數據的容錯性和可靠性。 同時，也可以通過配置將更多的副本放在相同的節點上，以提高數據的讀取性能。 但是，由于HDFS是一個分布式文件系統，因此即使只有一個副本丟失，也不會影響整個文件系統的可用性。
但是，增加副本數量可以提高數據的可靠性和容錯性，因此在一些關鍵應用中，通常會配置更多的副本。
注意：HDFS的副本數量是可以通過配置進行調整的，因此可以根據實際需求和環境來配置合適的副本數量。
hdfs不適合大規模數據批量離線計算。
Hadoop分布式文件系統（HDFS）是指被設計成適合運行在通用硬件（commodity hardware）上的分布式文件系統（Distributed File System）。 它和現有的分布式文件系統有很多共同點。 但同時，它和其他的分布式文件系統的區別也是很明顯的。
HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。 HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。 HDFS放寬了一部分POSIX約束，來實現流式讀取文件系統數據的目的。 HDFS在最開始是作為ApacheNutch搜索引擎項目的基礎架構而開發的。 HDFS是Apache HadoopCore項目的一部分。
數據特點
HDFS的設計是用于支持大文件的。 運行在HDFS上的程序也是用于處理大數據集的。 這些程序僅寫一次數據，一次或多次讀數據請求，并且這些讀操作要求滿足流式傳輸速度。 HDFS支持文件的一次寫多次讀操作。 HDFS中典型的塊大小是64MB，一個HDFS文件可以被切分成多個64MB大小的塊，如果需要，每一個塊可以分布在不同的數據節點上。
一個客戶端創建一個文件的請求并不會立即轉發到名字節點。 實際上，一開始HDFS客戶端將文件數據緩存在本地的臨時文件中。 應用程序的寫操作被透明地重定向到這個臨時本地文件。 當本地文件堆積到一個HDFS塊大小的時候，客戶端才會通知名字節點。
大數據處理過程中所面臨的挑戰主要集中在數據復雜性、技術難題、安全與隱私問題以及人才需求四個方面。
數據復雜性是大數據處理的首要挑戰。 大數據時代，數據量呈現爆炸式增長，數據來源和格式多樣化，包括結構化數據、半結構化數據以及非結構化數據。 例如，社交媒體上的文本、圖片和視頻，或是工業設備產生的傳感器數據等。 這些數據的整合、清洗和轉換工作異常復雜，需要高效的數據處理技術和算法來應對。
技術難題也是大數據處理不可忽視的挑戰。 隨著數據量的激增，傳統的數據存儲和計算技術已難以滿足需求。 分布式存儲系統如Hadoop HDFS和計算框架如Spark雖然提供了解決方案，但在大規模數據實時處理、數據流轉與計算資源的動態調配等方面仍存在技術瓶頸。 此外，數據質量的不穩定、數據噪聲的干擾也增加了技術處理的難度。
安全與隱私問題在大數據處理過程中尤為突出。 大數據中蘊含大量個人和企業的敏感信息，如不加妥善保護，很容易遭受泄露和濫用。 因此，在大數據的采集、傳輸、存儲和使用各個環節都需要實施嚴格的安全措施。 同時，符合法律法規的隱私保護技術，如數據脫敏、匿名化處理等，也是確保大數據安全合規使用的關鍵。
人才需求是大數據處理面臨的另一大挑戰。 大數據領域對專業人才的需求旺盛，這些人才需要具備深厚的數據分析技能、熟練的技術操作能力以及前瞻性的業務洞察力。 然而，當前市場上這類復合型人才供不應求，培養和引進足夠數量和質量的大數據專業人才，是大數據處理領域持續發展的當務之急。
內容聲明：
1、本站收錄的內容來源于大數據收集，版權歸原網站所有！
2、本站收錄的內容若侵害到您的利益，請聯系我們進行刪除處理！
3、本站不接受違法信息，如您發現違法內容，請聯系我們進行舉報處理！
4、本文地址：http://m.sycxjdsbhs.com/article/55ac5d05a5ce5768123b.html，復制請保留版權鏈接！
語言cos的起源語言cos，也稱為語言角色扮演，最早出現在20世紀90年代的日本彈幕游戲中，玩家們通過模仿游戲角色的說話、行為和動作來扮演他們喜愛的角色，隨著互聯網的普及，語言cos逐漸擴展到其他網絡平臺，例如論壇、聊天室和社交媒體，身體表現的意義在語言cos中，身體表現是表達角色性格和情緒的重要手段，通過不同的動作、手勢和姿勢，扮演...。
技術教程 2024-09-30 02:17:18
簡介對于任何有抱負的Android開發者來說，搭建一個可靠且高效的開發環境至關重要，本文將指導您完成創建和配置Android開發環境所需的所有步驟，以優化您的工作流程和簡化應用程序開發過程，設置先決條件在開始之前，您需要確保系統滿足以下先決條件，Java開發套件，JDK，下載并安裝最新版本的JDK，AndroidSDK，從Andro...。
技術教程 2024-09-28 17:21:41
新聞發布是一項艱巨且耗時的任務，涉及大量的手動勞動和協調，牛腩自動化新聞分發通過簡化流程，減少人為錯誤，從而幫助企業提高新聞發布效率，下面是牛腩自動化新聞分發的優勢和使用說明，牛腩自動化新聞分發優勢提升效率，自動化分發新聞稿，釋放企業時間專注于其他重要任務，減少人為錯誤，通過消除手動操作，減少錯誤的風險，提升準確性，確保新聞稿以一致的...。
最新資訊 2024-09-25 17:10:42
鼠標跟蹤文字，激活閱讀體驗導言鼠標跟蹤文字，MTF，是一種數字文本技術，允許讀者在光標移動時突出顯示文本，這種交互式功能增強了閱讀體驗，讓文字仿佛具有生命，身臨其境，本文將探討MTF的功能和好處，并提供關閉它的方法，鼠標跟蹤文字的功能MTF的主要功能是通過光標運動來突出顯示文本，當讀者將光標懸停在單詞或句子上時，它會被高亮顯示，使其比...。
技術教程 2024-09-24 18:47:33
ListBox控件是HTML中一個非常有用的元素，它允許用戶從一組選項中進行選擇，默認情況下，listbox控件的外觀和行為可能并不總是滿足特定的需求，通過使用CSS、HTML和JavaScript，可以對listbox控件進行廣泛的定制，以創建具有獨特外觀和行為的自定義控件，自定義外觀可以使用CSS輕松地自定義listbox控件的外...。
本站公告 2024-09-23 19:43:22
父母的孤兒進程的關鍵機制，有助于保持系統穩定性、防止資源泄漏并增強安全性，通過在，無父母的孤兒，設計模式中實現無孤兒清除，可以確保子進程在父進程退出時得到正確管理，從而創建一個更可靠且健壯的系統，...。
最新資訊 2024-09-13 23:07:02
多線程編程是提高應用程序并發性和性能的強大工具，在C語言中，多線程編程通過pthread庫實現，高級技術互斥量互斥量用于確保共享資源在同一時間只能被一個線程訪問，在pthread中，互斥量由pthread，mutex，t類型表示，可通過pthread，mutex，init函數初始化，對共享資源的訪問應始終使用pthread，mutex...。
最新資訊 2024-09-12 15:11:10
在JavaScript中，函數是代碼中的基本構建塊，用于定義特定任務并進行重復使用，有兩種主要的函數類型，普通函數和箭頭函數，每種類型都有其自身的優點和缺點，普通函數普通函數是JavaScript中的傳統函數類型，使用function關鍵字定義，普通函數具有以下語法，functionfunctionName，arg1，arg2，......。
最新資訊 2024-09-10 17:33:18
歡迎來到我們的源碼教程，我們將指導您從編程初學者成長為技術精湛的大師，無論您是剛開始接觸編程，還是想要提升您的技能，本教程都將為您提供全面的指導，第一章，初學者指南本指南將介紹編程的基礎知識，包括，什么是編程不同類型的編程語言編寫和編譯代碼的基礎常見編程概念，如變量、函數和控制結構，學習資源CodecademyUdemyCourser...。
本站公告 2024-09-10 05:29:13
引言NORM函數是MicrosoftExcel中一個強大的工具，可用于執行各種數據規范化任務，通過理解其基本原理和高級應用，您可以大幅提升數據處理效率并獲得更有意義的結果，基本原理NORM函數將給定值轉換為正態分布中的標準分數，其公式為，=NORM.DIST，x，mean，standard，dev，cumulative，x，要標準化的...。
最新資訊 2024-09-09 19:15:50
歡迎來到學校網站構建指南，本指南將介紹學校網站構建過程中你需要了解的一切，從選擇正確的平臺到設計和開發你的網站，選擇正確的平臺在開始構建網站之前，你需要選擇一個適合你的學校的平臺，有許多不同的平臺可供選擇，每個平臺都有其優點和缺點，以下是一些最受歡迎的學校網站平臺，WordPress，WordPress是一個免費的開源平臺，被廣泛用于...。
最新資訊 2024-09-05 20:15:11
中國摩天大樓以其令人驚嘆的高度和宏偉的建筑而聞名，但它們也成為超自然現象和幽靈傳說的溫床，其中最著名的摩天大樓之一是位于香港的中銀大廈，一直是眾多靈異事件的傳聞之地，中銀大廈中銀大廈于1990年建成，高368米，是香港第五高的摩天大樓，由著名建筑師貝聿銘設計，以其獨特的外形和三角形屋頂而聞名，中銀大廈也因其與超自然現象的聯系而聲名鵲起...。
互聯網資訊 2024-09-03 03:35:15