瓒崇悆绔炲僵濂栭噾鎬庝箞绠?:kindle電子書

資源下載,盡在我的書庫!
4场进球开奖结果奖  > kindle電子書庫 > 典藏頻道 > 工農林醫、科學科普、IT網絡

Alluxio:大數據統一存儲原理與實踐

  • 作者: 多作者
  • 體積:23.28 MB
  • 格式:.azw3
  • 語言:中文
  • 積分:6
  • 日期:2020-03-02
  • 推薦:
  • V1會員 內容完整章節目錄封面小圖無損原版

4场进球开奖结果奖 www.zialm.com 簡介:()本書以廣泛使用的Alluxio 1.8.1版本為基礎見編寫,是一本全面介紹Alluxio相關技術原理與實踐案例的書籍,是國內首本深入介紹Alluxio核心原理和架構的技術書籍。

電子書詳細介紹

TAG:大數據

分布式文件系統處于大數據系統中基礎地位,在行業大數據應用中發揮著重要作用。Alluxio是全球第一個以內存為中心(memory-centric)的分布式虛擬文件系統,最初誕生于加州大學伯克利分校的AMPLab,是目前大數據生態系統中發展最快的開源社區之一,擁有來自全球200多個組織的900多名開發人員。Alluxio已在全球數百個企事業單位部署應用,并在超過1000個節點的集群上運行。Alluxio提供一個由軟件實現的統一化虛擬數據存儲層,幫助計算框架無縫對接到底層異構的物理存儲系統,為上層大數據計算框架帶來顯著性能提升。本書以廣泛使用的Alluxio 1.8.1版本為基礎見編寫,是一本全面介紹Alluxio相關技術原理與實踐案例的書籍,是國內首本深入介紹Alluxio核心原理和架構的技術書籍。主要內容包括Alluxio系統快速入門,系統架構及讀寫工作機制、Alluxio與底層存儲系統的集成、Alluxio與上層計算框架的集成、Alluxio的基本功能介紹與使用、Alluxio的高級功能介紹與使用;同時也詳細介紹了Alluxio在大型企業的經典應用案例與生產實踐,以及Alluxio的開源社區開發者指南。本書從概念和原理上對Alluxio的核心框架和相關技術應用進行了詳細的解讀,并對向開源社區貢獻源碼進行了簡要介紹,旨在為大數據從業人員和大數據存儲技術愛好者提供一個深入學習的平臺。

作者簡介

范 斌

Alluxio開源項目管理委員會成員和源碼維護者,Alluxio公司創始成員,現任開源副總裁;加入Alluxio項目之前就職于谷歌山景城,從事下一代大規模分布式存儲系統的研究與開發,并榮獲谷歌基礎設施技術獎(Technical Infrastructure Award);2013年獲得卡內基梅隆大學(Carnegie Mellon University)計算機系博士學位,攻讀博士期間從事分布式系統算法和實現,是CuckooFilter、MemC3及高性能多線程KV庫libcuckoo的第一作者或聯合作者,在SIGCOMM、SOSP、NSDI、CoNEXT等學術會議及IEEE Transactions on Networking等學術期刊上發表了論文;擁有多項專利,部分學術研究成果已在Alluxio、谷歌、Facebook、英特爾、微軟等高科技公司落地使用。

顧 榮

南京大學計算機科學與技術系助理研究員,Alluxio項目管理委員會成員和源碼維護者;于2016年獲得南京大學計算機專業博士學位,主要研究領域為大數據處理技術與系統;在國際期刊、會議發表論文30余篇,包括IEEE TPDS、IEEE ICDE、IEEE IPDPS、JPDC、Parallel Computing、ICPP等;擁有多項發明專利;部分研究成果已在英特爾、百度、華泰證券、蘇寧易購、華為、字節跳動等公司落地使用,或被主流開源大數據系統Apache Spark和Alluxio官方版本集成發布;擔任多種學術期刊審稿人,以及江蘇省計算機學會大數據專委會秘書長、中國計算機學會系統軟件專委會委員。

目錄

第 1 章 Alluxio 系統快速入門 1
1.1 Alluxio 背景概述 1
1.1.1 Alluxio 系統功能簡介 ................................................................................. 4
1.1.2 Alluxio 項目發展歷史 ................................................................................. 5
1.2 獲取/編譯 Alluxio 軟件 ........................................................................................... 6
1.2.1 下載預編譯的 Alluxio 可執行包 ................................................................ 6
1.2.2 編譯 Alluxio 源代碼 .................................................................................... 6
1.3 Alluxio 的搭建部署及程序運行 ........................................................................... 10
1.3.1 單機模式 .................................................................................................... 10
1.3.2 集群模式 .................................................................................................... 13
1.3.3 高可用集群模式 ........................................................................................ 16
第 2 章 Alluxio 系統架構及讀寫工作機制 ....................................................................... 22
2.1 Alluxio 的構架簡介與基本特征 ........................................................................... 22
2.1.1 提升遠程存儲讀寫性能 ............................................................................ 23
2.1.2 統一持久化數據訪問接口 ........................................................................ 24
2.1.3 數據的快速復用和共享 ............................................................................ 26
2.2 Alluxio 的系統功能組件 ....................................................................................... 27
2.2.1 Alluxio Master 組件 ................................................................................... 27
2.2.2 Alluxio Worker 組件 .................................................................................. 29
2.2.3 Alluxio Client 組件 .................................................................................... 30
2.3 Alluxio 讀寫場景的行為分析 ............................................................................... 31
2.3.1 Alluxio 的讀場景數據流 ........................................................................... 31
2.3.2 Alluxio 的寫場景數據流 ........................................................................... 37
第 3 章 Alluxio 與底層存儲系統的集成 ........................................................................... 40
3.1 配置 HDFS 作為 Alluxio 底層存儲 ...................................................................... 40
3.1.1 準備步驟與基本配置流程 ........................................................................ 41
3.1.2 高級參數配置 ............................................................................................ 43
3.1.3 使用 HDFS 在本地運行 Alluxio ............................................................... 44
3.2 配置 Secure HDFS 作為 Alluxio 底層存儲 .......................................................... 44
3.2.1 準備步驟與基本配置流程 ........................................................................ 45
3.2.2 使用安全認證模式 HDFS 在本地運行 Alluxio ....................................... 46
3.3 配置 AWS S3 作為 Alluxio 底層存儲 .................................................................. 47
3.3.1 準備步驟與基本配置流程 ........................................................................ 47
3.3.2 高級參數配置 ............................................................................................ 49
3.3.3 使用 S3 在本地運行 Alluxio ..................................................................... 51
3.4 配置 Google GCS 作為 Alluxio 底層存儲 ........................................................... 52
3.4.1 準備步驟與基本配置流程 ........................................................................ 52
3.4.2 高級參數配置 ............................................................................................ 53
3.4.3 使用 GCS 本地運行 Alluxio ..................................................................... 54
3.5 配置 Azure BLOB Store 作為 Alluxio 底層存儲系統 ........................................ 55
3.5.1 準備步驟與基本配置流程 ........................................................................ 55
3.5.2 使用 Azure BLOB Store 本地運行 Alluxio .............................................. 57
第 4 章 Alluxio 與上層計算框架的集成 ........................................................................... 58
4.1 Alluxio 的管理員操作命令 ................................................................................... 58
4.1.1 操作命令列表 ............................................................................................ 59
4.1.2 操作命令示例 ............................................................................................ 59
4.2 Alluxio 的用戶操作命令 ....................................................................................... 61
4.2.1 操作命令列表 ............................................................................................ 62
4.2.2 操作命令示例 ............................................................................................ 65
4.3 Alluxio 與 Hadoop 操作命令行的集成 ................................................................ 78
4.3.1 前期準備與配置 ........................................................................................ 78
4.3.2 具體使用示例 ............................................................................................ 79
4.4 Alluxio 與 Hadoop MapReduce 的集成 ................................................................ 79
4.4.1 前期準備與配置 ........................................................................................ 80
4.4.2 具體使用示例 ............................................................................................ 82
4.5 Alluxio 與 Spark 的集成 ....................................................................................... 83
4.5.1 前期準備與配置 ........................................................................................ 83
4.5.2 使用 Alluxio 作為輸入/輸出源 ................................................................. 85
4.5.3 Alluxio 與 Spark 集成常見問題分析與解決 ............................................ 86
4.6 Alluxio 與 Hive 的集成 ......................................................................................... 89
4.6.1 安裝并配置 Hive 環境 .............................................................................. 89
4.6.2 使用 Alluxio 存儲部分 Hive 表 ................................................................ 90
4.6.3 使用 Alluxio 作為默認文件系統(存儲全部數據) .............................. 93
4.6.4 檢查 Hive 和 Alluxio 的集成情況(支持 Hive 2.x) ............................. 95
4.7 Alluxio 與 Presto 的集成 ....................................................................................... 96
4.7.1 前期準備 .................................................................................................... 96
4.7.2 部署分發 Alluxio 客戶端 jar 包 ................................................................ 98
4.7.3 Presto 操作命令示例 ................................................................................. 98
4.8 Alluxio 與 TensorFlow 的集成 ........................................................................... 100
4.8.1 深度學習面臨的數據挑戰 ...................................................................... 100
4.8.2 基于 Alluxio 解決深度學習存儲問題的分析 ........................................ 101
4.8.3 安裝并配置 Alluxio FUSE ..................................................................... 102
4.8.4 TensorFlow 使用 Alluxio FUSE 管理訪問數據 ..................................... 103
第 5 章 Alluxio 基本功能的介紹與使用 ......................................................................... 105
5.1 Alluxio 系統環境與屬性的配置 ......................................................................... 105
5.1.1 Alluxio 系統組件參數的配置 ................................................................. 106
5.1.2 Alluxio 客戶端組件參數的配置 ............................................................. 109
5.1.3 Alluxio 參數配置的相關工具 ................................................................. 112
5.2 Alluxio 底層文件系統的配置與管理 ................................................................. 113
5.2.1 Alluxio 掛載底層存儲 ............................................................................. 113
5.2.2 Alluxio 與底層存儲的元數據一致性保證 ............................................. 116
5.3 Alluxio 緩存資源的配置與管理 ......................................................................... 120
5.3.1 配置 Alluxio 緩存存儲資源 .................................................................... 121
5.3.2 Alluxio 緩存數據的載入、駐留及釋放 ................................................. 126
5.3.3 配置 Alluxio 緩存數據的生存時間 ........................................................ 127
5.4 Alluxio 系統 Web 用戶界面的查看與使用 ...................................................... 128
5.4.1 Alluxio Master Web 界面介紹 ................................................................ 128
5.4.2 Alluxio Worker Web 界面介紹 ............................................................... 134
第 6 章 Alluxio 高級功能的介紹與使用 ......................................................................... 137
6.1 Alluxio 的安全認證與權限控制 ......................................................................... 137
6.1.1 Alluxio 安全認證模式的介紹 ................................................................. 138
6.1.2 Alluxio 訪問權限控制的介紹 ................................................................. 139
6.1.3 Alluxio 用戶模擬功能的介紹 ................................................................. 141
6.1.4 Alluxio 審計日志功能的介紹 ................................................................. 142
6.2 Alluxio 的內置 Metrics 系統............................................................................... 143
6.3 Alluxio 文件系統日志的使用與維護 ................................................................. 145
6.4 Alluxio 系統的異常排查 ..................................................................................... 148
Alluxio: 大數據統一存儲原理與實踐
第 7 章 Alluxio 的應用案例與生產實踐 ......................................................................... 152
7.1 陌陌基于 Alluxio 加速 Spark SQL 查詢 ............................................................ 152
7.1.1 Alluxio 緩存應用背景簡介 ..................................................................... 153
7.1.2 陌陌應用場景結合 Alluxio 的分析 ........................................................ 153
7.1.3 基于 Alluxio 的陌陌 Ad Hoc 查詢系統架構 .......................................... 155
7.1.4 基于 Alluxio 的查詢性能評估與分析 .................................................... 156
7.1.5 陌陌在 Alluxio 實戰方面的后續實踐 .................................................... 158
7.2 京東基于 Alluxio 和 Presto 構建交互式查詢引擎 ............................................ 158
7.2.1 京東大數據平臺的業務問題背景 .......................................................... 159
7.2.2 JDPresto on Alluxio 架構與特性的介紹 ................................................. 160
7.2.3 JDPresto on Alluxio 的性能評估與分析 ................................................. 161
7.2.4 JDPresto on Alluxio 的應用總結 ............................................................. 164
7.3 Alluxio 在攜程實時計算平臺中的應用與實踐 ................................................. 165
7.3.1 攜程實時計算的應用背景 ...................................................................... 165
7.3.2 基于 Alluxio 的跨集群數據共享方案與性能評估 ................................ 168
7.4 去哪兒網利用 Alluxio 提升異地存儲訪問性能 ................................................ 169
7.4.1 去哪兒網流式處理背景簡介 .................................................................. 170
7.4.2 原有系統架構及相關問題分析 .............................................................. 171
7.4.3 基于 Alluxio 改進后的系統架構介紹與性能評估 ................................ 172
7.5 百度基于 Alluxio 加速遠程數據讀取 ................................................................ 176
7.5.1 百度跨機房數據查詢問題的描述 .......................................................... 177
7.5.2 使用 Alluxio 緩存遠端數據的方案與效果 ............................................ 177
7.5.3 使用 Alluxio 分層存儲的方案與效果 .................................................... 178
7.5.4 基于 Alluxio 提速遠程數據訪問的總結 ................................................ 180
第 8 章 Alluxio 的開源社區開發者指南 ............................................................... 181
8.1 Alluxio 的源代碼規范 ......................................................................................... 181
8.1.1 源代碼風格要求 ...................................................................................... 182
8.1.2 Alluxio 的單元測試 ................................................................................. 184
8.1.3 Alluxio 的日志系統 ................................................................................. 184
8.1.4 Alluxio 的 RPC 定義 ............................................................................... 186
8.1.5 Alluxio 文件系統日志消息 ..................................................................... 186
8.2 Alluxio 的單元測試流程介紹 ............................................................................. 187
8.2.1 運行 Alluxio 單元測試 ............................................................................ 187
8.2.2 創建 Alluxio 單元測試 ............................................................................ 188
8.2.3 單元測試需要避免的情況 ...................................................................... 190
8.2.4 Alluxio 單元測試的全局狀態管理 ......................................................... 191
8.3 貢獻源代碼至 Alluxio 開源社區 ............................................................... 193
8.3.1 開發者的系統要求和環境準備 .............................................................. 194
8.3.2 下載 Alluxio 源代碼并配置開發者郵箱 ................................................ 194
8.3.3 編譯 Alluxio 源代碼 ................................................................................ 195
8.3.4 領取一個開發者新手任務 ...................................................................... 196
8.3.5 在本地副本中創建一個新的開發分支 .................................................. 196
8.3.6 提交本地的 commit ................................................................................. 197
8.3.7 提交一個社區 Pull Request ..................................................................... 198
8.3.8 審閱社區 Pull Request ............................................................................. 199

下載地址列表

我來說兩句

本書評論

共有 0 條評論
圖書分類
我的書庫手機端
幫助中心
會員登錄 ×
新用戶注冊 ×