閱讀更多

4頂
0踩

企業架構

轉載新聞 常用的幾種大數據架構剖析

2018-04-12 10:37 by 副主編 jihong10102006 評論(0) 有40552人瀏覽
數據分析工作雖然隱藏在業務系統背后,但是具有非常重要的作用,數據分析的結果對決策、業務發展有著舉足輕重的作用。隨著大數據技術的發展,數據挖掘、數據探索等專有名詞曝光度越來越高,但是在類似于Hadoop系列的大數據分析系統大行其道之前,數據分析工作已經經歷了長足的發展,尤其是以BI系統為主的數據分析,已經有了非常成熟和穩定的技術方案和生態系統,對于BI系統來說,大概的架構圖如下:

可以看到在BI系統里面,核心的??槭荂ube,Cube是一個更高層的業務模型抽象,在Cube之上可以進行多種操作,例如上鉆、下鉆、切片等操作。大部分BI系統都基于關系型數據庫,關系型數據庫使用SQL語句進行操作,但是SQL在多維操作和分析的表示能力上相對較弱,所以Cube有自己獨有的查詢語言MDX,MDX表達式具有更強的多維表現能力,所以以Cube為核心的分析系統基本占據著數據統計分析的半壁江山,大多數的數據庫服務廠商直接提供了BI套裝軟件服務,輕易便可搭建出一套Olap分析系統。不過BI的問題也隨著時間的推移逐漸顯露出來:
  • BI系統更多的以分析業務數據產生的密度高、價值高的結構化數據為主,對于非結構化和半結構化數據的處理非常乏力,例如圖片,文本,音頻的存儲,分析。
  • 由于數據倉庫為結構化存儲,在數據從其他系統進入數據倉庫這個東西,我們通常叫做ETL過程,ETL動作和業務進行了強綁定,通常需要一個專門的ETL團隊去和業務做銜接,決定如何進行數據的清洗和轉換。
  • 隨著異構數據源的增加,例如如果存在視頻,文本,圖片等數據源,要解析數據內容進入數據倉庫,則需要非常復雜等ETL程序,從而導致ETL變得過于龐大和臃腫。
  • 當數據量過大的時候,性能會成為瓶頸,在TB/PB級別的數據量上表現出明顯的吃力。
  • 數據庫的范式等約束規則,著力于解決數據冗余的問題,是為了保障數據的一致性,但是對于數據倉庫來說,我們并不需要對數據做修改和一致性的保障,原則上來說數據倉庫的原始數據都是只讀的,所以這些約束反而會成為影響性能的因素。
  • ETL動作對數據的預先假設和處理,導致機器學習部分獲取到的數據為假設后的數據,因此效果不理想。例如如果需要使用數據倉庫進行異常數據的挖掘,則在數據入庫經過ETL的時候就需要明確定義需要提取的特征數據,否則無法結構化入庫,然而大多數情況是需要基于異構數據才能提取出特征。
在一系列的問題下,以Hadoop體系為首的大數據分析平臺逐漸表現出優異性,圍繞Hadoop體系的生態圈也不斷的變大,對于Hadoop系統來說,從根本上解決了傳統數據倉庫的瓶頸的問題,但是也帶來一系列的問題:
  • 從數據倉庫升級到大數據架構,是不具備平滑演進的,基本等于推翻重做。
  • 大數據下的分布式存儲強調數據的只讀性質,所以類似于Hive,HDFS這些存儲方式都不支持update,HDFS的write操作也不支持并行,這些特性導致其具有一定的局限性。
基于大數據架構的數據分析平臺側重于從以下幾個維度去解決傳統數據倉庫做數據分析面臨的瓶頸:
  • 分布式計算:分布式計算的思路是讓多個節點并行計算,并且強調數據本地性,盡可能的減少數據的傳輸,例如Spark通過RDD的形式來表現數據的計算邏輯,可以在RDD上做一系列的優化,來減少數據的傳輸。
  • 分布式存儲:所謂的分布式存儲,指的是將一個大文件拆成N份,每一份獨立的放到一臺機器上,這里就涉及到文件的副本,分片,以及管理等操作,分布式存儲主要優化的動作都在這一塊。
  • 檢索和存儲的結合:在早期的大數據組件中,存儲和計算相對比較單一,但是目前更多的方向是在存儲上做更多的手腳,讓查詢和計算更加高效,對于計算來說高效不外乎就是查找數據快,讀取數據快,所以目前的存儲不單單的存儲數據內容,同時會添加很多元信息,例如索引信息。像類似于parquet和carbondata都是這樣的思想。
總的來說,目前圍繞Hadoop體系的大數據架構大概有以下幾種:

傳統大數據架構

?之所以叫傳統大數據架構,是因為其定位是為了解決傳統BI的問題,簡單來說,數據分析的業務沒有發生任何變化,但是因為數據量、性能等問題導致系統無法正常使用,需要進行升級改造,那么此類架構便是為了解決這個問題??梢鑰吹?,其依然保留了ETL的動作,將數據經過ETL動作進入數據存儲。

優點:簡單,易懂,對于BI系統來說,基本思想沒有發生變化,變化的僅僅是技術選型,用大數據架構替換掉BI的組件。

缺點:對于大數據來說,沒有BI下如此完備的Cube架構,雖然目前有kylin,但是kylin的局限性非常明顯,遠遠沒有BI下的Cube的靈活度和穩定度,因此對業務支撐的靈活度不夠,所以對于存在大量報表,或者復雜的鉆取的場景,需要太多的手工定制化,同時該架構依舊以批處理為主,缺乏實時的支撐。

適用場景:數據分析需求依舊以BI場景為主,但是因為數據量、性能等問題無法滿足日常使用。

流式架構

在傳統大數據架構的基礎上,流式架構非常激進,直接拔掉了批處理,數據全程以流的形式處理,所以在數據接入端沒有了ETL,轉而替換為數據通道。經過流處理加工后的數據,以消息的形式直接推送給了消費者。雖然有一個存儲部分,但是該存儲更多的以窗口的形式進行存儲,所以該存儲并非發生在數據湖,而是在外圍系統。

優點:沒有臃腫的ETL過程,數據的實效性非常高。

缺點:對于流式架構來說,不存在批處理,因此對于數據的重播和歷史統計無法很好的支撐。對于離線分析僅僅支撐窗口之內的分析。

適用場景:預警,監控,對數據有有效期要求的情況。

Lambda架構

Lambda架構算是大數據系統里面舉足輕重的架構,大多數架構基本都是Lambda架構或者基于其變種的架構。Lambda的數據通道分為兩條分支:實時流和離線。實時流依照流式架構,保障了其實時性,而離線則以批處理方式為主,保障了最終一致性。什么意思呢?流式通道處理為保障實效性更多的以增量計算為主輔助參考,而批處理層則對數據進行全量運算,保障其最終的一致性,因此Lambda最外層有一個實時層和離線層合并的動作,此動作是Lambda里非常重要的一個動作,大概的合并思路如下:

優點:既有實時又有離線,對于數據分析場景涵蓋的非常到位。

缺點:離線層和實時流雖然面臨的場景不相同,但是其內部處理的邏輯卻是相同,因此有大量榮譽和重復的??櫬嬖?。

適用場景:同時存在實時和離線需求的情況。

Kappa架構

? Kappa架構在Lambda 的基礎上進行了優化,將實時和流部分進行了合并,將數據通道以消息隊列進行替代。因此對于Kappa架構來說,依舊以流處理為主,但是數據卻在數據湖層面進行了存儲,當需要進行離線分析或者再次計算的時候,則將數據湖的數據再次經過消息隊列重播一次則可。

優點:Kappa架構解決了Lambda架構里面的冗余部分,以數據可重播的超凡脫俗的思想進行了設計,整個架構非常簡潔。

缺點:雖然Kappa架構看起來簡潔,但是施難度相對較高,尤其是對于數據重播部分。

適用場景:和Lambda類似,改架構是針對Lambda的優化。

Unifield架構

?以上的種種架構都圍繞海量數據處理為主,Unifield架構則更激進,將機器學習和數據處理揉為一體,從核心上來說,Unifield依舊以Lambda為主,不過對其進行了改造,在流處理層新增了機器學習層??梢鑰吹絞菰誥萃ǖ瀾朧鶯?,新增了模型訓練部分,并且將其在流式層進行使用。同時流式層不單使用模型,也包含著對模型的持續訓練。

優點:Unifield架構提供了一套數據分析和機器學習結合的架構方案,非常好的解決了機器學習如何與數據平臺進行結合的問題。

缺點:Unifield架構實施復雜度更高,對于機器學習架構來說,從軟件包到硬件部署都和數據分析平臺有著非常大的差別,因此在實施過程中的難度系數更高。

適用場景:有著大量數據需要分析,同時對機器學習方便又有著非常大的需求或者有規劃。

總結

以上幾種架構為目前數據處理領域使用比較多的幾種架構,當然還有非常多其他架構,不過其思想都會或多或少的類似。數據領域和機器學習領域會持續發展,以上幾種思想或許終究也會變得過時。
  • 大小: 81.5 KB
  • 大小: 43.9 KB
  • 大小: 42 KB
  • 大小: 57.2 KB
  • 大小: 189.1 KB
  • 大小: 52.6 KB
  • 大小: 65 KB
來自: 白發川
4
0
評論 共 0 條 請登錄后發表評論

發表評論

您還沒有登錄,請您登錄后再發表評論

相關推薦

  • 對比解讀五種主流大數據架構的數據分析能力

  • 大數據架構和算法實現之路:電商系統的技術實戰》【高清+完整目錄】

  • 大數據架構和算法實現之路:電商系統的技術實戰

    黃申,博士,畢業于上海交通大學計算機科學與工程專業,師從俞勇教授。微軟學者,IBMExtremeBlue天才計劃成員。長期專注于大數據相關的搜索、推薦、廣告以及用戶精準化領域。曾在微軟亞洲研究院、eBay中國、沃爾瑪1號店和大潤發飛牛網擔任要職,帶隊完成了若干公司級的戰略項目。同時著有20多篇國際論文和10多項國際專利,兼任《計算機工程》期刊特邀審稿專家。因其對業界的卓越貢獻,2015年獲得美國政府頒發的“美國杰出人才”稱號。 本書介紹了一些主流技術在商業項目中的應用,包括機器學習中的分類、聚類和線性回歸,搜索引擎,推薦系統,用戶行為跟蹤,架構設計的基本理念及常用的消息和緩存機制。在這個過程中,我們有機會實踐R、Mahout、Solr、Elasticsearch、Hadoop、HBase、Hive、Flume、Kafka、Storm等系統。如前所述,本書最大的特色就是,從商業需求出發演變到合理的技術方案和實現,因此根據不同的應用場景、不同的數據集合、不同的進階難度,我們為讀者提供了反復溫習和加深印象的機會。

  • 胡寧-互聯網常用場景下的大數據架構解析.pdf

    胡寧-互聯網常用場景下的大數據架構解析.pdf

  • 大數據架構簡述(一):大數據的本質

  • 大數據架構商業之路:從業務需求到技術方案.pdf(中文高清版)

  • 大數據架構詳解:從數據獲取到深度學習.pdf 帶書簽 高清 完整

    第一部分 大數據的本質 第1章 大數據是什么 2 1.1 大數據導論 2 1.1.1 大數據簡史 2 1.1.2 大數據現狀 3 1.1.3 大數據與BI 3 1.2 企業數據資產 4 1.3 大數據挑戰 5 1.3.1 成本挑戰 6 1.3.2 實時性挑戰 6 1.3.3 安全挑戰 6 1.4 小結 6 第2章 運營商大數據架構 7 2.1 架構驅動的因素 7 2.2 大數據平臺架構 7 2.3 平臺發展趨勢 8 2.4 小結 8 第3章 運營商大數據業務 9 3.1 運營商常見的大數據業務 9 3.1.1 SQM(運維質量管理) 9 3.1.2 CSE(客戶體驗提升) 9 3.1.3 MSS(市場運維支撐) 10 3.1.4 DMP(數據管理平臺) 10 3.2 小結 11 第二部分 大數據技術 第4章 數據獲取 14 4.1 數據分類 14 4.2 數據獲取組件 14 4.3 探針 15 4.3.1 探針原理 15 4.3.2 探針的關鍵能力 16 4.4 網頁采集 26 4.4.1 網絡爬蟲 26 4.4.2 簡單爬蟲Python代碼示例 32 4.5 日志收集 33 4.5.1 Flume 33 4.5.2 其他日志收集組件 47 4.6 數據分發中間件 47 4.6.1 數據分發中間件的作用 47 4.6.2 Kafka架構和原理 47 4.7 小結 82 第5章 流處理 83 5.1 算子 83 5.2 流的概念 83 5.3 流的應用場景 84 5.3.1 金融領域 84 5.3.2 電信領域 85 5.4 業界兩種典型的流引擎 85 5.4.1 Storm 85 5.4.2 Spark Streaming 89 5.4.3 融合框架 102 5.5 CEP 108 5.5.1 CEP是什么 108 5.5.2 CEP的架構 109 5.5.3 Esper 110 5.6 實時結合機器學習 110 5.6.1 Eagle的特點 111 5.6.2 Eagle概覽 111 5.7 小結 116 第6章 交互式分析 117 6.1 交互式分析的概念 117 6.2 MPP DB技術 118 6.2.1 MPP的概念 118 6.2.2 典型的MPP數據庫 121 6.2.3 MPP DB調優實戰 131 6.2.4 MPP DB適用場景 162 6.3 SQL on Hadoop 163 6.3.1 Hive 163 6.3.2 Phoenix 165 6.3.3 Impala 166 6.4 大數據倉庫 167 6.4.1 數據倉庫的概念 167 6.4.2 OLTP/OLAP對比 168 6.4.3 大數據場景下的同與不同 168 6.4.4 查詢引擎 169 6.4.5 存儲引擎 170 6.5 小結 171 第7章 批處理技術 172 7.1 批處理技術的概念 172 7.2 MPP DB技術 172 7.3 MapReduce編程框架 173 7.3.1 MapReduce起源 173 7.3.2 MapReduce原理 173 7.3.3 Shuffle 174 7.3.4 性能差的主要原因 177 7.4 Spark架構和原理 177 7.4.1 Spark的起源和特點 177 7.4.2 Spark的核心概念 178 7.5 BSP框架 217 7.5.1 什么是BSP模型 217 7.5.2 并行模型介紹 218 7.5.3 BSP模型基本原理 220 7.5.4 BSP模型的特點 222 7.5.5 BSP模型的評價 222 7.5.6 BSP與MapReduce對比 222 7.5.7 BSP模型的實現 223 7.5.8 Apache Hama簡介 223 7.6 批處理關鍵技術 227 7.6.1 CodeGen 227 7.6.2 CPU親和技術 228 7.7 小結 229 第8章 機器學習和數據挖掘 230 8.1 機器學習和數據挖掘的聯系與區別 230 8.2 典型的數據挖掘和機器學習過程 231 8.3 機器學習概覽 232 8.3.1 學習方式 232 8.3.2 算法類似性 233 8.4 機器學習&數據挖掘應用案例 235 8.4.1 尿布和啤酒的故事 235 8.4.2 決策樹用于電信領域故障快速定位 236 8.4.3 圖像識別領域 236 8.4.4 自然語言識別 238 8.5 交互式分析 239 8.6 深度學習 240 8.6.1 深度學習概述 240 8.6.2 機器學習的背景 241 8.6.3 人腦視覺機理 242 8.6.4 關于特征 244 8.6.5 需要有多少個特征 245 8.6.6 深度學習的基本思想 246 8.6.7 淺層學習和深度學習 246 8.6.8 深度學習與神經網絡 247 8.6.9 深度學習的訓練過程 248 8.6.10 深度學習的框架 248 8.6.11 深度學習與GPU 255 8.6.12 深度學習小結與展望 256 8.7 小結 257 第9章 資源管理 258 9.1 資源管理的基本概念 258 9.1.1 資源調度的目標和價值 258 9.1.2 資源調度的使用限制及難點 258 9.2 Hadoop領域的資源調度框架 259 9.2.1 YARN 259 9.2.2 Borg 260 9.2.3 Omega 262 9.2.4 本節小結 263 9.3 資源分配算法 263 9.3.1 算法的作用 263 9.3.2 幾種調度算法分析 263 9.4 數據中心統一資源調度 271 9.4.1 Mesos+Marathon架構和原理 271 9.4.2 Mesos+Marathon小結 283 9.5 多租戶技術 284 9.5.1 多租戶概念 284 9.5.2 多租戶方案 284 9.6 基于應用描述的智能調度 287 9.7 Apache Mesos架構和原理 288 9.7.1 Apache Mesos背景 288 9.7.2 Apache Mesos總體架構 288 9.7.3 Apache Mesos工作原理 290 9.7.4 Apache Mesos關鍵技術 295 9.7.5 Mesos與YARN比較 304 9.8 小結 305 第10章 存儲是基礎 306 10.1 分久必合,合久必分 306 10.2 存儲硬件的發展 306 10.2.1 機械硬盤的工作原理 306 10.2.2 SSD的原理 307 10.2.3 3DXPoint 309 10.2.4 硬件發展小結 309 10.3 存儲關鍵指標 309 10.4 RAID技術 309 10.5 存儲接口 310 10.5.1 文件接口 311 10.5.2 裸設備 311 10.5.3 對象接口 312 10.5.4 塊接口 316 10.5.5 融合是趨勢 328 10.6 存儲加速技術 328 10.6.1 數據組織技術 328 10.6.2 緩存技術 335 10.7 小結 336 第11章 大數據云化 337 11.1 云計算定義 337 11.2 應用上云 337 11.2.1 Cloud Native概念 338 11.2.2 微服務架構 338 11.2.3 Docker配合微服務架構 342 11.2.4 應用上云小結 348 11.3 大數據上云 348 11.3.1 大數據云服務的兩種模式 348 11.3.2 集群模式AWSEMR 349 11.3.3 服務模式Azure Data Lake Analytics 352 11.4 小結 354 第三部分 大數據文化 第12章 大數據技術開發文化 356 12.1 開源文化 356 12.2 DevOps理念 356 12.2.1 Development和Operations的組合 357 12.2.2 對應用程序發布的影響 357 12.2.3 遇到的問題 358 12.2.4 協調人 358 12.2.5 成功的關鍵 359 12.3 速度遠比你想的重要 359 12.4 小結 361

  • 幾種常用圖像處理算法

    幾種常用圖像處理算法幾種常用圖像處理算法幾種常用圖像處理算法

  • 大數據架構 (高清完整版)

    大數據架構大數據架構 必看的大數據架構相關知識。。。。。

  • 大數據架構商業之路:從業務需求到技術方案(全書)高清完整.pdf版下載

    編輯推薦   作者榮獲美國政府頒發的“美國杰出人才”稱號。大潤發中國區董事長、飛牛網首席執行董事黃明端先生與eBay全球零售科學高級總監逄偉先生作序力薦!   將技術與商業需求相結合,深入剖析大數據商業應用中的困惑與難題,幫助讀者更好地掌握技術支撐業務高速發展的方案! 內容簡介   目前大數據技術已經日趨成熟,但是業界發現與大數據相關的產品設計和研發仍然非常困難,技術、產品和商業的結合度還遠遠不夠。這主要是因為大數據涉及范圍廣、技術含量高、更新換代快,門檻也比其他大多數IT行業更高。人們要么使用昂貴的商業解決方案,要么花費巨大的精力摸索。本書通過一個虛擬的互聯網O2O創業故事,來逐步展開介紹創業各個階段可能遇到的大數據課題、業務需求,以及相對應的技術方案,甚至是實踐解析;讓讀者身臨其境,一起來探尋大數據的奧秘。書中會覆蓋較廣泛的技術點,并提供相應的背景知識介紹,對于想進一步深入研究細節的讀者,也可輕松獲得繼續閱讀的方向和指導性建議。 京東購買鏈接:https://item.jd.com/11915193.html

  • 大數據架構詳解:從數據獲取到深度學習 高清完整.pdf版下載

    清晰完整 第一部分 大數據的本質 第1章 大數據是什么 2 1.1 大數據導論 2 1.1.1 大數據簡史 2 1.1.2 大數據現狀 3 1.1.3 大數據與BI 3 1.2 企業數據資產 4 1.3 大數據挑戰 5 1.3.1 成本挑戰 6 1.3.2 實時性挑戰 6 1.3.3 安全挑戰 6 1.4 小結 6 第2章 運營商大數據架構 7 2.1 架構驅動的因素 7 2.2 大數據平臺架構 7 2.3 平臺發展趨勢 8 2.4 小結 8 第3章 運營商大數據業務 9 3.1 運營商常見的大數據業務 9 3.1.1 SQM(運維質量管理) 9 3.1.2 CSE(客戶體驗提升) 9 3.1.3 MSS(市場運維支撐) 10 3.1.4 DMP(數據管理平臺) 10 3.2 小結 11 第二部分 大數據技術 第4章 數據獲取 14 4.1 數據分類 14 4.2 數據獲取組件 14 4.3 探針 15 4.3.1 探針原理 15 4.3.2 探針的關鍵能力 16 4.4 網頁采集 26 4.4.1 網絡爬蟲 26 4.4.2 簡單爬蟲Python代碼示例 32 4.5 日志收集 33 4.5.1 Flume 33 4.5.2 其他日志收集組件 47 4.6 數據分發中間件 47 4.6.1 數據分發中間件的作用 47 4.6.2 Kafka架構和原理 47 4.7 小結 82 第5章 流處理 83 5.1 算子 83 5.2 流的概念 83 5.3 流的應用場景 84 5.3.1 金融領域 84 5.3.2 電信領域 85 5.4 業界兩種典型的流引擎 85 5.4.1 Storm 85 5.4.2 Spark Streaming 89 5.4.3 融合框架 102 5.5 CEP 108 5.5.1 CEP是什么 108 5.5.2 CEP的架構 109 5.5.3 Esper 110 5.6 實時結合機器學習 110 5.6.1 Eagle的特點 111 5.6.2 Eagle概覽 111 5.7 小結 116 第6章 交互式分析 117 6.1 交互式分析的概念 117 6.2 MPP DB技術 118 6.2.1 MPP的概念 118 6.2.2 典型的MPP數據庫 121 6.2.3 MPP DB調優實戰 131 6.2.4 MPP DB適用場景 162 6.3 SQL on Hadoop 163 6.3.1 Hive 163 6.3.2 Phoenix 165 6.3.3 Impala 166 6.4 大數據倉庫 167 6.4.1 數據倉庫的概念 167 6.4.2 OLTP/OLAP對比 168 6.4.3 大數據場景下的同與不同 168 6.4.4 查詢引擎 169 6.4.5 存儲引擎 170 6.5 小結 171 第7章 批處理技術 172 7.1 批處理技術的概念 172 7.2 MPP DB技術 172 7.3 MapReduce編程框架 173 7.3.1 MapReduce起源 173 7.3.2 MapReduce原理 173 7.3.3 Shuffle 174 7.3.4 性能差的主要原因 177 7.4 Spark架構和原理 177 7.4.1 Spark的起源和特點 177 7.4.2 Spark的核心概念 178 7.5 BSP框架 217 7.5.1 什么是BSP模型 217 7.5.2 并行模型介紹 218 7.5.3 BSP模型基本原理 220 7.5.4 BSP模型的特點 222 7.5.5 BSP模型的評價 222 7.5.6 BSP與MapReduce對比 222 7.5.7 BSP模型的實現 223 7.5.8 Apache Hama簡介 223 7.6 批處理關鍵技術 227 7.6.1 CodeGen 227 7.6.2 CPU親和技術 228 7.7 小結 229 第8章 機器學習和數據挖掘 230 8.1 機器學習和數據挖掘的聯系與區別 230 8.2 典型的數據挖掘和機器學習過程 231 8.3 機器學習概覽 232 8.3.1 學習方式 232 8.3.2 算法類似性 233 8.4 機器學習&數據挖掘應用案例 235 8.4.1 尿布和啤酒的故事 235 8.4.2 決策樹用于電信領域故障快速定位 236 8.4.3 圖像識別領域 236 8.4.4 自然語言識別 238 8.5 交互式分析 239 8.6 深度學習 240 8.6.1 深度學習概述 240 8.6.2 機器學習的背景 241 8.6.3 人腦視覺機理 242 8.6.4 關于特征 244 8.6.5 需要有多少個特征 245 8.6.6 深度學習的基本思想 246 8.6.7 淺層學習和深度學習 246 8.6.8 深度學習與神經網絡 247 8.6.9 深度學習的訓練過程 248 8.6.10 深度學習的框架 248 8.6.11 深度學習與GPU 255 8.6.12 深度學習小結與展望 256 8.7 小結 257 第9章 資源管理 258 9.1 資源管理的基本概念 258 9.1.1 資源調度的目標和價值 258 9.1.2 資源調度的使用限制及難點 258 9.2 Hadoop領域的資源調度框架 259 9.2.1 YARN 259 9.2.2 Borg 260 9.2.3 Omega 262 9.2.4 本節小結 263 9.3 資源分配算法 263 9.3.1 算法的作用 263 9.3.2 幾種調度算法分析 263 9.4 數據中心統一資源調度 271 9.4.1 Mesos+Marathon架構和原理 271 9.4.2 Mesos+Marathon小結 283 9.5 多租戶技術 284 9.5.1 多租戶概念 284 9.5.2 多租戶方案 284 9.6 基于應用描述的智能調度 287 9.7 Apache Mesos架構和原理 288 9.7.1 Apache Mesos背景 288 9.7.2 Apache Mesos總體架構 288 9.7.3 Apache Mesos工作原理 290 9.7.4 Apache Mesos關鍵技術 295 9.7.5 Mesos與YARN比較 304 9.8 小結 305 第10章 存儲是基礎 306 10.1 分久必合,合久必分 306 10.2 存儲硬件的發展 306 10.2.1 機械硬盤的工作原理 306 10.2.2 SSD的原理 307 10.2.3 3DXPoint 309 10.2.4 硬件發展小結 309 10.3 存儲關鍵指標 309 10.4 RAID技術 309 10.5 存儲接口 310 10.5.1 文件接口 311 10.5.2 裸設備 311 10.5.3 對象接口 312 10.5.4 塊接口 316 10.5.5 融合是趨勢 328 10.6 存儲加速技術 328 10.6.1 數據組織技術 328 10.6.2 緩存技術 335 10.7 小結 336 第11章 大數據云化 337 11.1 云計算定義 337 11.2 應用上云 337 11.2.1 Cloud Native概念 338 11.2.2 微服務架構 338 11.2.3 Docker配合微服務架構 342 11.2.4 應用上云小結 348 11.3 大數據上云 348 11.3.1 大數據云服務的兩種模式 348 11.3.2 集群模式AWSEMR 349 11.3.3 服務模式Azure Data Lake Analytics 352 11.4 小結 354 第三部分 大數據文化 第12章 大數據技術開發文化 356 12.1 開源文化 356 12.2 DevOps理念 356 12.2.1 Development和Operations的組合 357 12.2.2 對應用程序發布的影響 357 12.2.3 遇到的問題 358 12.2.4 協調人 358 12.2.5 成功的關鍵 359 12.3 速度遠比你想的重要 359 12.4 小結 361

  • 大數據架構詳解

  • 幾種常用的表連接方式.doc

    幾種常用的表連接方式.doc幾種常用的表連接方式.doc幾種常用的表連接方式.doc幾種常用的表連接方式.doc幾種常用的表連接方式.doc幾種常用的表連接方式.doc幾種常用的表連接方式.doc

  • 大數據架構詳解》讀后感

    大數據架構詳解》 ——?讀后感作者:朱潔 羅華霖出版商:中國工信出版社 電子工業出版社版次:2016年10月第1版印數:7001 ~ 12000冊定價:69.00元本書花了大量筆墨講了通信運營商的大數據應用案例及其使用的架構,這也不奇怪,因為作者是為通信運營商做大數據解決方案的。作者服務的運營商大數據平臺架構,從上到下依次為———應用層? ? SQM、CSE、MSS、DMP,這些都是運營商特有的...

  • 大數據架構流程解析

  • 算法實戰(一):剖析Redis常用數據類型對應的數據結構

  • https://blog.csdn.net/tolenthui/article/details/79469450

  • 大數據架構詳解 高清完整.pdf版下載

    清晰完整 第一部分 大數據的本質 第1章 大數據是什么 2 1.1 大數據導論 2 1.1.1 大數據簡史 2 1.1.2 大數據現狀 3 1.1.3 大數據與BI 3 1.2 企業數據資產 4 1.3 大數據挑戰 5 1.3.1 成本挑戰 6 1.3.2 實時性挑戰 6 1.3.3 安全挑戰 6 1.4 小結 6 第2章 運營商大數據架構 7 2.1 架構驅動的因素 7 2.2 大數據平臺架構 7 2.3 平臺發展趨勢 8 2.4 小結 8 第3章 運營商大數據業務 9 3.1 運營商常見的大數據業務 9 3.1.1 SQM(運維質量管理) 9 3.1.2 CSE(客戶體驗提升) 9 3.1.3 MSS(市場運維支撐) 10 3.1.4 DMP(數據管理平臺) 10 3.2 小結 11 第二部分 大數據技術 第4章 數據獲取 14 4.1 數據分類 14 4.2 數據獲取組件 14 4.3 探針 15 4.3.1 探針原理 15 4.3.2 探針的關鍵能力 16 4.4 網頁采集 26 4.4.1 網絡爬蟲 26 4.4.2 簡單爬蟲Python代碼示例 32 4.5 日志收集 33 4.5.1 Flume 33 4.5.2 其他日志收集組件 47

  • https://blog.csdn.net/qq_37941471/article/details/80295699

  • 大數據架構詳解:從數據獲取到深度學習(高清完整版)

    第一部分 大數據的本質 第1章 大數據是什么 2 1.1 大數據導論 2 1.1.1 大數據簡史 2 1.1.2 大數據現狀 3 1.1.3 大數據與BI 3 1.2 企業數據資產 4 1.3 大數據挑戰 5 1.3.1 成本挑戰 6 1.3.2 實時性挑戰 6 1.3.3 安全挑戰 6 1.4 小結 6 第2章 運營商大數據架構 7 2.1 架構驅動的因素 7 2.2 大數據平臺架構 7 2.3 平臺發展趨勢 8 2.4 小結 8 第3章 運營商大數據業務 9 3.1 運營商常見的大數據業務 9 3.1.1 SQM(運維質量管理) 9 3.1.2 CSE(客戶體驗提升) 9 3.1.3 MSS(市場運維支撐) 10 3.1.4 DMP(數據管理平臺) 10 3.2 小結 11 第二部分 大數據技術 第4章 數據獲取 14 4.1 數據分類 14 4.2 數據獲取組件 14 4.3 探針 15 4.3.1 探針原理 15 4.3.2 探針的關鍵能力 16 4.4 網頁采集 26 4.4.1 網絡爬蟲 26 4.4.2 簡單爬蟲Python代碼示例 32 4.5 日志收集 33 4.5.1 Flume 33 4.5.2 其他日志收集組件 47 4.6 數據分發中間件 47 4.6.1 數據分發中間件的作用 47 4.6.2 Kafka架構和原理 47 4.7 小結 82 第5章 流處理 83 5.1 算子 83 5.2 流的概念 83 5.3 流的應用場景 84 5.3.1 金融領域 84 5.3.2 電信領域 85 5.4 業界兩種典型的流引擎 85 5.4.1 Storm 85 5.4.2 Spark Streaming 89 5.4.3 融合框架 102 5.5 CEP 108 5.5.1 CEP是什么 108 5.5.2 CEP的架構 109 5.5.3 Esper 110 5.6 實時結合機器學習 110 5.6.1 Eagle的特點 111 5.6.2 Eagle概覽 111 5.7 小結 116 第6章 交互式分析 117 6.1 交互式分析的概念 117 6.2 MPP DB技術 118 6.2.1 MPP的概念 118 6.2.2 典型的MPP數據庫 121 6.2.3 MPP DB調優實戰 131 6.2.4 MPP DB適用場景 162 6.3 SQL on Hadoop 163 6.3.1 Hive 163 6.3.2 Phoenix 165 6.3.3 Impala 166 6.4 大數據倉庫 167 6.4.1 數據倉庫的概念 167 6.4.2 OLTP/OLAP對比 168 6.4.3 大數據場景下的同與不同 168 6.4.4 查詢引擎 169 6.4.5 存儲引擎 170 6.5 小結 171 第7章 批處理技術 172 7.1 批處理技術的概念 172 7.2 MPP DB技術 172 7.3 MapReduce編程框架 173 7.3.1 MapReduce起源 173 7.3.2 MapReduce原理 173 7.3.3 Shuffle 174 7.3.4 性能差的主要原因 177 7.4 Spark架構和原理 177 7.4.1 Spark的起源和特點 177 7.4.2 Spark的核心概念 178 7.5 BSP框架 217 7.5.1 什么是BSP模型 217 7.5.2 并行模型介紹 218 7.5.3 BSP模型基本原理 220 7.5.4 BSP模型的特點 222 7.5.5 BSP模型的評價 222 7.5.6 BSP與MapReduce對比 222 7.5.7 BSP模型的實現 223 7.5.8 Apache Hama簡介 223 7.6 批處理關鍵技術 227 7.6.1 CodeGen 227 7.6.2 CPU親和技術 228 7.7 小結 229 第8章 機器學習和數據挖掘 230 8.1 機器學習和數據挖掘的聯系與區別 230 8.2 典型的數據挖掘和機器學習過程 231 8.3 機器學習概覽 232 8.3.1 學習方式 232 8.3.2 算法類似性 233 8.4 機器學習&數據挖掘應用案例 235 8.4.1 尿布和啤酒的故事 235 8.4.2 決策樹用于電信領域故障快速定位 236 8.4.3 圖像識別領域 236 8.4.4 自然語言識別 238 8.5 交互式分析 239 8.6 深度學習 240 8.6.1 深度學習概述 240 8.6.2 機器學習的背景 241 8.6.3 人腦視覺機理 242 8.6.4 關于特征 244 8.6.5 需要有多少個特征 245 8.6.6 深度學習的基本思想 246 8.6.7 淺層學習和深度學習 246 8.6.8 深度學習與神經網絡 247 8.6.9 深度學習的訓練過程 248 8.6.10 深度學習的框架 248 8.6.11 深度學習與GPU 255 8.6.12 深度學習小結與展望 256 8.7 小結 257 第9章 資源管理 258 9.1 資源管理的基本概念 258 9.1.1 資源調度的目標和價值 258 9.1.2 資源調度的使用限制及難點 258 9.2 Hadoop領域的資源調度框架 259 9.2.1 YARN 259 9.2.2 Borg 260 9.2.3 Omega 262 9.2.4 本節小結 263 9.3 資源分配算法 263 9.3.1 算法的作用 263 9.3.2 幾種調度算法分析 263 9.4 數據中心統一資源調度 271 9.4.1 Mesos+Marathon架構和原理 271 9.4.2 Mesos+Marathon小結 283 9.5 多租戶技術 284 9.5.1 多租戶概念 284 9.5.2 多租戶方案 284 9.6 基于應用描述的智能調度 287 9.7 Apache Mesos架構和原理 288 9.7.1 Apache Mesos背景 288 9.7.2 Apache Mesos總體架構 288 9.7.3 Apache Mesos工作原理 290 9.7.4 Apache Mesos關鍵技術 295 9.7.5 Mesos與YARN比較 304 9.8 小結 305 第10章 存儲是基礎 306 10.1 分久必合,合久必分 306 10.2 存儲硬件的發展 306 10.2.1 機械硬盤的工作原理 306 10.2.2 SSD的原理 307 10.2.3 3DXPoint 309 10.2.4 硬件發展小結 309 10.3 存儲關鍵指標 309 10.4 RAID技術 309 10.5 存儲接口 310 10.5.1 文件接口 311 10.5.2 裸設備 311 10.5.3 對象接口 312 10.5.4 塊接口 316 10.5.5 融合是趨勢 328 10.6 存儲加速技術 328 10.6.1 數據組織技術 328 10.6.2 緩存技術 335 10.7 小結 336 第11章 大數據云化 337 11.1 云計算定義 337 11.2 應用上云 337 11.2.1 Cloud Native概念 338 11.2.2 微服務架構 338 11.2.3 Docker配合微服務架構 342 11.2.4 應用上云小結 348 11.3 大數據上云 348 11.3.1 大數據云服務的兩種模式 348 11.3.2 集群模式AWSEMR 349 11.3.3 服務模式Azure Data Lake Analytics 352 11.4 小結 354 第三部分 大數據文化 第12章 大數據技術開發文化 356 12.1 開源文化 356 12.2 DevOps理念 356 12.2.1 Development和Operations的組合 357 12.2.2 對應用程序發布的影響 357 12.2.3 遇到的問題 358 12.2.4 協調人 358 12.2.5 成功的關鍵 359 12.3 速度遠比你想的重要 359 12.4 小結 361

Global site tag (gtag.js) - Google Analytics