亚洲精品久久久久久第一页-人妻少妇精彩视品一区二区三区-91国产自拍免费视频-免费一级a在线播放视频正片-少妇天天日天天射天天爽-国产大屁股喷水视频在线观看-操美女骚穴抽插性爱视频-亚洲 欧美 中文字幕 丝袜-成人免费无码片在线观看

  1. 首頁 > 生活知識 > >

java技術棧是什么 技術棧是什么( 二 )

生活百科技術


Zookeeper在Java中也是很出名的，像基于Dubbo的注冊中心一般都是用Zookeeper來實現(xiàn)的 。同類的有：鼎鼎大名的微服務的注冊中心Eureka、Consul之類的 。
Hadoop
Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎架構 。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序 。充分利用集群的威力進行高速運算和存儲 。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS 。
HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應用程序 。
HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù) 。Hadoop的框架最核心的設計就是：HDFS和MapReduce 。HDFS為海量的數(shù)據(jù)提供了存儲，而MapReduce則為海量的數(shù)據(jù)提供了計算
從Java的角度看Hadoop有點類似Spring Cloud，他們不僅僅只是一個具體的技術，而是一個生態(tài)圈，Hadoop中包含了Hive、MapReduce、HDFS等，所以不要把Hadoop看成僅僅只是一個單一的技術 。
數(shù)據(jù)處理技術
像MapReduce、Spark、Storm/Flink都是用來處理數(shù)據(jù)的，比如數(shù)據(jù)清洗、計算、統(tǒng)計等等之類的 。
MapReduce
MapReduce是面向大數(shù)據(jù)并行處理的計算模型、框架和平臺，它隱含了以下三層含義：

  1. MapReduce是一個基于集群的高性能并行計算平臺（Cluster Infrastructure） 。它允許用市場上普通的商用服務器構成一個包含數(shù)十、數(shù)百至數(shù)千個節(jié)點的分布和并行計算集群 。
  2. MapReduce是一個并行計算與運行軟件框架（Software Framework） 。它提供了一個龐大但設計精良的并行計算軟件框架，能自動完成計算任務的并行化處理，自動劃分計算數(shù)據(jù)和計算任務，在集群節(jié)點上自動分配和執(zhí)行任務以及收集計算結果，將數(shù)據(jù)分布存儲、數(shù)據(jù)通信、容錯處理等并行計算涉及到的很多系統(tǒng)底層的復雜細節(jié)交由系統(tǒng)負責處理，大大減少了軟件開發(fā)人員的負擔 。
  3. MapReduce是一個并行程序設計模型與方法（Programming Model & Methodology） 。它借助于函數(shù)式程序設計語言Lisp的設計思想，提供了一種簡便的并行程序設計方法，用Map和Reduce兩個函數(shù)編程實現(xiàn)基本的并行計算任務，提供了抽象的操作和并行編程接口，以簡單方便地完成大規(guī)模數(shù)據(jù)的編程和計算處理
額—》技術的概念一般都是嚴謹復雜的，這邊簡單概括就是MapReduce簡稱MR，主要功能就是用來處理離線大數(shù)據(jù)，可以通過分析海量的離線數(shù)據(jù)，計算出我們需要的結果 。
Spark
Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎 。Spark是UC Berkeley AMP lab (加州大學伯克利分校的AMP實驗室)所開源的類Hadoop MapReduce的通用并行框架，Spark，擁有Hadoop MapReduce所具有的優(yōu)點；但不同于MapReduce的是——Job中間輸出結果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的MapReduce的算法 。
Spark 是一種與 Hadoop 相似的開源集群計算環(huán)境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現(xiàn)得更加優(yōu)越，換句話說，Spark 啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載 。
從概念上面我們就可以看出來，Spark并不僅僅只是一個技術，而是和Hadoop相似，有一個成熟的生態(tài)圈，例如Spark SQL、Spark Streaming之類的，和Hadoop中的Hive、MR相似 ?，F(xiàn)在主流的都采用Spark來進行海量數(shù)據(jù)的處理，因為它既可以實現(xiàn)離線數(shù)據(jù)分析又可以進行實時數(shù)據(jù)分析 。


以上關于本文的內(nèi)容，僅作參考！溫馨提示：如遇健康、疾病相關的問題，請您及時就醫(yī)或請專業(yè)人士給予相關指導!

「愛刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容，希望對您有所幫助：