国产成人无码午夜视频在线观看 ,国产伦精品一区二区三区人妻

針對這個問題，我們設計開發(fā)出了一種叫做“分區(qū)映射”的功能，分區(qū)映射讓用戶指定分區(qū)的規(guī)則，然后具體每個SQL查詢的分區(qū)會直接通過SQL語句中的查詢條件結(jié)合用戶創(chuàng)建表時候指定的規(guī)則直接在計算引擎中計算出來，從而不用去查詢外部的元數(shù)據(jù)，避免元數(shù)據(jù)爆炸帶來的性能問題。經(jīng)測試，上述場景下，利用分區(qū)投影生成分區(qū)需要的時間降為1秒以下，大大提升查詢效率。
基于OSS的Metatable技術(shù)
可以看到DLA的分區(qū)投影技術(shù)降低了海量分區(qū)情況下，訪問Meta服務的時間開銷，該技術(shù)通過計算側(cè)計算分區(qū)的方法來規(guī)避掉海量分區(qū)的訪問。DLA目前基于Apache Hudi實現(xiàn)DLA Lakehouse，提供高效的湖倉。其中在海量分區(qū)處理這塊，Apache Hudi將表的海量分區(qū)映射信息存儲在一個OSS上面的Object里面，這樣通過讀取若干個Object文件可以獲取所有的分區(qū)信息，規(guī)避訪問Meta服務的開銷。下面介紹DLA Lakehouse基于Hudi的Metatable技術(shù)：
從上圖可以看到DLA Meta中會存儲庫、表、分區(qū)的信息，使用當前方案OSS上面分區(qū)目錄對應的分區(qū)信息會存儲在DLA Meta服務中，當分析引擎訪問這張表的時候，會通過DLA Meta服務讀取大量的分區(qū)信息，這些分區(qū)信息會從底層的RDS中讀出，這樣會有一定的訪問開銷。如果使用到DLA Lakehouse方案，可以將大量的分區(qū)映射信息單獨存儲在基于OSS對象的Hudi Metatable中，Metatable底層基于HFile支持更新刪除，通過KV存儲方式提高分區(qū)查詢效率。這樣分析引擎在訪問分區(qū)表的時候，可以只在Meta中讀取庫、表輕量的信息，分區(qū)信息可以通過讀取OSS的對象獲取。目前該方案還在規(guī)劃中，DLA線上還不支持。
四、云原生數(shù)據(jù)湖最佳實踐最佳實踐，以DLA為例子。DLA致力于幫助客戶構(gòu)建低成本、簡單易用、彈性的數(shù)據(jù)平臺，比傳統(tǒng)Hadoop至少節(jié)約50%的成本。其中DLA Meta支持云上15+種數(shù)據(jù)數(shù)據(jù)源（OSS、HDFS、DB、DW）的統(tǒng)一視圖，引入多租戶、元數(shù)據(jù)發(fā)現(xiàn)，追求邊際成本為0，免費提供使用。DLA Lakehouse基于Apache Hudi實現(xiàn)，主要目標是提供高效的湖倉，支持CDC及消息的增量寫入，目前這塊在加緊產(chǎn)品化中。DLA Serverless Presto是基于Apache PrestoDB研發(fā)的，主要是做聯(lián)邦交互式查詢與輕量級ETL 。DLA支持Spark主要是為在湖上做大規(guī)模的ETL，并支持流計算、機器學習；比傳統(tǒng)自建Spark有著300%的性價比提升，從ECS自建Spark或者Hive批處理遷移到DLA Spark可以節(jié)約50%的成本。基于DLA的一體化數(shù)據(jù)處理方案，可以支持BI報表、數(shù)據(jù)大屏、數(shù)據(jù)挖掘、機器學習、IOT分析、數(shù)據(jù)科學等多種業(yè)務場景。

以上關于本文的內(nèi)容，僅作參考！溫馨提示：如遇健康、疾病相關的問題，請您及時就醫(yī)或請專業(yè)人士給予相關指導!

「愛刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容，希望對您有所幫助：

阿里網(wǎng)盤優(yōu)質(zhì)資源分享 阿里云管理控制臺( 四 )

阿里網(wǎng)盤優(yōu)質(zhì)資源分享阿里云管理控制臺( 四 )