
文章插圖
本文從大數(shù)據(jù)應(yīng)用出發(fā),討論數(shù)據(jù)可視化在大數(shù)據(jù)時代所面臨的一系列挑戰(zhàn),并重點(diǎn)介紹AutoVis針對這些挑戰(zhàn)所做嘗試及其體系架構(gòu)、關(guān)鍵技術(shù)和功能特點(diǎn) 。
簡介:AutoVis是清華大學(xué)“大數(shù)據(jù)系統(tǒng)軟件國家工程實(shí)驗(yàn)室”自主研發(fā)的大數(shù)據(jù)可視化設(shè)計框架 。面向大數(shù)據(jù)應(yīng)用,特別是工業(yè)場景,此框架提供了一種新的數(shù)據(jù)生成圖表和看板的方式,具有表達(dá)能力豐富、簡單易用、高可擴(kuò)展、高效率等特點(diǎn),已應(yīng)用于中車四方車輛有限公司、石家莊天遠(yuǎn)科技集團(tuán)有限公司等工業(yè)企業(yè) 。
前言
“看見”是人類的基本需求,也是人類探索未知的重要途徑 。2019年,多個機(jī)構(gòu)通過捕捉射電波,收集大量數(shù)據(jù),幫助人類第一次“看見”黑洞 。數(shù)據(jù)可視化使得人們透過數(shù)據(jù)“見所不見”,成為人與數(shù)據(jù)之間的“橋梁” 。作為第四范式“數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)”的組成部分,數(shù)據(jù)可視化已廣泛應(yīng)用于不同的科學(xué)研究領(lǐng)域 。伴隨著計算機(jī)通用化、信息時代、互聯(lián)網(wǎng)時代的發(fā)展,數(shù)據(jù)可視化逐漸應(yīng)用于人們生活的各個領(lǐng)域 。在大數(shù)據(jù)時代,數(shù)據(jù)可視化應(yīng)用更加廣泛,并面臨諸多新的挑戰(zhàn) 。
挑戰(zhàn)
大數(shù)據(jù)時代,數(shù)據(jù)應(yīng)用需求多種多樣,數(shù)據(jù)特點(diǎn)亦發(fā)生本質(zhì)上的變化 。智能硬件的豐富與普及,互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、移動化、智能化的浪潮,給數(shù)據(jù)可視化帶來新的機(jī)遇與挑戰(zhàn) 。如下圖所示,我們簡要梳理了數(shù)據(jù)可視化(系統(tǒng))在大數(shù)據(jù)應(yīng)用中所面臨的一些關(guān)鍵問題,例如數(shù)據(jù)規(guī)模增加,屏幕像素空間有限,數(shù)據(jù)可視化系統(tǒng)的數(shù)據(jù)采樣能力與繪制效率問題突出 。數(shù)據(jù)多樣的特點(diǎn)要求數(shù)據(jù)可視化系統(tǒng)不僅需要支持更多的可視化方法,也要具有良好的系統(tǒng)可擴(kuò)展性以適應(yīng)不斷出現(xiàn)的新數(shù)據(jù)、新需求 。數(shù)據(jù)快速變化的特點(diǎn)要求數(shù)據(jù)可視化系統(tǒng)能夠快速構(gòu)建新的圖表,及時捕捉數(shù)據(jù)變化 。由于不同使用者所關(guān)注數(shù)據(jù)特征的差異及數(shù)據(jù)探索的需求,可視化圖表的交互性在大數(shù)據(jù)時代將更加重要 。
大數(shù)據(jù)時代數(shù)據(jù)可視化(系統(tǒng))所面臨的一些挑戰(zhàn)
為了探究數(shù)據(jù)可視化是否滿足大數(shù)據(jù)應(yīng)用場景,我們梳理了相關(guān)編程工具及系統(tǒng)的研究與應(yīng)用現(xiàn)狀,如下圖所示,數(shù)據(jù)可視化生成方式可以分為編程、交互與自動生成三種 。面向不同的應(yīng)用領(lǐng)域,出現(xiàn)了眾多可視化編程工具,例如常用的OpenGL、VTK、D3.js 。編程方式的優(yōu)點(diǎn)在于豐富的表達(dá)能力,缺點(diǎn)在于需要使用者具有編程經(jīng)驗(yàn) 。交互方式提供了一種不需要編程的可視化生成方式,例如PowerBI、Tableau、Qlik,推動了數(shù)據(jù)可視化工具的普及,其在表達(dá)能力方面有所欠缺 。近些年,一些學(xué)者提出了根據(jù)數(shù)據(jù)自動生成圖表的方法,其優(yōu)點(diǎn)是不需要用戶具備數(shù)據(jù)可視化背景,缺點(diǎn)是自動生成的圖表類型有限,未能體現(xiàn)使用者的個性化需求 。
數(shù)據(jù)可視化編程工具與系統(tǒng)
梳理大數(shù)據(jù)可視化所面臨的挑戰(zhàn)與相關(guān)進(jìn)展,可見其中有許多問題亟待解決,例如系統(tǒng)數(shù)據(jù)采樣能力、表達(dá)能力、可擴(kuò)展性、圖表快速構(gòu)建能力以及交互能力 。下面介紹我們的相關(guān)工作 。
AutoVis
AutoVis是清華大學(xué) “大數(shù)據(jù)系統(tǒng)軟件國家工程實(shí)驗(yàn)室”針對大數(shù)據(jù)場景自主研發(fā)的數(shù)據(jù)可視化設(shè)計框架 。如下圖所示,圍繞大數(shù)據(jù)所帶來的挑戰(zhàn),采用可視化設(shè)計的技術(shù)路線,基于平臺化架構(gòu)思想,我們嘗試設(shè)計新的大數(shù)據(jù)可視化工具,其定位是成為一個開放平臺,目標(biāo)是支持?jǐn)?shù)據(jù)驅(qū)動的交互和設(shè)計過程,構(gòu)建人與數(shù)、人與人溝通的橋梁 。
AutoVis基本思想
針對上述大數(shù)據(jù)可視化面臨的挑戰(zhàn),我們嘗試從12個方面探索應(yīng)對的方法,如下圖所示 。針對系統(tǒng)所需的采樣能力,提出了一種新的流式時序數(shù)據(jù)高效采樣方法;實(shí)現(xiàn)了一種數(shù)據(jù)特征提取框架,支持?jǐn)U展不同的特征提取方法 。針對系統(tǒng)繪制效率,我們一方面采用了數(shù)據(jù)壓縮傳輸,將數(shù)據(jù)通信量降低到非壓縮通信的三分之一,另一方面,結(jié)合圖表LAZY更新策略,著力降低圖表非必要更新 。針對圖表表達(dá)能力要求,提出了一種新的圖表模板化與交互式編輯方法,目前提供267種圖表模板,覆蓋常用數(shù)據(jù)可視化方法 。針對系統(tǒng)可擴(kuò)展性要求,提出一種平衡易用性與表達(dá)能力的圖表模板擴(kuò)展方法;設(shè)計實(shí)現(xiàn)了圖表擴(kuò)展實(shí)時反饋技術(shù) 。針對圖表構(gòu)建能力的要求,設(shè)計實(shí)現(xiàn)了圖表參數(shù)自動化填充技術(shù),實(shí)現(xiàn)圖表的秒級構(gòu)建與響應(yīng),分鐘級構(gòu)建一個看板 。針對圖表交互能力的要求,實(shí)現(xiàn)了常用的圖表交互方法;提出一種新的多圖表聯(lián)動關(guān)系自動發(fā)現(xiàn)技術(shù),自動化支持多圖表鉆取 。
以上關(guān)于本文的內(nèi)容,僅作參考!溫馨提示:如遇健康、疾病相關(guān)的問題,請您及時就醫(yī)或請專業(yè)人士給予相關(guān)指導(dǎo)!
「愛刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容,希望對您有所幫助:- 疫情新數(shù)據(jù)消息:1月25日中國以外主要國家和地區(qū)疫情綜述
- 全球新冠肺炎病例已超一億!1月26日國外疫情新數(shù)據(jù)消息
- 疫情新數(shù)據(jù)消息:疫情對全球經(jīng)濟(jì)的影響新消息 數(shù)據(jù)統(tǒng)計出來了
- mysql上億數(shù)據(jù)秒級查詢 mysql查詢最后一條數(shù)據(jù)的id
- vim下一頁:WPS數(shù)據(jù)格式設(shè)置四舍五入保留整數(shù)
- 講解快充主要是線還是頭 華為快充數(shù)據(jù)線和普通數(shù)據(jù)線的區(qū)別
- 世界環(huán)保創(chuàng)業(yè)基金會環(huán)保幣數(shù)據(jù)規(guī)范產(chǎn)業(yè)發(fā)展新方向
- 短信群發(fā)平臺免費(fèi) 如何用電腦發(fā)短信
- 各種數(shù)據(jù)線收納小妙招
- 留學(xué)去美國還是英國 數(shù)據(jù)會告訴你真實(shí)答案
