當您想查看一個 CPU 是否比另一個更快時,您可以使用PassMark 。對于 GPU,有 Unigine 的Superposition 。但是,當您需要弄清楚您的機器學習平臺有多快時,或者您正在考慮投資的機器學習平臺有多快時,您會怎么做?

文章插圖
機器學習專家大衛(wèi)·坎特與來自谷歌、英特爾和微軟等組織的科學家和工程師一起,旨在用機器學習基準套件MLPerf來回答這個問題 。測量機器學習平臺的速度是一個問題,研究時間越長,它就會變得越復雜,因為機器學習領域的問題集和架構差異很大——而且除了性能之外,MLPerf 的推理方面還必須測量準確性 。
訓練和推理
如果您不直接使用機器學習,很容易對這些術語感到困惑 。您必須了解的第一件事是,神經(jīng)網(wǎng)絡根本沒有真正編程過:它們被提供了(希望如此)大量相關數(shù)據(jù),然后對其進行松散以尋找模式 。神經(jīng)網(wǎng)絡存在的這個階段稱為訓練 。神經(jīng)網(wǎng)絡得到的訓練越多,它就越能學會識別模式并推導出規(guī)則來幫助它解決問題 。
訓練階段的計算成本是巨大的(我們不是在開玩笑“大”數(shù)據(jù)集部分) 。例如,Google在 238,000,000 封樣本電子郵件上訓練了 Gmail 的SmartReply功能,而 Google Translate 在數(shù)萬億樣本上進行了訓練 。為訓練而設計的系統(tǒng)通常龐大而強大,它們的工作是盡可能快地處理數(shù)據(jù)——這需要非常強大的存儲子系統(tǒng)和處理能力,以保持 AI 管道的供給 。
神經(jīng)網(wǎng)絡經(jīng)過訓練后,從中獲取有用的操作和信息稱為推理 。與訓練不同,推理通常非常有效 。如果您對老式計算機科學的關注比對機器學習的關注重,這可以被認為類似于從非結構化數(shù)據(jù)構建 b 樹或其他有效索引,然后從中找到您想要的結果之間的關系完成的索引 。
在運行推理工作負載時,性能當然仍然很重要,但指標和架構是不同的 。相同的神經(jīng)網(wǎng)絡可能會在大型超級計算機上進行訓練,同時在預算智能 上進行推理 。訓練階段要求每秒執(zhí)行盡可能多的操作,而無需擔心任何一個操作的延遲 。推理階段通常是相反的——有人在等待推理查詢的結果,而這個人在等待找出照片中有多少長頸鹿時很快就會變得不耐煩 。
大問題空間需要復雜的答案
如果您希望為您的 PC 獲得一個單一的 MLPerf 分數(shù),那么您就不走運了 。像 PassMark 這樣簡單的整體基準測試可以假設他們測試的 CPU 在架構和設計上大致相似 。當然,AMD 的 Epyc 和英特爾的 Xeon Scalable 各有優(yōu)點和缺點——但它們都是 x86_64 CPU,您可以對任一 CPU 上一個任務和下一個任務之間的一般性能關系做出一些相對安全的假設 。例如,在同一 CPU 上,浮點性能不太可能比整數(shù)性能快幾個數(shù)量級 。
由于 Kanter 和他的同事希望 MLPerf 不僅適用于廣泛的工作負載,而且適用于數(shù)量龐大的架構,因此他們無法做出類似的假設,因此他們無法為您的機器學習硬件打分. 分數(shù)首先分解為訓練工作負載和推理工作負載,然后再分為任務、模型、數(shù)據(jù)集和場景 。因此,MLPerf 的輸出與其說是分數(shù),不如說是電子表格中特別寬的行 。
任務是圖像分類、對象檢測和自然語言翻譯 。每個任務都根據(jù)四種情況進行衡量:
單流——以延遲衡量的性能
示例:智能 相機應用程序一次處理單個圖像
多流——以可能的流數(shù)衡量性能(受延遲限制)
示例:駕駛輔助算法對多個攝像頭和傳感器進行采樣
服務器— 以每秒查詢數(shù)衡量的性能(受延遲限制)
示例:語言翻譯站點或其他大規(guī)模并行但實時的應用程序
以上關于本文的內(nèi)容,僅作參考!溫馨提示:如遇健康、疾病相關的問題,請您及時就醫(yī)或請專業(yè)人士給予相關指導!
「愛刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容,希望對您有所幫助:- 男人對你的渴求你都了解么
- 你了解由愛生恨的感覺嗎
- 1分鐘了解拖把更名器批量加序號 拖把更名器使用方法教程
- 了解骨質(zhì)疏松的“征兆”
- 了解OpenOffice的使用說明 openoffice是什么軟件好用嗎
- 紫羅蘭平安扣佩戴好嗎?一起了解下翡翠平安扣的常識
- 月上重火 肉:奶奶贈孫女3房不被贍養(yǎng)反被起訴 這是什么情況?
- 翡翠指環(huán)用料要求高嗎?它的美,你了解幾分呢?
- 紅翡為什么沒有綠翠貴?關于紅翡,你了解多少?
- 黃翡有人工燒黃的嗎?這些知識你要了解!
