亚洲精品久久久久久第一页-人妻少妇精彩视品一区二区三区-91国产自拍免费视频-免费一级a在线播放视频正片-少妇天天日天天射天天爽-国产大屁股喷水视频在线观看-操美女骚穴抽插性爱视频-亚洲 欧美 中文字幕 丝袜-成人免费无码片在线观看

國(guó)外科學(xué)家創(chuàng)造“超網(wǎng)絡(luò)”,用于開發(fā)人工智能的“人工智能”

人工智能本質(zhì)上是一場(chǎng)數(shù)字游戲 。10年前,深度神經(jīng)網(wǎng)絡(luò)開始超越傳統(tǒng)算法時(shí),表明我們已經(jīng)有足夠的算力去創(chuàng)造人工智能 。

國(guó)外科學(xué)家創(chuàng)造“超網(wǎng)絡(luò)”,用于開發(fā)人工智能的“人工智能”

文章插圖
今天的神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)的渴望超乎想象,訓(xùn)練他們,需要仔細(xì)調(diào)整特征中數(shù)百萬,甚至數(shù)十億參數(shù)的值,要想達(dá)到理想的程度并不容易 。訓(xùn)練可能需要幾天、幾周甚至幾個(gè)月的時(shí)間 。
不過,這一點(diǎn)可能很快就會(huì)發(fā)生改變 。
加拿大圭爾夫大學(xué)的Boris Knyazev和他的同事,設(shè)計(jì)并訓(xùn)練了一個(gè)“超網(wǎng)絡(luò)”,它可以加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程 。給定一個(gè)為某個(gè)任務(wù)而設(shè)計(jì)的,完全沒有經(jīng)過訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò),超網(wǎng)絡(luò)可以在幾分之一秒內(nèi),預(yù)測(cè)新網(wǎng)絡(luò)的參數(shù),理論上新的深度神經(jīng)網(wǎng)絡(luò)完全不需要經(jīng)過訓(xùn)練 。
國(guó)外科學(xué)家創(chuàng)造“超網(wǎng)絡(luò)”,用于開發(fā)人工智能的“人工智能”

文章插圖
由于超網(wǎng)絡(luò)學(xué)習(xí)了深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中極其復(fù)雜的模式,也被業(yè)內(nèi)人士稱為“用于開發(fā)人工智能的人工智能 。”
目前,超網(wǎng)絡(luò)在某些環(huán)境下表現(xiàn)極佳,但準(zhǔn)確率上,它仍然有很大的優(yōu)化空間 。
在CIFAR-10圖像數(shù)據(jù)集上,超網(wǎng)絡(luò)(GHN-2)在分布式架構(gòu)上的平均準(zhǔn)確率為66.7%,接近使用2500次SGD迭代訓(xùn)練的網(wǎng)絡(luò)所達(dá)到的69.2%的平坤準(zhǔn)確率 。對(duì)于分布式架構(gòu),GHN-2表現(xiàn)出人意料的好,達(dá)到約60%的準(zhǔn)確率 。
但是,在ImageNet上表現(xiàn)則比較糟糕,這是一個(gè)比較大的圖像數(shù)據(jù)集,GHN-2的準(zhǔn)確率只有27.2% 。盡管如此,這與使用5000步SGD訓(xùn)練的相同網(wǎng)絡(luò)的25.6%的平均準(zhǔn)確率要高一些 。當(dāng)然,如果繼續(xù)使用SGD,付出更大的成本可以獲得95%的準(zhǔn)確率 。不過,GHN-2在不到一秒的時(shí)間內(nèi),便能做出預(yù)測(cè),比SGD要快10000倍 。
“超網(wǎng)絡(luò)”并非憑空設(shè)計(jì),它的靈感來自圖超網(wǎng)絡(luò) 。
目前,訓(xùn)練和優(yōu)化深度神經(jīng)網(wǎng)絡(luò)的最好方法是隨機(jī)梯度下降法 。但這種方法只有在有網(wǎng)絡(luò)需要優(yōu)化時(shí)才有效 。如果是構(gòu)建最初的神經(jīng)網(wǎng)絡(luò),一般是由輸入到輸入多層人工神經(jīng)元組成,只能依賴工程師的直覺和經(jīng)驗(yàn) 。
國(guó)外科學(xué)家創(chuàng)造“超網(wǎng)絡(luò)”,用于開發(fā)人工智能的“人工智能”

文章插圖
為了解決這個(gè)問題,2018年,Ren、Chris Zhang、Raquel Urtasun三名科學(xué)家設(shè)計(jì)了圖超網(wǎng)絡(luò)(GHN) 。它可以在給定一組候選架構(gòu)的情況下,找到解決某些任務(wù)的最佳深度神經(jīng)網(wǎng)絡(luò)架構(gòu) 。
超網(wǎng)絡(luò)便是基于GHN優(yōu)化而來,創(chuàng)造者Knyazev將超網(wǎng)絡(luò)命名為“GHN-2” 。不過因?yàn)镚HN并沒有開源,Knyazev團(tuán)隊(duì)還是從頭開始編寫自己的軟件,并沒有抄襲GHN的源碼 。
國(guó)外科學(xué)家創(chuàng)造“超網(wǎng)絡(luò)”,用于開發(fā)人工智能的“人工智能”

文章插圖
Knyazev團(tuán)隊(duì)取得了一些成功,但他覺得這一方式可能會(huì)遭到機(jī)器學(xué)習(xí)社區(qū)的反對(duì),因?yàn)闄C(jī)器學(xué)習(xí)從業(yè)者更喜歡手工設(shè)計(jì)算法,而不是基于神秘的深度網(wǎng)絡(luò) 。


    以上關(guān)于本文的內(nèi)容,僅作參考!溫馨提示:如遇健康、疾病相關(guān)的問題,請(qǐng)您及時(shí)就醫(yī)或請(qǐng)專業(yè)人士給予相關(guān)指導(dǎo)!

    「愛刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容,希望對(duì)您有所幫助: