labelingandmarking是什么測試谷歌最近在深度學習應用方面有哪些進展？谷歌近期的確是成果頗豐，接連發(fā)了好幾篇博客，分別介紹了自動語音分離、無監(jiān)督細胞熒光標記和AR顯微鏡癌癥檢測的深度學習應用 。1 自動語音分離在《Looking to Listen at the Cocktail Party》一文中，谷歌提出了一種深度學習音頻-視覺模型，用于將單個語音信號與背景噪聲、其他人聲等混合聲音分離開來 。在這篇文章中，谷歌通過計算生成視頻，增強其中特定人員的語音，同時減弱其他人的聲音 。研究者的方法用在具有單個音頻軌道的普通視頻上，用戶需要做的就是在視頻中選出他們想要聽到的說話人的面部，或者結合語境用算法選出這樣的人 。這種方法用途廣泛，從視頻中的語音增強和識別、視頻會議，到改進助聽器，不一而足，尤其適用于有多個說話人的情景 。這項技術的獨特之處是結合了輸入視頻的聽覺和視覺信號來分離語音 。直觀地講，人的嘴的運動應當與該人說話時產生的聲音相關聯，這反過來又可以幫助識別音頻的哪些部分對應于該人 。視覺信號不僅在混合語音的情況下顯著提高了語音分離質量（與僅僅使用音頻的語音分離相比，正如在本文中所證明的），但是重要的是，它還將分離的干凈語音軌道與視頻中的可見說話者相關聯 。{!-- PGC_VIDEO:{"thumb_height": 360, "file_sign": "14eb0c61bf77288819b6c44d4b7b48b0 "vname": " "vid": "e1dfc08c65ea4ddaa0c870d4844ae86d "thumb_width": 640, "vu": "e1dfc08c65ea4ddaa0c870d4844ae86d "src_thumb_uri": "7c1a0007d4eb46b385b4 "sp": "toutiao "update_thumb_type": 1, "vposter": "http://p1.toutiaoimg.com/origin/7c1a0007d4eb46b385b4 "video_size": {"high": {"duration": 34.44, "h": 480, "subjective_score": 0, "w": 854, "file_size": 866677}, "ultra": {"duration": 34.44, "h": 720, "subjective_score": 0, "w": 1280, "file_size": 1501922}, "normal": {"duration": 34.44, "h": 360, "subjective_score": 0, "w": 640, "file_size": 668672}}, "duration": 34.44, "thumb_url": "7c1a0007d4eb46b385b4 "md5": "14eb0c61bf77288819b6c44d4b7b48b0"} --}谷歌認為該項技術有很廣泛的應用前景，目前正在探索如何將該技術整合到谷歌的產品中，敬請期待！2 無監(jiān)督細胞熒光標記谷歌在《細胞》（Cell）雜志上發(fā)表了一篇名為《In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images》的文章 。在論文中，研究者指出，深層神經網絡可以從透射光圖像預測熒光圖像，在不對細胞做出改變的情況下生成標記的有用圖像，同時有可能實現未修飾細胞的縱向研究、用于細胞治療的微創(chuàng)細胞篩選以及使用大量同時標記的研究 。此外，谷歌還開源了模型、完整的訓練和測試數據、經過培訓的模型檢查點及示例代碼 。上畫展示了相同細胞的透射光圖像、熒光圖像，以及用谷歌的模型預測的熒光標記 。Outset 2 表明盡管輸入圖像中有偽影，該模型也可以預測正確的標記 。Outset 3 表明模型推斷出這些結構是軸突，可能是因為它們離最近鄰的細胞比較遠 。Outset 4 表明模型可以發(fā)現頂部很難察覺的細胞，并正確地將左側的目標識別為無 DNA 的細胞碎片 。3 AR顯微鏡癌癥檢測谷歌在美國癌癥研究協會（AACR）年會上發(fā)表演講，介紹論文《An Augmented Reality Microscope for Real-time Automated Detection of Cancer》（under review） 。演講介紹了一種增強現實顯微鏡（ARM）原型平臺，有望幫助加速和促進世界各地病理醫(yī)生對深度學習工具的采用 。該平臺包含改良光學顯微鏡，可以實時地將圖像分析和機器學習算法結果直接呈現 。重要的是，ARM 平臺可以利用低價、易獲取的組件進行改造，以適應世界各地醫(yī)院、診所的現有光學顯微鏡，且無需分析組織的整張幻燈片數字圖像 。左：ARM 的概述圖 。數字攝像頭捕捉和用戶相同的視野，并將圖像傳遞給附加的計算單元，以運行機器學習模型進行實時推斷 。結果將被反饋給自定義的 AR 顯示器，該顯示器和目鏡串聯，可將模型輸出投影到和幻燈片相同的平面上 。右：設備原型，已被改造成典型的臨床應用級別光學顯微鏡 。通過 ARM 目鏡觀察到的圖像示例 。這些圖像展示了淋巴結癌細胞轉移示例，顯微鏡物鏡分別是 4x、10x、20x 和 40x 。{!-- PGC_VIDEO:{"thumb_height": 360, "file_sign": "be5d899c8792ff3df58b4b46c72b1d7a "vname": " "vid": "9267d2d0931745bc84a1beeb91a5931d "thumb_width": 640, "vu": "9267d2d0931745bc84a1beeb91a5931d "src_thumb_uri": "7c1b0007579511e02342 "sp": "toutiao "update_thumb_type": 1, "vposter": "http://p1.toutiaoimg.com/origin/7c1b0007579511e02342 "video_size": {"high": {"duration": 105.773, "h": 480, "subjective_score": 0, "w": 854, "file_size": 4206695}, "ultra": {"duration": 105.773, "h": 720, "subjective_score": 0, "w": 1280, "file_size": 7766314}, "normal": {"duration": 105.773, "h": 360, "subjective_score": 0, "w": 640, "file_size": 3047276}}, "duration": 105.773, "thumb_url": "7c1b0007579511e02342 "md5": "be5d899c8792ff3df58b4b46c72b1d7a"} --}谷歌認為 ARM 可以對世界醫(yī)療狀況產生巨大影響，尤其是發(fā)展中國家的傳染病診斷，如肺結核、瘧疾等 。此外，即使對于采用了數字化病理診斷工作流程的醫(yī)院，ARM 也可與數字化工作流程結合使用，數字化工作流程中掃描儀仍然面臨很大挑戰(zhàn)或者仍然需要快速周轉（如細胞學檢查、熒光成像或術中冰凍切片） 。當然，光學顯微鏡在病理科之外的很多方面也被證明有效，谷歌認為 ARM 可以得到大范圍的應用，如醫(yī)療、生命科學研究和材料科學 。谷歌將繼續(xù)探索 ARM，幫助加速機器學習技術對世界的積極影響 。rr分享最近6月7月份的google發(fā)布的兩篇關于深度學習應用的文章，生物醫(yī)學和機器人，google在深度學習方面的研究方向很多，有很多底層算法的創(chuàng)新和優(yōu)化，希望國內企業(yè)多多努力，一起加油！1.automating drug discoveries using computer vision，利用計算機視覺實現藥物發(fā)現的自動化 。這篇文章來自谷歌brain team的首席科學家vincent vanhoucke.文中指出該項研究的目的在于幫助科學家在實驗中自動識別出蛋白質晶體，蛋白質晶體是生物醫(yī)學研究中發(fā)現復雜生物分子結構的關鍵步驟，這種結構決定了分子功能，它幫助科學家設計出專門針對該功能的藥物 。