亚洲精品久久久久久第一页-人妻少妇精彩视品一区二区三区-91国产自拍免费视频-免费一级a在线播放视频正片-少妇天天日天天射天天爽-国产大屁股喷水视频在线观看-操美女骚穴抽插性爱视频-亚洲 欧美 中文字幕 丝袜-成人免费无码片在线观看

如何利用多光譜成像搜尋“被困人員”? ALTUM多光譜相機

ALTUM多光譜相機(如何利用多光譜成像搜尋“被困人員”?)
長三角G60激光聯(lián)盟導(dǎo)讀
西班牙馬德里理工大學(xué)Christyan Cruz Ulloa研究團隊開發(fā)了一種多光譜成像和人工智能相結(jié)合的自主機器人系統(tǒng),該系統(tǒng)能夠在坍塌的建筑物和難以進入的災(zāi)后環(huán)境中 搜尋被困人員 。相關(guān)研究以“Autonomous victim detection system based on deep learning and multispectral imagery”為題發(fā)表在《Machine Learning: Science and Technology》期刊上(DOI 10.1088/2632-2153/acb6cf) 。
土耳其、土耳其南部靠近敘利亞邊境地區(qū)發(fā)生強烈地震,據(jù)土耳其和敘利亞的政府及救災(zāi)機構(gòu)公布的數(shù)據(jù) , 強震已造成兩國超過2.8萬人遇難 。電子技術(shù)和感知技術(shù)的進步使得功能強大的光學(xué)傳感器能夠捕捉人類捕捉不到的光譜,該技術(shù)應(yīng)用于助力災(zāi)后搜救工作 。

如何利用多光譜成像搜尋“被困人員”? ALTUM多光譜相機

文章插圖
文章插圖
安裝多光譜攝像頭(頂部銀色部分)的四足智能搜尋機器人
該系統(tǒng)使用了一個MicaSense公司開發(fā)的Altum多光譜相機,尺寸為0.82 m×0.67 m×0.67 m、重量為357 g,可在五種波長下工作(紅、綠、藍可見光;近紅外;還有紅邊燈) 。該攝像機安裝在一個遙控四足機器人上,可以部署在倒塌的建筑物等危險環(huán)境中 , 研究結(jié)果表明 , 自動檢測受害者的效率可達92% 。
這項研究是作為TASAR項目(先進搜索和救援機器人團隊)開發(fā)的 , 該項目的重點是使用地面搜索和救援(SAR)機器人進行援助和救災(zāi) 。
如何利用多光譜成像搜尋“被困人員”? ALTUM多光譜相機

文章插圖
文章插圖
圖1:機器人系統(tǒng)開發(fā)所使用的材料 。為采集數(shù)據(jù),創(chuàng)建了兩種災(zāi)后場景(室內(nèi)和室外)(圖1(b)) 。數(shù)據(jù)采集使用遠程操作的四足機器人,并固定Altum攝像機(室外圖1(c) -室內(nèi)圖1(d)) 。圖像周期性地存儲在內(nèi)存中,周期為1秒 。
調(diào)整捕獲的多光譜圖像
Python和OpenCV庫已用于圖像處理 。圖2(a)顯示了Altum相機在灰度范圍內(nèi)捕獲的多光譜波段示例,像素強度范圍為[0-255] 。圖2(b)和(c)中的圖像是相機的RGB重疊的結(jié)果 。一些關(guān)鍵點或特征點用于執(zhí)行校正參數(shù)(圖2(d)) 。
如何利用多光譜成像搜尋“被困人員”? ALTUM多光譜相機

文章插圖
文章插圖
圖2:經(jīng)過調(diào)整和未經(jīng)過調(diào)整的數(shù)據(jù)集圖像示例 。
如何利用多光譜成像搜尋“被困人員”? ALTUM多光譜相機

文章插圖
文章插圖
圖3:顯示了在室內(nèi)和室外場景中的相應(yīng)應(yīng)用 。常用的NDVIIndex、GNDVI Index、OSAVI Index 、SIPI Index指標作為識別被困人員的周圍環(huán)境的信息檢測 。
如何利用多光譜成像搜尋“被困人員”? ALTUM多光譜相機

文章插圖
文章插圖
圖4:顯示了兩張包含裸露軀干的被困人員圖像的標記過程,使用Roboflow標記 。
卷積神經(jīng)網(wǎng)絡(luò)(CNN)
CNN是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Networks),是深度學(xué)習(xí)(deep learning)的代表算法之一。
一旦研究小組確定了一個適用于在廢墟背景下進行室內(nèi)和室外人員識別的指標,下一步就是訓(xùn)練開發(fā)幾個卷積神經(jīng)網(wǎng)絡(luò)(CNN)來識別廢墟中的人體形態(tài),例如軀干、頭部和手 。研究人員隨后比較了不同CNN的效果 。這使得他們能夠為這個應(yīng)用程序選擇最好的CNN——一個名為YOLOv5m的CNN 。
研究人員隨后將他們的原型技術(shù)與之前的系統(tǒng)進行了比較,后者傾向于使用紅-綠-藍或紅外成像來定位受害者 。他們得出的結(jié)論是 , 他們的多光譜系統(tǒng)在室內(nèi)和室外環(huán)境中定位人時具有更大的通用性 。
如何利用多光譜成像搜尋“被困人員”? ALTUM多光譜相機

文章插圖
文章插圖
圖5:YOLOv5模型的評估 。YOLOv5的四種型號根據(jù)尺寸(小、中、大、xl)分別稱為“s”、“m”、“l(fā)”和“xl” 。
如何利用多光譜成像搜尋“被困人員”? ALTUM多光譜相機

文章插圖
文章插圖
圖6:6-10指標的被困人員與環(huán)境的相對差異 。
如何利用多光譜成像搜尋“被困人員”? ALTUM多光譜相機

文章插圖
文章插圖
圖7(a)顯示了所選CNN模型和用InV d生成的圖像的混淆矩陣,對最佳模型(YOLOv5m)進行評估,并用于推理 。(b)顯示了精度-召回率曲線,其中精度在平均值為0.81時下降 。這條曲線在它的區(qū)域下包圍了大量的區(qū)域,接近所有類別的矩形,除了“手”之外 。
圖8顯示了對新圖像的檢測結(jié)果 。不同顏色的包圍框被放置在已確認的被困人員的部分 。標記和檢測百分比[0-1]與包圍框一起放置 。
如何利用多光譜成像搜尋“被困人員”? ALTUM多光譜相機

文章插圖
文章插圖
圖8:用Index 8檢測后處理圖像中不同環(huán)境下的被困人員 。
圖8(a)和(b)顯示了室外場景 。第一個案例對應(yīng)的被困人員軀干被遮蓋,她的腿被正確識別到 , 效率超過92% 。在第二個案例中,一名受害者的腿被碎石覆蓋 。頭部,軀干,受害者和手被正確識別到 。在這些類別中,最容易辨認的是頭部和軀干 。(c)和(d)對應(yīng)于室內(nèi)場景 。在第一個案例中,一個被遮蓋的受害者顯示在軀干區(qū)域 。在這種情況下,所有平均檢測效率為89%且錯誤對應(yīng)“Hand”的標簽都被識別出來 。第二個案例顯示了類的正確識別 , 平均效率大于91% 。
【如何利用多光譜成像搜尋“被困人員”? ALTUM多光譜相機】與以往檢測方法的比較
圖9顯示了檢測受害者時可能出現(xiàn)的潛在情況的徑向比較,這些情況以百分比進行了評估 。
如何利用多光譜成像搜尋“被困人員”? ALTUM多光譜相機

文章插圖
文章插圖
圖9:將所提出的方法(多光譜)與其他用于被困人員檢測的最先進方法(Thermal和RGB)進行比較 。
這項研究證明了基于多光譜相機捕獲的不同光譜波段組合的多光譜圖像在檢測被困人員方面的有效性 。
選擇的卷積神經(jīng)網(wǎng)絡(luò)模型為YOLOv5m , 因為它為分析中使用的數(shù)據(jù)集和所選參數(shù)提供了最佳的精度值 。
因為圖像的大小仍然很復(fù)雜,在未來的研究中,建議實時研究該執(zhí)行過程 , 優(yōu)化捕獲和圖像大小,在探索者SAR機器人上的執(zhí)行處理 , 并在檢測到被困人員時發(fā)出預(yù)警,為生命帶來希望!
夜空中最亮的“星”!浙江制造照明無人機點亮土耳其地震救援現(xiàn)場 。點亮的不止是黑夜,更是希望!有人用無人機“殺人”,有人用無人機“救人”!把光明帶到世界各地,這就是中國溫度 。
據(jù)長三角G60激光聯(lián)盟秘書處了解 , 2022年我國曾經(jīng)開展了“激光位移監(jiān)測儀輔助地震坍塌搜救 有效保障消防救援人員作戰(zhàn)安全” 。
激光位移監(jiān)測設(shè)備已配備到武威市消防救援支隊地震救援專業(yè)隊一線,并逐步推廣至全省輕型、重型地震救援隊,將進一步提升消防救援隊伍在地震、坍塌、爆炸等危險現(xiàn)場開展救援行動的緊急避險能力 。
如何利用多光譜成像搜尋“被困人員”? ALTUM多光譜相機

文章插圖
文章插圖
監(jiān)制|達德文 校審|賀啟軍 文字|導(dǎo)調(diào)組 圖片|新聞組
編輯|張曉帆 甘肅消防全媒體中心 發(fā)布
論文鏈接:https://iopscience.iop.org/article/10.1088/2632-2153/acb6cf
Robotic system uses multispectral imaging and artificial intelligence to search for earthquake victims

長三角G60激光聯(lián)盟陳長軍轉(zhuǎn)載


    以上關(guān)于本文的內(nèi)容,僅作參考!溫馨提示:如遇健康、疾病相關(guān)的問題,請您及時就醫(yī)或請專業(yè)人士給予相關(guān)指導(dǎo)!

    「愛刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容,希望對您有所幫助: