近日，信息科學(xué)與工程學(xué)院張亮教授農(nóng)業(yè)智能學(xué)習(xí)與計(jì)算團(tuán)隊(duì)在《Neural Networks》發(fā)表了題為“Explicit Semantic Guided Bi-Incomplete Multi-modal Hashing with Label Co-occurrence and Label Graph Constraints”的研究論文。該研究針對(duì)多模態(tài)數(shù)據(jù)中普遍存在的不完整問題，提出了一種顯式語義引導(dǎo)的雙不完全多模態(tài)哈希新框架，為大規(guī)模多模態(tài)檢索提供了高效、穩(wěn)健的解決方案。

隨著互聯(lián)網(wǎng)和人工智能的快速發(fā)展，海量的圖像、文本等多模態(tài)數(shù)據(jù)不斷涌現(xiàn)。這些數(shù)據(jù)從不同角度描述同一對(duì)象，蘊(yùn)含豐富的互補(bǔ)信息。如何高效地融合和檢索多模態(tài)數(shù)據(jù)，成為多媒體計(jì)算與人工智能領(lǐng)域的重要研究方向。然而，實(shí)際場(chǎng)景中由于數(shù)據(jù)損壞、缺少標(biāo)注或用戶輸入不全導(dǎo)致模態(tài)缺失問題。同時(shí)，多標(biāo)簽數(shù)據(jù)中常見的部分標(biāo)簽缺失也進(jìn)一步影響了檢索性能。

針對(duì)上述挑戰(zhàn)，研究團(tuán)隊(duì)提出了LaDiff-BIMH（Label-guided Diffusion Bi-Incomplete Multi-modal Hashing）框架。這是一種新的顯式語義引導(dǎo)的雙不完全多模態(tài)哈希框架，并引入標(biāo)簽共現(xiàn)性約束與標(biāo)簽圖結(jié)構(gòu)約束，有效提升了生成哈希碼的判別性。大量實(shí)驗(yàn)表明，LaDiff-BIMH優(yōu)于最先進(jìn)的多模態(tài)哈希方法，特別是在較高的缺失率情況下。

圖1: LaDiff-BIMH框架結(jié)構(gòu)

論文以山東農(nóng)業(yè)大學(xué)為第一單位發(fā)表。山東農(nóng)業(yè)大學(xué)張亮教授和蘆旭副教授擔(dān)任共同通訊作者，碩士研究生祝浩冉為第一作者。該研究得到了國(guó)家自然科學(xué)基金青年基金和山東省自然科學(xué)基金項(xiàng)目經(jīng)費(fèi)的資助。

全文鏈接：

https://doi.org/10.1016/j.neunet.2025.108198

編      輯：萬    千 

審      核：賈    波