掃描隧道顯微鏡（STM）是制備傳統(tǒng)合成方法難以獲得的低維碳基材料的關鍵手段，其可編程自動化操控為表面合成過程自動化提供了可能。然而，實現(xiàn)自動化面臨著挑戰(zhàn)。現(xiàn)有機器學習框架如兩階段Faster R-CNN或單階段YOLO模型，在體系組分簡單、具有超結(jié)構等特定場景中表現(xiàn)良好，卻難以適用于復雜STM圖像識別。

近期，中國科學院物理研究所/北京凝聚態(tài)物理國家研究中心和蘇州大學合作，開發(fā)并設計了基于識別框歸一化的兩階段分子機器視覺識別框架ReSTOLO。該框架在數(shù)據(jù)有限、缺乏超結(jié)構信息的條件下，實現(xiàn)了6類相似分子體系STM圖像的精確定位與分類，其單類平均精度和召回率均超過85%，在另外兩個分子體系STM圖像識別中的表現(xiàn)也驗證了其有效性與泛化能力。

ReSTOLO將檢測分解為定位和分類兩個獨立階段，使每個模型能夠?qū)Ｗ⒂谄涮囟ㄈ蝿�，從而最大限度地發(fā)揮YOLO在定位與ResNet-101在分類方面的優(yōu)勢。這一設計避免了YOLO在執(zhí)行聯(lián)合檢測和分類時存在的不精確性和冗余計算問題，并消除了輸入圖像尺寸差異對ResNet-101分類性能帶來的干擾。

研究團隊在YOLO完成初步定位后，引入了檢測框歸一化處理：基于原始圖像和YOLO輸出的檢測框信息，對框體尺寸進行歸一化和調(diào)整，保證檢測框大小統(tǒng)一，以增強后續(xù)分類階段的準確性和一致性。這一策略依賴如下事實依據(jù)：多數(shù)分子尺寸相近、STM圖像整體景深幾乎一致，以及實驗采集STM圖像時的分辨率/放大倍數(shù)是已知參數(shù)。同時，團隊采用融合物理先驗和實驗信息的數(shù)據(jù)增強方法，考慮體系的對稱性以及實驗條件變化。該方法可擴充訓練數(shù)據(jù)、緩解小樣本問題，并能夠避免無效冗余信息引入，提升了模型的識別性能與魯棒性。

ReSTOLO揭示了現(xiàn)有機器視覺分子識別系統(tǒng)在復雜任務中表現(xiàn)不佳的原因，為設計契合表面科學研究特點的專用機器視覺系統(tǒng)提供了參考。同時，ReSTOLO將直接推動分子的自動化檢測、現(xiàn)象觀察、精準自動合成和性質(zhì)分析等研究進程。

相關研究成果發(fā)表在《美國化學會志》（JACS）上。研究工作得到國家自然科學基金委員會和中國科學院等的支持。