日韩激情无码免费毛片-日韩经典视频-日韩经典一区-日韩经典在线-精品国产91久久久久-精品国产91久久久久久久

醫療器械法規、注冊、臨床、體系認證、信息系統一站式服務
24×7服務熱線:0571-86198618 簡體中文 ENGLISH
當前位置:網站首頁>關于我們>新聞動態
深度學習輔助決策醫療器械軟件審評要點
發布日期:2021-06-08 19:50瀏覽次數:2316次
深度學習輔助決策醫療器械軟件注冊審評要點


深度學習輔助決策醫療器械軟件審評要點

一、適用范圍

本審評要點適用于深度學習輔助決策醫療器械軟件(含獨立軟件、軟件組件)的注冊申報。深度學習輔助決策醫療器械軟件(以下簡稱軟件)即基于醫療器械數據(醫療器械所生成的醫學圖像、醫學數據,以下統稱數據),使用深度學習技術進行輔助決策的軟件。其中,“基于醫療器械數據”是指單獨使用醫療器械數據,或者聯合使用醫療器械數據與非醫療器械數據;“輔助決策”是指通過提供診療活動建議輔助醫務人員進行臨床決策。

使用深度學習技術進行前處理(如成像質量改善、成像速度提升、圖像重建)、流程優化(如一鍵操作)、常規后處理(如圖像分割、數據測量)等非輔助決策的軟件可參考使用本審評要點。使用傳統機器學習技術的軟件亦可參考使用本審評要點。

本審評要點遵循《醫療器械軟件注冊技術審查指導原則》(以下簡稱軟件指導原則)、《醫療器械網絡安全注冊技術審查指導原則》(以下簡稱網絡安全指導原則)、《移動醫療器械注冊技術審查指導原則》(以下簡稱移動器械指導原則)等相關指導原則要求。

本審評要點不含人工智能倫理、數據產權等法律法規層面要求,但生產企業應當在軟件全生命周期過程中考慮相關規定。

二、審評關注重點

從發展驅動要素角度講,深度學習實為基于海量數據和高算力的黑盒算法。本審評要點重點關注軟件的數據質量控制、算法泛化能力、臨床使用風險,臨床使用風險應當考慮數據質量控制、算法泛化能力的直接影響,以及算力所用計算資源(即運行環境)失效的間接影響。

基于風險的全生命周期管理是此類軟件監管的基本方法,相關考量詳見軟件指導原則、網絡安全指導原則、移動器械指導原則以及醫療器械生產質量管理規范獨立軟件附錄。下面結合審評關注重點分別闡述軟件風險管理、軟件設計開發、軟件更新等方面考量。

軟件風險管理活動應當基于軟件的預期用途(目標疾病、臨床用途、重要程度、緊迫程度)、使用場景(適用人群、目標用戶、使用場所、臨床流程)、核心功能(處理對象、數據兼容性、功能類型)予以實施,并貫穿于軟件全生命周期過程。軟件臨床使用風險主要包括假陰性和假陽性,其中假陰性即漏診,可能導致后續診療活動延誤,特別是要考慮快速進展疾病的診療活動延誤風險;假陽性即誤診,可能導致后續不必要的診療活動。進口軟件除考慮假陽性和假陰性風險外,還應當考慮中外人種、流行病學特征、臨床診療規范等方面差異的影響及其風險。生產企業應當采取充分的、適宜的、有效的風險控制措施以保證軟件的安全性和有效性。

軟件典型設計開發過程通常可分為需求分析、數據收集、算法設計、驗證與確認等階段。

(一)需求分析

需求分析應當以軟件的臨床需求與使用風險為導向,結合軟件的預期用途、使用場景和核心功能,綜合考慮法規、標準、用戶、產品、數據、功能、性能、接口、用戶界面、網絡安全、警示提示等方面需求,重點考慮數據收集、算法性能、臨床使用限制等方面要求。

數據收集應當考慮數據來源的合規性和多樣性、目標疾病流行病學特征、數據質量控制要求(詳見下節)。數據來源應當在合規性基礎上保證數據多樣性,以提高算法泛化能力,如盡可能來自多家、不同地域、不同層級的代表性臨床機構,盡可能來自多種、不同采集參數的采集設備。目標疾病流行病學特征包括但不限于疾病構成(如分型、分級、分期)、人群分布(如健康、患者,性別、年齡、職業、地域、生活方式)、統計指標(如發病率、患病率、治愈率、死亡率、生存率)等情況,以及目標疾病并發癥與類似疾病的影響情況。

算法性能應當考慮假陰性與假陽性(指標、關系)、重復性與再現性、魯棒性/健壯性等要求。

臨床使用限制應當考慮臨床禁用、慎用等場景。

(二)數據收集

數據收集應當考慮數據采集、數據預處理、數據標注、數據集構建等活動的質控要求,以保證數據質量和算法設計質量。

1.數據采集

數據采集主要由臨床機構實施,應當考慮采集設備、采集過程以及數據脫敏的質控要求。

采集設備質控應當明確采集設備的兼容性要求和采集要求。兼容性要求應當基于數據生成方式(直接生成、間接生成)提供采集設備兼容性列表或技術要求,明確采集設備的制造商、型號規格、性能指標等要求,若對采集設備無具體要求應當提供相應支持資料。采集要求應當明確采集設備的采集方式(如常規成像、增強成像)、采集協議(如MRI成像序列)、采集參數(如CT加載電壓、加載電流、加載時間、層厚)、采集精度(如分辨率、采樣率)等要求。

采集過程質控應當建立數據采集操作規范,明確采集人員要求和采集過程要求。采集人員要求包括人員的選拔、培訓、考核。采集過程要求包括人員職責、采集流程(如采集步驟、操作要求)。

若使用現有歷史數據,應當明確采集設備要求、數據采集質量評估要求(如人員、方法、指標、通過準則)。

采集的數據應當進行數據脫敏以保護患者隱私。數據脫敏應當明確脫敏的類型(靜態、動態)、規則、程度、方法。

2.數據預處理

脫敏數據由臨床機構轉移至生產企業形成原始數據庫,不同模態的數據在原始數據庫中應當加以區分(下同)。

數據預處理應當基于原始數據庫考慮數據處理、數據清洗的質控要求。數據處理應當明確處理的方法,如濾波、增強、重采樣、尺寸裁剪、均一化等。數據清洗應當明確清洗的規則、方法。

數據處理和清洗應當明確選用軟件工具的名稱、型號規格、完整版本、供應商、運行環境、確認等要求,同時考慮數據處理選用方法對軟件的影響及其風險。

數據經預處理后形成基礎數據庫,應當明確樣本類型、樣本量、樣本分布等信息。樣本類型以適用人群為單位可分為數據序列(由多個單一數據組成,如結構序列、功能序列、時間序列)、單一數據。樣本量應當明確樣本規模及確定依據,需要考慮樣本量不足對軟件的影響及其風險。樣本分布應當依據疾病構成、適用人群、數據來源機構、采集設備、樣本類型等因素明確數據分布情況,需要考慮數據偏性對軟件的影響及其風險。

3.數據標注

數據標注應當考慮標注資源管理、標注過程質控、標注質量評估等要求。

標注資源管理包括人員管理和基礎設施管理。人員管理應當明確標注人員和仲裁人員的選拔(如職稱、工作年限、工作經驗、所在機構,若有國外人員應當明確其資質要求)、培訓、考核(如方法、頻次、指標、通過準則,其中指標應當包括重復性、再現性)等要求。基礎設施管理應當明確標注場所(真實或模擬,環境、照明條件)、標注軟件(名稱、型號規格、完整版本、供應商、運行環境、確認)等要求。

標注過程質控應當建立數據標注操作規范,明確標注人員(如資質、數量、職責)、標注流程(如標注對象、標注形式、標注輪次、標注步驟、操作要求)、臨床診療規范(如臨床指南、專家共識)、分歧處理(如仲裁人員、仲裁方式)、可追溯性(如數據、操作)等要求。

標注質量評估應當明確人員、方法、指標、通過準則等要求。

數據經標注后形成標注數據庫,其樣本類型可分為數據序列、單一數據(由多個數據塊組成)、數據塊(圖像區域、數據片段)。樣本量、樣本分布等要求及風險考量與基礎數據庫相同。

4.數據集構建

基于標注數據庫構建訓練集(用于算法訓練)、調優集[1](若有,用于算法超參數調優)、測試集(用于算法性能評估),明確訓練集、調優集、測試集的劃分方法、劃分依據、數據分配比例。訓練集應當保證樣本分布具有均衡性,測試集、調優集應當保證樣本分布符合臨床實際情況,訓練集、調優集、測試集的樣本應當兩兩無交集。

為解決數據樣本分布不滿足預期目標的問題,可對訓練集、調優集小樣本量數據進行擴增;測試集不宜進行數據擴增,若擴增應當分析對軟件的影響及其風險。數據擴增應當明確擴增的方式(離線、在線)、方法(如翻轉、旋轉、鏡像、平移、縮放、濾波等)、倍數,并考慮擴增方法選用以及擴增倍數過大對軟件的影響及其風險。

數據經擴增后形成擴增數據庫,應當列表對比擴增數據庫與標注數據庫在樣本量、樣本分布(注明擴增倍數)等方面的差異,以證實擴增數據庫樣本量的充分性以及樣本分布的合理性。

(三)算法設計

算法設計應當考慮算法選擇、算法訓練、網絡安全防護、算法性能評估等活動的質控要求。建議數據驅動與知識驅動相結合進行算法設計,以提升算法可解釋性。

1.算法選擇

算法選擇應當明確所用算法的名稱、結構(如層數、參數規模)、流程圖、現成框架(如TensorflowCaffe)、輸入與輸出、運行環境、算法來源依據(或注明原創)等信息。同時應當明確算法選擇與設計的原則、方法和風險考量,如量化誤差、梯度消失、過擬合、白盒化等。

若使用遷移學習技術,除上述內容外還應當補充預訓練模型的數據集構建、驗證與確認等總結信息。

2.算法訓練

算法訓練需要基于訓練集、調優集進行訓練和調優,應當明確評估指標、訓練方法、訓練目標、調優方法、訓練數據量-評估指標曲線等要求。

評估指標建議根據臨床需求進行選擇,如敏感性、特異性等。訓練方法包括但不限于留出法和交叉驗證法。訓練目標應當滿足臨床要求,提供ROC曲線等證據予以證實。調優方法應當明確算法優化策略和實現方法。訓練數據量-評估指標曲線應當能夠證實算法訓練的充分性和有效性。

3.網絡安全防護

網絡安全防護應當結合軟件的預期用途、使用場景和核心功能,基于保密性、完整性、可得性等網絡安全特性,確定軟件網絡安全能力建設要求,以應對網絡攻擊和數據竊取等網絡威脅。相關要求詳見網絡安全指導原則。

此類軟件常見網絡威脅包括但不限于框架漏洞攻擊、數據污染,其中框架漏洞攻擊是指利用算法所用現成框架本身漏洞進行網絡攻擊,數據污染是指通過污染輸入數據進行網絡攻擊。

4.算法性能評估

算法性能評估作為軟件驗證的重要組成部分,需要基于測試集對算法設計結果進行評估,應當明確假陰性與假陽性、重復性與再現性、魯棒性/健壯性等評估要求,以證實算法性能滿足算法設計要求。

同時,應當分析算法性能影響因素及其影響程度,如采集設備、采集參數、疾病構成、病變特征等因素影響,以提升算法可解釋性,并作為軟件驗證、軟件確認的基礎。

(四)驗證與確認

1.軟件驗證

軟件驗證是指通過提供客觀證據認定軟件開發、軟件更新某一階段的輸出滿足輸入要求,包括軟件驗證測試(單元測試、集成測試、系統測試)、設計評審等系列活動。

軟件驗證應當明確法規、標準、用戶、產品、數據、功能、性能、接口、用戶界面、網絡安全、警示提示等測試要求,以驗證軟件的安全性和有效性,并作為軟件確認的基礎。

2.軟件確認

軟件確認是指通過提供客觀證據認定軟件滿足用戶需求和預期目的,包括軟件確認測試(用戶測試)、臨床評價、設計評審等系列活動,其中軟件確認測試應當基于軟件需求在真實或模擬使用場景下予以實施。

1)基本原則

臨床評價是此類軟件進行軟件確認的主要方式,相關要求詳見《醫療器械臨床評價技術指導原則》。根據軟件指導原則要求,軟件應當提交基于臨床試驗的臨床評價資料,即提交申報產品的臨床試驗資料,或者與申報產品核心算法具有實質等同性的同品種產品或同類軟件功能的臨床試驗資料。

進口軟件應當提供中外人種、流行病學特征、臨床診療規范等方面差異影響的臨床評價資料,若不足以證實申報產品在中國使用的安全性和有效性,應當在中國開展臨床試驗。使用境外臨床試驗數據應當滿足《接受醫療器械境外臨床試驗數據技術指導原則》要求。

2)臨床試驗

臨床試驗應當符合《醫療器械臨床試驗質量管理規范》要求。可參照《醫療器械臨床試驗設計指導原則》,基于軟件的預期用途、使用場景和核心功能進行試驗設計,確定觀察指標、樣本量估計、入排標準、隨訪以及實施機構等要求,以確認軟件的安全性和有效性。

建議優先選擇同品種產品或臨床參考標準(即臨床金標準)進行非劣效對照設計,若無同品種產品且難以獲取臨床參考標準(如違背倫理學要求)可選擇替代方法,如選擇用戶結合軟件聯合決策與用戶單獨決策進行優效對照設計。非劣效界值或優效界值的確定應當有充分的臨床依據。此外考慮到用戶的差異性,可選擇多閱片者多病例(MRMC)試驗設計。

建議結合適用人群、病變等層面選擇觀察指標,原則上選擇敏感性、特異性、ROC/AUC作為主要觀察指標,亦可在此基礎上根據軟件特點選擇敏感性/特異性衍生指標、ROC/AUC衍生指標、組內相關系數、Kappa系數、時間效率、數據有效使用率等指標作為觀察指標。

入排標準應當基于目標疾病流行病學特征,保證陽性樣本和陰性樣本選取的合理性和充分性。

建議臨床試驗結果由第三方獨立評價。

實施機構應當具備代表性和廣泛性,不同于訓練數據主要來源機構,地域分布盡可能廣泛,機構數量盡可能多,以確認算法泛化能力。

例如,預期以提高輔助診斷時間效率為首要目標的某軟件,無同品種產品且難以獲取臨床參考標準,其臨床試驗設計可選擇用戶結合軟件聯合決策與用戶單獨決策進行交叉對照設計,以敏感性、特異性、時間效率作為主要觀察指標,其中敏感性、特異性可為非劣性對照,時間效率指標應當為優效對照。

3)回顧性研究

臨床評價可采用基于現有歷史數據的回顧性研究。回顧性研究應當在設計時考慮并必須嚴格控制偏倚,如選擇偏倚、臨床參考標準偏倚、測量偏倚、記憶偏倚等。回顧性研究原則上應當包含多個不同地域臨床機構(非訓練數據主要來源機構)的同期數據,結合分層分析、第三方獨立評價等方法控制偏倚,以保證真實、準確評價軟件的安全性和有效性。

回顧性研究應當基于軟件安全性級別考慮使用問題。對于安全性級別為C級的高風險軟件,原則上應當開展臨床試驗,此時回顧性研究可用作臨床預試驗,為臨床試驗設計提供參考依據,或者在少見亞組病例入組時間過長等情況下,用作臨床試驗的補充。對于安全性級別為BA級的中低風險軟件,回顧性研究可用作臨床預實驗或替代臨床試驗。

軟件安全性級別應當基于軟件的預期用途、使用場景和核心功能進行綜合判定,判定方法詳見軟件指導原則。例如,預期用于病理圖像輔助篩查或者危重疾病輔助識別的軟件,其安全性級別通常為C級。

三、軟件更新

(一)基本原則

軟件更新應當考慮對軟件安全性和有效性的影響,包括正面影響和負面影響。若為重大軟件更新(即影響到軟件安全性或有效性的軟件更新)應當申請許可事項變更,若為輕微軟件更新(即未影響軟件安全性和有效性的軟件更新)則無需申請許可事項變更,通過質量管理體系進行控制。

(二)重大軟件更新

除軟件更新基本類型外,此類軟件常見更新類型又可分為算法驅動型和數據驅動型。其中,算法驅動型軟件更新是指軟件所用算法、算法結構、算法流程、現成框架、輸入與輸出等發生改變,包括算法重新訓練(即棄用原有訓練數據);數據驅動型軟件更新是指僅由訓練數據量增加而促使軟件發生更新,實為算法驅動型軟件更新的特殊情況。

算法驅動型軟件更新通常屬于重大軟件更新。數據驅動型軟件更新是否屬于重大軟件更新原則上以算法性能評估結果為準,若算法性能評估結果發生顯著性改變(即與前次注冊所批準的算法性能評估結果相比存在統計學顯著差異)則屬于重大軟件更新。其他類型重大軟件更新的判定準則詳見軟件指導原則、網絡安全指導原則相關要求。

(三)驗證與確認

無論何種軟件更新,均應當按照質量管理體系的要求,開展與軟件更新類型、內容和程度相適宜的驗證與確認活動。

對于算法驅動型軟件更新和數據驅動型軟件更新,應當開展算法性能評估、臨床評價等驗證與確認活動,以保證軟件更新的安全性和有效性。

軟件更新臨床評價應當與軟件安全性級別相適宜。對于安全性級別為C級的高風險軟件,適用范圍實質變更原則上應當開展臨床試驗,其他變更情況可使用回顧性研究進行軟件更新臨床評價;對于安全性級別為BA級的中低風險軟件,可使用回顧性研究進行軟件更新臨床評價。

(四)軟件版本命名規則

軟件版本命名規則應當涵蓋算法驅動型軟件更新和數據驅動型軟件更新,明確并區分重大軟件更新和輕微軟件更新,其中重大軟件更新應當列舉全部典型情況。

四、相關技術考量

(一)適用范圍擴展

1.基本原則

軟件所含全部深度學習、傳統機器學習功能(以下統稱軟件功能)均應當開展需求分析、數據收集、算法設計、驗證與確認等活動,且每項軟件功能應當分別開展需求分析、數據收集、算法設計、驗證與確認等活動。

2.深度學習非輔助決策軟件功能

對于深度學習非輔助決策軟件功能,其驗證與確認要求如下:前處理軟件功能原則上應當開展算法性能評估、臨床評價;流程優化軟件功能開展算法性能評估即可,無需開展臨床評價;常規后處理軟件功能原則上開展算法性能評估即可,全新功能應當開展臨床評價。此時臨床評價可參照傳統醫療器械評價方法。

3.傳統機器學習軟件功能

傳統機器學習技術與深度學習技術的主要區別在于:前者特征提取通常需要人為干預,而后者自動完成特征提取。因此,對于傳統機器學習輔助決策軟件功能,應當明確特征提取信息,包括但不限于特征分類(如人口統計學、生物學、形態學)、特征屬性(如形態、紋理、性質、尺寸、邊界)和特征展現方式(如形狀、尺寸、邊界、顏色、數量)。

對于傳統機器學習非輔助決策軟件功能,其要求參照深度學習非輔助決策軟件功能,同時明確特征提取信息。

(二)第三方數據庫

第三方數據庫可視為回顧性研究的一種特殊形式,可用于算法性能評估,但其類型、用途等情況各不相同,未必能夠完全滿足軟件確認測試的要求。因此,使用第三方數據庫進行軟件確認測試,應當評估其滿足軟件確認測試條件的充分性、適宜性和有效性。

可用于軟件確認測試的第三方數據庫(以下簡稱測評數據庫)應當滿足數據平臺建設的通用要求(如網絡與數據安全等,不再贅述)和專用要求,其中專用要求包括:

1.權威性:考慮到數據質量主要取決于數據標注質量,因此測評數據庫創建單位應當包括相應臨床專業領域的權威機構(如國家臨床醫學研究中心),數據標注人員、標注分歧仲裁人員應當分別具備適宜的、豐富的臨床實踐經驗。

2.科學性:為保證能夠真實、準確的反映臨床實際情況,測評數據庫樣本量應當通過統計學計算確定以控制抽樣誤差,樣本分布應當符合目標疾病的流行病學特征情況,不能進行數據擴增;單次測試所用數據量應當予以規定,測試數據應當根據測評數據庫樣本分布情況進行等比例隨機抽取。

3.規范性:測評數據庫的數據采集、數據脫敏、數據處理、數據清洗、數據標注、數據管理、網絡安全防護等數據治理活動以及測評過程均應當建立質控程序并形成文件,并滿足可追溯性要求。

4.多樣性:測評數據庫的數據應當來源于多個臨床機構,以保證測評數據庫能夠用于評價算法泛化能力;在滿足倫理學要求的前提下可包含適當比例的對抗數據樣本,以用于評價算法的魯棒性/健壯性。

5.封閉性:為保證能夠充分、客觀的評價算法質量,測評數據庫應當封閉管理,且樣本量應當遠大于單次測試所用數據量;測評過程同樣應當保證封閉性。

6.動態性:測評數據庫應當定期更換一定比例的數據,以保證測評數據庫具有持續的多樣性和封閉性;被更換的數據可用于構建公開數據庫以服務于行業發展。

此外,第三方公開數據庫(以下簡稱公開數據庫)因不具備封閉性而不能用作測評數據庫,但可用于算法性能評估。公開數據庫不宜用于算法訓練,若用于算法訓練應當評估其使用的適宜性和有效性。

(三)網絡與數據安全過程控制

除考慮軟件自身網絡安全能力建設外,還應當在軟件全生命周期過程中考慮網絡與數據安全過程控制要求,包括上市前設計開發階段和上市后使用階段。

脫敏數據由臨床機構轉移至生產企業應當明確數據轉移方法、數據污染防護措施。數據預處理、數據集構建、算法訓練、算法性能評估、軟件驗證等內部活動應當在封閉的網絡環境下開展,以防止數據污染。數據標注、軟件確認等涉及外方的活動若在開放的網絡環境下開展,應當明確網絡安全防護措施,以防止數據污染。數據采集、上市后使用應當考慮與臨床機構網絡與數據安全要求相銜接的接口問題。

各數據庫(集)應當進行數據備份以保證數據安全,數據備份應當明確備份的方法、頻次以及數據恢復方法。

(四)云計算服務與移動計算終端

使用云計算服務應當明確服務模式、部署模式、核心功能、數據接口、網絡安全能力和服務(質量)協議等要求。使用移動計算終端應當結合終端的類型、特點和使用風險明確相應性能指標要求。相關要求詳見移動器械指導原則。

云計算服務與移動計算終端的網絡安全要求詳見網絡安全指導原則。

五、注冊申報資料說明

注冊申報資料應當在相關公告基礎上滿足軟件指導原則、網絡安全指導原則、移動器械指導原則等相關指導原則要求。輔助決策軟件還應當考慮下述要求,不適用項應當提供合理解釋。非輔助決策軟件可參照輔助決策軟件的適用要求。

(一)產品名稱

輔助決策獨立軟件產品名稱應當符合獨立軟件通用名稱命名規范要求,體現處理對象(如CT圖像、眼底照片)、目標疾病(含病變、疾病屬性)、臨床用途(如輔助篩查、輔助識別)等特征詞。

軟件組件相應輔助決策軟件功能名稱可參照輔助決策獨立軟件要求。

(二)適用范圍

輔助決策獨立軟件適用范圍應當明確預期用途、使用場景和核心功能,包括但不限于處理對象、目標疾病、臨床用途、適用人群、目標用戶、使用場所、采集設備要求、臨床使用限制。

軟件組件相應輔助決策軟件功能適用范圍可參照輔助決策獨立軟件要求,并在產品適用范圍中予以體現。

(三)研究資料

除軟件描述文檔、網絡安全描述文檔、軟件版本命名規則外,研究資料還應當提供以下資料:

軟件描述文檔核心算法部分應當結合本審評要點提供相應算法研究資料,包括數據來源合規性聲明、算法性能影響因素分析資料以及各類測試場景下算法性能評估結果比較分析資料。

研究資料“其他資料”應當提供網絡與數據安全過程控制研究資料,包括公開數據庫、測評數據庫的基本信息(如名稱、創建者、數據量、數據分布)和使用情況。

對于公開數據庫,若用于算法訓練,使用情況應當明確數據使用量、數據分布、訓練集所占比例,并提供其滿足算法訓練要求的評估資料;若用于算法性能評估,使用情況應當明確數據使用量、數據分布、測試集所占比例、評估指標與結果。

對于測評數據庫,若用于算法性能評估,使用情況應當明確評估指標與結果;若用于軟件確認測試,使用情況應當提供其滿足軟件確認測試條件要求的評估資料。

其他類型第三方數據庫申報資料參照公開數據庫、測評數據庫適用要求。

(四)說明書

說明書應當符合《醫療器械說明書和標簽管理規定》要求。

輔助決策軟件說明書應當明確軟件的適用范圍、臨床使用限制、注意事項、用戶培訓、采集設備要求、數據采集操作規范、輸入與輸出、算法性能評估總結(測試集基本信息、評估指標與結果)、軟件臨床評價總結(臨床數據基本信息、評價指標與結果)、運行環境等內容。

深度學習輔助決策軟件說明書除上述內容外還應當補充算法訓練總結信息(訓練集基本信息、訓練指標與結果)。

前期已開發軟件若不滿足本審評要點的適用要求,應當開展差距分析并進行必要限定。

總之,技術審評將基于審評關注重點綜合權衡軟件的風險和受益,系統評價軟件的安全性和有效性,協調上市前與上市后的監管要求,兼顧公眾健康保護與促進技術創新的關系。



Copyright © 2018 醫療器械注冊技術咨詢 浙ICP備18025678號 技術支持:熙和網絡

新聞動態
主站蜘蛛池模板: 久久女同互慰一区二区三区 | 狠狠色噜噜狠狠狠狠97 | 久草资源福利 | 亚洲阿v天堂 | 对白脏话肉麻粗话av | 成年女人午夜毛片免费视频 | 天堂久久一区 | 国产日韩精品视频一区二区三区 | 美女在线国产 | 在线免费观看麻豆 | 制服丝袜亚洲 | 久久精品国产99精品国产亚洲性色 | 午夜性激情| 国产成人无码a在线观看不卡 | 夜夜天天拍拍 | 麻豆高清免费国产一区 | 成人看片免费 | 国产精品人成 | 日本又色又爽又黄又高潮 | 欧美激情综合五月色丁香 | 五月天激情视频 | 92精品国产成人观看免费 | 大乳美女a级三级三级 | hd最新国产人妖ts视频仙踪林 | 伊人精品久久久大香线蕉 | 中文字幕人妻无码一夲道 | 少妇放荡的呻吟干柴烈火动漫 | 免费网站观看www在线观 | 久久久久久av无码免费网站 | 一道本在线伊人蕉无码 | 男人的天堂av网 | 少妇又色又紧又爽又刺激视频 | 老子午夜精品无码 | av毛片观看 | 穿情趣内衣c到高潮av片 | 色综合区 | 精品无码中文字幕在线 | 国产精品96久久久久久吹潮 | 色噜噜国产精品视频一区二区 | 欧美性猛交 | 在线黄色网 | 欧美做受 | 国产精品成人国产乱 | 亚洲tv在线观看 | 中文字幕十一区 | 国产亚洲成av人片在线观黄桃 | 久久久久久久亚洲精品 | 羽月希奶水一区二区三区 | 97超碰成人| 亚洲三级在线 | 天天综合亚洲综合网天天αⅴ | 香港三日三级少妇三级99 | 我要看黄色1级片 | 国产精成人 | 国产午夜性春猛交ⅹxxx | 全免费a级毛片 | 国产精品制服 | 日韩人妻无码精品久久久不卡 | 天堂网av在线 | 亚洲三级网址 | 日韩成人性视频 | 含紧一点h边做边走动免费视频 | 一区二区三区成人 | 91女女互慰吃奶在线 | av手机在线播放 | 222aaa | 97网站 | 日韩经典av| 91蜜臀精品国产自偷在线 | 特级大胆西西4444人体 | av资源天堂 | 色撸撸在线观看 | 日韩专区欧美专区 | 香蕉视频入口 | 公么大龟弄得我好舒服秀婷视频 | 日本边添边摸边做边爱的网站 | 日韩av免费看 | a级老太婆毛片老太婆毛片 a级毛片,黄,免费观看 m | 全球av集中精品导航福利 | 久久久久99人妻一区二区三区 | 黄色网址国产 | 久久综合另类激情人妖 | 咪咪色影院 | 国产又粗又硬又猛的免费视频 | 亚洲国产999 | 精品国产一区二区三区久久狼5月 | 国产女人18毛片18精品 | 成人喂奶露着大乳 | 成人婷婷网色偷偷亚洲男人的天堂 | 久久久国产精品消防器材 | 亚洲欧美又粗又长久久久 | 三级网址在线播放 | 国产精品日韩精品欧美精品 | 三级毛片免费播放 | 午夜操操 | 爱爱视频免费网站 | 无码任你躁久久久久久老妇 | 毛片网特黄 | 国产精品手机视频 | 四虎4hu永久免费深夜福利 | 人妻少妇精品一区二区三区 | 欧美日韩理论 | 精品无码一区二区三区不卡 | 中文字幕播放 | 亚洲蜜桃精久天干天干天啪啪夜l | 亚洲国产成人精品青青草原导航 | 中文字幕日韩人妻不卡一区 | 国产精品美女久久久久av爽李琼 | 国产一级视频在线观看 | 亚洲啪啪少妇裸体艺术 | 欧美中文字幕在线 | 中文字幕高清免费日韩视频在线 | 欧美大肥婆bbbww欧出奶水 | 一区二区免费 | 亚洲精品无码久久久久久久 | 日日碰狠狠添天天爽 | 中文字幕乱码亚洲无线码按摩 | 国语自产拍精品香蕉在线播放 | 免费人妻无码不卡中文字幕系 | 欧美一区二区在线视频观看 | 成人做爰高潮片免费视频美国 | 高潮添下面视频免费看 | 亚洲毛片在线播放 | 一区二区在线国产 | 亚洲精品乱码久久久久66国产成 | 欧洲成人午夜精品无码区久久 | 国产精品激情 | 日韩色图视频 | 国产欧美一区二区精品性色 | 亚洲精品日韩欧美 | 亚洲经典千人经典日产 | 久久15p| 欧美播放器| 亚洲区小说 | 一级免费观看视频 | 亚洲午夜精品久久久久久 | 8ⅹ8x擦拨擦拨成人免费视频 | 中文字幕一区二区三区中文字幕 | 无码人妻精品一区二区三区99不卡 | 亚洲国产欧美一区二区三区丁香婷 | 国产精品久久久久久久久久久久久久久久久 | 欧美大片91 | 国产亚洲一区在线 | 韩国三级视频在线 | 久久久久久久久久福利 | 五月天激情丁香 | 在厨房被c到高潮a毛片奶水 | 二区影院 | 五月激情小说 | 极品尤物av | 国产超碰人人爽人人做人人添 | 日韩三级免费观看 | 国内女人喷潮完整视频 | 好男人在在线社区www在线影院 | 中文字幕第10页码 | 欧美日韩亚洲在线 | 国产精品视频一区二区三区无码 | 色欲麻豆国产福利精品 | 777天堂麻豆爱综合视频 | 大胸少妇裸体无遮挡啪啪 | 亚洲成在人线aⅴ免费毛片 欧美牲交a欧美牲交aⅴ免费真 | 日本女人hd | 日韩精品一区二区三区三炮视频 | 福利视频免费观看 | 神马久久久久久久久久 | 懂色av色香蕉一区二区蜜桃 | 亚洲精品国产精品国自产 | 亚洲一区精品人人爽人人躁 | 超碰人人国产 | 久久久久日本精品一区二区三区 | 久久久久久成人毛片免费看 | 噼里啪啦动漫在线观看 | 国产精品女主播 | 亚洲色图偷 | 成人永久免费视频 | av一区三区 | 九九色精品 | 一级欧美一级日韩片免费观看 | 人善交video另类hd侏儒 | 色噜噜久久综合伊人一本 | 激情视频一区 | 日本亚洲精品一区二区三区 | 性一交一乱一色一情丿按摩 | 国产特级全黄寡妇毛片 | 免费美女av| zzz444成人天堂7777 | 精品免费在线观看 | 窝窝午夜理论片影院 | av不卡免费在线 | 日本美女日批视频 | 夜夜躁很很躁日日躁麻豆 | jzzjzzjzz日本丰满少妇 | 91亚洲福利视频 | 日本视频高清一区二区三区 | 国产乱人无码伦av在线a | 无套内谢丰满少妇中文字幕 | 久青草视频在线观看 | 日韩欧美精品在线 | 51调教丨国产调教视频 | 午夜丁香网 | 午夜福制92视频 | 欧美精品 日韩 | 欧美视频中文在线看 | 欧美激情久久久久久 | 一区二区三区四区国产 | 国产无遮挡成人免费视频 | 一区二区福利视频 | av在线手机观看 | 男女猛烈激情xx00免费视频 | 国产美女精品视频免费播放软件 | 欧美伊人精品成人久久综合97 | 伊人久久大香线蕉无码 | 国产精品国产三级国产专区51 | 精品欧美一区二区精品久久 | 欧美特黄aaa | 极品美女一区二区三区 | 欧美精品成人在线 | 国产精品女同一区二区 | 色翁荡息又大又硬又粗又爽 | 爽爽窝窝午夜精品一区二区 | 4hu最新网址 | 激情内射亚洲一区二区三区爱妻 | 沙奈朵狂揉下部羞羞动漫 | 国产成人啪精品视频免费软件 | 在线免费观看小视频 | 亚洲精品99999| 国产成人99久久亚洲综合精品 | 在线视频a | 午夜精品久久久久久久四虎美女版 | 91丨porny丨国产麻豆 | 激情综合五月 | 91免费黄色 | 欧美精品久久久久久久自慰 | 亚洲精品久久久久avwww潮水 | 五月天婷婷综合 | 婷婷无套内射影院 | 女娃videosex娇小 | www国产亚洲精品久久网站 | 亚洲人精品午夜 | 久久久无码人妻精品一区 | 岛国在线免费视频 | 中日韩无砖码一线二线 | 冲田杏梨在线 | 成人免费国产 | 无码人妻熟妇av又粗又大 | 欧美两根一起进3p做受视频 | 男女啪啪做爰高潮免费网站 | 欧美brazzers| 国产精品久久久久精 | 狠狠地日| 亚洲精品久久久久久久久久久 | 天堂亚洲免费视频 | 尤物久久av一区二区三区亚洲 | 青春草在线视频免费观看 | 性色欲情网站 | 国产对白受不了了中文对白 | 国产公共场合大胆露出 | 国产福利免费观看 | 中文字幕欧美专区 | 水蜜桃久久夜色精品一区怎么玩 | 2020无码专区人妻系列日韩 | 丁香五月网久久综合 | 欧洲成人午夜免费大片 | 午夜视频a| 欧美人与动牲交免费观看网 | 久久福利社 | 亚洲色欲色欲www | 日本无遮羞调教惩罚网站 | 国产91在线播放九色 | 亚欧av在线播放 | 国产污视频网站 | 女人高潮av国产伦理剧 | 四虎黄色网 | 国产成人三级在线视频 | 欧美日韩精品区别 | 国产成人无码a区在线观看导航 | 天天操天天操天天干 | 欧美一区视频在线 | 欧美午夜精品久久久久免费视 | 中文字幕大香视频蕉免费 | 免费国产一区 | 91无毒不卡 | 成年人在线观看av | 国产va| 韩日午夜在线资源一区二区 | 国产一级桃视频播放 | 少妇无套内谢免费视频 | 五月婷婷av | a级黄色毛片视频 | 绯色av一区二区 | 成人爽a毛片在线视频 | 久久99精品久久久秒播软件优势 | 91成人在线免费观看 | 少妇偷乱偷乱视频在线 | 97色精品视频在线观看 | 中文字幕久久久久人妻 | 岬奈奈美精品一区二区 | 僵尸叔叔在线观看国语高清免费观看 | 97色伦97色伦国产欧美空 | 国产学生初高中女 | 日本高清不卡aⅴ免费网站 久久精品国产av一区二区三区 | 96xxx富婆按摩视频 | 国产一区二区黄色 | 九色丨蝌蚪pony蜜桃臀 | 日韩国产成人 | 日本精品777777免费视频 | 91免费在线看 | 亚洲精品久久久久久一区二区 | 久久久久久国产 | 国产成人精品999 | 色综合久久88色综合天天 | 亚洲国产成人va在线观看天堂 | 精品人无码一区二区三区 | a级黄色片网站 | 中文字幕狠狠干 | 国产成人免费爽爽爽视频 | 亚洲人成欧美中文字幕 | 免费的大尺度在线观看网站 | 不卡国产一区二区三区四区 | 97影院在线午夜 | av观看国产| 久久久久久亚洲精品 | 国产专区自拍 | 欧美bbbbb性bbbbb视频 | 亚洲 国产 日韩 欧美 | 日韩av中文字幕在线免费观看 | 2024国产精品自拍 | 新版天堂资源中文8在线 | 午夜影院在线免费观看 | 麻豆蜜桃av蜜臀av色欲av | 猫咪www免费人成人入口 | 成人爱爱aa啪啪看片 | 911毛片 | 久久精品aⅴ无码中文字字幕 | 国产视频一区二区三区在线 | 人妻互换免费中文字幕 | 欧美精品色图 | bnb99八度免费影院 | 亚洲最新在线视频 | 无码av岛国片在线播放 | 精品国产av色一区二区深夜久久 | baoyu168成人免费视频 | 五月天丁香社区 | 国产在线精品一区二区在线看 | 天堂中文在线8最新版精品版软件 | 亚洲欧美激情网站 | 国产免费一区二区三区网站免费 | 91禁蘑菇在线看 | 国产午夜精品久久久久久久久久 | 成人羞羞国产免费 | 欧美图片一区二区 | a一区二区三区乱码在线 | 欧洲 | 中国美女囗交视频免费看 | 丰满少妇在线观看网站 | 天天射,天天干 | 久久人妻av无码中文专区 | 亚洲精品456在线播放第一页 | 粉嫩av一区二区三区天美传媒 | 亚洲精品午夜国产va久久成人 | 亚洲久热 | 日本乱淫视频 | 国产高清在线观看 | 国产又色又爽又黄刺激视频免费 | 国产欧美一区二区精品久久 | 极品少妇网站 | 国产成人愉拍精品久久 | 亚洲欧美一区二区三区 | 欧美成人秋霞久久aa片 | 特级无码毛片免费视频尤物 | 一级黄色片免费看 | 国产一级特黄aaa大片评分 | 91视| 国产乱对白刺激视频 | 麻豆传传媒久久久爱 | 帮老师解开蕾丝奶罩吸乳网站 | 精品久久久无码中文字幕边打电话 | 污污的视频网站在线观看 | 好紧好湿太硬了我太爽了视频 | 日韩尤物在线 | 欧美成人性生活 | 中文字幕av资源 | 色综合欧美 | 久久国产精品久久久久久 | 肥熟一91porny丨九色丨 | 免费观看h片 | 中文在线最新版天堂8 | 蜜臀av无码一区二区三区 | 国产精品国产成人国产三级 | 制服丝袜在线看 | 狠狠色综合一区二区 | 成人做爰高潮片免费视频韩国 | 一区二区三区内射美女毛片 | 99热免费 | 黄色动漫在线免费观看 | 成人免费看吃奶视频网站 | 色一情一乱一伦一区二区三欧美 | 制服丝袜手机在线 | 免费韩国羞羞网站视频 | 色一情一交一乱一区二区三区 | 手机国产乱子伦精品视频 | 日本极品级片 | 国产精品aaaa| 足疗店女技师按摩毛片 | 简单av在线 | 毛片基地在线播放 | 国产一级二级日本在线 | 少妇性l交大片免费观看冫 少妇性l交大片免费快色 | www一区二区www免费 | 欧美激情肉欲高潮视频 | 亚洲美女视频在线 | 欧美色淫 | 九九热国产精品视频 | 狠狠色依依成人婷婷九月 | 国产无人区码一码二码三mba | 免费无码a片一区二三区 | 午夜影院免费看 | 水中色av综合 | 九九精品在线视频 | 精品国产一区二区三区四 | 高清国产一区二区三区四区五区 | 99国产在线拍91揄自揄视 | 欧美乱码精品一区 | 欧美一区二区三区粗大 | 亚洲精品国产一区二区 | 天堂在线www天堂在线 | 国产小视频在线观看 | 黄网页在线观看 | 久久精品入口九色 | 国产免费久久久久久无码 | 日批免费在线观看 | 亚洲综合激情另类小说区 | 日韩视频a | 成人免费视频网站在线观看 | 国产美女视频免费观看的软件 | 韩国精品一区二区三区 | 日本免费一区二区三区最新vr | 少妇又紧又色又爽又刺激视频 | 综合欧美一区二区三区 | 亚洲最大成人综合网720p | 国产成人自拍一区 | 四虎影库 | 少妇激情一区二区三区视频 | 精品国产一区二区在线 | 欧美视频xxxx | 国产污视频在线播放 | 久久国产精品久久久久久 | 青青草香蕉 | 国产黄色在线播放 | 少妇挑战三个黑人惨叫4p国语 | 久久99一区| 色88久久久久高潮综合影院 | 久久婷婷视频 | 小嫩草张开腿让我爽了一夜 | 久久精品日 | 欧美人妖ⅹxxx极品另类 | 免费成人av网址 | 黄色av一区 | 午夜影吧 | 欧美国产一区二区三区 | 国产成人区 | 大学生三级中国dvd 大学生一级片 | 少妇啪啪姿势不断呻吟av | 少女高清影视在线观看动漫 | 亚洲欧洲无码av不卡在线 | 日韩免费在线视频 | 日韩毛片在线播放 | 精品无码日韩国产不卡av | 天啪 | 色情一区二区三区免费看 | 免费 成 人 黄 色 | 亚洲成人在线网 | 国产一级性生活视频 | 成年人的视频网站 | 久久精品牌麻豆国产大山 | 国产又色又爽又黄的 | 人人爽人人爽人人片av免费 | 中国毛片基地 | 97精品国产手机 | 亚洲综合无码久久精品综合 | 国产人妖视频一区二区 | 国产看黄网站又黄又爽又色 | 一道本不卡视频 | 制服av在线 | 日产精致一致六区麻豆 | 99国产精品久久久久久久成人热 | 免费污视频在线观看 | 国产色妇 | 午夜激情毛片 | 极品尤物魔鬼身材啪啪仙踪林 | 日本特黄网站 | 天干天干天啪啪夜爽爽av网站 | 国产又黄又猛视频 | 日韩av一区二区精品不卡 | 亚洲少妇毛片 | 综合久久中文字幕 | 中国挤奶哺乳午夜片 | 自拍偷拍第一页 | 国产人妻大战黑人第1集 | 性感美女毛片 | 羞羞草影院 | 四色网址 | 国产69精品久久久久999天美 | 免费无遮挡无码视频在线观看 | 黑人av| 日韩午夜视频在线观看 | 亚洲性无码av中文字幕 | 人人妻人人澡人人爽欧美一区双 | 日韩色小说 | 日韩网站在线播放 | 日韩成人在线视频 | 99久久亚洲精品无码毛片 | 动漫av一区二区在线观看 | 免费精品视频一区二区三区 | 人人妻人人澡人人爽久久av | 波多野42部无码喷潮在线 | 无码里番纯肉h在线网站 | 丰满少妇aaaaaa爰片毛片 | 国产精品初高中害羞小美女文 | 嫩草国产福利视频一区二区 | 亚洲码国产岛国毛片在线 | 尹人成人| 国产精品美女一区二区三区 | 少妇又色又紧又大爽又刺激 | 欧美日韩一区二区三区在线观看视频 | 欧美一级片在线视频 | 天天干,天天干 | av中文字幕在线看 | 校园激情亚洲 | 国产精品国色综合久久 | 男人天堂最新网址 | 国产精品嫩草影院av蜜臀 | 亚洲乱妇老熟女爽到高潮的片 | 日韩欧美在线中文字幕 | 国产精品一二三区在线观看 | 三级亚洲欧美 | 青青草成人免费在线视频 | 欧美性生交xxxxx | 日韩福利视频网 | 男人疯狂高潮呻吟视频 | 特黄大片又粗又大又暴 | 伊人久久婷婷五月综合97色 | 四虎影视免费 | 热久久国产 | 中出内射颜射骚妇 | 欧美日韩中文字幕视频 | 欧美婷婷久久五月精品三区 | 欧美日韩精品久久久免费观看 | 一本大道伊人av久久乱码 | 嫩草影院中文字幕 | 少妇做爰免费视看片 | 国产一级淫片a免费播放口欧美 | 亚洲人在线观看 | 99国产精品久久久久 | 国产一区二区三区视频在线 | 快好爽射给我视频 | 69精品视频| 四虎永久在线精品免费一区二区 | 强开小婷嫩苞又嫩又紧视频韩国 | 少妇高清精品毛片在线视频 | 欧美性精品 | 99精品热| 国产超级av | 在线亚欧观看2023 | 欧美亚洲在线视频 | 91看片淫黄大片在线天堂最新 | 国产精品久久久久久久久久免费看 | 午夜性刺激免费视频 | 国产美女引诱水电工 | 久久性网 | 国内少妇偷人精品视频免费 | 国产精品福利久久 | 精品视频久久久久久久 | 日韩在线视频一区 | 一个人看的www日本高清视频 | 乌鸦热v2ba在线观看 | 亚洲人成久久婷婷精品五码 | 手机在线看片国产 | 国产黄色精品网站 | 国产污视频在线播放 | 四虎影院色 | 亚洲产国偷v产偷v自拍涩爱 | 精品无码久久久久久久动漫 | 成人午夜高潮a∨猛片 | 国四虎影2020 | 窝窝九色成人影院 | 成人三级毛片 | 日日碰狠狠躁久久躁综合小说 | 久久精品99久久香蕉国产色戒 | 成人亚洲欧美成αⅴ人在线观看 | 夜夜爽夜夜| 狠狠躁日日躁夜夜躁 | 久久精品麻豆日日躁夜夜躁 | 亚洲成人av一区二区三区 | 国产精品成人免费精品自在线观看 | www.玖玖玖| 久欠精品国国产99国产精2021 | wwwwww.国产| www国产亚洲精品 | 综合久久中文字幕 | 国产专区一区 | 国产在线精品一区二区在线播放 | 久久久久久婷婷 | 一级黄色视 | 精品国产乱码久久久久夜深人妻 | 999久久久精品 | 人人爽人人爽人人爽人人片av | 日本一区二区三区视频在线 | av观看免费在线 | 337p西西人体大胆瓣开下部 | 亚州视频一区二区三区 | 无码va在线观看 | 亚洲中文字幕无码中文字在线 | 日韩毛片免费在线观看 | 国产精品久久国产精品 | 精品久久久久国产 |