日韩激情无码免费毛片-日韩经典视频-日韩经典一区-日韩经典在线-精品国产91久久久久-精品国产91久久久久久久

醫療器械法規、注冊、臨床、體系認證、信息系統一站式服務
24×7服務熱線:0571-86198618 簡體中文 ENGLISH
當前位置:網站首頁>關于我們>新聞動態
肺結節CT影像輔助檢測軟件注冊審查指導原則(征求意見稿)
發布日期:2022-01-16 12:39瀏覽次數:2650次
肺結節CT影像輔助檢測軟件注冊審查指導原則(征求意見稿)

肺結節CT影像輔助檢測軟件注冊審查指導原則(征求意見稿)

本指導原則是對肺結節CT影像輔助檢測軟件的一般要求。注冊申請人應依據具體產品的特性對注冊申報資料的內容進行充實和細化。注冊申請人還應依據具體產品的特性確定其中的內容是否適用,若不適用,需具體闡述其理由及相應的科學依據。

本指導原則是供注冊申請人和技術審評人員使用的指導性文件,但不包括注冊審批所涉及的行政事項,亦不作為法規強制執行,如果有能夠滿足相關法規要求的其他方法,也可以采用,但是需要提供詳細的研究資料和驗證資料。應在遵循相關法規的前提下使用本指導原則。本指導原則是在現行法規和標準體系以及當前認知水平下制定的,隨著法規和標準的不斷完善,以及科學技術的不斷發展,本指導原則相關內容也將進行適時的調整。本指導原則中相關內容均應執行最新版本的標準。

本指導原則是人工智能醫療器械指導原則體系的重要組成部分,基于人工智能醫療器械審評指導原則的通用要求,明確了肺結節CT圖像輔助檢測軟件的具體要求。

一、適用范圍

本指導原則適用于肺結節CT影像輔助檢測軟件的產品注冊。按現行《醫療器械分類目錄》,該類產品分類編碼為21-04-02,管理類別為三類。

肺結節CT影像輔助決策軟件包括肺結節CT影像輔助檢測軟件、肺結節CT影像輔助診斷軟件,前者主要用于疑似肺結節的檢測或者檢測及影像學分類,后者主要用于疑似肺結節良惡性等臨床診斷。肺結節CT影像輔助診斷軟件可參照本指導原則執行。

二、注冊審查要點

(一)監管信息

明確產品名稱的確定依據、管理類別、分類編碼、規格型號、產品組成等信息。

1.   產品名稱

產品命名應符合《醫療器械通用名稱命名規則》的要求。根據產品預期用途可采用肺結節CT影像輔助檢測軟件進行命名。

2.分類編碼

依據《醫療器械分類目錄》,申報產品分類編碼為21-04-02。按第三類醫療器械管理。

3.注冊單元劃分

根據產品的技術原理、結構組成、性能指標、適用范圍進行注冊單元劃分。

可以與CT設備一起作為軟件組件注冊,也可以按照獨立軟件注冊。

4.適用范圍

適用范圍需明確處理對象、核心功能、適用人群、目標用戶、臨床用途。

例如,用于胸部CT影像的顯示、處理、測量和分析,可對4mm及以上肺結節進行識別并分析結節影像學特征,供經培訓合格的醫師使用,不能單獨用作臨床診療決策依據。

(二)綜述資料

1. 產品描述

1.1器械及操作原理描述

1.1.1工作原理

需詳述產品的工作原理,例如:基于深度學習技術對醫學影像進行分析處理、對肺結節進行分割、檢測、自動識別等。

1.1.2結構組成

結構組成明確交付內容和功能模塊,其中交付內容包括軟件安裝程序、授權文件、外部軟件環境安裝程序等軟件程序文件,功能模塊包括客戶端、服務器端(若適用)、云端(若適用),若適用注明選裝、模塊版本。基于人工智能算法(如深度學習)的功能模塊,需在模塊名稱中注明人工智能(如深度學習)。

1.2 型號規格

需明確申報產品的型號規格及發布版本。產品型號/規格及其劃分,如同一個注冊單元包含多個型號規格,需提供產品型號規格區分列表或配置表。

1.3研發歷程

闡述申請注冊產品的研發背景和目的。如有參考的同類產品或前代產品,需提供同類產品或前代產品的信息,并說明選擇其作為研發參考的原因。

2.適用范圍和禁忌證

(1)適用范圍

適用范圍需明確處理對象、核心功能、適用人群、目標用戶、臨床用途、軟件與醫生閱片順序。

例如,肺結節CT影像輔助檢測軟件產品適用范圍為:用于胸部CT影像的顯示、處理、測量和分析,可對4mm及以上肺結節進行識別并分析結節影像學特征,供經培訓合格的醫師使用,不能單獨用作臨床診療決策依據。

(2)預期使用環境

需明確設備使用場所和使用環境要求。

設備使用場所包括:醫療機構機房等。

使用環境要求需至少包括:溫度、濕度、大氣壓、光照條件。

(3)適用人群

需詳述產品的適用人群。目標人群信息(如用于篩查、診斷)或無預期治療特定人群的聲明、感興趣器官/疾病/病灶/異常、以及預期使用該產品的目標用戶(如經培訓合格的放射科醫師、技師、專科醫師等)

(4)禁忌證

明確產品臨床應用的禁忌證以及不推薦使用該產品的情況。

3.產品功能

明確軟件與醫生閱片順序。結合用戶界面圖示詳細介紹技術要求中對應的臨床功能,如有特殊聲明,如用于檢測繼發性結節或更小結節,可以在功能中體現。明確自動、手動、半自動輸出的數據、量化分析的具體內容、服務器部署(局域網、云端)等。

(三)非臨床資料

1.產品風險管理資料

依據YY/T 0316《醫療器械風險管理對醫療器械的應用》,提供產品風險管理報告。

申請人需重點說明:申報產品的研制階段已對有關可能的危害及產生的風險進行了估計和評價,針對性地實施了降低風險的技術和管理方面的措施。產品性能測試對上述措施的有效性進行了驗證,達到了通用和專用標準的要求。申請人對所有剩余風險進行了評價,全部達到可接受的水平。產品風險分析資料需為申請人關于產品安全性的承諾提供支持。

風險管理報告一般包括以下內容:

(1)申報產品的風險管理組織。

(2)申報產品的組成。

(3)申報產品符合的安全標準。

(4)申報產品的預期用途,與安全性有關的特征的判定。

(5)對申報產品的可能危害作出判定(見附錄1)。

(6)對所判定的危害采取的降低風險的控制措施。

(7)對采取控制措施后的剩余風險進行估計和評價。

2.產品技術要求及檢測報告

2.1產品技術要求

依據《醫療器械產品技術要求編寫指導原則》進行編制。

  2.1.1規格信息

明確軟件發布版本和版本命名規則。軟件版本命名規則原則上需涵蓋算法驅動型更新和數據驅動型更新,明確并區分重大軟件更新和輕微軟件更新,其中重大軟件更新列舉常見典型情況。

明確不同型號間產品差異。

2.1.2性能指標

明確產品處理對象,以及數據接口信息,包括成像模態(如計算機體層攝影)和特定軟硬件名稱及型號(如適用)。

明確軟件所有的臨床功能,如結節檢出的尺寸范圍(如4-30mm)、結節密度分類類別(如實性、亞實性的手動分類等)、結節位置(如肺葉、肺段、肺結節CT圖像層面、肺內、胸膜)、結節標記方式(緊密包裹結節的邊界框、不緊密包裹結節的邊界框)、分割方式(自動分割、半自動分割、手動分割)、測量功能(如體積、最大軸向平面最長直徑、短徑、平均直徑、最大三維直徑、有效直徑、平均密度、面積等)、隨訪評估功能(如倍增時間、數值參數的百分比(%)和絕對變化、結節長軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均密度等)、測量精度(相對誤差絕對值的平均值、絕對誤差)、結節的3D或MIP可視化等。

使用限制明確應用場景(體檢篩查、門診病房)、患者(年齡、地域、疾病類型)、CT設備廠家、探測器排數、CT掃描參數(如管電壓、管電流、層厚/層間距、劑量、窗寬窗位、重建方式、顯示方式)、放射學檢查條件(CT增強掃描、CT平掃)、CT圖像質量要求(如分辨率、偽影)、結節檢出的尺寸范圍、結節密度分類類別。如軟件包含圖像質量判定功能,明確軟件使用限制。

若含有基于測評數據庫測試的性能指標,其要求參考《人工智能醫療器械注冊審查指導原則》。

運行環境,運行在不同計算機系統的產品模塊(如客戶端和云端)需分別描述其運行環境。

附錄中明確軟件輸出報告及界面數據圖示及測評數據庫數據庫/集信息。服務器部署(局域網、云端)。

2.2檢驗報告

產品需符合GB/T 25000.51 《系統與軟件工程 系統與軟件質量要求和評價(SQuaRE)第51部分:就緒可用軟件產品(RUSP)的質量要求和測試細則》的要求。

注冊人需在軟件研究資料中提交GB/T 25000.51自測報告或委托有資質的醫療器械檢驗機構出具檢驗報告。檢測報告需明確軟件發布版本信息。

3.軟件研究

(1)基本要求

生產企業需依據《醫療器械軟件注冊審查指導原則》提交相應軟件研究資料。其中,核心算法所述人工智能算法需依據 《人工智能醫療器械注冊審查指導原則》提交相應算法研究資料。

生產企業需依據《醫療器械網絡安全注冊審查指導原則》提交網絡安全描述文檔。按照《人工智能醫療器械注冊審查指導原則》提交數據安全資料。

若使用云計算服務,生產企業需依據《人工智能醫療器械注冊審查指導原則》提交相應研究資料。使用云計算服務需明確服務模式、部署模式、核心功能、數據接口、網絡安全能力、服務(質量)協議等要求。

軟件版本命名規則涵蓋算法驅動型軟件更新和數據驅動型軟件更新;區分重大軟件更新和輕微軟件更新,其中重大軟件更新需列舉常見典型情況。

(2)軟件安全級別

該類產品的軟件安全性級別為嚴重(C)級。

(3)核心算法

核心算法的選擇可以參考下表,其中采用全新算法(如深度學習)需提供算法研究資料。

表1. 核心算法示例

算法名稱

類型

用途

功能

灰度拉伸圖像增強算法

公認成熟算法

影像增強,用于增強影像對比度,提升算法精度

肺葉分割及肺結節檢測

NMS非極大值抑制

公認成熟算法

目標選擇

以預測概率對檢測框進行優先級排序,消除冗余檢測框,抑制假陽性檢出

基于FPN-ONS的肺結節檢出算法

全新

對肺部小結節進行檢出

輔助醫生檢測肺結節

肺分割算法

全新

對左肺、右肺進行分割,提取肺野區域

過濾肺結節檢出算法檢出的肺外假陽性,以及肺結節左右肺定位

基于UNET的肺葉分割算法

全新

對左肺上下葉,右肺上中下葉進行分割

肺結節肺葉定位

肺段分割算法

全新

對左肺8個肺段,右肺10個肺段進行分割

肺結節肺段定位

肺結節分割算法

全新

對肺結節進行分割,并計算長短徑

輔助醫生測量肺結節體積,長短徑

肺結節密度分類算法

全新

對肺結節密度類型(磨玻璃,實性,鈣化,部分實性)進行分類

輔助醫生判斷肺結節密度類型

肺結節惡性程度評估算法

全新

對肺結節的良惡性進行評估,輸出惡性程度(0-100%)

輔助醫生對肺結節良惡性進行判斷

肺結節密度測量算法

公認成熟算法

基于肺結節分割,測量肺結節平均HU值

輔助醫生測量肺結節內部HU值

……




4.算法研究資料

4.1算法基本信息

肺結節CT影像輔助檢測軟件所涉及的算法一般包括肺結節檢出算法、肺結節分類算法和肺結節測量算法。其中肺結節檢出算法目的在于在胸部CT影像中利用人工智能技術自動檢出肺結節,輔助醫生篩查;肺結節分類算法對每個肺結節的屬性進行歸類,按照類別不同,肺結節分類算法包括但不限于肺結節密度分類算法,肺結節解剖定位分類算法等;肺結節測量算法對每個肺結節的屬性進行量化測量,區別于肺結節分類算法,肺結節測量算法輸出的是連續的量化值,而肺結節分類算法輸出的是離散的類別。按照測量屬性不同,肺結節測量算法包括但不限于肺結節體積測量算法,肺結節密度值測量算法和肺結節長短徑測量算法等。

4.1.1肺結節檢出算法

肺結節檢出算法需明確算法的輸入,比如算法采用的是2D,2.5D還是3D的胸部CT圖像作為神經網絡的輸入;算法的輸出,比如緊密包裹肺結節的矩形框端點(二維/三維),肺結節中心點;

明確算法所采用的神經網絡結構,如 Faster RCNN;明確算法訓練采用的損失函數,如交叉熵,L1范數;明確算法設計過程中網絡結構、損失函數等核心組件選擇和設計的原則、方法與風險考量,如肺結節大小尺度的差異,肺結節與背景正負樣本的不均衡性、假陽性、過擬合等;若肺結節檢出采用多個模型融合,需明確不同模型訓練與推理的方式,以及模型融合的策略,如級聯,多數投票;

肺結節檢出存在同一個目標多個重疊框的問題,算法需明確匹配關系所采用的策略,如交并比(IoU),定位框中心距離;

明確算法的流程圖,需包含算法運行前所進行的前處理(圖像縮放、圖像像素值歸一化、圖像重采樣)以及算法運行后所進行的后處理操作(圖像重采樣、非最大化抑制)。明確訓練與部署所采用的框架(如Tensorflow, Pytorch)、算法運行環境(如內存、顯存的需求)。

若使用遷移學習技術,除上述內容外還需補充預訓練模型的數據集構建、驗證與確認等總結信息,并論證遷移學習的適用性。

4.1.2肺結節分類算法

    肺結節分類算法包括密度分類算法、肺結節解剖定位分類。

肺結節密度分類算法需明確輸出(密度類別),密度類別制定依據以及臨床適用性。

肺結節密度分類算法需明確算法的輸入,比如算法采用的是2D,2.5D還是3D的圖像作為神經網絡的輸入。若采用2D,需明確肺結節選取的圖像層面,如中心層面,最大面積層面;明確算法所采用的神經網絡結構,如Residual Net,Dense-Net;明確算法訓練采用的損失函數,如交叉熵,Focal損失函數;損失函數等核心組件選擇和設計的原則、方法與風險考量,如肺結節大小尺度的差異,不同類別肺結節樣本的不均衡性、過擬合等;若肺結節分類采用多個模型融合,需明確不同模型訓練與推理的方式,以及模型融合的策略,如多數投票;最后,明確算法的流程圖,訓練與部署所采用的框架(如Tensorflow, Pytorch)、算法運行環境(如內存、顯存的需求)。

肺結節解剖定位分類中,明確肺結節定位的類別,如左/右肺定位、肺葉定位、肺段定位。明確算法輸入的類型,如肺結節二維切片,肺結節三維圖像塊,若輸入類型為二維切片,明確二維切片選取標準(肺結節長短徑交點所在切片、肺結節最大面積切片)。肺結節解剖定位分類算法需明確實現的機理,如圖像分割算法,圖像分類算法。

4.1.3肺結節測量算法

針對肺結節測量算法,明確測量實現的方式。肺結節體積測量算法、密度值測量算法與長短徑測量算法可以通過肺結節分割技術來實現,也可以通過機器學習中的回歸方法來進行預測。其中密度值測量算法需明確測量的類型,如平均值,標準差,最大值,最小值,中位數。

若申報產品涉及上述多個算法,需提供算法整體流程圖,明確各個算法調用先后關系,以及輸入輸出依賴關系。

若使用遷移學習技術,除上述內容外還需補充預訓練模型的數據集構建、驗證與確認等總結信息,并論證遷移學習的適用性。

4.2算法需求規范

算法功能需求建議關注數據庫需求、算法性能評價指標及制定依據。

4.2.1數據庫需求

算法性能評價需要基于訓練和測試數據庫,數據庫具體要求詳見附錄2。

4.2.2算法性能評價指標

在指定肺結節檢出算法評估指標之前,需明確標記匹配的方式,即算法標記目標與參考標準目標的匹配方式,常見的標記匹配方式有按照區域重疊的比例、中心點的距離、中心是否落入來判斷標記是否匹配;明確算法任務,明確算法訓練和調優過程中不同任務的的評估指標及定義。有關標記匹配方式與評估指標的定義可以參考“人工智能醫療器械 肺部影像輔助分析軟件算法性能測試方法”5.1.1.1章節。

明確不同任務的算法評價指標的確定依據、分層影響因素選擇依據,建議參考《人工智能醫療器械 肺部影像輔助分析軟件 算法性能測試方法》、肺結節診療中國專家共識、美國國立綜合癌癥網絡NCCN指南、Fleishner年學會指南、中華醫學會肺癌臨床診療指南等。

結節檢出指標包括不限于召回率、精確度、特異度。

結節分類指標包括不限于靈敏度、特異度、總體的Kappa系數、準確率。

結節分割指標包括不限于體積交并比、Dice系數、Hausdorff距離。

尺寸測量指標包括不限于結節體積相對誤差率、肺結節平均徑相對誤差率、肺結節長徑絕對誤差均值MAE、肺結節短徑絕對誤差均值MAE。

提供文獻綜述論證評價指標選擇及分層影響因素選擇的合理性。分層分析的影響因素包括年齡、病變類型、大小、層厚、采集協議等重要變量。

算法質量特性包括泛化能力、魯棒性(面向硬件變化的對抗測試、面向軟件前處理的對抗測試、壓力測試)、重復性、一致性、效率。

隨訪評估功能包括倍增時間、數值參數的百分比(%)和絕對變化,如結節長軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均HU。

4.2.3算法性能測試基本要求

4.2.3.1結節檢出

軟件檢出肺結節的召回率和精確度不低于X%。

召回率和精確度的計算一般針對全體結節進行。在設置篩選條件后,可以使用篩選后的參考標準與篩選后的AI結果進行匹配。如篩選后假陽性結果難以定義,建議以召回率為主要指標,常見情形為:

-對具體某一種結節類型,計算結節的召回率。結節類型包括實性結節、純磨玻璃結節、部分實性結節、鈣化結節等。

-對平均直徑、長徑處于某一區間的結節,計算召回率

-·對類型、尺寸范圍組合的結節,計算召回率。

4.2.3.2結節分類準確度

明確分類場景,如二分類場景、多分類場景。對于二分類場景下的指標,如軟件能夠對A類型的肺結節進行分類,準確率不低于X%,靈敏度不低于Y%,特異性不低于Z%。總體的Kappa系數不低于N%;多分類問題可以轉化為二分類問題,按每一類進行描述。

4.2.3.3結節分割

體積交并比不小于XX;如果產品只輸出最大層面則計算最大層面交并比,或DICE系數不小于XX

4.2.3.4尺寸測量

體積測量偏差±XX%;長徑測量偏差±XX%。長徑小于等于10mm則增加平均直徑允差,大于10mm則增加短徑允差。

4.2.4樣本量

明確樣本量估計的公式、參數及制定依據。

4.3數據質控

建議參考“人工智能醫療器械注冊審查指導原則”及“人工智能醫療器械質量要求和評價 第2部分:數據集通用要求”。

4.3.1明確數據庫信息(詳見附錄2)

4.3.2數據預處理

數據預處理需明確數據轉移保存的方法。

數據入庫前完成清洗,主要是讀取Patient數據確定數據是否完成脫敏,是否合規;讀取Study和Series的識別碼確定圖像的唯一性,通過Image的標識碼判定圖像是否連續完整。此外,通過讀取層厚、層間距等信息確定圖像的質量并加以篩選。流程圖示例如圖1所示:

肺結節CT影像輔助檢測軟件注冊.jpg

4.3.3數據標注

數據標注建議參考“人工智能醫療器械質量要求和評價 第3部分:數據標注通用要求”。

需明確標注任務分類(包括數據模態、執行主體、標注結果格式、標注結果性質、標注結果形式等維度),提供標注任務描述文檔(標準規則、標注人員、標注工具、標注環境、數據)。其中標注規則需明確制定依據并提供參考文獻。標注人員建議列表給出標注、審核、仲裁人員的基本信息,如數量、醫療機構、科室、工作年限、職稱、培訓、培訓考核情況、工作量、標注任務、參考的所有受檢者臨床信息(如病理檢測結果)。

標注與質控流程建議提供業務架構、過程組織(任務生成、任務分配、任務實施、質量控制、驗收準則及驗收報告。其中業務架構宜采用流程圖介紹單張圖片的標注、審核、仲裁過程。

如標注工具、標注平臺使用人工智能算法進行輔助標注,需提交標注工具、標注平臺算法性能研究資料。

4.3.4數據集構建

依據《人工智能醫療器械注冊審查指導原則》指南明確訓練集、調優集、測試集的劃分方法、劃分依據、數據分配比例。

提供查重驗證結果,以證實訓練集、調優集、測試集的樣本兩兩無交集。

明確數據擴增需明確擴增的對象、范圍、方式(離線、在線)、方法(如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網絡等)、倍數、在線數據擴增記錄。

提供擴增數據庫與標注數據庫樣本量、樣本分布(注明擴增倍數)對比表,以證實擴增數據庫樣本量的充分性以及樣本分布的合理性。

提供采用生成對抗網絡數據擴增的算法基本信息以及算法選用依據資料。

4.4算法訓練

   算法訓練需明確訓練過程所采用的優化器及其相關參數,如Adam,SGD;在算法訓練階段,需明確驗證集的劃分方式,如留出法,交叉驗證法; 需明確訓練目標,即判斷何時停止訓練,如設定最大的訓練epoch數目,依據損失函數判斷損失穩定且不繼續下降,根據訓練epoch數量-評估指標曲線判斷評估指標不繼續提升等。當訓練停止后,明確訓練模型最佳epoch的選擇方法,如在留出法中,根據留出部分的驗證集選取評價指標最優的epoch;在交叉驗證法中,計算多次隨機劃分驗證集的評價指標平均值,選擇最優的epoch。同時,結合臨床需求(如靈敏度、精準度),明確算法出廠閾值的選擇與方法,并論證訓練所得模型是否滿足產品既定目標。算法出廠閾值的選擇需提供制定依據。

算法訓練階段需結合訓練數據量-評估指標曲線驗證算法訓練數據量的充分性,常用的方式有以最小訓練數據量為基礎,逐步增加數據量。對于不同的訓練數據量,計算對應的評價指標。當評價指標為單一標量時(如靈敏度),訓練數據量-評估指標曲線的x軸為訓練數據的樣本量(如CT序列個數),y軸為在使用特定訓練量時,算法在測試集的評價指標。結合訓練數據量-評估指標曲線,判斷當訓練數據量有限時,評價指標是否隨數據量的增加而增加,并在數據量達到一定程度后,評價指標趨于平穩。當評價指標為曲線時,可考慮根據不同訓練數據量,繪制對應的評價指標曲線,判斷曲線下面積(AUC)是否先隨數據量的增加而增加,最后當數據量達到一定程度后趨于平穩。以fROC曲線為例,在評估訓練數據量的充分性時,當訓練數據量有限時,fROC曲線下面積需隨數據量增加而增加,fROC曲線逐步逼近坐標左上角;當訓練數據量達到一定程度后,fROC曲線下面積慢慢趨于穩定。

若訓練過程中采用了數據擴增的方式,需明確擴增方式,如離線數據擴增,在線數據擴增。同時,需明確數據擴增的方法以及相應的參數設置,如圖像平移,旋轉,縮放,彈性形變等。若訓練過程未采用數據擴增,需論證未進行數據擴增的理由,或者通過對比試驗(數據擴增 vs 未數據擴增)來論證合理性。

4.5算法驗證與確認

明確算法任務,明確不同任務的算法評價指標的閾值及確定依據。明確算法標記目標與參考標準的匹配方式和匹配閾值。明確病例水平和結節水平計算方法及定義一個結節的處理方法及病例陽性的方法。區分算法任務制定具體測試方法和結果計算方法。建議參考《人工智能醫療器械 肺部影像輔助分析軟件 算法性能測試方法》。

4.5.1檢出算法性能評估

基于算法的出廠閾值,明確算法在訓練集,調優集和測試集的假陰性(召回率)與假陽性(精確度),通過比較三個數據集的性能來評估算法的泛化性。

若在訓練過程中使用數據擴增,需在調優集上比較使用與不使用數據擴增對肺結節檢出性能的影響。

對于肺結節檢出算法,需分層統計算法對于不同大小和不同密度的肺結節的檢出效能,可以通過fROC曲線,召回率以及精確度等指標來評價,同時結合臨床需求論述結果的合理性。在肺結節大小的維度,可將肺結節分為4-5mm,5-8mm以及8-10mm來進行分層統計,一般而言,肺結節尺寸越大,檢出的難度越低。在肺結節密度維度,需明確是二分類還是多分類,需明確密度類型及制定依據,進行密度類型的分層統計。

除此之外,還需考慮性別、年齡、設備廠家、重建方式、層厚/層間距、管電流、管電壓等參數對肺結節檢出算法效能的影響。需明確設備廠家,且必須符合DICOM 3.0協議標準數據;管電壓考慮70-140 kV,管電流考慮10-400 mA;層厚與層間距需不超過5mm,在分層統計中可以考慮將層厚與層間距歸為兩大類0.625-1.250mm和1.25-5mm,前者為“胸部CT肺結節數據集構建及質量控制專家共識”推薦的肺結節診斷層厚的范圍;重建方式需考慮常見的肺算法與標準算法(軟組織算法)。

在亞組的分層統計中,肺結節檢出效能需在不同因素下均能取得較好性能。若在某些影響因素下,肺結節檢出效能存在差異,需進行合理地論證,并在說明書給出使用限制。

需提供算法性能測試報告,至少包括軟件環境、硬件環境、測試平臺描述(如適用)、測試集描述、算法性能指標的符合性分析(性能指標的定義、測試通過準則、統計分析)、算法錯誤統計。需包括算法性能及算法質量特性、隨訪功能測試結果。

4.6 算法性能綜合分析

結合算法訓練、算法性能評估、臨床評價等結果開展算法性能綜合評價,針對訓練樣本量和測試樣本量過少、測試結果明顯低于算法設計目標、算法性能變異度過大等情況,對產品的適用范圍、使用場景、核心功能進行必要限制。

5.用戶培訓方案

對于軟件安全性級別為嚴重級別的產品,原則上需單獨提供一份用戶培訓方案,包括用戶培訓的計劃、材料、方式、師資等。

用戶培訓需關注以下內容:預期用戶要求,如工作年限或執業資格;醫生必須對軟件結果進行確認,軟件只用于輔助檢測,不能替代醫生。CT圖像要求,如嚴重呼吸、金屬偽影或有掃描質量問題的CT影像慎用;基于臨床試驗驗證,不宜使用該軟件的疾病;

(四)產品說明書和標簽樣稿

說明書、標簽和包裝標識需符合《醫療器械說明書和標簽管理規定》(國家食品藥品監督管理總局令第6號)和《醫療器械軟件技術審查指導原則》、《醫療器械網絡安全技術審查指導原則》、《人工智能醫療器械注冊審查指導原則》和相關標準的規定。

說明書內容需重點關注:

1.用戶說明

對預期用戶和推薦用戶培訓的詳細說明。如,預期用戶工作年限或執業資格要求,且需經培訓合格。

2.使用限制

若產品采用人工智能黑盒算法,需根據算法影響因素分析報告,在說明書中明確產品使用限制和必要警示提示信息。

示例:不應僅僅依靠本器械所標識的輸出,應由專業醫師對結果進行解釋。

已發現該器械對于XX的受檢者無效。具有這種疾病/病癥/異常的受檢者不應使用該器械。

對訓練數據、測試數據與臨床試驗的算法性能評估結果不佳,數據量偏少的,此類受檢者使用該器械,應由專業醫師結合受檢者的病史、癥狀、體征、其他檢查結果情況綜合給出最終的肺結節檢出結論,核實是否需要進行一步診療的決策,并對臨床診斷結果負責。

3.注意事項

測量準確性(如圖像長度、CT值平均值、最大值、最小值、面積值、體積、密度、位置坐標)、測量功能警示信息,如體積測量是基于體素個數的圖形學測量,并不能完全反映人體真實的體積,測量體積僅供醫生參考。

CT影像質量要求,如嚴重呼吸、金屬偽影或有掃描質量問題的CT影像慎用;圖像序列未完整包含肺臟全部組織的圖像數據禁用。

醫生必須對軟件結果進行確認,軟件只用于輔助檢測,不能替代醫生。原始的AI結果應保留,確保軟件結果的可追溯性與可責性。

4.預防措施

需明確與器械使用相關的不良事件,并提供緩解措施建議。不良事件討論需至少包括對假陽性事件和假陰性事件的不良事件的討論。

5.器械描述

需提供以下內容:

-算法設計和功能的概述,如有特殊聲明,如用于繼發性結節或更小結節檢測,可以特別說明。

-培訓范例和培訓或開發數據庫的概述

-研發和調整算法中所用的受檢者數據的參考標準的描述

-與本器械兼容的采集技術

-適當顯示器械標記的要求

6.軟件

需明確軟件發布版本、提供網絡安全說明和使用指導,明確用戶訪問控制機制、電子接口(含網絡接口、電子數據交換接口)及其數據類型和技術特征、網絡安全特征配置、數據備份與災難恢復、運行環境(含硬件配置、外部軟件環境、網絡環境,若適用)、安全軟件兼容性列表(若適用)、外部軟件環境與安全軟件更新(若適用)、現成軟件清單(SBOM,若適用)等要求。

7.產品接口和聯合使用設備

需明確對配合使用的圖像工作站和PACS適當顯示器械標記的要求。

需明確CT設備兼容性與掃描參數要求(如層厚、排數)、

8.算法訓練總結

訓練集基本信息、訓練指標與結果

9.算法性能評估總結

-算法輸入與輸出

-測試集基本信息

-用于確定器械標記的每個區域的性質的評分標準

-每個可用器械操作點的總體敏感度和假陽性率指標

-分層分析(如,根據病變大小、病變類型、采集參數、成像或數據特征)

-獨立FROC性能(如適用),需和操作特性曲線一起說明。

-測試結果

10.臨床試驗總結

需包括臨床試驗設計基本類型、研究對象(受試者及閱片者情況)、評價指標,金標準、對收集臨床信息方法的描述、統計方法描述、樣本量,臨床試驗結果(含各結節尺寸、密度影、閱片者亞組情況)。

11.公開數據庫及測試結果(如有)

12.第三方測評數據庫及測試結果(如有)

13.決策指標定義(或提供決策指標定義所依據的臨床指南、專家共識等參考文獻)等信息。

三、參考文獻

[1]國家市場監督管理總局. 醫療器械注冊與備案管理辦法(市場監管總局令第47號),2021.8

[2]原國家食品藥品監督管理總局. 醫療器械說明書和標簽管理規定(總局令第6號),2014.7

[3]國家藥品監督管理局. 醫療器械注冊申報資料要求和批準證明文件格式(2021年第121號),2021.9

[4]國家藥品監督管理局. 醫療器械通用名稱命名指導原則(2019年第99號通告),2019.12

[5]國家藥品監督管理局. 醫療器械安全和性能基本原則(2020年第18號通告),2020.3

[6]原國家食品藥品監督管理總局.醫療器械產品技術要求編寫指導原則(2014年第9號通告),2014.5

[7]國家藥品監督管理局醫療器械技術審評中心. 醫療器械軟件技術審查指導原則(第二版)(征求意見稿),2020.6

[8] 國家藥品監督管理局醫療器械技術審評中心. 醫療器械網絡安全技術審查指導原則(第二版)(征求意見稿),2020.9

[9]原國家食品藥品監督管理總局. 移動醫療器械注冊技術審查指導原則(2017年第222號通告),2017.12

[10]國家藥品監督管理局醫療器械技術審評中心. 深度學習輔助決策醫療器械軟件審評要點(2019年第7號通告),2019.7

[11] 國家藥品監督管理局醫療器械技術審評中心. 肺炎CT影像輔助分診與評估軟件審評要點(試行)(2020年第8號通告),2020.3

[12]國家藥品監督管理局醫療器械技術審評中心. 人工智能醫療器械審查指導原則(征求意見稿),2021.6

[13]國家藥品監督管理局. 醫療器械生產質量管理規范附錄獨立軟件(2019年第43號通告),2019.7

[14] 國家藥品監督管理局. 醫療器械生產質量管理規范獨立軟件現場檢查指導原則(藥監綜械管〔2020〕57號),2020.5

[15] 國家藥品監督管理局. 人工智能類醫用軟件產品分類界定指導原則(2021年第47號)),2021.7

[16] 國家藥品監督管理局標準管理中心. 輔助決策類醫用軟件產品分類界定指導原則(征求意見稿),2021.6

    [17] 國家衛生健康委員會. 人工智能輔助診斷技術管理規范(國衛辦醫發〔2017〕7號),2017.2

    [18]國家衛生健康委員會. 人工智能輔助治療技術管理規范(國衛辦醫發〔2017〕7號),2017.2

[19]YY/T 0287-2017 醫療器械 質量管理體系 用于法規的要求[S]

[20] YY/T 0316-2016 醫療器械 風險管理對醫療器械的應用[S]

[21] YY/T 0664-2020 醫療器械軟件 軟件生存周期過程[S]

[22] YY/T 1406.1-2016 醫療器械軟件 第1部分:YY/T 0316應用于醫療器械軟件的指南[S]

[23]GB/T 25000.10-2016 系統與軟件工程 系統與軟件質量要求與評價(SQuaRE)系統與軟件質量模型[S]

[24]GB/T 39725-2020 信息安全技術  健康醫療數據安全指南 [S]

[25]YY/T 1833.1人工智能醫療器械 質量要求和評價 第1部分:術語(報批稿) [S]

[26] YY/T 1833.2人工智能醫療器械 質量要求和評價 第2部分:數據集通用要求(報批稿) [S]

    [27]YY/T 1833.3人工智能醫療器械 質量要求和評價 第3部分:數據標注通用要求(報批稿) [S]

[28] YY/T 人工智能醫療器械 肺部影像輔助分析軟件 算法性能測試方法(報批稿) [S]

[29 ]AIMDICP-WG6-2020-002 基于胸部CT的肺結節影像輔助決策產品性能指標和測試方法 [S]

[30] AIMDICP-WG12-2021-001 醫學人工智能技術學名詞(草稿) [S]

[31] FDA. Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data, 2012.7

[32] FDA. Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data, 2012.7

[33] FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML) - Based Software as a Medical Device (SaMD) Draft, 2019.5

[34] FDA. Artificial Intelligence and Machine Learning(AI/ ML) Software as a Medical Device(SaMD) Action Plan, 2021.1

[38] 胸部CT肺結節數據集構建及質量控制專家共識[J].中華放射學雜志,2021,55(02):104-110.



Copyright © 2018 醫療器械注冊技術咨詢 浙ICP備18025678號 技術支持:熙和網絡

新聞動態
主站蜘蛛池模板: 国产97人人超碰caoprom | 亚洲国产另类久久久精品小说 | 亚洲高清av一区二区三区 | 久久久香蕉 | 亚洲最新在线 | 欧美3p两根一起进高清免费视频 | 日韩精品视频免费专区在线播放 | 成人在线视频一区二区 | av一级黄色 | 吻胸摸腿揉屁股娇喘视频网站小说 | 特黄视频免费看 | 亚洲欧洲精品一区 | 成人免费看片39 | 亚洲高清免费观看 | 国产福利免费在线 | 宅女噜噜66国产精品观看免费 | 人人妻人人澡人人爽欧美精品 | 男人的天堂视频在线观看 | 两人做人爱费视频午夜 | 国产伦久视频免费观看 视频 | 日韩精品无码不卡无码 | 最新久久精品 | 国产日产欧产美韩系列麻豆 | 免费视频色 | 国产色婷婷五月精品综合在线 | 成人免费毛片日本片视频 | 爱色av·com| 色999视频 | 久久精品日产第一区二区三区 | 在线观看精品国产 | 91丝袜国产在线观看 | 欧美乱码精品 | 综合亚洲网 | 92看片淫黄大片欧美看国产片 | 亚洲综合无码一区二区 | 色无五月 | 桃色网址| 日韩欧美国产一区二区 | 伊人www22综合色| 欧美成一区二区三区 | 国产免费内射又粗又爽密桃视频 | 青青草91久久久久久久久 | 国产办公室秘书无码精品99 | 国产资源在线看 | 国产伦精品一区二区三区千人斩 | 亚洲日本欧美日韩高观看 | 亚洲午夜av| 国产吴梦梦无套系列 | 亚洲日韩一区二区三区 | 国产精品久久久久久久新郎 | 亚洲国产日韩在线视频 | 国产成人一区二区三区 | 乱淫的女高中暑假调教h | 99久久婷婷国产综合精品电影 | 亚洲免费高清 | fc2ppv在线播放 | 免费看日韩毛片 | 69久久久成人看片免费一区二 | 亚洲九九视频 | 国产婷婷一区二区三区 | 97人人模人人爽人人少妇 | 色偷偷网| 免费欧美黄色片 | swag国产精品一区二区 | 深夜在线播放 | 成人免费91 | 国产欧美日韩精品一区二区三区 | 一本色道久久综合亚洲精品高清 | 久久精品成人一区二区三区蜜臀 | 自拍偷拍激情小说 | 国产黄色片免费在线观看 | 亚洲精品欧美 | 精品国产片一区二区三区 | 色鬼久久| 国产精品麻豆入口29 | 日本欧美一区二区免费视频 | 亚洲人色婷婷成人网站在线观看 | 亚洲女人毛片 | 97日韩精品 | 先锋影音人妻啪啪va资源网站 | 性猛交富婆╳xxx乱大交麻豆 | 大奶一区| 手机在线一区 | 亚洲伊人色欲综合网 | 日韩一级片中文字幕 | 伊人色综合久久天天人手人婷 | 午夜福利92国语 | 轻轻色在线观看 | 国产精品岛国久久久久 | 另类av在线 | 偷拍女人私密按摩高潮视频 | 国产系列在线观看 | 操少妇视频 | 亚洲人成人天堂h久久 | 国产一级片在线 | 中文字幕日韩一区二区三区不卡 | 一黄色大片| 影音先锋男人av鲁色资源网 | 91原创国产| 欧美裸体精品 | 日本爽妇网 | 草草影院ccyycom | 高大丰满毛茸茸xxx性 | 女人裸体夜夜爽快 | 亚洲天堂影院 | 国产传媒资源网站 | 国产卡一卡二卡三无线乱码新区 | 97人妻熟女成人免费视频色戒 | 国产又大又黑又粗 | 亚洲色婷婷综合开心网 | 91嫩草国产露脸精品国产 | 国产麻豆一精品一男同 | 亚洲色图激情 | 亚洲精品视频免费观看 | 动漫美女视频 | 国产一线二线三线wwww | 懂色av一区二区三区免费 | 日本888xxxx | 草草影院ccyy国产日本第一页 | 日日射av| 亚洲一区精品二人人爽久久 | 日本a级片在线播放 | 亚洲v国产v欧美v久久久久久 | 精品亚洲精品 | 色天天干| 天天曰天天干 | 国产综合图区 | porn国产| 国产精品久久久久久久久久辛辛 | 亚洲天堂网一区二区 | 精品小视频在线观看 | 一本一本久久aa综合精品 | 91精品国产91久久久久游泳池 | 99久久欧美日韩国产二区 | 免费看国产精品 | www312aⅴ欧美在线看 | 在线亚欧观看2023 | 黄色欧美日韩 | 欧美成人区 | 欧美性网址 | 国产精品一区二区三区久久 | 精品国产一区二区三区四 | www色综合 | 一进一出抽搐gif | 国产午夜精品一区二区三区嫩草 | 麻豆精品国产精华精华液好用吗 | 九九热在线播放 | 一区二区三区无码免费看 | 亚洲第一黄色网 | 亚洲第一色站 | 偷拍亚洲精品 | 国产成人午夜片在线观看高清观看 | 杨幂一区二区三区免费看视频 | 99国产精品99久久久久久粉嫩 | 国内大量偷窥精品视频 | 国产精品综合一区二区三区 | 强制中出し~大桥未久10在线播放 | 欧美三级日本 | 97夜夜澡人人爽人人免费 | 国产成人无码一二三区视频 | av男女 | 91蜜桃传媒精品久久久一区二区 | 国产精品国产三级国产aⅴ9色 | 特黄特色三级在线观看 | 女人高潮流白浆视频 | 久久不射网 | 亚洲人天堂 | 免费成人黄色网址 | 国产一区二区三区四区五区加勒比 | 强行处破女系列中文字幕 | www99视频| av中文字幕一区 | 成人在线视频免费 | 91午夜剧场 | 狠狠网| 欧美人吸奶水吃奶水 | 日韩精品无码一本二本三本色 | 久久人人爽爽人人爽人人片av | 日韩欧美一区二区三区在线 | 久久精品中文闷骚内射 | 久久一级片 | 日本在线免费观看视频 | 国产精品一区二区四区 | 亚洲一区欧洲一区 | 无码人妻视频一区二区三区 | 亚洲精品成人悠悠色影视 | 风韵犹存的岳的呻吟在线播放 | 岛国av免费 | 久色婷婷| 成人av不卡| japanese日本精品少妇 | 午夜性色福利视频 | 99久久99久久精品国产片果冻 | 99国内精品久久久久久久软件 | 一区二区传媒有限公司 | 狠狠色婷婷久久综合频道毛片 | 日日干日日 | 亚洲精品无码永久在线观看你懂的 | 欧美性猛交xxxx黑人交 | 妇女性内射冈站hdwwwooo | 欧美性久久 | 精彩动漫 - 91爱爱 | 国产av久久久久精东av | 亚洲一区二区不卡视频 | 成年人毛片 | 97国产免费| 绯色av粉嫩av蜜臀av | 欧美一区二区三区的 | 国产精品黄色大片 | 波多野结衣一二区 | 日本视频中文字幕 | 美女视频黄色免费 | 熟妇人妻va精品中文字幕 | 黄色毛片一级片 | 无码av大香线蕉伊人久久 | 日韩av中文字幕在线播放 | 无限看片在线版免费视频大全 | 加勒比色老久久综合网 | 国产疯狂伦交大片 | 玖玖爱国产| 伊人ab | 男女毛片视频 | 中文字幕av第一页 | 日韩精品在线视频免费观看 | 亚洲最新在线视频 | 国产做a爱片久久毛片a片 | 三级网站在线免费观看 | 亚洲a视频在线观看 | 97夜夜澡人人双人人人喊 | av美女在线 | 少妇av射精精品蜜桃专区 | 黄色小视频免费看 | 日韩精品免费一区二区三区四区 | 精品推荐国产精品店 | 99riav1国产精品视频 | 中文字幕在线2018 | 亚洲一区精品人人爽人人躁 | 香蕉在线观看视频 | 亚洲超碰在线 | 国产稀缺真实呦乱在线 | 久久96国产精品久久久 | 亚洲最大激情网 | 国产高清亚洲 | 夜夜爱av | 少妇性bbb搡bbb爽爽爽 | 夜夜爽av福利精品导航 | 久久精品女人天堂av | 亚洲成av人不卡无码影片 | 亚洲制服一区 | 极品老师腿张开粉嫩小泬 | 一级在线看| 少妇性生交xxxⅹxxx | 国内精品久久久久久99蜜桃 | 日本视频免费高清一本18 | 国产网站一区二区 | 精品一区二区视频 | 日韩人妻无码一区二区三区综合部 | 伊人成人在线观看 | 精品视频麻豆入口 | 欧美三级中文字幕 | 成人xxx视频| 国产精品99久久久久久人 | 99麻豆久久久国产精品免费 | 亚洲一本在线 | 亚洲免费国产 | 奇米色777欧美一区二区 | 麻豆视频免费网站 | 精品久久久久久久久久久久久久久久久 | 97爱爱| 成人做爰桃子窝窝a视频 | 日韩欧美一区二区三区在线 | 成人无码视频在线观看网址 | 久久成人高清 | 乱淫的女高中暑假调教h | 亚洲va无码va在线va天堂 | 精品国产乱码久久久久久闺蜜 | 国产成人61精品免费看片 | 亚洲免费视 | 亚洲永久视频 | zzijzzij亚洲日本少妇熟睡 | 成人h猎奇视频网站 | 在线一二区 | 成年人免费网站 | 日韩国产精品一区二区三区 | 国产好大好紧好爽好湿视频唱戏 | 全部毛片永久免费看 | 国产黄色观看 | 不卡的av片 | 国产在线麻豆精品入口 | 中国三级黄色 | 浓精灌孕h校园5v1 | 99热国 | 51久久国产露脸精品国产 | 免费黄色国产视频 | 亚洲h网站| 亚洲欧美影视 | 97国产高清 | 精品不卡一区二区 | yes4444视频在线观看 | 少妇大叫好爽受不了午夜视频 | 二区欧美 | 最新的黄色网址 | 自拍偷拍亚洲视频 | 日本免费中文字幕 | 国产999精品视频 | 开心春色激情网 | 亚洲一区黄色 | 国产 欧美 在线 | youjizz中国少妇| 雨宫琴音一区二区三区 | 欧美日韩精品区 | 久久久国产99久久国产久灭火器 | 天天爱av | 色偷偷av一区二区三区 | 中文字幕视频二区 | 18禁黄无码免费网站高潮 | 国产精品一级片 | 不卡的av网站| 青青草视频网站 | 日韩夫妻性生活 | 亚洲精品乱码久久久久久蜜桃图片 | 日本少妇呻吟高潮免费看 | 中文字幕第一页在线 | 国精产品一区二区三区有限公司 | 少妇高潮喷水在线观看 | 日日夜夜国产精品 | 婷婷丁香国产 | 欧美黑人xxxⅹ高潮交 | 狠狠的干性视频 | 成人一区二区三区四区 | 五月婷婷六月综合 | 日韩成人一区 | 特黄特色三级在线观看 | 久久精品99久久久久久 | 五月深爱网 | 亚洲免费人成在线视频观看 | 欧美裸体性生活 | 免费黄网站在线观看 | 一区二区三区播放 | 成人深夜视频 | 天天久久 | 国产青草视频 | 少妇又色又紧又大爽又刺激 | 成年免费视频黄网站在线观看 | 一级做a爱片性色毛片 | 亚洲精品中文在线 | 国产精品丝袜www爽爽爽 | 最新免费中文字幕 | 极品少妇一区二区三区 | 午夜视频福利在线观看 | 六月天婷婷 | 99久久精品国产免费看 | 亚洲人成网站在线在线观看 | 久久久久久久久嫩草精品乱码 | 青青热久免费精品视频在线播放 | 日本熟妇色xxxxx欧美老妇 | 中文字幕一区二区三区四区视频 | 黄色一极视频 | 狼人久草 | 久久综合给久久狠狠97色 | 中文字幕人妻少妇引诱隔壁 | 日本a大片 | 91pony九色丨交换 | 含羞草一区二区 | 日韩精品一二区 | 九一国产视频 | 欧美日韩久久精品 | 亚洲黄色免费网站 | 人人草视频在线 | 午夜视频欧美 | 国产激情久久久久久熟女老人av | 全球av集中精品导航福利 | 北条麻妃一区二区免费播放 | 午夜视频一区二区三区 | 亚洲视频在线免费 | 天天综合av | 免费看大片a | 国产亚洲精品久久久网站好莱 | 日韩三级黄色 | 五月天小说网 | 全肉乱妇杂乱视频在线观看 | 四虎国产成人永久精品免费 | 一级片啪啪| 狠狠ri| 国产99久久久国产精品下药 | 公妇乱淫视频 | 精品视频一区二区三区 | 亚洲黄色小视频在线观看 | 波多野结衣av无码 | 日韩视频免费在线观看 | 在线观看少妇 | 亚洲涩涩爱 | 亚洲天堂手机在线 | 嫩草嫩草嫩草嫩草嫩草嫩草 | 精品无码国产一区二区三区av | 漂亮人妻被中出中文字幕久久 | 天堂无码人妻精品av一区 | 无码人妻丰满熟妇区五十路百度 | av中文字幕第一页 | 伊人无码精品久久一区二区 | 在线欧美日韩 | 丝袜福利视频 | 久久av无码精品人妻出轨 | 美女精品视频 | 欧美 在线 | 色香蕉av| 羞羞麻豆国产精品1区2区3区 | 国产精品久久999 | 久久久久人妻一区精品色欧美 | 97久久精品亚洲中文字幕无码 | 午夜激情国产 | 人禽伦免费交视频播放 | 一交一性一色一伦一区二 | 丝袜一区在线观看 | 黄色片一区 | 大桥未久女教师在线观看bd22 | 国产伦精品一区二区 | 国产人妻久久精品一区二区三区 | 99re6在线视频精品免费 | 国产一区二区欧美 | 国产精品午夜无码av体验区 | 马与人黄色毛片一部免费视频 | 午夜天堂精品久久久久 | 欧美久久久久久久久中文字幕 | 99成人 | 久久人网 | 一二三区毛片 | 亚洲黄色小视频 | 欧美日韩综合一区二区三区 | 91精品国产综合久久香蕉麻豆 | 国产亚洲精品美女久久久久 | 国产精品一级二级 | www黄色在线 | 伊人加勒比 | 成人颜色网站 | 91麻豆精品久久久久蜜臀 | 国产成+人欧美+综合在线观看 | 国产精品一区二区三区在线播放 | 东方影院av久久久久久 | 色噜噜在线观看 | 在线国产播放 | 野花中文免费观看6 | 91国偷自产一区二区三区 | 国产精品9999久久久久 | 色偷偷免费 | 国产精品无码久久综合网 | 日本做爰高潮片免费视频 | 在线一区二区三区视频 | 国产精品欧美亚洲韩国日本久久 | 综合网日日天干夜夜久久 | 黄色性情网站 | 131mm少妇做爰视频 | 国产高清无套内谢免费 | 情侣偷偷看的羞羞视频网站 | 国产成人无码免费看片软件 | 亚洲熟女综合一区二区三区 | 91亚洲精品久久久蜜桃 | 久久精彩视频 | 亚洲一区二区不卡视频 | 揄拍自拍| 国产粉嫩呻吟一区二区三区 | 亚洲国产成人精品片在线观看 | 亚洲最大成人网站 | 久艹在线 | 中文在线字幕免 | 国产婷婷色综合av蜜臀av | 翔田千里88av中文字幕 | 免费夜色污私人影院在线观看 | 日本在线中文字幕专区 | 成人国产一区二区三区精品麻豆 | 国产日韩精品入口 | 国产精品99久久久久久久久久 | 久久调教视频 | 久久毛片一区二区三区 | 91成人网页| 亚洲欧美激情图片 | 日本高清www免费视频大豆 | 欧美日韩精品 | 少妇性i交大片免费 | 不卡久久| 91在线精品一区二区 | 日韩精品在线网站 | 亚洲欧美综合色 | 亚洲精品久久久蜜桃网尤妮丝 | 周妍希大尺度国产一区二区 | 亚洲最大av网| 96超碰在线 | 五月婷婷综合网 | 国产高清精品软件丝瓜软件 | 国产精品com | 免费一级淫片a人观看69 | 国产微拍精品一区 | 亚洲精品岛国片在线观看 | 国产精品无码免费专区午夜 | 欧美激情中文字幕 | 久草在线视频网 | 夫の目の前侵犯中文字 | 国产日韩精品视频 | 久久先锋男人av资源网站 | 日韩在线视频第一页 | 超碰人人草人人干 | 么公的好大好硬好深好爽视频 | 久久精品视频免费 | 久久丫精品忘忧草西安产品 | 成人免费毛片东京热 | 婷婷色国产偷v国产偷v小说 | 日本三区在线 | 成人精品视频99在线观看免费 | 国产精品v欧美精品v日韩精品 | 肥臀熟女一区二区三区 | 欧美日韩免费高清一区色橹橹 | 日本裸体丰满少妇一丝不丝 | 又爽又大又黄a级毛片在线视频 | 91在线中文字幕 | 中文字幕妇偷乱视频在线观 | 色婷婷18 | 亚洲国产精品成人综合色在线婷婷 | 黄网页在线观看 | 青青福利视频 | 天天爽夜夜爽夜夜爽精品视频 | 免费一级大片 | 亚洲精品无圣光一区二区 | www国产视频 | 美玉足脚交一区二区三区图片 | 巨乳校园h1v1 | 高跟肉丝丝袜呻吟啪啪网站av | 中文字幕丝袜第1页 | 91久久国产综合精品女同国语 | 在线看无码的免费网站 | 少妇精品久久久久久久久久 | 午夜精品网 | 午夜a爱| 人妻互换免费中文字幕 | 香蕉综合网 | 精二青青河边草解释正确的是 | 公侵犯一区二区三区四区中文字幕 | 999久久久国产999久久久 | 无码国产精品一区二区免费16 | 国产亚洲精品久久久久久大师 | 少女高清影视在线观看动漫 | 日韩视频免费大全中文字幕 | 深夜视频在线观看 | 91高潮胡言乱语对白刺激国产 | 中国女人做爰视频 | 国产精品高潮呻吟久久av免费动漫 | 亚洲免费网站 | 7777kkk亚洲综合欧美网站 | 暖暖在线日本免费高清最新版 | 两个人看的www免费视频中文 | 91久久一区 | 成人性生交大片免费看vr | 黄色国产免费 | 西野翔中文久久精品国产 | 又大又粗又爽的少妇免费视频 | 日本一卡二卡视频 | 日本久久精品视频 | 麻豆传传媒久久久爱 | 久久久日韩精品一区二区 | 免费人成视频在线观看视频 | 天天综合亚洲 | 69视频网站| 日本少妇bbwbbw精品 | 午夜小视频网站 | 久久久精品免费看 | www日本久久 | 99精品中文字幕 | 欧美又黄又粗暴免费观看 | 噜妇插内射精品 | 国产精品久久久福利 | 在线亚洲+欧美+日本专区 | 亚洲一线在线观看 | 手机看片日韩 | 少妇被粗大猛进进出出s小说 | 久久国产精品网 | 极品少妇啪啪高清免费 | 欧美老女人性视频 | 日本v片做爰免费视频网站 日本www | 成人乱人乱一区二区三区 | 国产乱了真实在线观看 | 伊人精品一区二区三区 | 女兵的真人大毛片 | 免费毛片在线 | 国产精品久久精品国产 | 成人国产精品久久久春色 | 精品无人乱码一区二区 | 久久久久久网 | 人妻一本久道久久综合久久鬼色 | 亚洲综合欧美色五月俺也去 | а√最新版天堂资源 | 丁香色欲久久久久久综合网 | 色综久久综合桃花网 | 成年人免费高清视频 | 免费人成无码大片在线观看 | 欧美jizz19性欧美 | 少妇高潮喷水久久久久久久久久 | 色婷婷激婷婷深爱五月 | 国产精品夜夜嗨视频免费视频 | 中文无码av一区二区三区 | 久久久久久久99 | 草草影院地址 | 全部免费毛片在线播放 | 欧美 日韩 国产 在线观看 | 在线观看一区视频 | 91国内精品久久久 | 99久久人妻精品免费一区 | 国产97超碰 | jizzjizz免费| 久久综合伊人中文字幕 | 亚洲精品www久久久 亚洲精品www久久久久久 | 日日躁夜夜躁狠狠躁av麻豆 | 国产三级三级三级精品8ⅰ区 | 久久久中文久久久无码 | 日韩资源站 | 亚洲图片另类小说 | 在哪里可以看毛片 |