日韩激情无码免费毛片-日韩经典视频-日韩经典一区-日韩经典在线-精品国产91久久久久-精品国产91久久久久久久

醫(yī)療器械法規(guī)、注冊、臨床、體系認證、信息系統(tǒng)一站式服務
24×7服務熱線:0571-86198618 簡體中文 ENGLISH
當前位置:網站首頁>服務大廳>醫(yī)療器械臨床試驗服務
醫(yī)療器械真實世界研究設計和統(tǒng)計分析注冊審查指導原則(2024年第3號)
發(fā)布日期:2024-01-16 17:23瀏覽次數:2525次
2024年1月15日,為進一步引導醫(yī)療器械真實世界研究的規(guī)范開展,國家藥監(jiān)局器審中心發(fā)布《醫(yī)療器械真實世界研究設計和統(tǒng)計分析注冊審查指導原則》,本原則旨在規(guī)范和合理引導真實世界數據在醫(yī)療器械臨床評價中的應用,詳見正文。

2024年1月15日,為進一步引導醫(yī)療器械真實世界研究的規(guī)范開展,國家藥監(jiān)局器審中心發(fā)布《醫(yī)療器械真實世界研究設計和統(tǒng)計分析注冊審查指導原則》,本原則旨在規(guī)范和合理引導真實世界數據在醫(yī)療器械臨床評價中的應用,詳見正文。

醫(yī)療器械真實世界研究設計.jpg

醫(yī)療器械真實世界研究設計和統(tǒng)計分析注冊審查指導原則(2024年第3號)

本指導原則旨在規(guī)范和合理引導真實世界數據在醫(yī)療器械臨床評價中的應用,為申請人開展真實世界研究以及監(jiān)管部門技術審評提供技術指導。

本指導原則是供注冊申請人和技術審評人員使用的指導性文件,但不包括注冊審批所涉及的行政事項,亦不作為法規(guī)強制執(zhí)行,需在遵循相關法規(guī)和強制性標準的前提下使用本指導原則。如果有能夠滿足相關法規(guī)要求的其他方法,也可以采用,但是需要提供詳細的研究資料和驗證資料。

本指導原則是在現行法規(guī)和標準體系以及當前認知水平下制定的,隨著法規(guī)和標準的不斷完善,以及科學技術的不斷發(fā)展,本指導原則的相關內容也將進行適時調整。

一、適用范圍

本指導原則適用于醫(yī)療器械真實世界研究,不適用于按醫(yī)療器械管理的體外診斷試劑真實世界研究。本指導原則在《真實世界數據用于醫(yī)療器械臨床評價技術指導原則(試行)》的基礎上,結合目前積累的經驗,進一步細化醫(yī)療器械真實世界研究設計和統(tǒng)計分析的一般要求。在當前發(fā)展階段,真實世界證據在醫(yī)療器械臨床評價中,主要作為已有臨床證據的補充。

二、常見真實世界研究類型及其應用情形

(一)   試驗性真實世界研究

實效性隨機對照試驗(pragmatic Randomized Controlled Trial, pRCT)是試驗性真實世界研究的一種常見類型。

pRCT是指在真實或接近真實醫(yī)療環(huán)境下,采用隨機、對照的設計比較臨床實踐中不同干預措施的治療結果的研究,其主要目的是評估干預措施在常規(guī)臨床實踐中的效果。pRCT融合了隨機化和真實世界數據優(yōu)勢,較好地控制了偏倚,其研究結果可為干預措施效果評價提供較高質量的真實世界證據。pRCT研究人群入選標準通常較廣泛,人群代表性更好,但人群異質性通常較高,為保證統(tǒng)計分析具有足夠的檢驗效能,pRCT所需樣本量相對較大,適合需要生成在更廣泛人群和臨床情形中的臨床證據的應用情形。例如,實效性隨機對照試驗可提供器械在不同亞組患者人群中的安全性、有效性數據,為器械受益風險評估提供更多有效信息。

(二)  觀察性真實世界研究

1.描述性研究設計

常見的描述性研究設計包括橫斷面設計、病例報告和病例系列設計等,不用于統(tǒng)計學上的因果推斷。

在橫斷面設計中,全部測量在特定時點完成,主要用于描述接受了某種暴露因素(即:使用了待研究器械)的患者基本特征及健康狀況、疾病恢復情況等分布情況,橫斷面設計可用于器械不良事件的描述性統(tǒng)計研究,為后續(xù)研究提供線索。病例報告設計用于描述臨床一個或少數幾個病例的詳細臨床特征,通常不描述事物的集中趨勢或離散程度,病例系列設計是對多個病例資料進行歸納和總結,病例報告和病例系列設計提供對罕見或不尋常疾病/并發(fā)癥的深入了解,特別是對于比較新的器械,其能夠及時發(fā)現和記錄其可能的副作用或并發(fā)癥,同時為后續(xù)的更為嚴格和系統(tǒng)的研究提供線索和基礎。

2.隊列設計

在器械安全有效性評價中,隊列研究是將某一特定人群按是否使用待研究器械以及使用不同器械分為不同的組別,追蹤觀察各組的結局發(fā)生的情況,比較各組間結局發(fā)生率差異,從而判定器械與結局之間有無關聯及關聯程度大小的一種觀察性研究方法。隊列設計根據研究時期的不同可分為前瞻性隊列、回顧性隊列、雙向性隊列。前瞻性隊列研究中,根據預先制定的研究方案進行數據收集,可較好的控制數據質量。回顧性隊列研究中,對過去已經產生的數據進行分析,數據質量可控性差,分析前建議先對數據的完整性和準確性進行確認。雙向性隊列在回顧性隊列研究的基礎上,繼續(xù)前瞻性觀察一段時間,其是將前瞻性隊列研究與回顧性隊列研究結合起來的一種設計,兼有上述兩類的優(yōu)點,一定程度上彌補了各自的不足。目前基于登記數據庫開展的隊列研究越來越多,例如利用CathPCI登記數據庫比較Mynx血管閉合裝置與其他同類已上市產品安全性事件發(fā)生率的回顧性隊列研究,利用國家關節(jié)登記數據庫比較不同制造商設計關節(jié)假體的翻修率等。

3.病例對照及其衍生設計

病例對照研究是以發(fā)生了結局事件的患者作為病例組,未發(fā)生結局事件的患者作為對照組,比較病例組與對照組使用待研究器械的比例,從而研究待研究器械與結局事件之間的關聯性。回憶偏倚、對照組設置相關的選擇偏倚、無法提供發(fā)病率等是病例對照設計的較為突出的限制。當待研究器械需觀察的臨床結局發(fā)生率較低時,采用實效性隨機對照試驗或隊列設計所需樣本量過大而不具有可行性時,可考慮采用病例對照設計。

病例對照衍生設計包括巢式病例對照和病例隊列設計等,兩種衍生設計兼具隊列研究與病例對照研究的優(yōu)點,在結局發(fā)生前收集暴露因素、混雜因素等信息;器械暴露組和對照組來源于同一人群,人群可比性更好;不需對隊列全部人群進行測量。現階段,基于登記數據庫開展巢式病例對照設計越來越多。

4.病例交叉設計

病例交叉設計是一種常用于研究短期暴露與急性結局事件之間關系的觀察性研究設計。在器械安全有效性評價中,每個病例在事件發(fā)生前后的不同時間段內充當自身對照,通過比較病例在事件發(fā)生前后對使用待研究器械情況來評估使用該器械與事件之間的關系。病例交叉設計可較好的控制不隨時間變化的混雜變量,但也存在一些局限性,包括暴露效應期需較短,依賴患者回憶過去的暴露等。

(三)   真實世界數據作為單臂試驗外部對照

外部對照是指從其他試驗或歷史病例中找一組特征相似的研究對象作為對照組,真實世界數據作為單臂試驗外部對照,是外部對照設計的其中一種。本指導原則不包含該類型設計具體的使用情形以及研究設計、統(tǒng)計分析等要求,相關內容另行制定指導原則。

三、真實世界研究方案設計考慮

(一)  研究背景和目的

根據產品預期適用范圍和產品技術特征,結合已有證據,在方案中闡明真實世界研究擬解決的安全有效性問題,明確研究目的。

(二)   可行性評估

在研究目的確定后,申請人需評估是否具備開展真實世界研究的客觀條件,主要考慮現有經驗和知識積累是否足以事先確定影響臨床結局的混雜變量,以及所需變量數據是否具有可獲得性、數據量是否充分,數據質量是否滿足需求。

首先,是否可事先確定影響臨床結局的變量取決于現階段對疾病、診療方法、器械臨床相關知識和經驗的積累程度,對于研究經驗和知識積累還不充分的領域,申請人無法確保鑒別出對結局有重要影響的混雜變量,開展觀察性真實世界研究時不能完全排除存在未測量或未調整混雜變量,研究結果的偏倚大小無法判定,結論穩(wěn)健性難以保證。

其次,需評估變量數據是否可及和質量是否充分。在真實世界中,數據缺失較為常見。來源于真實世界的數據可能缺乏院外隨訪數據、結局指標(如功能評分、疼痛評分等)、影像學檢查等。除此之外,還需考慮真實世界數據觀察時間是否滿足研究目的,研究人群是否具有代表性,前瞻性收集數據研究中樣本量是否可保證足夠的檢驗效能,現有數據質量是否可滿足統(tǒng)計分析要求等。

(三)   確定恰當的真實世界研究設計類型

申請人根據確定的研究目的,參考第二章內容,選擇恰當的研究設計類型。如上所述,存在不同的真實世界研究設計類型,包括pRCT,隊列研究、病例對照等,不同設計特點不同,適合應用的場景不同。

(四)   研究流程圖

考慮到不同類型真實世界研究實施過程存在差異,建議將實施過程以流程圖的形式呈現,流程圖按照時間順序呈現研究過程中各具體事項(如倫理審查、人群篩選、接受干預措施、器械暴露后的數據收集相關事項(如檢驗、檢查、評分量表填寫等)以及各環(huán)節(jié)的質量控制措施等)。

(五)   研究人群

研究方案需預先明確研究目標人群,目標人群定義清晰明確,避免歧義和模糊的表達,預先規(guī)定清晰的納入和排除標準。

對于有多次器械使用記錄的人群,需預先清晰規(guī)定納入研究的標準,如在使用該器械前6個月無使用同類器械的記錄,或將暴露定義為首次使用目標器械。預先核實不同臨床機構是否采用相同的診斷標準,確保符合入選標準的患者均納入研究。對于回顧性研究設計,需注意評估采用的數據源對預期適用人群的代表性。

(六)   器械暴露

pRCT與傳統(tǒng)RCT均采用隨機方式決定器械暴露與否,但對于觀察性真實世界研究,患者具體使用何種器械并非通過隨機分組決定,而是在真實世界中根據實際情況(如醫(yī)生偏好、患者病情)而定,存在選擇偏倚風險。

對于回顧性真實世界數據,通常通過數據中使用器械的記錄(如費用清單、手術記錄)來判斷患者具體使用了何種器械,需核實器械信息記錄是否完整、準確,至少需包括器械制造商、型號規(guī)格信息。建議采用恰當的方法對器械暴露信息的準確性進行驗證。

(七)   對照組

實效性隨機對照設計中,通過隨機分組形成對照組。對于觀察性真實世界設計,如隊列研究、病例對照等,需根據研究目的以及設計類型,采用恰當的方式形成對照組,盡可能確保混雜變量在組間分布均衡是設置對照組的基本原則。根據研究目的,對照組可以是單一或多個制造商已上市同類產品,也可以是非器械類型的其他干預措施或安慰對照組。

隊列研究設計中,依據研究目的可選擇使用了其他同類已上市產品的患者構成對照組人群,也可選擇未使用同類器械而使用了藥品或其他診療方法的患者構成對照組人群。病例對照設計中,通常采用匹配的方法為病例組構建相應的對照組,巢式病例對照設計從同時期沒有發(fā)生結局的研究對象抽樣匹配形成對照組。病例隊列設計在研究開始時從整個隊列人群中隨機抽樣形成對照組,該對照組可重復用于不同結局研究,而巢式病例對照設計中對照組不能重復使用。

(八)   評價指標

建議在研究方案中描述評價指標的選擇依據和合理性,明確規(guī)定各評價指標的觀察目的、定義、觀察時間窗、指標類型、測定方法、計算公式(如適用)、判定標準(適用于定性指標和等級指標)等,并明確規(guī)定主要評價指標、次要評價指標和安全性評價指標。

對于回顧性真實世界研究,需注意確保不同臨床機構對結局的定義相同,不漏記患者發(fā)生的結局事件。建議盡量選擇客觀指標,如死亡等,謹慎選擇功能性評分等偏倚風險較大的主觀性指標。

(九)   隨訪時間

需根據研究目的和設計明確隨訪時間的起始點及隨訪持續(xù)時間。對于植入性器械,通常為植入手術當天作為起始隨訪時間,對于多次治療為一個完整療程的器械,起始隨訪時間為最后一次治療完成當天,注意治療過程中的安全性事件也需觀察。在回顧性真實世界研究中,研究者通常是通過病歷、數據庫或其他已有記錄來收集數據,隨訪時間的長度和起始點可能受到現有數據可用性的限制。對于結局癥狀存在潛伏期或干預效果存在延遲的情形,可考慮在暴露和結局之間設置時間窗以防止逆因果混淆。

(十)   計算樣本量和檢驗效能

對于回顧性真實世界研究,可基于可用的樣本量估算檢驗效能。對于前瞻性真實世界研究,可基于預估的參數值計算樣本量。不同研究設計估算樣本量的方式不同,例如,橫斷面研究可基于預期達到的估計精度估算樣本量,有對照組的研究設計基于組間比較差異、相對風險度、比值比等估算樣本量。

對于因消除混雜偏倚涉及變量調整的真實世界研究,由于需預先估計的參數值較多,某些參數估算可能缺乏文獻數據支持,樣本量估算相較于傳統(tǒng)隨機對照臨床試驗復雜,需考慮的因素更多。例如,對于基于傾向性評分的分層調整統(tǒng)計需考慮層內效應值大小(如有效率、比值比、發(fā)生率等)、每層器械暴露組分配概率、傾向性評分重疊程度等。當模型過于復雜時,可以考慮使用基于模擬研究的方法幫助估計樣本量。

(十一)     質量控制

1.數據質量

(1)   數據收集

建議制定完善的病例報告表和變量詞典,依據病例報告表和變量詞典收集和記錄數據,并制定數據核查方案,確保數據無誤。

前瞻性收集數據的研究設計中,建議事先規(guī)定具體的診斷、結局定義和判斷標準,統(tǒng)一檢驗、檢查和評分量表等評價項目的標準實施過程,確保收集數據的準確性和一致性。對于回顧性真實世界研究,需列明擬采用的數據源基本情況,包括所含的字段信息、患者數量、數據缺失、數據記錄準確性等數據質量信息。方案中明確數據清洗的步驟與方法,若涉及多個數據庫,方案中需明確鏈接的具體方法,以及數據鏈接準確性的驗證方法。對使用到的各變量數據的準確性進行驗證,采用算法自動提取數據時,對算法提取準確性進行驗證。

(2)  質量評價

見《真實世界數據用于醫(yī)療器械臨床評價技術指導原則(試行)》第三章內容,建議對照該導則相關要求以表格形式逐項呈現數據質量評價結果,作為真實世界研究報告內容的一部分。

2.偏倚風險

偏倚是真實世界研究中需要特別關注和解決的問題,在真實世界研究設計、實施、分析和報告等各階段均可能存在偏倚,真實世界研究方案需列出可能存在的偏倚、避免偏倚的策略以及在分析階段處理偏倚的詳細規(guī)定。對于觀察性真實世界研究,可參考非隨機干預性臨床研究ROBINS-I評價工具對整體研究的偏倚風險進行評估。偏倚類型可以劃分為選擇偏倚、信息偏倚和混雜偏倚三大類,向下包括更多細分偏倚類型,不同研究存在的偏倚類型通常不同,部分僅列舉部分真實世界研究常見的的偏倚類型,在實操中,申請人需根據實際情況具體分析研究中存在的各種偏倚風險。

(1)  選擇偏倚

① 研究人群納入過程中產生的選擇偏倚

確保對于不同組別始終采取相同的入選/排除標準,從相同的人群中篩選患者對于避免選擇偏倚非常關鍵。建議按照時間順序,連續(xù)不斷地將符合入選/排除標準的研究對象納入研究,以避免挑選患者,同時記錄未納入研究的病人及其原因。對于設置對照的研究,尤其是病例對照設計,需在設計中采取避免入院率偏倚的措施,如符合入選/排除標準的人群全部納入,或當數據量過大時,病例組和對照組從同一人群中隨機抽樣確定。除此之外,還需注意自愿者偏倚等選擇偏倚。

② 失訪導致的選擇偏倚

需在真實世界研究方案中盡可能設置充分的預防失訪的措施,包括發(fā)生失訪后可采用的補救措施,如通過額外的隨訪方式(如電話、登門拜訪)彌補相關數據,與其他數據源(如醫(yī)保數據、死亡登記數據等)鏈接等;

針對使用回顧性數據時可能存在的數據缺失情況,需在研究方案中預先明確數據缺失處理的方法和原則。針對缺失數據,需盡可能調查清楚失訪的原因,若失訪與干預措施或結局無關,可根據方案中預先規(guī)定的填補方法和原則進行填補。也可采用保守的方式進行填補,例如,器械暴露組填補為無效,對照組填補為有效。

(2) 信息偏倚

① 干預措施偏離

在真實世界研究中,治療中途由于各種原因干預措施可能發(fā)生偏離,例如患者主動要求更換治療方式、醫(yī)生改變治療策略等,多次治療的干預措施(如血液透析)或治療時間長的干預措施(如呼吸機、體外膜肺氧合器),有更大可能出現干預措施偏離。在開展真實世界研究時,需提前考慮待研究器械出現此類偏倚風險的程度大小,制定措施減少干預措施偏倚的風險,同時全面、準確記錄研究過程中的干預措施偏倚情況。

對于回顧性真實世界研究,在選擇真實世界數據源時,需考慮該數據源是否詳盡和準確地記錄所用治療方式及其治療途中發(fā)生的變化。在臨床實踐中,還可能出現干預措施記錄錯誤,如所用的器械制造商、型號規(guī)格記錄錯誤,導致干預措施相關的信息偏倚,當懷疑存在記錄錯誤的可能時,可考慮通過患者其他信息進行驗證,如影像學下植入物形態(tài)、標記點特征、費用單上的價格等。

② 測量偏倚

測量工具、測量人員、測量方法和過程均可引入測量偏倚,優(yōu)先考慮采取措施避免或減少測量偏倚,例如,制定詳細的操作手冊、培訓工作人員、采用標準化的數據收集程序、核查數據質量、使用統(tǒng)一的方法收集、測量和解釋信息;以下從三方面舉例常見的減少測量偏倚的措施:

患者填寫量表、回答問卷產生的測量偏倚:設置充分的培訓,使患者能正確、一致的理解問題。

評價者來源的測量偏倚:對評價者施加盲法、選擇客觀的硬終點指標(如死亡等)、對評價者開展培訓,不同評價者重復測量。

評價工具來源的測量偏倚:使用信效度經過驗證的測量方法,使用精準的儀器。

對于回顧性真實世界研究,由于研究開始前數據測量工作已完成,以上適用于前瞻性真實世界研究的措施已無法實施,僅能對研究中涉及到的測量的準確性、一致性進行事后評估,若評估發(fā)現回顧性數據存在顯著的測量偏倚,或無法評估回顧性數據的測量偏倚,建議謹慎使用該真實世界數據源開展研究。

③ 記錄不準確

研究過程中,暴露信息、結局信息以及其他等任何信息記錄的不準確或者錯誤都可能導致信息偏倚,應對此類信息偏倚,可考慮對數據記錄者進行充分的培訓,確保所有數據都按照統(tǒng)一的、預先定義的標準規(guī)范收集。定期進行數據審核和質量控制檢查,確保數據的準確性和完整性。對于回顧性真實世界研究,需重點關注回顧性數據記錄的準確性,對其開展評估和驗證,確保數據記錄具有足夠的準確度后方可用于真實世界研究。

④ 回憶偏倚

盡量在設計階段避免采用研究人群回憶的方式收集信息,盡量在數據產生時即記錄至文檔中。巢式病例對照設計可避免傳統(tǒng)病例對照通過回憶獲得暴露信息、基線數據等帶來的回憶偏倚。

有些情況下,查看患者其他健康醫(yī)療資料可能有助于確認患者回憶是否準確。例如,如果患者回憶稱自身接受干預措施后,有疼痛或發(fā)炎,可通過審閱該患者對應日期健康記錄、服藥記錄、電子病歷資料中是否存在相關信息,以進一步佐證。

⑤ 報告偏倚

選擇性呈現有利的結果會造成選擇報告偏倚,避免報告偏倚的最佳方法是在方案或統(tǒng)計分析計劃中預先規(guī)定,建議將研究設計信息在公共網站(如中國臨床試驗注冊中心、ClinicalTrials.gov、Open Science或ISPOR真實世界證據登記等)預先登記。

對于使用回顧性數據開展真實世界研究的情形,申請人需設置措施確保在正式統(tǒng)計分析前研究人員不可接觸結局數據,避免研究人員在研究開始前為得到期望的統(tǒng)計結果開展數據挖掘行為。例如,在應用基于傾向性評分的統(tǒng)計分析方法時,可采取兩階段設計。第一階段需構建結局數據防火墻、確定獨立的統(tǒng)計人員、確定混雜變量、建立傾向性評分估計模型,直至第一階段達到令人滿意的混雜變量平衡后,再實施第二階段的統(tǒng)計分析計劃。

(3)  混雜偏倚

混雜偏倚是指暴露因素與臨床結局的相關(關聯)程度受到其他因素的歪曲或干擾,使得呈現的研究變量與評價指標或結局變量的關系不是真實的,而是疊加了混雜效應的具有偏差的關系。

隨機可同時控制已測量和未測量混雜因素,是控制混雜的最有力手段。pRCT以外的其他真實世界研究設計均不采用隨機分組的方式,應用時需謹慎、全面評估潛在的各種混雜偏倚,并采取有效的措施盡可能的減少混雜偏倚。在設計階段考慮使用限制、匹配和分層設計等其他方法控制混雜。在分析階段,可應用分層分析、多變量回歸分析、基于傾向性評分的調整方法等調整統(tǒng)計方法對混雜進行控制。值得注意的是以上方法均僅能控制已知且可測量的混雜。

如果所有混雜因素均已收集并正確建模,且樣本量足夠,理論上通過適當分析方法可消除混雜偏倚。然而在實踐中難以獲知全部混雜因素數據,部分混雜因素未知或不能測量,此部分偏倚稱為未測量混雜偏倚。盡管可通過工具變量、E值(E-value)、敏感性分析等方法評估未測量混雜對結論的潛在影響,準確估計未測量混雜偏倚對結論的影響是一件困難的事情。

3.評估偏倚方向和大小

偏倚具有方向性,即低估或高估干預措施的效應值,偏倚亦有程度大小之分,相對較小的偏倚可能不會影響研究結論。在完成研究后,建議總結研究過程中仍然存在的偏倚,并評估對證據強度的影響。雖然偏倚評估并不是在任何情況下都具有可行性,仍然有一些方法可以幫助評估某些特定情形下的偏倚,例如對比失訪研究人群特征與未失訪研究人群特征,可能有助于評估失訪導致的選擇偏倚,比較不同臨床機構對同一種評價方法的測量一致性可能有助于發(fā)現和評估測量偏倚。

(十二)  倫理審查和知情同意

真實世界研究倫理審查和知情同意需符合研究當地法律法規(guī)要求,國內研究需符合《世界醫(yī)學大會赫爾辛基宣言》和《涉及人的生命科學和醫(yī)學研究倫理審查辦法》等相關法規(guī)和指南的規(guī)定。

四、真實世界研究統(tǒng)計分析

(一)  統(tǒng)計分析計劃

真實世界研究需要包括詳細具體的統(tǒng)計分析計劃,明確具體采用的統(tǒng)計方法和參數設定,以及統(tǒng)計方法和參數設定的理由和依據。真實世界研究更常涉及分層分析、回歸分析、基于傾向性評分的調整性統(tǒng)計分析方法,相同的數據使用不同的分析方法,結果數值通常是不同的,若統(tǒng)計分析結果與設定的研究成功閾值/接受標準相近,可能存在采用不同統(tǒng)計方法研究結論不同的情形。即使使用相同的統(tǒng)計方法,參數選擇等差異也可能導致結果不同。因此需盡可能詳細具體提前規(guī)定統(tǒng)計分析計劃,統(tǒng)計分析計劃的詳細程度需能確保按照計劃執(zhí)行分析時,不會存在可由分析人員自由選擇分析方法和參數的情形。

(二)  分析數據集

預先根據不同的分析目的定義不同的數據集,如有效性數據集和安全性數據集、亞組分析數據集等。

(三)   確定需調整的混雜變量

未采用隨機分組的真實世界研究設計需預先確定需調整的混雜變量,需盡可能識別所有的混雜變量,以便在設計和統(tǒng)計分析階段對混雜偏倚進行控制。通常可按照以下三條標準判斷為混雜變量:(1)該變量與結局變量存在因果關系;(2)該變量與分組變量(暴露變量)存在關聯;(3)該變量不是分組變量與結局變量因果路徑中的中間變量。

建議首先制定合理的變量篩選流程,基于既往積累的專業(yè)知識和臨床經驗確定混雜變量,建議通過與臨床專家團隊和統(tǒng)計學專家團隊進行討論和確認。對于最終仍不能確認是否應納入的變量,可對納入和不納入情形開展敏感性分析。列明變量納入或不納入調整的理由,提供支持性資料。在實際操作過程建議持保守的變量篩選態(tài)度,確定與治療分配和結局變量均無關的變量才從模型中剔除,但也需注意避免納入碰撞節(jié)點變量(Collider Variable)、工具變量(Instrumental Variable)、中間變量(Intermediate Variable),納入變量時考慮是否存在多重共線性或交互作用。為清晰地展現各變量之間的因果關系,可使用有向無環(huán)圖呈現(Directed acyclic graphs, DAG)。

(四)  混雜調整統(tǒng)計分析

1.分層分析

分層分析是一種常用的控制混雜因素的方法,需在方案中預先規(guī)定層數的具體劃分原則,明確具體使用的統(tǒng)計方法,如Mantel-Haenszel法,若使用其他加權統(tǒng)計方法,明確方法出處。

2.多變量回歸分析

多變量線性回歸分析需預先規(guī)定納入的自變量,確定的混雜變量均需納入到模型中去,當無法在設計階段確定具體的自變量時,需在方案中明確具體的規(guī)則,以使納入模型中的變量不可隨意挑選。多變量回歸分析中納入的研究對象(及病例)的數量需滿足模型中需要估計的參數所需的例數,存在一些經驗幫助估計例數,例如EPV(events per variable)法。除此之外,需檢驗所使用模型的基本假設是否成立,如殘差獨立、殘差期望為零、方差齊、分布假設、線性假設、Cox回歸等比例風險假設等;恰當地處理多重共線性、交互作用;線性回歸模型需具有可接受的擬合優(yōu)度,需預先明確評估模型擬合優(yōu)度的指標(多重決定系數、殘差均方、馬洛斯Cp統(tǒng)計量、赤池信息準則和貝葉斯信息準則等)、可接受閾值及其確定依據。

需預先明確多重共線性檢驗參數,如相關系數、方差膨脹因子、基于特征值的條件數等,預先明確判定是否存在多重共線性的閾值,以及閾值設定的依據,對于多重共線性的后續(xù)處理原則需有合理充分的論述。由于不能很好地探測比兩兩回歸變量更復雜的多重共線性關系,不建議僅使用相關系數檢驗多重共線性。

是否納入交互作用項需考慮專業(yè)知識經驗和統(tǒng)計分析兩方面。在專業(yè)知識和經驗方面,如果已經存在先驗信息顯示回歸變量間存在交互作用,或者專業(yè)知識可判斷某變量與另一變量存在交互作用,需將該交互項納入模型。若交互項存在統(tǒng)計學意義,但從專業(yè)無法判斷交互作用是否真實存在,建議納入和不納入均開展統(tǒng)計分析,作為敏感性分析。

多變量回歸模型中,優(yōu)勢比(odds ratio)和風險比(hazard ratio)等相對性統(tǒng)計指標不如率差和均值差等絕對性統(tǒng)計指標的臨床意義直觀,需注意對這些指標大小的臨床意義解釋。需預先在方案中明確判定研究假設成立的閾值。

3.基于傾向性評分的調整方法

基于傾向性評分的研究建議設計為兩個獨立的階段,第一階段主要內容包括識別混雜變量、估計樣本量、構建結局數據防火墻、確定獨立的統(tǒng)計人員、建立傾向性評分估計模型,過程中存在迭代,直至達到令人滿意的協(xié)變量均衡為止,整個過程對結局數據保持盲態(tài)。第一階段主要目的是實現器械暴露組和對照組組間均衡。第二階段則是應用傾向性評分估計干預措施效應值。

在傾向性評分第一階段(即尋找傾向性得分在組間均衡的階段),部分特征人群由于未能在組間分布均衡而被剔除,此時需注意剔除部分人群后研究結論的外推性,需對過程有明確的記錄,并對研究結論外推性有充分的論述。建議將研究器械組中的所有患者都包括在分析人群中,在傾向性評分未得到均衡的情況下,可增加對照組數據源。

估計效應值的方法包括分層、匹配、逆概率加權和回歸等,需預先明確效應值估計采用的方法及相關參數。對于分層法,需預先明確分層具體劃分,以及判定協(xié)變量組間均衡的閾值及其依據,層權重系數計算方式等;對于匹配法,需預先明確器械暴露組和對照組匹配比例(如1:1或1:n)、采用的匹配法(如精確匹配法、最近鄰匹配法、卡尺匹配法等)、匹配成功判定閾值及其依據,通常單個患者數據僅用于1次匹配。

使用逆概率加權和回歸法需注意解決以下問題。逆概率加權基于傾向性評分決定個體的權重系數,實現對效應值的加權,其在傾向性評分接近0或1的情形下權重會過大或過小,且逆概率加權對于傾向性得分模型準確性要求很高。回歸法將傾向性評分直接納入到模型中,假設結局變量與組別、傾向性評分的回歸模型是正確的,這通常難以被證實。與逆概率加權相同,回歸法對傾向性得分模型準確性較敏感,同時其在分析過程中由于涉及到模型優(yōu)化而難以對結局數據保持盲態(tài)。

4.其他調整方法

用于控制混雜的調整方法還包括邊際結構模型、工具變量和結構方程模型等較復雜的統(tǒng)計方法,目前在醫(yī)療器械臨床評價中的實際應用較少。

(五)  處理數據缺失

多種原因可導致數據缺失,如依從性差、缺乏改善、副作用、治療體驗差以及與研究無關的外部因素等,合理處理數據缺失十分重要。由于缺失機制無法通過已有數據進行判斷,并且不同的處理方法可能會產生截然不同的結果,建議事先在方案或統(tǒng)計分析計劃中明確處理方法,遵循保守原則對缺失數據處理方法進行規(guī)定。

應對缺失數據的最佳策略是通過合理的研究設計和高質量實施預防數據缺失。對于前瞻性真實世界研究,可通過篩選具有經驗和負責的研究者、設置多種不同隨訪方式、采用陽性對照、采用易測量的結局指標、合理的數據收集表和快捷的數據錄入方式、縮短研究時間、開展培訓等方法減少數據缺失;對于回顧性真實世界研究,需評估數據庫中數據缺失的程度,應報告每次測量的缺失和非缺失記錄的數量。推薦使用敏感性分析(例如比較含缺失數據與不含缺失數據的患者的結果)來確定缺失的影響,若數據缺失較多,不建議使用該數據源開展真實世界研究。

目前常用的缺失數據填補法可分為單一填補和多重填補法兩大類,需預先規(guī)定缺失數據具體的處理方法。單一填補法推薦使用保守的結轉法,例如將器械暴露組缺失值均填補為無效,對照組缺失值均填補為有效;需注意單一填補法將減小方差,參數估計精度將被高估,體現為置信區(qū)間縮窄。對于多重填補,需預先規(guī)定填補模型、分析模型、插補次數、合并規(guī)則及相應確定依據。采用缺失信息比例、相對增加的方差、相對效率和參數穩(wěn)定性等診斷指標對評估數據填補質量。在實際應用中,選擇正確的填補模型非常關鍵,通常需要對數據有深入的理解以及對可能的缺失機制有合理的假設。

(六)  亞組分析

若納入研究的人群存在異質性,并且異質性可能導致不同效應值,需開展亞組分析。若不同亞組中效應值不一致,需注意此時研究結論對預期人群的外推性,避免產品在部分人群中具有顯著的療效,而在另外部分人群中無效。納入\排除標準越寬,更容易出現異質性,可基于既往研究經驗和知識預先在方案中確定亞組分析,未預先規(guī)定會降低亞組分析結果的可信度。

(七)  敏感性分析

敏感性分析用于評估研究結果穩(wěn)健性,在多種不同情形下均可能需開展敏感性分析,尤其對于觀察性真實世界研究。真實世界研究中敏感性分析常見的應用情形包括違背模型假設、統(tǒng)計方法(如是否納入交互項、共線性變量處理等)、變量選擇、評估未被測量混雜的影響、評估干預偏離的影響、數據缺失填補、矛盾數據處理、離群值、變量定義不一致、不同人群亞組、基線不均衡等。需報告全部的敏感性分析結果,不能選擇性報告。若敏感性分析的結果與主要分析的結果不一致,提示研究結論穩(wěn)健性不夠,可能需開展額外的研究進一步驗證。

五、研究報告

研究報告需遵循完整、準確、規(guī)范的總體原則。不同類型真實世界研究報告內容存在差異,pRCT研究報告內容可參考實效性試驗CONSORT指南,隊列設計、病例對照設計等觀察性研究可參考STROBE指南,也可以參考其他適用的文件,如STaRT-RWE清單,以幫助提高臨床報告要素的完整性。在以上的考慮基礎上,需特別注意以下內容:

(一)  研究設計:闡述選擇該研究設計的原因,結合已有證據,闡明該研究擬回答的安全有效性問題。

(二)  篩選流程圖:提供研究對象的篩選流程圖。對于回顧性真實世界研究,說明研究過程中如何從原始數據庫中逐步篩選出合格的分析對象,給出原始數據庫的樣本量、每一個步驟排除的研究對象數目、相應的排除原因以及最后納入分析的研究對象樣本量。

(三)  數據源基本特征描述:包括人群代表性、數據質量等;該數據源自身質控措施,基于該數據源發(fā)表的高水平文獻等信息。

(四)  人群基本特征描述:詳細描述研究對象的基線特征,各組病例入選時的基線特征,基線數據是否平衡。

(五)  數據準確性描述:對于回顧性真實世界研究,提供對使用到的各變量數據的準確性驗證和/或評估結果,若采取自動方法從觀察性數據庫中提取變量數據,列明各變量具體的提取算法,提供相應算法的準確性驗證數據。

(六)  合并用藥、合并治療統(tǒng)計:記錄和統(tǒng)計影響臨床結局的其他干預措施(藥物治療及其他診療方法)實施情況。

(七)  按照方案開展統(tǒng)計分析,呈現所有統(tǒng)計分析結果,包括:主分析結果、次要分析結果、安全性分析結果、亞組分析結果、期中分析結果、敏感性分析結果。

(八)  數據缺失處理:描述缺失數據的數量及具體情況,列明缺失處理情況,與方案規(guī)定的符合性。若與方案規(guī)定的數據缺失處理方法不一致,提供合理的理由。

(九)  矛盾數據處理:描述不同來源數據重要信息的統(tǒng)計量,針對矛盾數據的敏感性分析結果。

(十)  偏倚風險及控制情況:以表格的形式列出可能存在的各細分偏倚類型,針對各偏倚逐個列出降低/消除偏倚的措施,并對應列出采取措施后殘留的偏倚風險大小評估結果。

(十一)     討論和結論:討論研究局限性,討論潛在偏倚的方向和大小,分析剩余偏倚對臨床證據強度的影響;討論研究結果的外推性,例如考慮匹配人群和預期適用人群之間的差異,分析結果的外推性;結合研究目標、局限性、多種分析方法、相似研究的結果和其他相關證據,對結果進行謹慎、全面的解釋。

六、參考文獻

[1]國家藥品監(jiān)督管理局.真實世界數據用于醫(yī)療器械臨床評價技術指導原則(試行):國家藥監(jiān)局關于發(fā)布真實世界數據用于醫(yī)療器械臨床評價技術指導原則(試行)的通告.2020年第77號[Z].

[2]高培, 王楊, 羅劍鋒, 等. 基于真實世界數據評價治療結局研究的統(tǒng)計分析技術規(guī)范[J]. 中國循證醫(yī)學雜志. 2019;19(7):787-793.

[3]彭曉霞,舒嘯塵,譚婧,等.基于真實世界數據評價治療結局的觀察性研究設計技術規(guī)范[J]. 中國循證醫(yī)學雜志, 2019, 19 (7), 779–786.

[4]溫澤淮, 李玲, 劉艷梅, 等. 實效性隨機對照試驗的技術規(guī)范. 中國循證醫(yī)學雜志[J]. 2019;19(7):794-802.

[5]聶曉路, 彭曉霞. 使用常規(guī)收集衛(wèi)生數據開展觀察性研究的報告規(guī)范-RECORD規(guī)范. 中國循證醫(yī)學雜志. 2017;17(4):475-487.

[6] Yue LQ, Campbell G, Lu N, Xu Y, Zuckerman B. Utilizing national and international registries to enhance pre-market medical device regulatory evaluation. Journal of Biopharmaceutical Statistics[J]. 2016;26(6):1136-1145.

[7] Sterne JA, Hernán MA, Reeves BC, et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions[J]. BMJ. 2016;355:i4919.

[8] Wang SV, Pinheiro S, Hua W, et al. STaRT-RWE: structured template for planning and reporting on the implementation of real world evidence studies[J]. BMJ. 2021;372:m4856.


Copyright © 2018 醫(yī)療器械注冊技術咨詢 浙ICP備18025678號 技術支持:熙和網絡

主站蜘蛛池模板: 日韩av三区 | 国产成人性色生活片 | 国产乱了实正在真 | chinese精品自拍hd | 91精品国产92久久久久 | 青娱乐自拍视频 | 欧美jizzhd精品欧美丰满 | 久久99国产综合精品免费 | eeuss一区二区三区 | 男人添女人囗交做爰视频 | 国产美女高潮一区二区三区 | 天天操人人| 中文字幕二区三区 | 日本aaaaa女人裸体h片 | 国产综合欧美 | 99久久无色码中文字幕人妻蜜柚 | 一二三在线视频 | 午夜777| 国产又粗又硬又爽的视频 | 少妇高潮大叫好爽 | 精品无码国模私拍视频 | 国产视频一区二区不卡 | 九色综合网 | 欧美成人午夜精品久久久 | 国产精品一区二区在线观看网站 | 女色婷婷 | 99一区二区 | 黄色国产在线播放 | 欧美麻豆久久久久久中文 | 国产主播户外勾搭人xx | 久精品在线 | yw尤物av无码国产在线观看 | 免费99精品国产自在在线 | 日韩在线激情视频 | 18禁无遮挡羞羞污污污污免费 | 97一区二区国产好的精华液 | 97超碰人人爱 | 国产精品国产对白熟妇 | 久久九九久久九九 | 偷拍激情视频一区二区三区 | 成人免费视频视频在线观看 免费 | 成熟女人毛片www免费版在线 | 国产精品久久久久久久免费看 | 亚洲精品久久久久中文第一暮 | 亚洲丁香五月激情综合 | 男人激烈吮乳吃奶爽文 | 青青草自拍视频 | 懂色av中文字幕一区二区三区 | 国产中文字幕一区 | 丁香婷婷激情综合俺也去 | 麻花传媒在线观看免费 | 精品少妇一区二区三区视频 | 18精品爽视频在线观看 | 极品少妇hdxx麻豆hdxx | 亚洲性视频在线 | 日韩黄页在线观看 | 亚洲欧美一区二区在线观看 | 五月天综合久久 | 天天插天天干天天射 | 岛国不卡| 成人自拍视频在线 | 性按摩aaaaaa视频 | 污网站在线播放 | 国产91观看 | 成人久久大片91含羞草 | 探花视频在线版播放免费观看 | 91久久偷偷做嫩草影院 | 特黄三级男人添女人下面 | 国产高清在线a视频大全 | 国产黄色一级网站 | 成视频年人黄网站免费视频 | 最新黄色网址在线观看 | 精品国产亚洲一区二区三区 | 在线视频一区二区三区 | 国产精品18久久久久久久 | 欧美一区二区三区激情 | 无码专区一ⅴa亚洲v天堂 | 国产精品成人免费视频网站 | 日韩成人精品一区二区 | а√在线中文网新版地址在线 | 国产一卡二卡三卡 | 在线不卡欧美 | 欧美黄色a | 九色91视频| 国产91在线 | 亚洲 | 日韩成人精品在线 | 激情一区二区三区 | 91精品久久久久含羞草 | 91 pro国产| 欧美阿v高清资源不卡在线播放 | 玖草在线| 午夜视频网站在线观看 | 国产又粗又黄视频 | 日韩精品成人一区二区在线观看 | 性天堂网 | 国产一级片网址 | 免费看一区二区三区 | 日韩视频a | 情趣用品a∨视频在线观看 情一色一乱一欲一区二区 情欲都市成熟美妇大肉臀 秋霞成人 | 一区=区三区乱码 | 国产黄色大片视频 | 无码人妻精品中文字幕 | 蜜桃视频在线观看免费视频网站www | 天天狠天天狠天天鲁 | 亚州激情视频 | 妻色成人网 | 超碰狠狠操 | 在线欧美日韩 | 久色阁| 久久99视频 | 国产免费资源 | 国产精品久久久久999 | 文中字幕一区二区三区视频播放 | 中文字幕视频在线播放 | 大肉大捧一进一出好爽app | 国产三级精品视频 | 国产精品国产对白熟妇 | 91中文字幕在线视频 | 黄色片日韩| 丰腴饱满的极品熟妇 | 涩涩视频免费看 | 亚洲精品一区二区三区不卡 | 超级碰在线观看 | 久久久精品免费 | 国产精品美女一区二区三区四区 | 1000部啪啪未满十八勿入下载 | 中文字幕观看在线 | 娇小激情hdxxxx学生 | 午夜精品久久久久久久久 | 美女黄色毛片 | yw在线观看 | 国内精自线一二三四在线看 | 又色又爽又黄的美女裸体网站 | xx性欧美肥妇精品久久久久久 | 丁香五月网久久综合 | 最新国产网址 | 久久夜色精品 | 成人午夜av| 日本精品人妻无码77777 | 深夜爽爽福利 | 视频在线观看免费完整高清中文 | 天堂中文在线资 | 欧美黑人一级视频 | 国产福利专区 | 91精品国产高清一区二区三区 | 亚州国产 | 人妻少妇边接电话边娇喘 | 中国少妇xxxx做受自拍 | 91久久久精品国产一区二区蜜臀 | 无码中文字幕人妻在线一区二区三区 | 日本又色又爽又黄的大片 | 中文字幕在线观看英文怎么写 | 国产美女mm131爽爽爽免费 | 乱亲女秽乱长久久久 | 又爽又高潮视频a区免费看 又爽又黄axxx片免费观看 | 美女黄色毛片视频 | 亚洲va久久久噜噜噜久久 | 视频一区国产精品 | 少妇羞涩呻吟乳沟偷拍视频 | 在线精品视频免费观看 | 天天干天天上 | 日本a级网站 | 国产成人精品午夜片在线观看 | 欧美成人一区二免费视频软件 | 亚洲激情自拍偷拍 | 中文字幕一区二区三区不卡 | 男人和女人尻逼 | 国产亚洲精品久久久久久移动网络 | 无码国产精品一区二区vr老人 | 67194熟妇在线观看线路1 | 日本欧美色 | 天海翼av在线播放 | 国产精品999. | 熟女毛毛多熟妇人妻aⅴ在线毛片 | 深夜免费福利 | 精品久久久爽爽久久男人和男人 | 97国产在线观看 | 亚洲乱码国产乱码精品精剪 | 欧洲亚洲成人 | 亚洲色图欧洲色图 | 免费色视频网站 | 情欲都市成熟美妇大肉臀 | 品久久久久久久久久96高清 | 国产区在线观看 | 97在线国产| 黄色大全在线观看 | 国产18精品乱码免费看 | 国产在线极品 | 国产精品禁18久久久夂久 | 欧美在线网 | 不卡av在线播放 | 伊人狼人久久 | 浴室里强摁做开腿呻吟男男 | 久久蜜桃av一区精品变态类天堂 | 小鲜肉自慰网站 | 久草国产在线观看 | 久久一区二区三区视频 | 成人久久影院 | 免费高潮视频95在线观看网站 | www国产精品内射老熟女 | 久久精品一区二区三 | 五月婷在线 | 欧美在线网址 | 岛国a视频 | 性久久久久久久久久久 | 涩爱av蜜臀夜夜嗨av | 国产精品免费视频一区二区 | 91高清视频| 国内自拍第二页 | 日韩乱码人妻无码中文字幕 | 久久久久久蜜桃一区二区 | 亚洲欧美日韩成人一区 | 三级4级全黄60分钟 午夜成人1000部免费视频 | 六月婷婷啪啪 | www.日日| 九一精品国产 | 97人人在线 | 少妇乳大丰满太紧 | 99免费| 日本熟妇毛耸耸xxxxxx | 久久久亚洲欧洲日产国码aⅴ | 国产成人a亚洲精v品无码 | 日本伦理一区 | 国产成人精品午夜福利在线观看 | 一级做性色α爱片久久毛片色 | 精品免费久久久 | 亚洲色图校园春色 | 一区不卡视频 | 中文字幕在线三区 | 国产丰满精品伦一区二区三级视频 | 欧美日韩欧美 | 一区二区三区四区产品乱 | 精品视频麻豆入口 | 久久亚洲私人国产精品 | 激情综合一区二区三区 | 日韩www在线观看 | 亚洲国产精品第一区二区 | 第一福利丝瓜av导航 | 欧美大片一区二区三区 | 国产精品99久久久久久久女警 | 国产精品对白 | 国产精品爽到爆呻吟高潮不挺 | 成人黄色免费观看 | 欧美成人一二区 | 中文字幕日韩精品一区 | 欧美在线性视频 | 欧美性xxxx在线播放 | 欧美又大又硬又粗bbbbb | 在线视频欧美日韩 | 夜鲁鲁鲁夜夜综合视频欧美 | 一级做a免费视频 | 久久99国产精品久久99 | 寂寞骚妇被后入式爆草抓爆 | 秋霞午夜一区二区三区视频 | 欧美孕妇变态重口另类 | 男女啪啪猛烈无遮挡猛进猛出 | 99热这里只有精品18 | 就爱啪啪网站 | 亚洲另类激情综合偷自拍图 | 亚洲中文字幕久久精品无码喷水 | 亚洲欧美日韩国产成人精品影院 | 91精品久久久久久久久青青 | 国产亚洲精久久久久久叶玉卿 | 亚洲成色在线 | 久久1区| 午夜伦y4480影院中文字幕 | 国产一区二区三区免费看 | 色中文字幕在线 | 亚洲精品国精品久久99热 | 综合色区亚洲熟妇另类 | 日韩va亚洲va欧美va久久 | 亚洲精品成人av在线 | 美国伊人网 | 国产欧美日韩精品一区二区三区 | 人碰人操 | av成人免费在线观看 | 久久成人午夜 | 中国丰满熟妇xxxx性 | 国产精品无码aⅴ嫩草 | 成年性羞羞视频免费观看无限 | 国产黄色网页 | 亚洲最大福利视频网 | 艹逼国产| 玖玖色资源 | 性做久久久久久免费观看 | 殴美一区二区 | 一级黄色片在线观看 | 又色又爽又黄的视频网站 | 色综合久久88色综合天天6 | 国产区二区| 国产亚洲精品无码成人 | a级高清免费毛片 | 欧美日韩黄色片 | 少妇沉沦哀羞迎合呻吟视频 | 国产裸拍裸体视频在线观看 | 欧美a级网站 | 污污视频网站在线免费观看 | 柳州莫菁菁av一区 | 国产精品去看片 | 99精品国产一区二区 | 日韩在线一二三 | 日本成人动漫在线观看 | 黄色片女人 | 国产chinese精品露脸 | 日本人dh亚洲人ⅹxx | 国产疯狂伦交大片 | 亚洲第一色网站 | 日本激情吻胸吃奶呻吟视频 | 美女裸体视频永久免费 | 1515hh成人免费看 | 日韩a级在线观看 | 久久中文精品 | 亚洲免费播放 | 欧美 日韩 精品 | 一本色道久久精品 | 欧美综合视频在线 | 久久久久国产一区二区三区 | 日韩欧美中文 | 婷婷嫩草国产精品一区二区三区 | 黑人jizz60性黑人 | 7m精品福利视频导航 | 日本大乳奶做爰洗澡三级 | 国产精品熟妇视频国产偷人 | 久久国产精品99久久久久久丝袜 | 久久久久久久麻豆 | 中文字幕四区 | 久久裸体视频 | 色婷婷香蕉在线一区 | 欧美色图亚洲天堂 | 99久久精品国产毛片 | 中文av一区二区三区 | 中国无码人妻丰满熟妇啪啪软件 | 日本三级免费看 | 91视频青青草| 我爱我色成人网 | 91porny真实丨国产jk | 久久久久久久久久久一区二区 | 天堂a视频| 欧美大黄视频 | 天堂va久久久噜噜噜久久va | 国产日韩欧美日韩 | 天天做天天爱天天综合网2021 | 亚洲成a人v | 国产精品99久久久久人中文网介绍 | 国产精品欧美久久久久久 | 国产精品视频全国免费观看 | 国产精品国产精品国产专区不蜜 | 日韩伊人| 丰满的人妻hd高清日本 | 99色这里只有精品 | 欧美在线视频你懂的 | 免费观看全黄做爰大片小说 | 成人三级视频 | 亚洲国产精品成人天堂 | 夜夜高潮夜夜爽夜夜爱爱 | 日韩黄色一级片 | 亚洲aⅴ久久精品 | 狼人香蕉 | 日本久久精品少妇高潮日出水 | 精品av天堂毛片久久久借种 | 国产精品久久久久久久天堂 | 男女性生活毛片 | 亚洲精品视频二区 | 男人的天堂你懂的 | 久久久免费高清视频 | 婷婷精品国产一区二区三区日韩 | 久久久欧洲 | 国产精品亚洲欧美日韩久久制服诱 | 小向美奈子在线观看 | 成人小片| 51综合区亚洲线观看 | 日韩国产一区二区三区 | 天天爱综合网 | 欧美成a | 日日噜噜噜夜夜爽爽狠狠视频寻花 | 一级高清免费毛片 | 劲爆欧美第一页 | 98国产视频 | 91成人网在线播放 | 欧美做受喷浆在线观看 | 国产视频一区二区在线观看 | 国产偷人妻精品一区 | 我的好妈妈在线观看 | 欧美精品网站 | 日韩av一区二区三区在线 | 国产精品羞羞答答xxdd | 国产亚洲精品综合一区91 | 麻豆黄色网址 | 丰满少妇裸体淫交 | 黄色国产一区 | 中文av一区 | 中国女人特级毛片 | 绝色美妇性调教沦为玩物 | 欧美一区二区三区成人久久片 | 日韩精品资源 | 久久丫精品忘忧草西安产品 | 无码成人1000部免费视频 | 97久久精品亚洲中文字幕无码 | 久久免费看片 | 天天干导航 | 黄色一区二区三区四区 | 九九激情网 | 国产精品无码制服丝袜 | 国产不卡高清 | 偷看农村女人做爰毛片色 | 欧美精品乱码99久久蜜桃 | 精品国产一区二区三区久久久狼 | 91一区二区 | 亚洲狼人精品一区二区三区 | 欧产日产国产精品98 | 亚洲欧美v国产一区二区 | av男人在线 | 亚洲一二三区av | 欧美精品第一页 | 少妇的性生话免费视频 | 阿v天堂在线 | 亚洲黄色影院 | 香蕉视频在线免费播放 | 蜜桃av噜噜一区二区三区策驰 | 成人黄色免费在线观看 | 2018天天操| 色噜噜狠狠色综合欧洲 | 亚洲精品网站在线观看你懂的 | 男女搞黄网站 | 国产又粗又猛又黄又爽视频 | 黄色在线观看免费 | 少妇性bbb搡bbb爽爽爽 | 99精品国产一区二区三区不卡 | 免费在线日韩av | 麻豆秘密入口a毛片 | 国产一区二区三区 | 二区三区在线 | 日韩日韩日韩日韩日韩 | 中文字幕女教师julia视频 | 日本一区午夜艳熟免费 | 一色屋精品视频在线观看 | 中文幕无线码中文字夫妻 | 曰韩在线 | 亚洲精品女人 | 神马影院午夜伦理 | 亚洲一二三视频 | 57pao国产一区二区 | 男人女人黄 色视频一级香蕉 | 女主和前任各种做高h | 成人在线日韩 | 中文字幕avav | 99热这里只有精品18 | 亚洲成av人片在线观看香蕉 | 狠狠色狠狠色综合日日小说 | 亚洲产国偷v产偷v自拍色戒 | 老头把女人躁得呻吟 | 九九综合九色综合网站 | 久久婷婷精品 | 一区二区美女 | 欧美日韩精品久久久 | 91蜜桃婷婷狠狠久久综合9色 | 欧美色综合色 | 伊人春色在线视频 | 99精品偷拍视频一区二区三区 | 久久一区二区三区四区五区 | 亚洲一区日韩 | 精品国产99久久久久久 | 中文字幕69页 | 少妇粉嫩无套内谢 | 国产交换配乱淫视频α | 美女内射视频www网站午夜 | 国产精品永久免费 | 日韩免费无码一区二区视频 | 国自产拍偷拍精品啪啪模特 | 动漫av在线| 亚洲天堂国产精品 | 日韩福利在线观看 | 麻豆91精品 | 亚洲一区在线播放 | 国产又粗又硬又黄的视频 | 欧美xx孕妇| 国产精品乱子乱xxxx | 亚洲老妇色熟女老太 | 亚洲欧美精品在线观看 | 久久精品无码一区二区日韩av | 婷婷俺也去| 亚洲中文字幕无码中字 | 国产寡妇xxxxxxxx性开放 | 东方av正在进入 | 五月天天色 | 狠狠干狠狠干狠狠干 | 一本大道av伊人久久综合 | 日本一区二区在线播放 | 久久午夜夜伦鲁鲁一区二区 | 亚洲精选一区二区三区 | 凹凸日日摸日日碰夜夜爽孕妇 | 欧美精品一二三四区 | 黄色毛片视频免费 | 国产欧美日韩在线 | 国产精品爽爽久久久久久竹菊 | 国产资源视频 | 美女网站免费福利视频 | 在线免费毛片 | 久久久激情视频 | 欧美整片sss | 字幕网在线 | 一本一道久久久a久久久精品蜜臀 | 奇米影视奇米色777欧美 | 超h高h肉h文教室学长男男视频 | 极品尤物在线观看 | 欧美成人高清ww | 欧美精品免费一区二区三区 | av国产天美传媒性色av | 日本少妇与黑人 | 精品一二区 | 日韩精品久久久久影视的特点 | 装睡被陌生人摸出水好爽 | 亚洲日韩国产av无码无码精品 | 欧美另类第一页 | 白嫩少妇和二男三p爽的大声呻吟 | 国产精品中文久久久久久 | 欧美五月婷婷 | 夜夜操免费视频 | 91精品国产综合久久香蕉最新版 | 98色花堂永久在线网站 | 99riav6国产情侣在线看 | 麻豆精品乱码一二三区别蜜臀在线 | 午夜国产精品国产自线拍免费人妖 | 色吊丝永久性观看网站免费 | 日躁夜躁狠狠躁2001 | 97超碰超碰久久福利超碰 | 成人美女在线 | 久久久亚洲国产天美传媒修理工 | 欧美牲交a欧美牲交aⅴ免费真 | 中文在线观看免费高清 | 一区二区三区精品视频 | 成年人看的黄色片 | 欧洲国产伦久久久久久久 | 黄色伊人网 | 麻豆超碰| 国产精品一二三在线 | 国产一区二区三区影院 | 精品国产污污免费网站 | 男女免费视频 | 在线精品一区二区三区 | 亚洲欧美日韩国产手机在线 | 国产农村1级毛片 | 国产午夜福利精品一区二区三区 | 老熟妇仑乱视频一区二区 | 狠狠色噜噜综合社区 | 大学生久久香蕉国产线看观看 | 亚洲老妇交性506070 | 欧美人妻一区二区三区 | 久久久国产成人一区二区三区 | 国产精品女同 | 2022av视频| 国产黄免费| 免费国产黄网站在线观看视频 | 欧美人与禽zoz0善交找视频 | 6699久久久久久久77777'7 6699嫩草久久久精品影院竹菊 | 在线观看国产午夜福利片 | 亚洲欧美一区二区成人片 | 国产色视频在线观看免费 | 最新中文字幕免费视频 | 乱子伦一区二区三区 | 久久黄色小视频 | 区二区欧美性插b在线视频网站 | 国产成人精品综合在线观看 | 国产偷国产偷av亚洲清高 | 欧美日韩福利视频 | 伊人涩| 99精品国产免费 | 国产一区二区丝袜 | 日韩在观看线 | 国产又粗又猛又爽又黄视频 | 操比视频网站 | 91抖音成人| 久久久久久美女精品啪啪 | www在线| 国产裸体无遮挡免费视频 | 精品国产乱码久久久久久鸭王1 | 日本一级大全 | 天天草比 | 极品美女穴 | 中国农村一级片 | 人妖另类巨茎双性人欧美视频 | 一区www| 久久99精品久久只有精品 | 亚洲精品社区 | 中文字幕一区二区三区乱码图片 | 久久精品国产精品亚洲 | 欧美精品一区二区精品久久 | 日韩激情视频一区二区 | 中文天堂 | 人妻大战黑人白浆狂泄 | 亚洲男人的天堂在线视频 | 亚洲欧美综合区自拍另类 | 欧洲多毛裸体xxxxx | 可以在线观看的黄色 | 五月伊人网 | 性生交大片免费全毛片 | 久久久久久9999 | 亚洲精品第一国产综合亚av | 久久不见久久见免费影院国语 | 久久精品久久久久观看99水蜜桃 | 亚洲天堂二区 | 国产麻豆精品视频 | 欧美亚洲大片 | 伊伊人成亚洲综合人网香 | 国产成人精品视频一区二区不卡 | 欧洲黄视频 | 国产精品27p | 综合色婷婷一区二区亚洲欧美国产 | 国内精品久久久久久久日韩 | 澳门永久av免费网站 | 超碰导航 | 欧美黄视频在线观看 | 性调教学院高h学校 | 国产区久久 | 国产特级毛片aaaaaa高清 |