CN107122593A - 基于深度扫描与信息分析的上肢淋巴水肿监测系统 - Google Patents

基于深度扫描与信息分析的上肢淋巴水肿监测系统 Download PDF

Info

Publication number
CN107122593A
CN107122593A CN201710220459.6A CN201710220459A CN107122593A CN 107122593 A CN107122593 A CN 107122593A CN 201710220459 A CN201710220459 A CN 201710220459A CN 107122593 A CN107122593 A CN 107122593A
Authority
CN
China
Prior art keywords
data
image
depth
color
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710220459.6A
Other languages
English (en)
Other versions
CN107122593B (zh
Inventor
陈炜
顾潇
邵泽国
陈泓瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201710220459.6A priority Critical patent/CN107122593B/zh
Publication of CN107122593A publication Critical patent/CN107122593A/zh
Application granted granted Critical
Publication of CN107122593B publication Critical patent/CN107122593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Abstract

本发明属于医疗设备技术领域,具体为一种基于深度扫描与信息分析的上肢淋巴水肿监测系统,该系统包括扫描平台、软件分析系统、云平台三部分;由扫描平台获取水肿患者上肢的深度、彩色数据,扫描平台由软件分析系统控制运转;软件分析系统通过深度扫描、图像处理、信息分析对水肿进行自动分级诊断;医生通过诊断结果对患者进行干预治疗;云平台存储扫描平台、软件系统的数据,为病人制定个性化档案,同时医生可根据云平台对患者实现远程医疗。本发明系统可实现水肿监测的多功能性和高效性;采用多特征融合分析进行水肿的评定,通过空间、色彩、纹理等多种特征进行综合分析,优于当前的对于水肿单一指标的测量形式,并且成本低、占据空间小、方便使用,对家庭、医院的普及使用具有重要的意义。

Description

基于深度扫描与信息分析的上肢淋巴水肿监测系统
技术领域
本发明属于医疗设备技术领域,具体涉及一种上肢淋巴水肿监测系统。
背景技术
目前上肢淋巴水肿的测量方式主要有水置换法(Mckinnon, et al. 2007)、臂围测量法 (Talor, et al. 2006)、Perometer法 (Lee, et al. 2011)、生物电阻抗分析法(Warren, et al. 2007)以及三维扫描法,而现在国内临床实践主要采用的方法是水置换法与臂围测量法。
水置换法目前仍然是临床上的“金标准”,但是测量步骤繁琐,且不适用于皮肤有损伤的患者。Perometer精度也很高,但设备体积庞大、价格昂贵,难以推广。臂围测量法受测量者影响较大,精度不足。生物电阻抗分析设备较为昂贵,且专业性较强,在不同测试条件下稳定性弱,在国内还尚未广泛应用(Shaitelman, et al. 2015; Harris, et al.2003; Shah, et al. 2013)。并且,目前的测量方法对于监测水肿实时动态监测很薄弱,多偏向于医院治疗检测,而非家用实时监护,而且测量的指标过于单一。
近年来,利用三维重建而进行上肢水肿评估的研究已经有不少被报道。例如:利用3DMD仪器进行三维重建(Hameeteman 2015);利用Vectra XT 3D camera的三维图像分析(Erends 2014);Microsoft Kinect三维重建并利用水置换法作为标准对比(Buffa,et al.2015; Ohberg, Zachrisson & Holmner-Rocklöv 2014);采用IR设备并以Perometer的测量结果作为金标准验证(Lu, et al. 2013)等。但是,这些方法往往只是停留在单一指标体积的提取,对于三维图像的其他特征、指定的部位的肿胀程度的分析等没有提及。并且,利用深度摄像头Microsoft Kinect的相关文献中,往往选择忽略手部体积的测量与分析,而仅仅进行上臂的重建、优化、体积提取。此外,Kinect类的文献中,很多都停留在选择金标准进行体积测量的对比上,而对于如何利用获得的彩色数据,数据的云端存储以期望获得可用于临床的监测系统等并没有涉及。
同时,目前临床对于水肿的肿胀程度分级过于宽泛,一般都分为4个阶段或5个阶段,不利于医生的定量评估和辅助治疗与干预。
综上,目前的方法,还存在精度不高但廉价或准确度较高但价格昂贵的两种格局,Perometer、大型三维扫描设备等昂贵的设备给患者带来沉重的经济负担,也不利于国内医院的推广使用,更不可能在家庭监护中长期使用。
并且,目前的评价标准仅仅停留在单纯的体积测量和生物电阻抗测量两个方面,测量方式存在测量指标过于单一,自动化程度不高,精准程度不高,不能够实现动态实时监测等弊端。该发明提出的基于三维图像多特征提取并融合分析的上肢淋巴水肿的实时动态测量方式在该领域尚属空白。
参考文选:
Mckinnon J G, Vanessa Wong M D, Temple W J, et al. Measurement of limbvolume: Laser scanning versus volume displacement[J]. Journal of SurgicalOncology, 2007, 96(5):381–388.
Taylor R, Jayasinghe U L, Ung O, et al. Reliability and validity of armvolume measurements for assessment of lymphedema[J]. Physical Therapy, 2006,86(2):205-14.
Lee M J, Boland R A, Czerniec S, et al. Reliability and concurrentvalidity of the perometer for measuring hand volume in women with and withoutlymphedema.[J]. Lymphatic Research & Biology, 2011, 9(1):13-8.
Warren A G, Janz B A, Slavin S A, et al. The Use of Bioimpedance Analysisto Evaluate Lymphedema[J]. Annals of Plastic Surgery, 2007, 58(5):541-3.
Shaitelman S F, Cromwell K D, Rasmussen J C, et al. Recent progress inthe treatment and prevention of cancer-related lymphedema[J]. CA Cancer JClin, 2015,65(1):55-81.
Harris R, Piller N. Three case studies indicating the effectiveness ofmanual lymph drainage on patients with primary and secondary lymphedema usingobjective measuring tools[J]. Journal of Bodywork and Movement Therapies,2003,7(4):213-221.
Shah C, Vicini F, Beitsch P, et al. The use of bioimpedance spectroscopyto monitor therapeutic intervention in patients treated for breast cancerrelated lymphedema[J]. Lymphology, 2013,46(4):184-192.
Hameeteman M, Verhulst A C, Vreeken R D, et al. 3D stereophotogrammetryin upper-extremity lymphedema: An accurate diagnostic method[J]. Journal ofPlastic Reconstructive & Aesthetic Surgery, 2015, 69(2):241–247.
Erends M, Van d A T, de Grzymala A P, et al. Validity and reliability ofthree-dimensional imaging for measuring the volume of the arm.[J]. LymphaticResearch & Biology, 2014, 12(4):275-81.
Buffa R, Mereu E, Lussu P, et al. A New, Effective and Low-Cost Three-Dimensional Approach for the Estimation of Upper-Limb Volume[J]. Sensors,2014, 15(12):12342-12357.
Ohberg F, Zachrisson A, Holmner-Rocklöv A. Three-dimensional camerasystem for measuring arm volume in women with lymphedema following breastcancer treatment.[J]. Lymphatic Research & Biology, 2014, 12(12):267-74.
Lu G, Desouza G N, Armer J, et al. A system for limb-volume measurementusing 3D models from an infrared depth sensor[C]// IEEE, 2013:64-69.。
发明内容
本发明的目的在于提出一种精准程度高、能够动态实时监测,而且性价比高的基于深度扫描与信息分析的上肢淋巴水肿监测系统。
本发明提出的基于深度扫描与信息分析的上肢淋巴水肿监测系统,基于全新的原理,以实现“上肢多种特征提取”、“肿胀具体部位判断”、“实时动态监测”、“远程医疗”等多个目标,对于淋巴水肿的潜在检测、患者的自测以及测量均有实际意义。同时,该设备的实时监测也能为后续医疗提供动态数据,从而为治疗方案的制定提供依据。此外,这套装备对于病发后的肿胀程度的判断也同样重要,一方面,能够有利于医生对不同阶段的患者采取相应的治疗手段,另一方面,也有利于医生以该套设备结果为依据,探索出有效的淋巴水肿治疗方式。
本发明提供的基于深度扫描与信息分析的上肢淋巴水肿监测系统,包括扫描平台、软件分析系统、云平台三部分。系统结构见图1所示,其中虚线部分包括:个性化档案建立、云端存储、远程医疗等,由云平台实现,支持远程的水肿评估监测;实线部分包括:扫描平台扫描患者上肢、软件系统控制扫描平台、扫描平台提供数据流、软件系统提供分析结果等,可离线实现,支持医生的临床诊断。首先,由扫描平台模块获取水肿患者上肢的深度、彩色数据,扫描平台由软件分析系统控制运转,提供理想数据。软件系统通过深度扫描、图像处理、信息分析子模块对水肿进行自动分级诊断,医生可通过诊断结果对患者进行干预治疗。云平台存储扫描平台、软件系统的数据,为病人制定个性化档案,同时医生也可根据云平台对患者实现远程医疗。其中:
1.扫描平台
所述扫描平台用于对患者上肢三维扫描,可获取准确、全面的上肢三维成像数据。
扫描平台配备有集成的三维摄像头,摄像头的硬件部分由红外激光发射器、红外传感器、色彩传感器和实感图像处理芯片构成。由红外激光发射器和红外传感器配合获得当前扫描图像的深度数据,由色彩传感器获得当前扫描图像的彩色数据。这些数据流通过图像处理芯片,以较高的速度扫描获得当前图像的深度数据、彩色数据,并且以数据流的形式传送到电脑中的软件分析系统,在其中存储和显示。
扫描平台和三维摄像头配合工作,通过扫描平台的控制模块,控制深度摄像头在所需扫描的上肢周围进行旋转、平移、伸缩,从而获得理想的深度、彩色数据流。
2.软件分析系统
所述软件分析系统由深度扫描、图像处理、信息分析三大功能模块组成,见图3所示。图4表示整个软件系统的具体流程图,下面依次介绍各模块。
2.1深度扫描模块
深度扫描模块,包括数据采集、数据处理以及3D重建三个子功能模块。数据采集子模块用来控制深度摄像头采集颜色数据和深度数据;采集到的数据交给数据处理子模块,该子模块可以对图像数据进行压缩、平滑、旋转、点转换等操作;数据处理完成后,得到的深度图像数据交给3D重建子模块,构建三维图像。
2.2 图像处理模块
图像处理模块由图像优化子模块与特征提取子模块组成。深度扫描完成后,得到的3D图像交由图像优化子模块对其优化。优化的方法包括除噪(如固化)、锐化(如纹理匹配)、深度增强、图像分割等。特征提取子模块针对优化后的图像数据进一步处理,提取相应的空间特征、色彩特征、纹理特征信息。提取的特征数据将被记录在特征库中。
2.2.1图像优化子模块
图像优化子模块采用图像优化算法,用来修补扫描中出现的图像问题,提高图像质量;或是为符合后续处理要求做相应的调整。图像优化包括去噪、锐化、固化、深度增强等一系列方法。
去噪,采用滤波器对图像中的非扫描物体的噪声点进行消除,对图像边缘进行平滑处理;
锐化,通过纹理匹配的策略来提高图像的清晰度。当图像扫描不完整(如出现孔洞);
固化,当图像扫描不完整(如出现孔洞),将颜色和表面曲线扩展成完整的区域,形成闭合曲线。
深度增强,当扫描的表面或颜色被损坏时,可以通过深度增强方法来修补。
当扫描削弱了细小特征(形状特征)时,可先调用深度增强方法,再调用固化方法。
2.2.2 特征提取子模块
特征提取子模块主要用于提取图像的空间特征、色彩特征、纹理特征。
空间特征:提取扫描上肢的体积,并通过标准体积物体进行体积准确值运算,同时通过算法提取图像的边缘特征,利用体积、边缘特征作为特征向量中的部分元素。
色彩特征:选择指标描述色彩的全局分布状况,通过颜色的分布状况表征上肢的颜色变化。
纹理特征:对包含多个像素点的区域进行统计运算,提取上肢表面的纹理特征进行模式匹配。
2.3信息分析模块
所述信息分析模块包括模式识别和动态分析两个子模块,以及一个数据库——模式库。模式库中有两类数据,一类是预置的模式标准数据,另一类是模式识别后的结果数据,即模式数据。模式识别子模块从特征库中读取特征数据,再调用模式库中的对应标准,从而对水肿图像进行模式识别,识别的结果反馈给用户,同时写入模式库。
模式识别子模块是对当前水肿图像的处理,而动态分析子模块是对历史水肿图像的处理,即同一患者治疗(康复)期间的多次扫描的多个水肿图像。它主要通过调用特征库中的特征数据及模式库中的模式数据,经过综合的历史比较,分析水肿治疗(康复)的效果。
2.3.1模式识别子模块
模式识别子模块采用模式识别算法,通过对大量的临床数据的训练,得到了两类11级的模式标准。两类是指已确诊和未确诊两种类型。11级表示病患的严重程度,从0到10,数值越大表示越严重,0表示无水肿特征(或征兆)。识别步骤:先对被识别对象进行特征提取(包括单肢水肿患者的正常上肢特征提取),再从模式库中调取模式标准进行比较分析,最后将识别后的模式信息反馈给用户,并同时记录在模式库中。
2.3.2 动态分析子模块
动态分析子模块采用动态分析算法,对水肿图像历史数据比较分析。其步骤为:先从模式库中调取模式信息进行模式比较;当为同一模式时,再分别调取各自的特征数据,进行特征比较,返回特征比较结果;当为不同模式时,直接比较模式信息的差异,返回比较结果。分析的类型包括区域比较(又分为局部区域和不同区域)、左右肢比较以及历史记录比较。
3.云平台
云平台模块实现数据的实时上传,包括扫描重建图像、模式识别、动态分析结果,对患者进行实时跟踪,记录历史数据。同时,支持多个客户端在线远程存储调用数据,支持远程医疗。为每个病人制定个性化档案,体现精准医疗。
本发明的特点:
a.本发明提出的新型的上肢淋巴水肿的监测系统的原理是全新的,利用三维图像处理、特征提取和模式识别的方法对水肿进行评级。利用三维扫描技术对上肢进行三维重建,并且利用获得的三维图像进行图像分析、处理;融合空间特征、颜色特征、纹理特征等多种特征,对于水肿程度、局部肿胀变化进行分析,实现水肿监测的多功能性和高效性;
b.本发明采用多特征融合分析进行水肿的评定,通过空间、颜色、纹理等多种特征进行综合分析区别于当前的对于水肿单一指标的测量形式;
c.整套系统利用小型扫描平台实现深度扫描非接触式技术,能够对手部和手指的细节进行提取和分析。区别于之前的诸多方法,并且成本低、占据空间小、方便使用,对于之后的应用与家庭、医院的普及使用具有重要的意义;
d. 本发明针对上肢精确重建中综合运用一系列算法,在图像处理模块,对图像进行优化处理,通过去噪、锐化、固化、深度增强等算法对上肢进行精准的重建;
e.本发明引入云平台远程家庭监护的概念,利用互联网和移动数据端的普及,实现数据的实时动态获取,实现了智慧医疗、精准化医疗的主题,以此填补临床和家庭水肿监测的空白。
技术效果
本发明产生的技术效果将从硬件、软件和社会经济意义三方面进行阐述:
1、硬件方面
(1)基于客户需求的扫描
扫描平台由控制模块和摄像头模块构成,并且摄像头采集到的数据流能够实时传输至电脑客户端,电脑客户端可以根据扫描物体的特征利用控制模块对摄像头进行调整;
(2)无侵入式测量
与之前的侵入式或接触式水肿评定方式不同,这种基于扫描的方式可以达到非侵入式非接触式测量。患者将手臂放置于扫描平台上侧,摄像头与上肢保持一定范围可调节的距离,摄像头进行旋转、平移、伸缩,保证整个过程的卫生、舒适与安全。
2、软件方面
(1)基于上肢的图像处理、优化
通过旋转、平移、插值等运算配合以点云配准实现图像的三维重建,通过滤波、图像增强等系列算法,上肢能够准确清晰重建出来;
(2)图像智能诊断
能够准确提取空间、色彩、纹理特征,将特征能够进行进一步的融合,并且通过模式识别的方式得出扫描上肢的肿胀程度。肿胀程度由0-10级分类,数字越大病情越严重,并且该分类与目前临床的四阶段分类有着对应关系。见图5,0对应于阶段0,不可见阶段;1-3对应阶段1,自发可逆阶段;4-7对应于阶段2,自发不可逆阶段;8-10对应于阶段3,淋巴性水肿象皮病阶段;
同时,系统能够分析局部肿胀程度,对比不同区域肿胀程度,对每位患者进行跟踪、监测;
(3)动态监测
支持云平台数据存储,支持实时上传包括扫描重建图像、模式识别、动态分析结果等数据,对患者进行实时跟踪,记录历史数据,制定个性化档案。
3、社会经济方面
发明形成的新产品,对康复医疗和健康管理服务的价值将体现在以下几个方面:
(1)实现医疗行为的数字化、智能化、个性化。产品实现家用、医用两种模式,医生可以实时监控患者的信息,使用者也可以通过系统实时了解自己的健康状况;
(2)打破国内水肿测试的手段单一、技术简单的局面,建立一套便捷、快速、高效、融合多种信息处理的水肿评估监测系统,促进对于水肿评估的精准化,提高医生的工作效率;
(3)为水肿的康复治疗提供评判标准,提高康复治疗的高效性,方便康复师记录患者的水肿程度,探索新型、高效治疗手段。
同时,本发明也是VR技术和实感技术在医疗领域的拓展。未来项目后续发展的核心计划包括通过与国内的医疗器械企业合作,转化系列新产品,切实的改善民生,更加有效的利用医疗资源,方便患者健康监护,方便医护人员使用,促进社会可持续发展。
附图说明
图1:系统示意图。
图2:三维扫描平台设计示意图。其中,(a)为B1剖面,(b)为正视图,(c)为A1剖面,(d)为侧视图。
图3:软件系统功能图。
图4:软件系统工作流程图。
图5:模式标准分类与临床检查分度对照。
图中标号:1扫描模块,2轴承外环,3滚珠,4轴承内环,5传送带,6轴承外环支撑,7齿轮,8为1号步进电机,9为支撑底面,10为2号步进电机,11为支撑模块,12为连接部件,13为滑轨,14为控制中心。
具体实施方式
一、扫描平台
扫描平台用于对患者上肢三维扫描,获取上肢三维成像数据。为获取准确、全面的三维成像数据,扫描平台包括控制模块、支撑模块、通心旋转模块、滑动模块、扫描模块。其中:
通心旋转模块由轴承外环(外轮廓)2、轴承内环(内轮廓)4、滚珠3、传送带5、1号步进电机8、齿轮7、轴承外轮廓支撑6组成;轴承外环2、轴承内环4和滚珠3组成轴承结构,轴承内环4延长部分通过传送带5和齿轮7与1号步进电机8连接;1号步进电机8转动带动轴承内环4的转动;
扫描模块1内嵌在轴承内环4中,与轴承内环4同步转动;
滑动模块由滑轨13、2号步进电机10、支撑底面9、连接部件12组成;2号步进电机10的转动,使得连接部件12在滑轨13上滑动形成滑台直线导轨;
通心旋转模块与滑动模块通过连接件12连接,使滑动模块带动通心旋转模块滑动;
支撑模块11与滑动模块中的支持底面9连接,提供手部支撑、固定功能;
控制模块由控制中心14通过控制1号步进电机8和2号步进电机10的旋转来控制整个平台的运转。
平台配备有Realsense SR300三维摄像头。同时,摄像头周边还配备有LED灯,可以根据当前场景的光线条件调节扫描部位的光亮程度。
二、深度扫描模块
(1)数据采集
利用三维摄像头Realsense SR300进行数据的采集。Realsense SR300的红外发射器模块发出红外光线,照到扫描物体后红外光线返回,并且由红外传感器模块接受,根据反射红外光线的相位差计算照射到的物体的每个像素点的深度。Realsense SR300的彩色摄像头模块负责采集色彩。深度数据流、RGB数据流转入图像数据处理模块,并且由图像处理模块控制图像传输的速率30帧/s。数据流送入SR300后,由SR300自带SDK进行接下来的数据处理。
(2)三维重建
获得的数据通过Realsense SR300自带SDK中的3DScan模块进行数据的整合,对不同坐标系获得的深度数据进行点云配准,实现三维坐标系的变换、整合。由深度数据得到的坐标变换矩阵对彩色数据进行三维映射,同时,根据配准适合度对变换矩阵进行进一步的调整。
三、图像处理模块
(1)图像优化子模块
采用OpenCV对图像通过图像处理算法对三维重建图像进行优化。首先,结合中值滤波和高斯滤波,对图像中的非扫描物体的噪声点进行消除,对手部边缘进行平滑处理,经过上述两种滤波处理,对图像进行预滤波。中值滤波采用3X3X3的立方体进行中值滤波,其次,采用离散化窗口滑窗卷积,对图像进行高斯滤波。最后,通过锐化,对图像进行高通滤波,消除三维图像中部分光线不均匀的影响。
(2)特征提取子模块
特征提取模块用于对重建的三维模型进行特征进行进一步提取。将分为空间特征、色彩特征、纹理特征。同时,在进行特征提取时,同时进行全局的特征提取和局部的特征提取。
A.空间特征
(a)体积
计算获得该不规则三维图像的体积。为了消除不同扫描角度、方式对扫描的影响,设立规则且体积已知的物体作为参照物,比较相同扫描方式获得的不同物体,通过该方法获得三维图像体积的绝对值。
(b)边界特征
采用傅里叶变换描述法对空间形状特征进行边界轮廓特征提取。对数据的图像进行目标的识别,首先将提取部位分为多个部分,分别确定各个区域的质心,接着以质心为中心分别将多个部分划分为更多的圆锥形区域,其次依对每个圆锥形区域进行采样,并且进行三维离散傅里叶变换,获得频谱序列值的模记为特征量。
(c) 臂围等高线图
将臂围按照与手臂平行的方向投影到二维平面,将每一点的二维平面进行进一步的分析、处理,用于臂围数据的可视化。
B.色彩特征
通过颜色矩反映三维图像的颜色分布。这里使用低阶矩进行颜色分部表示,分别提取颜色分布的一阶矩、二阶距和三阶矩。
C.纹理特征
通过对三维图像进行自相关处理,得到图像的能量谱函数,提取纹理的粗细度和方向性。
四、信息分析模块
(1)模式识别
由前期得到的全局特征向量,对图像进行分类。在发明形成前期,根据临床采集数据建立数据库,同时由医生根据临床经验和现有手段对病情进行0-10的级别分类。根据采集到的高维特征向量,对数据通过BP神经网络对数据进行训练,获得高维特征到分类级别的非线性映射。在发明使用过程中,通过提取当前患者的图像特征,系统自动获得当前患者的病情级别。
(2)动态分析
动态分析主要分为以下几类:
A、局部区域的肿胀程度和不同区域的比较
根据用户的需求,对图像进行分割,对不同区域重复特征提取模块、模式识别子模块,获得局部区域的肿胀程度的分析,同时对不同区域的肿胀程度进行比较。
B、左右上肢比较
对用户的左右上肢进行比较,根据左右上肢的扫描结果,得出左右上肢的比对情况。
C、历史记录比对
根据患者的长期监护得到的分析数据,计算患者的病情的变化趋势。
五、云平台
云平台具备数据存储、数据集成、数据加密、数据查询、访问控制、数据管理、身份管理、用户管理等功能。
该平台通过授权机制来管理用户的访问权限。在用户授权的前提下,系统可以将重建图像、模式识别、动态分析的结果数据实时传送到云平台上。云平台存储和管理这些数据,并对这些数据完成加密和集成处理。
通过云平台大大提高了数据的共享度,用户(医生、患者、研究人员)通过云应用强大的数据查询功能来检索信息。医生通过该平台可以对患者进行实时跟踪,随时掌握患情的发展状况,利于开展远程医疗。同时,本平台优良的数据集成能力,为积累水肿大数据奠定了基础,利于该疾病的相关研究,利于为病人制定个性化治疗方案,利于推进精准医疗的发展。

Claims (8)

1.一种基于深度扫描与信息分析的上肢淋巴水肿监测系统,其特征在于,包括扫描平台、软件分析系统、云平台三部分;由扫描平台模块获取水肿患者上肢的深度、彩色数据,扫描平台由软件分析系统控制运转,提供理想数据;软件分析系统通过深度扫描、图像处理、信息分析对水肿进行自动分级诊断;医生通过诊断结果对患者进行干预治疗;云平台存储扫描平台、软件系统的数据,为病人制定个性化档案,同时医生也可根据云平台对患者实现远程医疗;其中:
所述扫描平台,用于对患者上肢三维扫描,获取准确、全面的上肢三维成像数据;
扫描平台配备有集成的三维摄像头,摄像头的硬件部分包括红外激光发射器、红外传感器、色彩传感器和实感图像处理芯片;由红外激光发射器和红外传感器配合获得当前扫描图像的深度数据,由色彩传感器获得当前扫描图像的彩色数据;这些数据流通过图像处理芯片,扫描获得当前图像的深度数据、彩色数据,并且以数据流的形式传送到软件系统,在客户端中存储和显示;
扫描平台和三维摄像头配合工作,通过扫描平台的控制模块,控制三维摄像头在所需扫描的上肢周围进行旋转、平移、伸缩动作,从而获得理想的深度、彩色数据流;
所述软件分析系统,由深度扫描、图像处理、信息分析三大功能模块组成;其中:
所述深度扫描模块,包括数据采集、数据处理以及3D重建三个子功能模块;数据采集子模块用来控制深度摄像头采集颜色数据和深度数据;采集到的数据交给数据处理子模块,该子模块对图像数据进行压缩、平滑、旋转、点转换等操作;数据处理完成后,得到的深度图像数据交给3D重建子模块,构建三维图像;
所述图像处理模块,由图像优化子模块与特征提取子模块组成;深度扫描完成后,得到的3D图像交由图像优化子模块对其优化;特征提取子模块针对优化后的图像数据进一步处理,提取相应的空间特征、色彩特征、纹理特征信息;提取的特征数据记录在特征库中;
所述信息分析模块,包括模式识别和动态分析两个子模块,以及一个数据库——模式库;模式库中有两类数据,一类是预置的模式标准数据,另一类是模式识别后的结果数据,即模式数据;模式识别子模块从特征库中读取特征数据,再调用模式库中的对应标准,从而对水肿图像进行模式识别,识别的结果反馈给用户,同时写入模式库;
动态分析子模块是对不同时间的水肿图像的处理和分析,即对同一患者治疗或康复期间的多次扫描的多个水肿图像进行处理;它主要通过调用特征库中的特征数据及模式库中的模式数据,经过综合比较,分析水肿治疗或康复的效果;
所述云平台,实现数据的实时上传,包括扫描重建图像、模式识别、动态分析结果,对患者进行实时跟踪,记录历史数据;同时,支持多个客户端在线远程存储调用数据,支持远程医疗;为每个病人制定个性化档案,体现精准医疗。
2.根据权利要求1所述的基于深度扫描与信息分析的上肢淋巴水肿监测系统,其特征在于,所述图像处理模块中的图像优化子模块,用来修补扫描中出现的图像问题,提高图像质量;或是为符合后续处理要求做相应的调整;图像优化包括去噪、锐化、固化、深度增强;
去噪,采用滤波器对图像中的非扫描物体的噪声点进行消除,对图像边缘进行平滑处理;
锐化,通过纹理匹配的策略来提高图像的清晰度;
固化,当图像扫描不完整时,将颜色和表面曲线扩展成完整的区域,形成闭合曲线;
深度增强,当扫描的表面或颜色被损坏时,通过深度增强方法来修补;
当扫描削弱了细小特征时,先调用深度增强方法,再调用固化方法。
3.根据权利要求2所述的基于深度扫描与信息分析的上肢淋巴水肿监测系统,其特征在于,所述图像处理模块中的特征提取子模块主要提取图像的空间特征、色彩特征、纹理特征;其中:
空间特征:提取扫描上肢的体积,并通过标准体积物体进行体积准确值运算,同时通过算法提取图像的边缘特征,利用体积、边缘特征作为特征向量中的部分元素;
色彩特征:选择指标描述色彩的全局分布状况,通过颜色的分布状况表征上肢的颜色变化;
纹理特征:对包含多个像素点的区域进行统计运算,提取上肢表面的纹理特征进行模式匹配。
4.根据权利要求3所述的基于深度扫描与信息分析的上肢淋巴水肿监测系统,其特征在于,所述信息分析模块中的模式识别子模块采用模式识别算法:具体如下:
通过对大量的临床数据的训练,得到两类11级的模式标准,两类是指已确诊和未确诊两种类型;11级表示病患的严重程度,从0到10,数值越大表示越严重,0表示无水肿特征或征兆;识别步骤:先对被识别对象进行特征提取,包括单肢水肿患者的正常上肢特征提取,再从模式库中调取模式标准进行比较分析,最后将识别后的模式信息反馈给用户,并同时记录在模式库中。
5.根据权利要求4所述的基于深度扫描与信息分析的上肢淋巴水肿监测系统,其特征在于,所述信息分析模块中的动态分析子模块采用动态分析算法,对水肿图像历史数据比较分析,其步骤为:先从模式库中调取模式信息进行模式比较;当为同一模式时,再分别调取各自的特征数据,进行特征比较,返回特征比较结果;当为不同模式时,直接比较模式信息的差异,返回比较结果;分析的类型包括区域比较、左右肢比较以及历史记录比较;区域比较又分为局部区域比较和不同区域比较。
6.根据权利要求5所述的基于深度扫描与信息分析的上肢淋巴水肿监测系统,其特征在于,所述扫描平台包括控制模块、支撑模块、通心旋转模块、滑动模块、扫描模块;其中:
通心旋转模块由轴承外环(2)、轴承内环(4)、滚珠(3)、传送带(5)、1号步进电机(8)、齿轮(7)、轴承外环支撑(6)组成;轴承外环(2)、轴承内环(4)和滚珠(3)组成轴承结构,轴承内环(4)延长部分通过传送带(5)和齿轮(7)与1号步进电机连接;1号步进电机(8)转动带动轴承内环(4)的转动;
扫描模块(1)内嵌在轴承内环(4)中,与轴承内环(4)同步转动;
滑动模块由滑轨(13)、2号步进电机(10)、支撑底面(9)、连接部件(12)组成;2号步进电机(10)的转动,使得连接部件(12)在滑轨(13)上滑动形成滑台直线导轨;
通心旋转模块与滑动模块通过连接件(12)连接,使滑动模块带动通心旋转模块滑动;
支撑模块与滑动模块中的支持底面(9)连接,提供手部支撑、固定功能;
控制模块由控制中心(14)通过控制1号步进电机(8)和2号步进电机(10)的旋转来控制整个平台的运转。
7.根据权利要求6所述的基于深度扫描与信息分析的上肢淋巴水肿监测系统,其特征在于,所述深度扫描模块中:
(1)数据采集
利用三维摄像头Realsense SR300进行数据的采集;Realsense SR300的红外发射器模块发出红外光线,照到扫描物体后红外光线返回,并且由红外传感器模块接受,根据反射红外光线的相位差计算照射到的物体的每个像素点的深度;Realsense SR300的彩色摄像头模块负责采集色彩;深度数据流、彩色数据流转入图像数据处理模块,并且由图像处理模块控制图像传输的速率30帧/s,数据流送入SR300后,由SR300自带SDK进行接下来的数据处理;
(2)三维重建
获得的数据通过Realsense SR300自带SDK中的3DScan模块进行数据的整合,实现三维坐标系的变换、整合;由深度数据得到的坐标变换矩阵对彩色数据进行三维映射,同时,根据配准适合度对变换矩阵进行进一步的调整。
8.根据权利要求7所述的基于深度扫描与信息分析的上肢淋巴水肿监测系统,其特征在于,所述特征提取子模块中,分为空间特征、色彩特征、纹理特征提取,其中:
A.空间特征提取
(a)体积特征提取,为了消除不同扫描角度、方式对扫描的影响,设定形状规则且体积已知的物体作为参照物,比较相同扫描方式获得的不同物体,通过该方法获得三维图像体积的绝对值;
(b)边界特征提取,采用傅里叶变换描述法对空间形状特征进行边界轮廓特征提取;对数据的图像进行目标的识别,首先将提取部位分为多个部分,分别确定各个区域的质心,接着以质心为中心分别将多个部分划分为更多的圆锥形区域,然后依对每个圆锥形区域进行采样,并且进行三维离散傅里叶变换,获得频谱序列值的模记为特征量;
(c)臂围等高线图提取,将臂围按照与手臂平行的方向投影到二维平面,将每一点的二维平面进行进一步的分析、处理,用于臂围数据的可视化;
B.色彩特征提取
通过颜色矩反映三维图像的颜色分布,这里使用低阶矩进行颜色三维分布的特征表示,分别提取颜色分布的一阶矩、二阶距和三阶矩;
C.纹理特征提取
通过对三维图像进行自相关处理,得到图像的能量谱函数,提取纹理的粗细度和方向性。
CN201710220459.6A 2017-04-06 2017-04-06 基于深度扫描与信息分析的上肢淋巴水肿监测系统 Active CN107122593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710220459.6A CN107122593B (zh) 2017-04-06 2017-04-06 基于深度扫描与信息分析的上肢淋巴水肿监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710220459.6A CN107122593B (zh) 2017-04-06 2017-04-06 基于深度扫描与信息分析的上肢淋巴水肿监测系统

Publications (2)

Publication Number Publication Date
CN107122593A true CN107122593A (zh) 2017-09-01
CN107122593B CN107122593B (zh) 2021-09-17

Family

ID=59726238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710220459.6A Active CN107122593B (zh) 2017-04-06 2017-04-06 基于深度扫描与信息分析的上肢淋巴水肿监测系统

Country Status (1)

Country Link
CN (1) CN107122593B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108078578A (zh) * 2018-01-02 2018-05-29 安徽美时影像技术有限公司 一种基于区域识别分析的x光机智能摄像识别系统
CN108344744A (zh) * 2018-02-06 2018-07-31 广东建设职业技术学院 一种冷弯薄壁型钢结构激光几何缺陷检测设备及方法
CN108742519A (zh) * 2018-04-02 2018-11-06 上海中医药大学附属岳阳中西医结合医院 机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统
CN110415833A (zh) * 2019-06-28 2019-11-05 重庆医科大学附属永川医院 一种基于患者服务为核心的智慧医院云平台系统
GB2576770A (en) * 2018-08-31 2020-03-04 Heartfelt Tech Limited System and method for identifying fluid retention in a body part
CN111631726A (zh) * 2020-06-01 2020-09-08 深圳华鹊景医疗科技有限公司 上肢功能评估装置与方法及上肢康复训练系统与方法
CN112998683A (zh) * 2021-02-23 2021-06-22 上海川义医疗器械有限公司 一种基于多模态光学影像技术的乳腺癌术后上肢淋巴水肿的检测系统与方法
CN114305328A (zh) * 2021-11-19 2022-04-12 万贝医疗健康科技(上海)有限公司 基于可视化技术的肠胃癌细胞术后康复监测设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1839391A (zh) * 2003-06-25 2006-09-27 美国西门子医疗解决公司 用于乳房成像的自动诊断和决策支持的系统和方法
WO2010065590A2 (en) * 2008-12-02 2010-06-10 Eddy Patrick E Device for measuring a body part of a living being
CN102908772A (zh) * 2012-10-16 2013-02-06 东南大学 利用增强现实技术的上肢康复训练系统
CN103164615A (zh) * 2013-02-01 2013-06-19 尹新平 一种皮肤影像分析管理系统
CN104881568A (zh) * 2015-04-27 2015-09-02 苏州敏宇医疗科技有限公司 一种基于云计算的肿瘤治疗疗效早期评价的系统和方法
US20150302594A1 (en) * 2013-07-12 2015-10-22 Richard H. Moore System and Method For Object Detection Using Structured Light
CN105167797A (zh) * 2015-10-16 2015-12-23 广东中能加速器科技有限公司 一种高能医用电子直线加速器与图像采集扫描同轴一体机
CN205672034U (zh) * 2016-03-22 2016-11-09 广东中能加速器科技有限公司 一种集成ct和正交定位装置的医用电子直线加速治疗设备
CN106175776A (zh) * 2016-07-13 2016-12-07 南京医科大学第附属医院 一种淋巴水肿肢体体积测量装置
CN106247986A (zh) * 2016-09-07 2016-12-21 东北林业大学 基于智能传感的物质表面三维扫描装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1839391A (zh) * 2003-06-25 2006-09-27 美国西门子医疗解决公司 用于乳房成像的自动诊断和决策支持的系统和方法
WO2010065590A2 (en) * 2008-12-02 2010-06-10 Eddy Patrick E Device for measuring a body part of a living being
CN102908772A (zh) * 2012-10-16 2013-02-06 东南大学 利用增强现实技术的上肢康复训练系统
CN103164615A (zh) * 2013-02-01 2013-06-19 尹新平 一种皮肤影像分析管理系统
US20150302594A1 (en) * 2013-07-12 2015-10-22 Richard H. Moore System and Method For Object Detection Using Structured Light
CN104881568A (zh) * 2015-04-27 2015-09-02 苏州敏宇医疗科技有限公司 一种基于云计算的肿瘤治疗疗效早期评价的系统和方法
CN105167797A (zh) * 2015-10-16 2015-12-23 广东中能加速器科技有限公司 一种高能医用电子直线加速器与图像采集扫描同轴一体机
CN205672034U (zh) * 2016-03-22 2016-11-09 广东中能加速器科技有限公司 一种集成ct和正交定位装置的医用电子直线加速治疗设备
CN106175776A (zh) * 2016-07-13 2016-12-07 南京医科大学第附属医院 一种淋巴水肿肢体体积测量装置
CN106247986A (zh) * 2016-09-07 2016-12-21 东北林业大学 基于智能传感的物质表面三维扫描装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUANNAN LU等: "A System for Limb-Volume Measurement using 3D Models from an Infrared Depth Sensor", 《2013 IEEE SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE IN HEALTHCARE AND E-HEALTH (CICARE)》 *
熊婷等: "基于肺部CT的肿瘤形态与纹理的三维变化检测", 《厦门大学学报(自然科学版)》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108078578A (zh) * 2018-01-02 2018-05-29 安徽美时影像技术有限公司 一种基于区域识别分析的x光机智能摄像识别系统
CN108078578B (zh) * 2018-01-02 2024-02-02 安徽美时影像技术有限公司 一种基于区域识别分析的x光机智能摄像识别系统
CN108344744A (zh) * 2018-02-06 2018-07-31 广东建设职业技术学院 一种冷弯薄壁型钢结构激光几何缺陷检测设备及方法
CN108742519A (zh) * 2018-04-02 2018-11-06 上海中医药大学附属岳阳中西医结合医院 机器视觉三维重建技术皮肤溃疡创面智能辅助诊断系统
GB2576770A (en) * 2018-08-31 2020-03-04 Heartfelt Tech Limited System and method for identifying fluid retention in a body part
GB2576770B (en) * 2018-08-31 2020-09-23 Heartfelt Tech Limited System and method for identifying fluid retention in a body part
AU2019331078B2 (en) * 2018-08-31 2022-09-08 Heartfelt Technologies Limited System and method for identifying fluid retention in a body part
CN110415833A (zh) * 2019-06-28 2019-11-05 重庆医科大学附属永川医院 一种基于患者服务为核心的智慧医院云平台系统
CN111631726A (zh) * 2020-06-01 2020-09-08 深圳华鹊景医疗科技有限公司 上肢功能评估装置与方法及上肢康复训练系统与方法
CN112998683A (zh) * 2021-02-23 2021-06-22 上海川义医疗器械有限公司 一种基于多模态光学影像技术的乳腺癌术后上肢淋巴水肿的检测系统与方法
CN112998683B (zh) * 2021-02-23 2024-02-20 上海川义医疗器械有限公司 一种基于多模态光学影像技术的乳腺癌术后上肢淋巴水肿的检测系统与方法
CN114305328A (zh) * 2021-11-19 2022-04-12 万贝医疗健康科技(上海)有限公司 基于可视化技术的肠胃癌细胞术后康复监测设备

Also Published As

Publication number Publication date
CN107122593B (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN107122593A (zh) 基于深度扫描与信息分析的上肢淋巴水肿监测系统
US11281176B2 (en) Surface data acquisition, storage, and assessment system
CN105957090B (zh) 一种基于达芬奇技术的单目视觉位姿测量方法及系统
CN104126989B (zh) 一种基于多台rgb-d摄像机下的足部表面三维信息获取方法
KR100979506B1 (ko) 사상체질 자동진단기
CN104899869A (zh) 基于rgb-d相机和姿态传感器的平面和障碍检测方法
CN108618749A (zh) 基于便携式数字化眼底照相机的视网膜血管三维重建方法
KR20200101540A (ko) 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
CN101347332A (zh) 一种人脸三维面形数字化测量系统的测量方法及设备
CN106780591A (zh) 一种基于颅面稠密对应点云的颅面形态分析及面貌复原方法
CN101714153A (zh) 基于视觉感知的交互式乳腺钼靶图像检索方法
CN103824057B (zh) 一种基于面积特征算子的猪的呼吸频率检测方法
CN106778047A (zh) 一种基于多维度医学图像的中医面诊综合系统
Liu et al. Detection of heterogeneity on multi-spectral transmission image based on multiple types of pseudo-color maps
CN109559373B (zh) 一种基于2d人体图像进行量体的方法及系统
Lakshminarayanan et al. Diagnosis of cancer using hybrid clustering and convolution neural network from breast thermal image
Wei et al. A novel method for automatic camouflage pattern synthesize
CN201299570Y (zh) 一种人脸三维面形数字化测量系统
CN109801326A (zh) 一种用于获取人体体型数据的图像测量方法
CN107341808A (zh) 基于车辙图像的模拟月壤硬度视觉检测系统及测量方法
CN104331705B (zh) 融合时空信息的步态周期自动检测方法
Muthiah et al. Fusion of MRI and PET images using deep learning neural networks
Chen Image recognition of sports athletes’ high-intensity sports injuries based on binocular stereo vision
Guo et al. 3D Reconstruction and registration for retinal image pairs
Lin et al. Automatic sublingual vein feature extraction system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant