CN103902735A - 面向大规模集群消重的应用感知数据路由方法及系统 - Google Patents

面向大规模集群消重的应用感知数据路由方法及系统 Download PDF

Info

Publication number
CN103902735A
CN103902735A CN201410158590.0A CN201410158590A CN103902735A CN 103902735 A CN103902735 A CN 103902735A CN 201410158590 A CN201410158590 A CN 201410158590A CN 103902735 A CN103902735 A CN 103902735A
Authority
CN
China
Prior art keywords
file
backup
node
disappears
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410158590.0A
Other languages
English (en)
Other versions
CN103902735B (zh
Inventor
付印金
胡谷雨
倪桂强
谢钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA University of Science and Technology
Original Assignee
PLA University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA University of Science and Technology filed Critical PLA University of Science and Technology
Priority to CN201410158590.0A priority Critical patent/CN103902735B/zh
Publication of CN103902735A publication Critical patent/CN103902735A/zh
Application granted granted Critical
Publication of CN103902735B publication Critical patent/CN103902735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1453—Management of the data involved in backup or backup restore using de-duplication of the data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/44—Distributed routing

Abstract

本发明公开一种面向大规模集群消重的应用感知数据路由方法及实现本方法的大规模备份存储集群系统。应用感知数据路由方法包括：S10）获取备份文件元信息，S20）感知文件应用类型，S30）计算消重存储节点负载，S40）选取文件路由节点，S50）发送文件到目标节点和S60）处理节点内文件消重等步骤；大规模备份存储集群系统包括多个备份客户端、一个备份服务器和多个消重存储服务器。本发明的数据路由方法及系统具有数据消重率高、节点吞吐率高、系统通信开销小、系统负载均衡的特点。

Description

面向大规模集群消重的应用感知数据路由方法及系统
技术领域
本发明属于信息存储及集群计算技术领域，特别是一种面向大规模集群消重的应用感知数据路由方法及大规模备份存储集群系统。
背景技术
在众多管理海量数据的备份存储系统内数据高度冗余，集群消重（ClusterDeduplication）技术是在备份存储服务器集群系统上实现分布并行的数据消重处理，能够满足海量备份数据管理在容量和性能上的可扩展需求。为构建节能、环保、高效的绿色数据中心，集群消重已成为当前数据中心存储管理的核心技术。
出于对系统开销的考虑，集群消重往往选择松耦合设计，不去执行跨节点的数据消重。备份客户端发送的数据先通过数据路由分配到各个消重存储服务器节点，消重存储服务器再独立并行地删除节点内重复的数据内容。数据路由直接影响备份数据的存储空间利用率、消重存储服务器节点的系统吞吐率、消重存储服务器集群的负载均衡和通信开销。因此，数据路由方法对集群消重效率的提升至关重要。
目前，集群消重的数据路由方法主要有三种：基于分布式哈希表的块级数据路由方法、基于状态信息的超块级数据路由方法、以及基于相似性的文件级数据路由方法。基于分布式哈希表的块级数据路由方法，如USENIX FAST’09会议论文“HYDRAstor:aScalable Secondary Storage”（公开日：2009-02-23）和中国发明专利申请“分布式的重复数据删除系统及其方法”（申请号：201110461322.2，公开日：2011-12-28），是将数据块特征值按分布式哈希表分配到不同数据消重节点。虽然该方法能够有效地提高空间利用率和降低通信开销，但不能保留住节点内的数据局部性而影响系统吞吐率。基于状态信息的超块级数据路由方法，如USENIX FAST’11会议论文“Tradeoffs in Scalable DataRouting for Deduplication Clusters”（公开日：2011-02-14），将划分后连续的许多数据块合并成粒度均匀的超块，超块路由前都需要查询其所含数据块与各个节点内已存数据块的重复数，然后在考虑负载平衡的前提下尽量将超块路由到重复数据块数最多的节点。这种策略能在负载平衡的前提下获得高数据缩减率，但其广播式的系统通信开销以及节点内频繁的块指纹查询操作严重影响了系统性能。基于相似性的文件级数据路由，如IEEE/ACM MASCOTS’09会议论文“Extreme Binning:Scalable,Parallel Deduplication forChunk based File Backup”（公开日：2009-09-21），利用基于Broder最小值独立置换定理选取文件内数据块指纹的最小值作为文件的相似特征，按分布式哈希机制将相似的文件路由到相同的消重存储服务器节点，但当数据流中相似性较低时，不能检测出文件相似性，备份数据的集群消重效果较差。
总之，现有技术存在的问题是：对数据中心成百上千个节点规模的集群消重，存在数据消重率低、节点吞吐率低、系统通信开销大和系统负载不均衡等缺陷。
发明内容
本发明的目的在于提供一种面向大规模集群消重的应用感知数据路由方法及系统，具有数据消重率高、节点吞吐率高、系统通信开销小和系统负载均衡的特点。
实现本发明目的的技术解决方案为：一种面向大规模集群消重的应用感知数据路由方法，所述大规模备份存储集群系统包括多个备份客户端（100）、一个备份服务器（200）和多个消重存储服务器（300），其特征在于，包括如下步骤：
S10）获取备份文件元信息：备份客户端（100）向备份服务器（200）发送包含文件的名称、用户和大小等文件元信息的文件备份请求消息；
S20）感知文件应用类型：备份服务器（200）根据文件元信息对备份文件的应用类型进行划分，并查询应用索引结构，获取可存放相应类型应用文件的候选消重存储服务器（300）节点列表；
S30）计算消重存储节点负载：备份服务器（200）通过查询应用感知索引结构获取各消重存储服务器（300）节点的实时动态负载信息，并根据这些节点负载信息和备份文件元信息计算出可保持负载平衡的低负载消重存储服务器（300）节点列表；
S40）选取文件路由节点：备份服务器（200）分析候选消重存储服务器节点列表和低负载消重存储服务器节点列表，选取存放相同类型应用数据的一个低负载候选服务器节点作为文件路由目标节点，并将结果返回给备份客户端（100）；
S50）发送文件到目标节点：备份客户端（100）根据备份服务器（200）返回的文件路由决策结果，将备份会话内的各个文件发送到相应的路由目标消重存储服务器（300）节点；
S60）处理节点内文件消重：消重存储服务器（300）节点根据应用文件数据格式和内容的差异，独立地对不同类型的应用文件进行数据消重处理。
一种用于实现面向大规模集群消重的应用感知数据路由方法的大规模备份存储集群系统，包括多个备份客户端（100）、一个备份服务器（200）和多个消重存储服务器（300），其特征在于：
所述备份客户端（100）用于向备份服务器（200）发送包含文件的名称、用户和大小等文件元信息的文件备份请求消息，
备份服务器（200）用于根据文件元信息感知备份文件的应用类型，并查询应用索引结构，获取可存放相应类型应用文件的候选消重存储服务器（300）节点号列表；
备份服务器（200）用于通过查询应用感知索引结构获取各消重存储服务器（300）节点的实时动态负载信息，并根据这些节点负载信息和备份文件元信息计算出可保持负载平衡的低负载消重存储服务器（300）节点列表；
备份服务器（200）用于分析候选消重存储服务器节点列表和低负载消重存储服务器节点列表，选取存放相同类型应用数据的一个低负载候选节点作为文件路由目标节点，并将结果返回给备份客户端（100）；
备份客户端（100）根据备份服务器（200）返回的文件路由决策结果，将备份会话内的各个文件发送到相应的路由目标消重存储服务器（300）节点；
消重存储服务器（300）节点用于根据应用文件数据格式和内容的差异，独立地对不同类型的应用文件进行数据消重处理。
本发明与现有技术相比，其显著优点：
1、数据消重率高：通过应用感知的数据路由策略将相似的数据分配到同一消重存储服务器节点，减少各个节点之间的数据重叠，对同一消重存储服务器节点内的文件按应用独立地进行数据消重处理；
2、节点吞吐率高：基于文件粒度分配数据，保持很好的数据访问局部性；
3、系统负载平衡：根据各个消重存储服务器节点的实际物理存储容量来动态分配存储资源，保证整个备份存储集群系统的负载平衡；
4、通信开销低：以应用为粒度来判断数据路由，极大地减少了系统的消息通信开销。
总之，本发明提供一种可支持成百上千节点规模的备份存储集群系统进行集群消重的应用感知数据路由方法。它不仅能够极大地节省备份数据的存储空间使用，还能优化消重存储服务器节点的消重吞吐率，减少集群系统内部的通信开销，以及保持各个消重存储服务器节点的负载平衡。
下面结合附图和具体实施方式对本发明作进一步的详细描述。
附图说明
图1是本发明大规模备份存储集群系统结构示意图。
图2是本发明面向大规模集群消重的应用感知数据路由方法主流程图。
图3是感知文件应用类型原理图。
图4是图2中选取文件路由节点步骤流程图。
具体实施方式
如图1所示，本发明的大规模备份存储集群系统，包括多个备份客户端100、一个备份服务器200和多个消重存储服务器300；
所述备份客户端100用于向备份服务器200发送包含文件的名称、用户和大小等文件元信息的文件备份请求消息；备份客户端100根据备份服务器200返回的文件路由决策结果，将备份会话内的各个文件发送到相应的路由目标消重存储服务器300节点；
所述每个备份客户端100包括文件I/O模块101和备份请求模块102，所述备份请求模块102用于与所述备份服务器200进行文件备份会话，所述文件I/O模块101用于根据所述备份服务器200返回的文件路由决策结果，将各个文件备份到相应的消重存储服务器300；
备份服务器200用于根据文件元信息感知备份文件的应用类型，并查询应用索引结构，获取可存放相应类型应用文件的候选消重存储服务器300节点号列表；备份服务器200是实现本发明方法的核心部分。
备份服务器200通过查询应用感知索引结构获取各消重存储服务器300节点的实时动态负载信息，并根据这些节点负载信息和备份文件元信息计算出可保持负载平衡的低负载消重存储服务器300节点列表；
备份服务器200分析候选消重存储服务器节点列表和低负载消重存储服务器节点列表，选取存放相同类型应用数据的一个低负载候选节点作为文件路由目标节点，并将结果返回给备份客户端100；
所述备份服务器200包括备份会话管理模块201、应用感知过程模块202、文件路由决策模块203和负载平衡模块204，所述备份会话管理模块201用于接收备份客户端100的备份请求，将文件按来自同一用户的相同备份会话进行分组管理，并将文件路由决策结果反馈给备份客户端100，所述应用感知过程模块202用于对文件按应用类型进行分类，所述负载平衡模块204用于保持消重存储服务器集群的系统负载均衡，所述文件路由决策模块203用于将相同类型的应用文件分配到同一低负载的消重存储服务器节点，并将文件路由目标节点信息反馈给备份客户端100，并建立应用文件到消重存储服务器节点的映射关系，供文件恢复时使用。
消重存储服务器300节点根据应用文件数据格式和内容的差异，独立地对不同类型的应用文件进行数据消重处理。
所述消重存储服务器300包含数据消重引擎301、文件元数据管理模块302和数据块管理模块303，所述数据消重引擎301用于对备份文件进行消重处理，并根据不同应用的特点，对每种应用类型的文件独立地进行数据消重，所述文件元数据管理模块302用于管理节点上所存文件的元数据和块指纹索引信息，数据块管理模块303用于管理消重后内容不重复的唯一数据块。
如图2所示，本发明面向大规模集群消重的应用感知数据路由方法，是基于一种可扩展的集群消重系统架构，所述大规模备份存储集群系统如图1所示，包括多个备份客户端100、一个备份服务器200和多个消重存储服务器300。
本发明面向大规模集群消重的应用感知数据路由方法，包括如下步骤：
S10）获取备份文件元信息：备份客户端100向备份服务器200发送包含文件的名称、用户和大小等文件元信息的文件备份请求消息。
S20）感知文件应用类型：备份服务器200的应用感知过程模块202根据备份会话管理模块201获得的文件元信息对备份文件的应用类型进行划分，并查询应用索引结构，获取可存放相应类型应用文件的候选消重存储服务器300节点列表。
所述感知文件应用类型（S20）步骤如图3所示，包括：
S21）获取文件元信息：备份服务器200获取备份请求中的文件元信息，包括文件的名称230、用户231和大小232等文件元信息，文件名称230包括前缀和后缀，由后缀定义应用类型；如Test.doc的前缀为Test，后缀为doc，对应的应用类型是doc格式的Word文档。
S22）查询应用索引结构：根据文件名称确定的应用类型查询应用索引结构，包含应用类型233、节点号234和数据量235等索引项；
其中，应用类型233是备份文件对应的文件名后缀，节点号234是指存储该类应用文件的消重存储服务器节点号，数据量235是指存储在同一节点上的同类应用文件的物理数据量。如应用索引结构实例中与doc类型匹配的是第一行和第三行内容。
S23）获取候选消重存储服务器节点号：从应用索引结构中找出存放相同应用类型文件的消重存储服务器节点号，并将结果保存在候选消重存储服务器节点列表236—LIST1中。如图3所示，发现节点1和节点2都存放有doc类型的应用文件。
S30）计算消重存储节点负载：备份服务器200的负载平衡模块204通过查询应用感知索引结构获取各消重存储服务器300节点的实时动态负载信息，并根据这些节点负载信息和备份文件元信息计算出可保持负载平衡的低负载消重存储服务器300节点列表LIST2。
所述计算消重存储节点负载（S30）步骤包括：
S31）计算消重存储服务器节点已使用的物理容量：消重存储服务器节点i的物理容量Ci，可表示为：
其中i=1,2,...,N；
其中，N为消重存储服务器集群服务器节点个数，K为节点i上存放的应用文件种类数，Cij为通过查询应用索引结构得到的消重存储服务器节点i上存放应用类型j的对应物理容量；
S32）查找低负载消重存储服务器节点：当Ci+S<Ti时，判定节点i为低负载节点，将节点号i填加到LIST2中，
其中，Ti为消重存储服务器节点i的负载阈值，S为备份文件的大小，LIST2为低负载消重存储服务器节点列表。
S40）选取文件路由节点：备份服务器200的文件路由决策模块203分析候选消重存储服务器节点列表LIST1和低负载消重存储服务器节点列表LIST2，选取存放相同类型应用数据的一个低负载候选节点作为文件路由目标节点，并将结果返回给备份客户端100。
如图4所示，所述选取文件路由节点（S40）步骤包括：
S41）输入存有相同应用文件的候选消重存储服务器节点列表LIST1和低负载消重存储服务器节点列表LIST2；
S42）判断这两个节点列表的交集LIST1∩LIST2是否为空，如是则转步骤S43，如否则转到步骤S46；
S43）判断低负载消重存储服务器节点列表LIST2是否为空，如是则转步骤S44，如否则转步骤S45；
S44）发出消重存储服务器集群负载过高的警告，结束处理过程；
S45）从低负载消重存储服务器节点列表LIST2中选取一个节点；
S46）从低负载的候选节点子集LIST1∩LIST2中选取一个作为目标节点返回。
S50）发送文件到目标节点：备份客户端100根据备份服务器200返回的文件路由决策结果，将备份会话内的各个文件发送到相应的路由目标消重存储服务器300节点。
S60）处理节点内文件消重：消重存储服务器300节点根据应用文件数据格式和内容的差异，独立地对不同类型的应用文件进行数据消重处理。
消重存储服务器节点300的数据消重引擎301模块根据应用文件数据格式和内容的差异，独立地对不同类型的应用文件进行数据消重优化，并将消重后文件存储增加的物理容量作为消息反馈更新到备份服务器200的应用索引结构中。文件元数据管理模块302和数据块管理模块303分别对节点上所存文件的元数据（包含块指纹索引信息）和消重后内容不重复的唯一数据块进行有效的管理。
本发明通过开发应用感知来优化集群消重处理，藉以提供一种可以兼顾备份存储空间节省和集群系统扩展能力提升的数据路由技术。本发明可以应用于网络备份软件、分布式文件系统和云存储系统软件之中，容易实现高效率的并行数据消重处理。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种面向大规模集群消重的应用感知数据路由方法，所述方法实现于大规模备份存储集群系统，包括多个备份客户端（100）、一个备份服务器（200）和多个消重存储服务器（300），其特征在于，包括如下步骤：
S10）获取备份文件元信息：备份客户端（100）向备份服务器（200）发送包含文件的名称、用户和大小等文件元信息的文件备份请求消息；
S20）感知文件应用类型：备份服务器（200）根据文件元信息对备份文件的应用类型进行划分，并查询应用索引结构，获取可存放相应类型应用文件的候选消重存储服务器（300）节点列表；
S30）计算消重存储节点负载：备份服务器（200）通过查询应用感知索引结构获取各消重存储服务器（300）节点的实时动态负载信息，并根据这些节点负载信息和备份文件元信息计算出可保持负载平衡的低负载消重存储服务器（300）节点列表；
S40）选取文件路由节点：备份服务器（200）分析候选消重存储服务器节点列表和低负载消重存储服务器节点列表，选取存放相同类型应用数据的一个低负载候选节点作为文件路由目标节点，并将结果返回给备份客户端（100）；
S50）发送文件到目标节点：备份客户端（100）根据备份服务器（200）返回的文件路由决策结果，将备份会话内的各个文件发送到相应的路由目标消重存储服务器（300）节点；
S60）处理节点内文件消重：消重存储服务器（300）节点根据应用文件数据格式和内容的差异，独立地对不同类型的应用文件进行数据消重处理。
2.根据权利要求1所述的应用感知数据路由方法，其特征在于，所述感知文件应用类型（S20）步骤包括：
S21）获取文件元信息：备份服务器（200）获取备份请求中的文件元信息，包括文件的名称、用户和大小，文件名称包括前缀和后缀，由后缀定义应用类型；
S22）查询应用索引结构：根据文件名称确定的应用类型查询应用索引结构，应用索引包含应用类型、节点号和数据量等索引项；
S23）获取候选消重存储服务器节点号：从应用索引结构中找出存放相同应用类型文件的消重存储服务器节点号，并将结果保存到候选消重存储服务器节点列表。
3.根据权利要求1所述的应用感知数据路由方法，其特征在于，所述计算消重存储节点负载（S30）步骤包括：
S31）计算消重存储服务器节点已使用的物理容量：消重存储服务器节点i的物理容量Ci可表示为，
Figure FDA0000493014150000021
其中i=1,2,...,N；
其中，N为消重存储服务器集群服务器节点个数，K为节点i上存放的应用文件种类数，Cij为通过查询应用索引结构得到的消重存储服务器节点i上存放应用类型j的对应物理容量；
S32）查找低负载消重存储服务器节点：当Ci+S<Ti时，判定节点i为低负载节点，将节点号i填加到低负载消重存储服务器节点列表中；
其中，Ti为消重存储服务器节点i的负载阈值，S为备份文件的大小。
4.根据权利要求1所述的应用感知数据路由方法，其特征在于，所述选取文件路由节点（S40）步骤包括：
S41）输入存有相同应用文件的候选消重存储服务器节点列表LIST1和低负载消重存储服务器节点列表LIST2；
S42）判断这两个节点列表的交集LIST1∩LIST2是否为空，如是则转步骤S43，如否则转到步骤S46；
S43）判断低负载消重存储服务器节点列表LIST2是否为空，如是则转步骤S44，如否则转步骤S45；
S44）发出消重存储服务器集群负载过高的警告，结束处理过程；
S45）从低负载消重存储服务器节点列表LIST2中选取一个节点；
S46）从低负载的候选节点子集LIST1∩LIST2中选取一个作为目标节点返回。
5.一种用于实现权利要求1所述的应用感知数据路由方法的大规模备份存储集群系统，包括多个备份客户端（100）、一个备份服务器（200）和多个消重存储服务器（300），其特征在于：
所述备份客户端（100）用于向备份服务器（200）发送包含文件的名称、用户和大小等文件元信息的文件备份请求消息；
备份服务器（200）用于根据文件元信息感知备份文件的应用类型，并查询应用索引结构，获取可存放相应类型应用文件的候选消重存储服务器（300）节点号列表；
备份服务器（200）用于通过查询应用感知索引结构获取各消重存储服务器（300）节点的实时动态负载信息，并根据这些节点负载信息和备份文件元信息计算出可保持负载平衡的低负载消重存储服务器（300）节点列表；
备份服务器（200）用于分析候选消重存储服务器节点列表和低负载消重存储服务器节点列表，选取存放相同类型应用数据的一个低负载候选节点作为文件路由目标节点，并将结果返回给备份客户端（100）；
备份客户端（100）根据备份服务器（200）返回的文件路由决策结果，将备份会话内的各个文件发送到相应的路由目标消重存储服务器（300）节点；
消重存储服务器（300）节点用于根据应用文件数据格式和内容的差异，独立地对不同类型的应用文件进行数据消重处理。
6.根据权利要求5所述的大规模备份存储集群系统，其特征在于：
所述每个备份客户端（100）包括文件I/O模块（101）和备份请求模块（102），所述备份请求模块（102）用于与所述备份服务器（200）进行文件备份会话，所述文件I/O模块（101）用于根据所述备份服务器（200）返回的文件路由决策结果，将各个文件备份到相应的消重存储服务器（300）；
所述备份服务器（200）包括备份会话管理模块（201）、应用感知过程模块（202）、文件路由决策模块（203）和负载平衡模块（204），所述备份会话管理模块（201）用于接收备份客户端（100）的备份请求，将文件按来自同一用户的相同备份会话进行分组管理，并将文件路由决策结果反馈给备份客户端（100），所述应用感知过程模块（202）用于对文件按应用类型进行分类，所述负载平衡模块（204）用于保持消重存储服务器集群的系统负载均衡，所述文件路由决策模块（203）用于将相同类型的应用文件分配到同一低负载的消重存储服务器节点，并将文件路由目标节点信息反馈给备份客户端（100），并建立应用文件到消重存储服务器节点的映射关系，供文件恢复时使用。
所述消重存储服务器（300）包含数据消重引擎（301）、文件元数据管理模块（302）和数据块管理模块（303），所述数据消重引擎（301）用于对备份文件进行消重处理，并根据不同应用的特点，对每种应用类型的文件独立地进行数据消重，所述文件元数据管理模块（302）用于管理节点上所存文件的元数据和块指纹索引信息，数据块管理模块（303）用于管理消重后内容不重复的唯一数据块。
CN201410158590.0A 2014-04-18 2014-04-18 面向大规模集群消重的应用感知数据路由方法及系统 Active CN103902735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410158590.0A CN103902735B (zh) 2014-04-18 2014-04-18 面向大规模集群消重的应用感知数据路由方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410158590.0A CN103902735B (zh) 2014-04-18 2014-04-18 面向大规模集群消重的应用感知数据路由方法及系统

Publications (2)

Publication Number Publication Date
CN103902735A true CN103902735A (zh) 2014-07-02
CN103902735B CN103902735B (zh) 2017-02-22

Family

ID=50994057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410158590.0A Active CN103902735B (zh) 2014-04-18 2014-04-18 面向大规模集群消重的应用感知数据路由方法及系统

Country Status (1)

Country Link
CN (1) CN103902735B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216803A (zh) * 2014-09-29 2014-12-17 北京奇艺世纪科技有限公司 一种退服节点的数据备份方法及装置
CN105159925A (zh) * 2015-08-04 2015-12-16 北京京东尚科信息技术有限公司 一种数据库集群数据分配方法及系统
CN106202134A (zh) * 2015-05-30 2016-12-07 中国石油化工股份有限公司 数据重复性检查方法
CN107666495A (zh) * 2016-07-27 2018-02-06 平安科技（深圳）有限公司 一种应用的容灾方法及终端
CN108476243A (zh) * 2016-01-21 2018-08-31 华为技术有限公司 针对网络业务功能链接的分布式负载均衡
CN109214206A (zh) * 2018-08-01 2019-01-15 武汉普利商用机器有限公司 云备份存储系统及方法
CN110213319A (zh) * 2018-10-08 2019-09-06 腾讯科技（深圳）有限公司 接入方法及装置、终端、服务器及存储介质
CN111400105A (zh) * 2020-03-27 2020-07-10 北京拓世寰宇网络技术有限公司 数据库备份方法及装置
CN111858494A (zh) * 2020-07-23 2020-10-30 珠海豹趣科技有限公司 文件获取方法、装置、存储介质及电子设备
CN112685223A (zh) * 2019-10-17 2021-04-20 伊姆西Ip控股有限责任公司 基于文件类型的文件备份
CN113590535A (zh) * 2021-09-30 2021-11-02 中国人民解放军国防科技大学 一种用于去重存储系统的高效数据迁移方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6065018A (en) * 1998-03-04 2000-05-16 International Business Machines Corporation Synchronizing recovery log having time stamp to a remote site for disaster recovery of a primary database having related hierarchial and relational databases
CN101751394A (zh) * 2008-12-16 2010-06-23 青岛海信传媒网络技术有限公司 数据同步方法和数据同步系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6065018A (en) * 1998-03-04 2000-05-16 International Business Machines Corporation Synchronizing recovery log having time stamp to a remote site for disaster recovery of a primary database having related hierarchial and relational databases
CN101751394A (zh) * 2008-12-16 2010-06-23 青岛海信传媒网络技术有限公司 数据同步方法和数据同步系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216803A (zh) * 2014-09-29 2014-12-17 北京奇艺世纪科技有限公司 一种退服节点的数据备份方法及装置
CN106202134A (zh) * 2015-05-30 2016-12-07 中国石油化工股份有限公司 数据重复性检查方法
CN105159925A (zh) * 2015-08-04 2015-12-16 北京京东尚科信息技术有限公司 一种数据库集群数据分配方法及系统
CN108476243A (zh) * 2016-01-21 2018-08-31 华为技术有限公司 针对网络业务功能链接的分布式负载均衡
CN107666495A (zh) * 2016-07-27 2018-02-06 平安科技（深圳）有限公司 一种应用的容灾方法及终端
CN109214206A (zh) * 2018-08-01 2019-01-15 武汉普利商用机器有限公司 云备份存储系统及方法
CN110213319A (zh) * 2018-10-08 2019-09-06 腾讯科技（深圳）有限公司 接入方法及装置、终端、服务器及存储介质
CN112685223A (zh) * 2019-10-17 2021-04-20 伊姆西Ip控股有限责任公司 基于文件类型的文件备份
CN111400105A (zh) * 2020-03-27 2020-07-10 北京拓世寰宇网络技术有限公司 数据库备份方法及装置
CN111858494A (zh) * 2020-07-23 2020-10-30 珠海豹趣科技有限公司 文件获取方法、装置、存储介质及电子设备
CN113590535A (zh) * 2021-09-30 2021-11-02 中国人民解放军国防科技大学 一种用于去重存储系统的高效数据迁移方法和装置
CN113590535B (zh) * 2021-09-30 2021-12-17 中国人民解放军国防科技大学 一种用于去重存储系统的高效数据迁移方法和装置

Also Published As

Publication number Publication date
CN103902735B (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN103902735A (zh) 面向大规模集群消重的应用感知数据路由方法及系统
CN103106249B (zh) 一种基于Cassandra的数据并行处理系统
JP6094487B2 (ja) 情報システム、管理装置、データ処理方法、データ構造、プログラム、および記録媒体
CN106066896B (zh) 一种应用感知的大数据重复删除存储系统及方法
US10257255B2 (en) Hierarchical organization for scale-out cluster
CN104820717B (zh) 一种海量小文件存储及管理方法和系统
US20120143873A1 (en) Method and apparatus for updating a partitioned index
US20130031229A1 (en) Traffic reduction method for distributed key-value store
JP6135509B2 (ja) 情報システム、その管理方法およびプログラム、データ処理方法およびプログラム、ならびに、データ構造
CN102664914A (zh) 一种IS/DFS-Image分布式文件存储查询系统
Von der Weth et al. Multiterm keyword search in NoSQL systems
CN105005611A (zh) 一种文件管理系统及文件管理方法
CN101753405A (zh) 集群服务器内存管理方法及其系统
Li et al. Efficient subspace skyline query based on user preference using MapReduce
Kumar et al. M-Grid: a distributed framework for multidimensional indexing and querying of location based data
CN101741869B (zh) 提供内容的方法和系统
CN105282045B (zh) 一种基于一致性哈希算法的分布式计算和储存方法
Zhao et al. Research of P2P architecture based on cloud computing
Liu et al. Keyword fusion to support efficient keyword-based search in peer-to-peer file sharing
CN101719155A (zh) 一种支持分布式多集群计算环境的多维属性范围查询的方法
CN106293537B (zh) 一种轻量级的数据密集型文件系统的自治块管理方法
CN114741467A (zh) 一种全文检索的方法及系统
Li et al. A PR-quadtree based multi-dimensional indexing for complex query in a cloud system
Zhou et al. Distributed query processing in an ad-hoc semantic web data sharing system
Zhu et al. DS-index: a distributed search solution for federated cloud

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant