引言

“四大基础数据库”在国家电子政务建设中具有重要的地位和作用,是国家信息化和电子政务建设的一项重要基础设施。无论在政务领域,还在企业领域,“四大基础数据库”有着广泛的应用场景和共享需求,四大基础数据库的建设不仅能实现数据的共享,同时在建设的过程本身也推进着各业务流程的整合及优化。

四大基础库分别是:人口基础数据库、法人数据库、宏观经济数据库,自然资源与空间地理数据库,也有的专家称“四大基础数据库”是国家层面四大主数据库。

本文主要对国家四大基础数据库的建设背景、包含内容及相关的应用框架等作出详细介绍。通过阅读本文,可以对“四大基础数据库”有一个较为深入的了解备份集中的数据库与现有的数据库不同,同时也能对您所需要的业务领域的数据分析整理工作提供到帮助。

一前言

随着社会经济步入快速发展的轨道,早期社会信息化程度越来越不适应经济发展的需要,信息的孤立与行业的相对封闭导致社会治安综合治理难度加大、经济诈骗犯罪突出、假冒伪劣产品盛行、恶意拖欠资金、贷款等问题严重,这一系列问题严重阻碍了区域经济的健康发展和社会的长治久安。《国家信息化领导小组关于我国电子政务建设指导意见》(中办发[2002]17号文)明确提出要“整合信息资源,建立人口、法人单位、宏观经济、空间地理和自然资源等四个基础数据库;重点推进办公业务资源系统等十二个业务系统,统一平台,统一标准,初步形成我国电子政务的基础框架。”

二人口基础数据库

人口基础数据库是首个实现多部委共建共享的国家电子政务示范工程,项目是以国家电子政务外网为依托,由公安部牵头,教育部、民政部、人力资源和社会保障部、卫生和计划生育委员会共建,覆盖全国人口,以公民身份号码为唯一标识的国家数据库。

2.1

建设背景

人口基础信息是国家重要的基础信息之一,早期人口管理模式和信息应用模式是一种“条块分割”式的管理,各个相关部门只是从本部门的角度出发对人口信息进行管理,相互间不能很好地协调起来。随着市场经济体制的建立和完善,这种“条块分割”式的、孤立的人口信息管理和应用模式的弊病已显端倪:一方面是造成了许多不必要的重复劳动,另一方面由于管理的片面性而曝露出来的“管理真空”与漏洞越来越明显。

每个基础数据库的建设、运行都离不开多部门合作,拿人口基础数据库来说,公民出生登记的信息在公安部门,长大后受教育的信息在教育部门,就业、失业的信息在公民信息部门,公民及家庭还会发生借贷与偿还、信用透支、发生不良信用等信息在金融部门,将来退休了还要进入社区。

为进一步加强人口基础信息资源开发利用、创新人口服务管理、提高人口工作的宏观决策水平,满足各级政务部门、企业和社会公众对于人口基础信息的共享需求,按照“十二五”时期电子政务建设总体规划的要求,对于加强社会管理,实现社会信息化将起到的积极推动作用。全面收集、整合个人社会行为轨迹信息,建设完备的人口信息库,实现行业部门间的信息共享,并充分利用人口信息资源,开发公共服务产品,提高政府监管能力和服务水平。

人口基础数据库的建立可以方便公安、计生、民政、卫生、教育、残联、人力资源和社会保障、统计等使用人口信息的部门及时准确地查询到人口相关信息,不同部门可以共享相关的人口信息,确保各相关部门的人口基本信息的准确性和一致性。实现人口计生部门获取其它部门提供的新婚、出生、死亡、劳务、流动和总人口等信息,对本系统漏统信息和不准确信息查漏补缺,提高人口数据库的完整性和准确性,可以更好地为群众提供优质服务和人性化的管理。

2.2

人口基础库的数据模型

人口基础数据库的数据来自市公安局、市劳动保障局、市民政局、市卫生局、市教委和人事局等部门。主要基础是公安局人口信息库,包括公民身份号码、姓名、性别、民族、出生地、出生日期等6项基本信息,还包括各部门业务系统在利用人口基本信息过程中产生的、其他部门存在共享需求的人口信息。

钛备份怎么备份多个数据_钛备份 现在不能改id了_备份集中的数据库与现有的数据库不同

图1 人口信息资源模型

钛备份 现在不能改id了_备份集中的数据库与现有的数据库不同_钛备份怎么备份多个数据

图2 人口扩展库

2.3

人口基础数据库总体架构

人口基础数据库由8个层级应用和2个体系构成。

钛备份 现在不能改id了_备份集中的数据库与现有的数据库不同_钛备份怎么备份多个数据

图3 人口基础数据库组织示意图

人口基础数据库平台的整个系统架构总结为八横两纵,“八横”是指平台从上到下分为八个层面:门户展现层、用户认证层、综合应用层、应用基础支撑层、数据交换层、数据采集层、基础数据层以及基础设施层。

门户展现层:展现层根据不同的用户类别,提供不同的门户展现,如提供给公安部门的公安综合应用系统界面、提供给社保部门的社保综合应用系统界面等。

用户认证层:用户认证层提供统一认证管理、用户单点登录、委办局接入统一管理等。

综合应用层:提供各类用户所需的业务,如:综合报表、领导仪表盘、趋势预测、智能查询、GIS展示等。

应用基础支撑层:将平台各类应用系统通用的功能提炼出来,形成各类功能组件的集合,提升系统效率,减少重复开发工作量备份集中的数据库与现有的数据库不同,确保系统统一性,如:工作流、表单、BI组件、GIS组件等。

数据交换层:数据交换层将不同的数据信息在部门间进行交换,传送给所需部门。

数据采集层:数据采集层采用多种方法和数据接口,将从各相关部门采集的人口基础信息进行筛选、清洗等,保证人口基础数据的可靠性,准确性。

基础数据层:各类业务部门数据库的集合,如公安基础数据、计生基础数据、社保基础数据、医疗基础数据等。

基础设施层:平台运行所需的物理环境,包括主机、服务器等硬件设施以及骨干网、局域网等网络环境。

“两纵”是指纵向贯穿平台的两套体系,即信息安全体系和标准规范体系。

信息安全体系:信息安全体系覆盖系统整体结构中的各个层次,包括系统安全、网络安全、数据安全和应用安全等。其中,网络安全要重点建设安全接入平台,包括路由接入、边界保护、安全隔离、安全监测管理等。

系统标准体系:为实有人口基础信息资源库信息资源建设、共享、开发利用提供政策法规保障和统一的标准规范。

三法人数据库

法人数据库以法人单位组织机构代码为统一标识,以编办、民政、工商、质检等部门对法人管理的注册登记、变更、注销等法人信息为依据的法人单位基础信息库,实现法人库与各部门的信息交换,实现法人单位基础信息采集的标准化和信息动态维护、反馈机制的制度化,为国家电子政务、社会和市场监管、法人信息公开打下信息化基础。

3.1

建设背景

基于城市级的政务网络、空间地理信息系统以及支持多业务部门的数据集成和交换平台,按照统一的数据库编码标准,收集、比对、整合分散在各部门的基础数据,集聚、整合各参建部门管理系统中涉及法人的基础信息(如,机构代码、机构名称、机构类型、经济行业、业务、经营范围、机构地址、法定代表人等字段以及机构变更、注销的相关信息),建成标识统一、结构科学、查询快捷、动态管理的法人基础信息数据库。

法人数据库建设是由国家质检总局牵头,中央编办、民政部、国家税务总局、国家工商总局、国家质检总局、国家统计局等部门参加共同建设。

法人数据库的建立是制定与交换平台对应的相关标准、制度和规范的安全运行管理体系,实现工商局、地税局、国税局、质量技术监督局等法人数据相关业务部门之间的网络互联和业务数据的实时交换与应用。为旗政府建立“信息共享、业务联动、交叉稽核、统一监管”的经济管理和企业服务体系提供技术手段,为行政审批系统等项目提供法人单位数据支撑。

实现相关部门法人单位信息资源的实时共享,为企业技术创新、产品质量保障、中小企业发展、劳动就业需求、行政资源配置、产业经济安全、社会事业发展、市场开放竞争、社会信用体系等的监测分析和评价决策提供信息支持,提高管理、服务和决策水平。

3.2

法人库数据模型

法人库信息分为基本元素信息和扩展元素信息两大类。

1)基本元素信息是指法人库基础信息(目录索引信息)。包括:组织机构代码、法人名称、法人状态、法人类型、法人住所、法定代表人姓名、成立日期、批准机关、注册或登记号等9项。

2)法人扩展元素信息是指除法人基本信息外部门间共享需求较为普遍的法人信息。包括:组织机构代码信息、注册或登记信息、税务登记信息、统计信息4大类等34项。

备份集中的数据库与现有的数据库不同_钛备份 现在不能改id了_钛备份怎么备份多个数据

图4 法人主数据模型

法人数据库的数据来自市工商局、市编办、市社团办、市质监局、市国税局、市地税局及其它委办局。需要整合市工商局和市质监局的组织机构代码库、市工商局的企业注册登记库、市编办的事业单位注册登记和民政社团登记库、市地税局和市国税局的税务数据库、市统计局的基本单位普查库等。

钛备份 现在不能改id了_钛备份怎么备份多个数据_备份集中的数据库与现有的数据库不同

图5 法人主数据扩展视图

3.3

法人主数据库管理框架

备份集中的数据库与现有的数据库不同_钛备份怎么备份多个数据_钛备份 现在不能改id了

图6 图引自国研中心李广乾示意图

法人主数据管理架构中,法人主数据管理居于核心位置,为数据仓库和各部门、行业的业务应用提供统一的法人基础信息服务。

四宏观经济数据库

宏观经济数据库主要包括两大类部门数据和类别数据。宏观经济基础信息库中的部门数据信息反映从各部门采集、清洗、比对后的信息,信息的存储按照数据部门来源划分。类别数据信息是按照经济、社会、居民生活等数据类型进行存储,同一数据类别的信息可以来源于多个部门。

部门数据主要包括统计局、民政局、工商局、财政局、地税局、国税局、人力资源和社会保障、房产处、环保局、交通局、海关、商务局、旅游局。各部门要及时提供统计数据,以确保宏观经济基础信息的准确和一致。

类别数据信息主要包括经济、社会、居民生活、环境、资源、城市建设与管理、科技。类别数据信息入库前的流程跟部门数据信息一致,各部门数据均需与统计局数据进行比对,比对一致方可入库,如有不同需重新修改后入库。

宏观经济数据库包含人口库和国家条例库、固定资产投资项目数据库、国际收支数据库、国家经济文件文献数据库。

4.1

建设背景

各级政府部门、各级党政领导,都迫切需要准确精准、快速、系统的宏观经济信息,提高统计为国民经济宏观决策服务的快速支持能力,提高政府宏观信息使用的方便性,实现包括统计信息在内的政府公共信息的社会共享。

宏观经济数据库基础支撑系统进行建设的统计数据中心,是利用现代信息技术手段对统计信息资源实行集中管理。可对数据库进行多种操作、分析、预测,宏观库的建立对推进信息社会化和社会信息化起着重要的作用。

宏观经济数据库的建设目标是为政府提供真实准确、全面完整时便捷,可持续的政府公共服务;为政府宏观管理提供查询服务。以确保信息交换渠道通畅,使统计信息管理、数据发布、共享工作走入标准化、规范化的轨道。

宏观经济数据库是中国国家经济信息中心于1987年建成的。它是利用现代信息技术和科学管理方法,对各种宏观经济时间序列数据进行采集、加工、存储和检索的信息管理系统。

4.2

主要包含内容

宏观经济数据库的数据以统计经济信息为基础,整合统计局、府研究室、发改委、经贸委、国税局、地税局、工商局、劳动保障局、财政局、海关等部门的有关经济数据。

钛备份 现在不能改id了_备份集中的数据库与现有的数据库不同_钛备份怎么备份多个数据

图7 宏观经济数据库示意图

宏观经济部门数据信息来源于统计局、财政局、发改委等单位,具体情况见下:

1)统计局:GDP、失业率、CPI 等

2)民政局:行政区划、优抚救济福利、婚姻、残疾人及社区情况等

3)工商局:工商企业登记、私营个体户等数据

4)财政局:财政收入及支出情况

5)地税局:地方税种收入情况

6)国税局:国家税种收入情况

7)人力资源和社会保障:登记失业率、社会保障等数据

8)房产处:房屋建设及交易等数据

9)环保局:环境卫生、大气质量、水资源污染情况

10)交通局:公共交通、道路状况、交通事故等数据

11)海关:货物、人员、资金出入境统计数据

12)商务局:各类商务与利用外资统计数据

13)旅游局:国内旅游统计、黄金周统计等数据

类别数据信息是按照经济、社会、居民生活等数据类型进行存储,同一数据类别的信息可以来源于多个部门,具体情况见下:

1)经济:统计局、发改委、财政局、国税局、地税局、工商局、民政局、交通局、海关、商务局等

2)社会:统计局、公安局、人力资源与社会保障局、民政局、教委、卫生局等

3)居民生活:统计局、发改委等

4)环境资源:国土局、规划局、园林局、水务局、环保局、市政、民政局等

5)城市建设与管理:统计局、交通局、市政、水务局、环保局、建委、公安局等

6)科技:统计局、教委等

4.3

宏观经济数据总体框架

宏观数据库系统的核心是建立面向宏观经济发展、社会公共服务的数据库和数据服务。

钛备份怎么备份多个数据_钛备份 现在不能改id了_备份集中的数据库与现有的数据库不同

图8 宏观数据库总体框架示意图

总体架构由支撑体系(标准规范支撑体系、管理运行维护支撑体系、安全支撑体系)、网络系统、信息共享平台软硬件系统环境,数据库体系(中心交换库、基础数据库、主题库、发布库、宏观经济数据库管理系统、元数据库系统)、应用系统(数据交换处理系统、应用支撑系统数据、综合分离系统)组成。

信息共享平台,通过网络收集统计系统和共建部门的信息资源并有效地将这些信息资源进行分类整理实现跨部门跨行业的宏观经济管理信息共享,并向用户提供数据服务。

数据库体系由元数据控制实现数据的交换、存储和发布,整合共建单位现有信息资源构建主题库和发布库,为数据服务提供支持。

钛备份 现在不能改id了_钛备份怎么备份多个数据_备份集中的数据库与现有的数据库不同

图9 宏观经济数据库层次结构示意图

五自然资源与空间地理数据库

自然资源与空间地理数据库内容包括自然资源和地理空间综合信息库及综合信息产品库、基础性自然资源专题信息库及产品库、基础性地理空间专题信息库及产品库,以及各数据库的元数据库和数据目录体系。

5.1

建设背景

国家发展和改革委员会是国家自然资源和空间地理基础信息库(以下简称“基础信息库”)项目的牵头单位。项目参加部门和单位包括:国家发展和改革委员会、国土资源部、水利部、中国科学院、国家海洋局、国家测绘局、国家林业局、中国气象局、中国航天科技集团总公司、总参谋部测绘局、总装备部电子信息基础部。

自然资源与空间地理数据库的建设将为国家电子政务应用和社会公众提供长期、稳定、标准化的自然资源和空间地理基础信息产品及服务。这对于建设跨部门的电子政务应用系统具有重要的参考价值,同时对跨部门电子政务合作机制的完善具有积极的探索意义。

自然资源与空间地理数据库的建设目标是通过整合现有的地理空间信息资源建设可提供电子政务和社会化共享服务的标准化、规模化和可持续更新维护的基础性、战略性自然资源与地理空间信息资源,以信息资源整合为工作基础;为电子政务的主要应用构筑基础地理空间信息共享和应用服务平台,以信息共享服务为最终目标;为社会提供系列化、标准化的基础性地理空间信息产品,以产品服务为方式;促进自然资源与地理空间信息共享,带动相关产业发展,以项目建设为契机,推动产业发展。

5.2

主要包含内容

自然资源与空间地理数据库包括空间信息展示子系统和信息服务子系统。

空间信息展示子系统主要用于向各部门发布空间信息,使得各部门工作人员可以通过Web形式对地理空间数据库中的信息资源进行浏览检索,了解可共享的信息资源;

信息服务子系统则主要是由一系列数据服务接口组成,提供的数据共享服务主要有目录服务、电子地图服务、相关信息图层服务、遥感影像服务、图片多媒体数据服务等。

自然资源与空间地理数据库的数据主要以电子地图为基础,整合道路、行政区划、地籍、建筑物、地下管线、植被、土地利用等基础数据与园林绿化、规划用地、城市生态环境等专题数据。此外还包括教育科研院所、党政机关、医疗、体育和娱乐场所等基础数据。

5.3

应用框架图

备份集中的数据库与现有的数据库不同_钛备份 现在不能改id了_钛备份怎么备份多个数据

图10 自然资源与空间地理数据库框架示意图

在各专题信息库的基础上,针对电子政务的主流需求,对跨部门、跨行业的自然资源与地理空间信息进行整合,形成支持电子政务综合应用的、可共享的自然资源综合信息库及其标准化信息产品。内容上包括基础层数据库(如基础地理和区划综合信息库、遥感影像综合信息库)、专题层数据库(如自然资源综合信息库等)和应用层数据库(如自然灾害监测预警和突发事件应急反应综合信息库、资源安全动态评估预警综合信息库、生态环境评估综合信息库等)以及相应的元数据、标准化等系列产品。

结束语

四大基础数据库作为国家层面中心数据库,集中存储经过数据交换平台清洗、校验、整合的各业务部门的数据,形成一致性和权威性高的中心信息资源。同时提供跨业务、夸数据库的统一数据访问接口,以满足各部门的业务需求,提供统一的数据与数据服务资源目录描述和用户认证服务,既能方便业务部门访问基础数据库和其它部门数据库,又能严格控制其它部门对本部门数据的访问权限,提供基础数据库的日常维护工具和异地的容灭备份与恢复工具,保证基础数据库能够提供高效、实时的数据服务。(后记:该文编写过程,感谢蔡春久、王建峰两位老师悉心指导)

联系我们

限时特惠:本站每日持续更新海量设计资源,一年会员只需29.9元,全站资源免费下载
站长微信:ziyuanshu688

原题:交通行业企业数据备份实践经验

确认过眼神备份集中的数据库与现有的数据库不同,我遇见对的人,遇到一个对的人真的不容易,你可能不知道那个人到底是不是对的人,也许遇到了你却认不出来。对企业来说寻找一套适合自己的备份恢复方案同样不易。

1. 企业为何需要搭建备份恢复系统

为了避免因数据丢失带来的风险。作为一种保证数据安全和业务连续的重要技术和管理手段,备份系统建设的必要性不言而喻。信息系统在日常运行中可能面临各种风险带来数据丢失,例如:

1) 网络病毒、攻击造成停机与数据丢失

2) 黑客入侵造成信息泄密

3) 人为错误造成数据删除

4) 存储损坏造成应用停机和数据丢失

5) 服务器故障或交换机故障导致应用意外停机

6) 不可抗因素如火灾、地震等造成信息中心毁坏

2. 数据备份误区1) 用双机、阵列复制、等系统冗余替代数据备份

双机双柜可实现服务器和存储的高可用性,保障业务持续运行,但绝不能替代备份,因为双机双柜能解决数据的物理错误,例如:服务器或存储故障,但解决不了数据的逻辑错误,例如:病毒,人为误删除数据等。

2) 写脚本备份数据库代替数据备份软件

1个2个数据库还能操作过来,假如有100个数据库呢?除了数据库,其他的都要写脚本吗(您这是要开发个备份软件吗)?非常不建议这样操作,因为这样做问题太多了,如果有条件,就不要再人为写脚本备份了,不久前我碰到一个同行,一直用脚本备份的Oracle数据库,等恢复的时候发现每天备份的都是0KB,这才开会讨论脚本备份的没有数据验证功能。需要一套专业的备份软件来做这件事情,否则可能灾难重现。

3) 操作系统不用备份

有人说,系统备份什么?坏了就重装呗,数据不丢就行,首先大家应该都用过Ghost软件,容易不?太容易了!其实Unix,Linux,Windows 等系统备份恢复如果学会使用不比Ghost难多少,光盘启动,找到想恢复的时间点,分分钟系统就恢复到备份时的状态,但我们想一想,如果没有系统备份工具,我们要重装系统,然后找驱动,安装软件,系统优化,测试,这要多久,一个资深的运维技术6个小时你敢承诺系统能上线吗?我想没有人敢保证,我曾经看过一个工程师为了一个网卡驱动(非常老的服务器)花了一上午的时间。而且有的时候当时部署系统的工程师已经不在了,系统装上了,应用没人会装。想想现在我们的技术人员是不是大半夜的还有在机房维护操作系统的?运维人员忙的要死,天天救火,但技术又没什么长进,想想时间都去哪了。

4) 想用CDP代替备份

不论是CDP还是True CDP(就是业内说的真假CDP)都代替不了备份。

我们都知道备份都是放在系统空闲时做,大多数企业都会选择在夜里备份,因为备份会占用大量系统资源,系统繁忙的时候是不可以备份的,(除非你想让用户骂)。CDP顾名思义持续数据保护,不论真假CDP, 24小时不间断对系统IO读取,对系统的性能影响可想而知,CDP通常嵌入数据中心关键业务应用的I/O路径中,是一个I/O聚散点,其任何不稳定都可能导致关键业务停顿。所以CDP只能用在部分业务上,增强备份软件RPO的指标参数,而不是替代备份软件,不会有企业傻到所有业务都采用CDP保护,而且CDP一定要测试后方能使用,如果遇到产品问题或兼容性问题,你的业务系统可能宕机。

3. 什么是备份与恢复系统

数据备份与恢复系统是指在运行业务软件的计算机上安装专用的备份软件,该软件将按照计算机管理员设定的规则,周期性地为业务数据制作一个或多个拷贝,并将其存放到专门的备份设备上;当在线存储中的业务数据因为各种原因(如磁盘坏、病毒、误删除等)丢失后,管理员或用户可以通过备份软件提供的GUI, 从备份设备上将数据恢复到在线存储上。一般来说,在线存储是指计算机上存放数据的硬盘或磁盘阵列。存储设备通常是磁带机/磁带、或磁带库,也可能是磁盘、或磁盘阵列,VTL,或者备份一体化设备。备份是数据的最后一根稻草,没有人希望用到备份的数据,但是当我们无能为力的时候,只有备份能救我们。

4. 企业备份面临的技术难点

1) 备份环境越来越复杂,企业中包含各种类型操作系统,各种类型数据库,以及物理环境,虚拟化环境,云环境,缺乏集中、统一的备份管理平台,导致系统管理和维护复杂度增加,管理和维护成本上升;

2) 现有物理系统缺乏统一的主机灾难快速恢复解决方案,UNIX、Linux、Windows等各个业务系统的主机灾难恢复主要依靠管理人员手工操作,不同操作系统平台采用完全不同的恢复方案,管理和维护复杂度高,而且效率低下;

3) 存储空间问题:相应备份数据如果采用普通存放模式则需要耗费大量的存储空间。因此,如何能将这些数据高效安全的存放也是企业备份面临的的一个问题。

4) 备份时间窗口问题,已经很难在一个晚上将所有数据做一次完整的备份。

5) 单台服务器故障其影响可能会扩散到其他生产服务器:生产服务器同时管理备份设备,由于需要在SAN中与其他生产服务器共享设备,结果可能会导致关联其他服务器也要做配置变更管理

6) 可靠性问题:涉及到备份数据的安全问题。因此,整个系统的可靠性尤为重要备份集中的数据库与现有的数据库不同,备份经常失败会给企业管理人员造成过大的维护工作量。

7) 缺乏必要的校验和恢复演习,面临灾难,手足无措,备份的目的就是可以把丢失的数据恢复到生产的状态,但备份的可靠性并不能够保证备份了的数据就一定可以百分百恢复出来。因此,需要进行定期的数据恢复测试确保备份介质的可用性。

8) 缺乏专业的技术人员进行备份管理系统的维护,导致备份作业经常出现失败,也找不到很好的故障解决办法。

5. 铁路企业在备份方面面临的问题

1) 多数铁路企业没有考虑到操作系统备份。

财库联网集中户是什么意思_备份集中的数据库与现有的数据库不同_oracle expdp全库备份

2) 没有培养和配备专业的备份人员,导致备份作业失败率高,问题处理速度缓慢,尤其出现灾难故障的时候不知道如何应对,缺乏专业知识的交流渠道。

3) 备份项目跟着工程走,每个工程可能会配一套备份系统,形成不同厂家的多种备份系统,很难集中管理,维护繁琐,每天巡检都会大量浪费人力资源。

4) 系统越来越多,环境越来越复杂,备份时间窗口越来越紧张。

5) 很多工程的备份系统使用的是备份软件+VTL,这种情况,当VTL空间满了以后,过期的数据不能自动释放空间,需要人为手动操做,否则所有备份由于没有备份空间而失败,往往备份软件和VTL又是不同厂商,增加了维护难度。

6) 没有容灾演练平台,都是哪个坏了就恢复哪个,恢复会存在很多不确定性,导致恢复时间长,或者不能恢复。

6. 技术路线的选择6.1备份方式选择

可以分别采用4种备份方式:

1) LAN备份

基于局域网(LAN)的备份,服务器将局域网内不同主机的数据通过局域网备份到共享的磁带库中。这种集中备份管理架构,提高了磁带库的利用率,但是数据主要在局域网上传输,增大了网络传输压力。备份数据量非常少的应用主机建议使用基于LAN的备份。

2) SAN 备份

基于SAN的备份,需要备份的应用服务器通过SAN连接到备份介质上,应用服务器在备份软件的控制下,将数据通过SAN备份到备份介质上。这种架构将大量数据传输从LAN转移到SAN上,减小了网络传输压力,资源也得到了共享,但是备份时仍要耗费备份主机的CPU和内存资源,同时也占用光纤交换机端口。数据量比较大、备份频度比较高的应用系统应该采用SAN备份。

3) Server-Free备份

也是一种基于SAN的备份,无须在服务器上缓存而直接从在线存储设备向备份介质拷贝数据。这种备份架构使用SCSI远程拷贝命令,允许服务器向一个设备(如磁盘)发送命令,指示它直接向另一个设备(如磁带)传输数据而不需要通过服务器内存。对于海量的数据库系统备份可以采用Server-Free的方式进行备份,即通过在生产服务器上触发磁盘阵列的快照,然后由另外的主机将快照加载并备份。

4) SAN-Client备份

新一代的SAN备份技术,它可以帮助我们无需模拟磁带库的协议而实现光纤网络的 LAN-Free 备份,业务平台无需再承担安装备份设备驱动所带来的风险,同时避免了业务拓展造成的传统备份架构设备仲裁的问题。

6.2数据库在线备份方法

备份集中的数据库与现有的数据库不同_oracle expdp全库备份_财库联网集中户是什么意思

1) 备份软件会提供各种数据库的在线备份模块,可以在线对数据库进行数据备份,支持全量备份或增量备份。备份软件软件提供针对数据库的图形化备份和恢复向导。

2) 备份软件支持的数据库主要包括有:IBM DB2、Informix、Lotus® Notes/Lotus Domino® Server、Microsoft Active Directory、Microsoft Exchange Server、Microsoft SharePoint® Portal Server/Microsoft Office SharePoint Server、Microsoft SQL Server、Oracle、SAP、Sybase。

6.3海量数据库备份方法

1) 针对用户的海量数据库备份需求建议使用Server-Free的方进行备份。

2) Server-Free备份的基本原理是利用快照技术,通过对生产数据进行快照,然后将快照挂载到一台专用的备份主机上进行数据备份,从而将业务生产主机从备份的IO路径中释放出来。

3) 备份软件能够一体化管理server-free的全过程,包括:

1. 在生产主机上发现、定义、配置数据库备份所包含的文件及数据对象

2. 在生产主机上冻结数据库或文件系统的I/O操作

3. 在生产主机上通知快照提供商(阵列或者卷)创建并分离快照

4. 在生产主机上解除I/O操作冻结

5. 将快照挂载到另一个专用的备份代理机上

6. 将数据备份到备份系统

4) 进行server-free需要额外的快照提供方,通常是采取磁盘阵列快照的方式来实现,因为需要阵列提供商提供相应的功能和技术支持。

6.4海量小文件备份方法

1) 针对海量小文件的备份可以采用备份软件的客户端加速备份模式。备份软件的加速备份功能能够将传统完全备份速度加快到了增量备份的速度级。

2) 备份软件 Accelerator 大幅减少了传统完全备份所需的资源量(客户端 I/O、时间、网络和存储)。使用 备份软件 Accelerator,包含数百万文件的大型文件系统完全备份所需的时间只是增量备份的时间。原来备份时间内无法完成的系统备份,现在能够以更快的速度进行,从而使该备份能够在指定的时间内完成。

3) 备份软件 Accelerator 利用了变更跟踪功能,可以只识别和访问更改的数据,进而大大减少了遍历大型文件系统招致的文件系统开销。还可以在客户端或介质服务器对这个已经减少了的数据集进行重复数据删除,进一步降低了对网络和存储资源的需求。可以创建优化的合成完全备份,并内嵌目录,这样可以提供全面的恢复功能,缩短 RTO。

4) 在加速备份模式中,主要利用了如下三种技术来优化备份和恢复效率:

 前端重复数据删除:减少数据传输量,通过LAN达到较高的备份速度

 永久增量备份:每次只备份增量文件数据,减少备份内容,提高备份速度

 存储端优化合成:将增量备份合成为全备份,提升数据恢复速度

6.5操作系统备份方法

针对操作系统的保护,备份软件提供了系统备份功能实现操作系统的保护。我们可以非常方便的将操作系统最近一次备份的内容恢复到原机或者另外一台硬件配置类似的主机上。系统备份能够自动灵活地处理服务器恢复进程,不必再手动重新安装操作系统或配置硬件。不需要额外的培训或操作,在短时间内,用简单的操作,即可完成服务器操作系统的恢复。

6.6虚拟化环境备份方法

备份软件提供了即全面又简单的备份和恢复技术,能够对VMware 和 Microsoft Hyper-V® 虚拟化环境提供全面的保护。对于虚拟化环境,可以通过对整个虚拟机进行一次备份,而在恢复时可以选择恢复整个虚拟机或虚拟机内的单个文件,从而实现对虚拟环境在OS和文件系统两个层面的保护。

1) 对于VMware环境,备份软件能够通过API接口直接从SAN或LAN备份虚拟机的磁盘文件,无需在虚拟环境中安装任何备份软件软件模块;

2) 对于Hyper-V环境,备份软件通过安装在Hyper-V物理主机的备份软件客户端软件对虚拟机的磁盘文件进行备份,无需在虚拟机内部安装备份软件的软件模块。

3) 对私有云环境,尽量选择加速备份,以及智能备份策略(例如做一个智能策略,备份所有虚拟机,模板不备份,关机的不备份,名字带Test的不备份,某个IP地址段的不备份)。可大量减少备份管理员的维护工作,否则,今天加个新的虚拟机没有备份,明天哪个虚拟机删除了,备份的时候天天报错找不到虚拟机。

6.7备份设备的选择

1) 磁带库

1. 磁带的速度、并行度及可靠性越来越难以满足数据中心备份的需求

2. 在容量、方便扩展、可以离线存放上,目前还没有替代产品

oracle expdp全库备份_备份集中的数据库与现有的数据库不同_财库联网集中户是什么意思

3. 数据保护需求越发严格,法规、审计要求数据多份保存、长时间保存

4. 磁带慢慢退居幕后,作为数据长期归档保存设备

2) 磁盘阵列

使用磁盘做Staging。无法共享,空间开销大,只能短期保存数据。

3) 虚拟带库

虚拟磁带库VTL,将磁盘模拟成磁带库,可实现LAN-Free备份,过渡性产品。

4) 备份一体机

替换传统“PC+VTL”组合备份方案,利用软、硬件一体化设计的备份系统。

6.8重复数据删除技术的选择

数据急剧增长,速度空前,致使企业想方设法削减存储成本。最近几年里,重复数据删除技术已经使信息管理领域发生了翻天覆地的变化。简单而言,重复数据删除就是删除重复数据的过程。就数据备份而言,重复数据删除有助于避免执行不必要的任务,如通过网络传输以及存储冗余备份数据。可以采用以下两种方式删除重复数据:在源位置删除或在目标位置删除。

1) 在源位置,使用内置到备份软件客户端的客户端重复数据删除技术。

2) 在目标位置,使用介质服务器重复数据删除技术删除硬件设备重复的数块。

6.9恢复演练平台的搭建

恢复演练平台,用于进行整个业务应用系统包括底层操作系统平台的恢复,将整个已经备份的业务应用系统和相应的操作系统平台恢复到裸设备上,侧重于对整个业务应用系统的恢复演练。

建设系统级灾难恢复演练系统同样需要部署多台恢复演练服务器和磁盘存储阵列和备份软件客户端。在该系统中的恢复演练服务器无需安装操作系统和业务系统应用软件,但需要有能够运行业务系统的硬件平台例如小型机等。在恢复演练过程中将通过备份软件客户端将已经备份了操作系统和业务系统的备份数据,恢复到裸服务器或虚拟机。通过对裸服务器和虚拟机的直接恢复可以在最短时间内恢复用户的业务应用系统和数据,同时利用已经恢复的恢复演练服务器确认和检验灾难备份系统恢复的数据能用于进行整个业务应用系统的重建恢复工作。

本文作者:李志刚,某铁路局资深工程师,负责计算机系统软硬件安装、配置、升级、运行维护与安全基线管理及备份管理,保障系统正常运行,多年的一线实践运维经验。

相关资料,欢迎阅读下载:

限时特惠:本站每日持续更新海量设计资源,一年会员只需29.9元,全站资源免费下载
站长微信:ziyuanshu688

带有 SQL Server 的 Azure 虚拟机 (VM) 有助于降低高可用性和灾难恢复 (HADR) 数据库解决方案的成本。Azure 虚拟机支持大多数充当云解决方案和混合解决方案的 SQL Server HADR 解决方案。在仅包含 Azure 的解决方案中,整个 HADR 系统都在 Azure 中运行。而在混合配置中,解决方案的一部分在 Azure 中运行,另一部分则在组织的本地运行。Azure 环境具有灵活性,允许部分或完全迁移至 Azure,以满足 SQL Server 数据库系统对于预算和 HADR 的要求。

备注

Azure 具有用于创建和处理资源的两个不同部署模型:资源管理器部署模型和经典部署模型。这篇文章介绍如何使用这两种模型,但Microsoft 建议大多数最新部署使用 Resource Manager 模型。

有关部署类型,请参阅:

了解对 HADR 解决方案的需求

有责任确保数据库系统拥有服务级别协议 (SLA) 要求的 HADR 功能。Azure 提供了高可用性机制,例如云服务的服务修复和虚拟机的故障恢复检测,但这一事实自身并不保证你能够达到所需 SLA 的要求。 这些机制可以保护 VM 的高可用性,但不能保护在 VM 内部运行的 SQL Server 的高可用性。VM 联机并正常运行时,SQL Server 实例也可能会出故障。 再者,即便是 Azure 提供的高可用性机制,也会在 VM 遇到从软件或硬件故障进行恢复、操作系统升级等事件时,为其留出可能较长的停机时间。

此外,使用称作异地复制的功能在 Azure 中实现的异地冗余存储 (GRS),可能不适合作为数据库的灾难恢复解决方案。 因为异地复制功能会异步发送数据,在发生灾难的情况下,最近的更新可能丢失。

数据和日志文件各自在不同磁盘上的情况下不支持异地复制部分中提供了有关异地复制限制的详细信息。

详细请参阅:

HADR 部署体系结构

Azure 支持的 SQL Server HADR 技术包括:

可将多种技术配合使用,以实现具有高可用性和灾难恢复功能的 SQL Server 解决方案。根据所用技术的不同,混合部署可能需要使用 VPN 隧道连接 Azure 虚拟网络。以下部分显示了某些部署体系结构的示例。

仅限 Azure:高可用性解决方案

可针对在数据库级别具有 AlwaysOn 可用性组(称为可用性组)的 SQL Server 提供高可用性解决方案。还可以在具有 AlwaysOn 故障转移群集实例的实例级别创建高可用性解决方案。对于其他冗余,可以通过在故障转移群集实例上创建可用性组,在两个级别上创建冗余。

技术

示例体系结构

可用性组

在同一区域的Azure VM 中运行的可用性副本提供高可用性。需要配置域控制器VM,因为Windows故障转移群集需要Active Directory域。

为了实现更高的冗余和可用性,Azure Vm 可以部署在不同的可用性区域,中,如可用性组概述,中所述。如果可用性组中的SQL Server Vm 部署在可用性区域中,请使用以下文章中所述的适用于侦听器的标准负载均衡器,- AZURE SQL VM CLI, & azure 快速入门模板, 。

有关详细信息,请参阅在 Azure 中配置可用性组 (GUI),。

故障转移群集实例

可通过4种不同的方式创建需要共享存储的故障转移群集实例(FCI)。

1. 使用Windows Server 2016 在 Azure Vm 中运行的双节点故障转移群集存储空间直通 (S2D ),提供基于软件的虚拟 SAN。

2. 使用高级文件共享,

在Azure vm 中运行的双节点故障转移群集。高级文件共享是完全支持的、与故障转移群集实例完全支持的、低延迟文件共享。

3. 使用第三方群集解决方案支持的存储在 Azure Vm 中运行的双节点故障转移群集。有关使用 SIOS DataKeeper 的具体示例,请参阅使用故障转移群集和第三方软件 SIOS Datakeeper 的文件共享的高可用性,。

4. 通过 ExpressRoute 在具有远程iSCSI 目标共享块存储的 Azure Vm 中运行的双节点故障转移群集。例如,NetApp 专用存储 (NPS) 使用 Equinix 通过 ExpressRoute向Azuer VM 公开 iSCSI 目标。

对于第三方共享存储和数据复制解决方案,如有任何关于在故障转移时访问数据的问题,请联系供应商。

Azure:灾难恢复解决方案

可将可用性组、数据库镜像或备份和还原与存储 Blob 配合使用,为 Azure 中的 SQL Server 数据库提供灾难恢复解决方案。

技术

示例体系结构

可用性组

可用性副本在Azure VM 中跨越多个数据中心运行以实现灾难恢复。这种跨区域解决方案可以防止站点完全中断。

在某个区域内,所有副本应该位于同一云服务和同一VNet中。由于每个区域将有单独的VNet,因此这些解决方案需要VNet到VNet连接。有关详细信息,请参阅使用Azure门户配置VNet到VNet 连接,。有关详细说明,请参阅在不同区域的Azure 虚拟机上配置SQL Server可用性组,。

数据库镜像

主体和镜像以及服务器在不同数据库中运行以实现灾难恢复。必须使用服务器证书进行部署。Azure VM上的SQL Server 2008 和 SQL Server 2008 R2 不支持SQL Server数据库镜像。

使用Azure Blob 存储服务进行备份和还原

生产数据库直接备份到不同数据中心内的Blob存储以实现灾难恢复。

有关详细信息,请参阅Azure虚拟机中SQL Server 的备份和还原,。

使用 Azure Site Recovery 将SQL Server 复制和故障转移到Azure

一个Azure数据中心的生产SQL Server 直接复制到其他Azure数据中心的Azure 存储以实现灾难恢复。

有关详细信息,请参阅使用 SQL Server 灾难恢复和 Azure Site Recovery来保护 SQL Server,。

混合

混合IT:灾难恢复解决方案

可将可用性组、数据库镜像、日志传送以及备份和还原与 Azure Blob 存储配合使用,在混合 IT 环境中为 SQL Server 数据库提供灾难恢复解决方案。

技术

示例体系结构

可用性组

某些可用性副本运行在 Azure VM 中,另一些则在本地运行,以实现跨站点灾难恢复。生产站点可位于本地,也可以位于 Azure 数据中心。

由于所有可用性副本必须在同一故障转移群集中,因此该群集必须同时跨越这两个网络(多子网故障转移群集)。此配置需要在 Azure 与本地网络之间使用VPN 连接。

为了成功地对数据库进行灾难恢复,还应在灾难恢复站点上安装副本域控制器。

可以使用SSMS中的“添加副本向导”将Azure 副本添加到现有的Always On可用性组。有关详细信息,请参阅教程“将 Always On 可用性组扩展到Azure中”。

数据库镜像

一个伙伴在Azure VM 中运行,另一个则在本地运行,以实现使用服务器证书进行跨站点灾难恢复。合作伙伴不必在同一 Active Directory 域中,并且不需要 VPN 连接。

另一种数据库镜像方案是一个合作伙伴在Azure VM中运行,另一个则在同一Active Directory 域中本地运行,以实现跨站点灾难恢复。需要在Azure虚拟网络与本地网络之间使用 VPN 连接,详情参阅,。

为了成功地对数据库进行灾难恢复,还应在灾难恢复站点上安装副本域控制器。Azure VM 上的SQL Server 2008和SQL Server 2008 R2不支持SQL Server 数据库镜像。

日志传送

一个服务器在Azure VM中运行,另一个则在本地运行,以实现跨站点灾难恢复。日志传送依赖于Windows文件共享,因此需要在Azure虚拟网络与本地网络之间使用VPN连接。

为了成功地对数据库进行灾难恢复备份集中的数据库与现有的数据库不同,还应在灾难恢复站点上安装副本域控制器。

使用Azure Blob存储服务进行备份和还原

本地生产数据库直接备份到Azure Blob存储以实现灾难恢复。

有关详细信息,请参阅Azure虚拟机中SQL Server的备份和还原,。

使用Azure Site Recovery将SQL Server复制和故障转移到Azure

本地生产SQL Server直接复制到Azure存储以实现灾难恢复。

有关详细信息,请参阅使用SQL Server 灾难恢复和Azure Site Recovery来保护SQL Server,。

有关

Azure中的SQL Server HADR的重要注意事项

Azure VM、存储和网络的运行特征与本地非虚拟化的 IT 基础结构不同。需要了解这些区别并设计可适应这些区别的解决方案,才能成功地在 Azure 中实现 HADR SQL Server 解决方案。

可用性集中的高可用性节点

使用 Azure 中的高可用性集,可将高可用性节点放置在单独的容错域 (FD) 和更新域 (UD) 中。基础 Azure 平台为可用性集中的每个虚拟机分配一个更新域和一个容错域。数据中心内的这种配置可以确保在发生计划内或计划外维护事件时,至少有一个虚拟机可用,并满足 99.95% 的 Azure SLA 要求。若要配置高可用性设置,请将所有参与的 SQL 虚拟机放置在同一可用性集中,以避免在维护事件期间应用程序或数据丢失。只有同一云服务中的节点可加入同一可用性集。

有关详细信息,请参阅管理虚拟机的可用性:

可用性区域中的高可用性节点

可用性区域是Azure区域中独特的物理位置。每个区域由一个或多个数据中心组成,这些数据中心配置了独立电源、冷却和网络。区域内可用性区域的物理分离可确保至少有一个虚拟机可用,并满足99.99% 的Azure SLA要求,从而保护应用程序和数据免受数据中心故障的影响。若要配置高可用性,请将参与的SQL虚拟机分散到该区域中的可用可用性区域。会产生可用性区域间VM到VM的数据传输费用。

有关详细信息,请参阅可用性区域:

故障转移群集在Azure网络中的行为

Azure中的DHCP服务不符合RFC标准,可能会导致创建某些故障转移群集配置失败,因为向群集网络名称分配了重复的 IP 地址(例如 IP 地址与某个群集节点相同)。实现可用性组时,这种情况会产生一个问题,因为它依赖于Windows故障转移群集功能。

创建两节点群集并使其联机时,请考虑此应用场景:

·群集联机,NODE1会为群集网络名称请求一个动态分配的IP地址。

·DHCP服务除了NODE1自身的IP地址以外不提供任何 IP地址,因为DHCP服务识别出请求来自NODE1自身。

·Windows检测到同时向NODE1和故障转移群集网络名称分配了一个重复的地址,并且默认群集组未能联机。

·默认群集组移至NODE2,后者将NODE1的IP地址视为群集IP地址,并使默认群集组联机。

·当NODE2尝试与NODE1建立连接时,在NODE1上定向的数据包从不离开NODE2,因为后者将NODE1的 IP 地址解析为其自身。NODE2无法与NODE1建立连接,丢失仲裁并关闭群集。

·同时,NODE1可向NODE2发送数据包,但NODE2无法回复。NODE1丢失仲裁并关闭群集。

可通过将未使用的静态 IP 地址(如 169.254.1.1 等链接本地 IP 地址)分配给群集网络名称,让群集网络名称联机,从而避免这种情况发生。

若要简化此过程,请参阅在 Azure 中针对可用性组配置 Windows 故障转移群集,。

有关详细信息,请参阅在 Azure 中配置可用性组 (GUI),。

可用性组侦听器支持

运行 Windows Server 2008 R2、Windows Server 2012、Windows Server 2012 R2和Windows Server 2016的 Azure VM支持可用性组侦听器。这种支持的实现,是借助于在 Azure VM上启用的负载均衡终结点,它们都是可用性组节点。必须执行特殊的配置步骤,才能让这些侦听器对在Azure中运行和本地运行的客户端应用程序都有效。

有两个主要选项用于设置侦听器:“外部(公共)”或“内部”。外部(公共)侦听器使用面向Internet的负载均衡器并与可通过 Internet访问的公共虚拟IP (VIP)相关联。内部侦听器使用内部负载均衡器,且仅支持同一虚拟网络中的客户端。对于任一负载均衡器类型,都必须启用直接服务器返回。

如果可用性组跨多个Azure子网(例如,跨 Azure 区域的部署),则客户端连接字符串必须包含“MultisubnetFailover=True”。这会导致与不同子网中的副本建立并行连接。

有关设置侦听器的说明,请参阅:

仍可通过直接连接到服务实例,单独连接到每个可用性副本。此外,由于可用性组与数据库镜像客户端向后兼容,因此可以像数据库镜像伙伴一样连接到可用性副本,只要这些副本配置得类似于数据库镜像即可:

下面是一个示例客户端连接字符串,它对应于这个使用 ADO.NET 或 SQL Server 本机客户端的类似于数据库镜像的配置:

复制

Data Source=ReplicaServer1;Failover Partner=ReplicaServer2;Initial Catalog=AvailabilityDatabase;

有关客户端连接的详细信息,请参阅:

混合 IT 环境中的网络延迟

在部署HADR解决方案时,应该假设本地网络和Azure之间可能存在很高的网络延迟。将副本部署到Azure时,同步模式应使用异步提交而非同步提交。同时在本地和Azure中部署数据库镜像服务器时,请使用高性能模式,而非高安全模式。

异地复制支持

Azure 磁盘中的异地复制不支持将同一数据库的数据文件和日志文件各自存储在不同的磁盘上。GRS独立并异步地复制对每个磁盘的更改。此机制保证单个磁盘中异地复制副本上的写顺序,但不保证多个磁盘的异地复制副本上的写顺序。如果将数据库配置为将其数据文件和其日志文件各自存储在不同的磁盘上,则灾难后恢复的磁盘所含的数据文件副本可能比日志文件副本新,而这违反 SQL Server中的预写日志以及事务的ACID属性。如果无法对存储帐户禁用异地复制,则应将给定数据库的所有数据和日志文件都保留在同一磁盘上。如果因数据库较大而必须使用多个磁盘,则需要部署上面列出的某个灾难恢复解决方案以确保数据冗余。

后续步骤参阅

如果需要创建使用SQL Server的Azure虚拟机,请参阅在 Azure 上预配 SQL Server 虚拟机,。

若要使 Azure VM上运行的SQL Server保持最佳性能备份集中的数据库与现有的数据库不同,请参阅Azure虚拟机中 SQL Server的性能最佳实践中的指导,。

有关其他与在Azure VM中运行SQL Server相关的主题,请参阅SQL Server>(Azure 虚拟机上的 SQL Server),。

其他资源

钛备份 现在不能改id了_氦备份有好多不能备份_备份集中的数据库与现有的数据库不同

2019 Microsoft Ignite The Tour 即将到来!微软将把这场汇聚世界前沿科技的开发者盛宴带到你的身边,本着“求知、求同、求索”的原则,为广大开发者、IT专业人士以及数据分析师提供为期两天的专属免费深度交流培训。

北京站已经圆满落下帷幕,深圳站、上海站将陆续在2020年1月13-14日深圳会展中心,2020年3月18-19日上海世博中心举办,继续难忘的 Ignite 中国之旅。

除了一如既往的专业技术交流指导——350+ 专家现场零距离互动与100+ 深度技术研讨会及培训之外,更是首次实现了免费尊享,技术专家和开发者们将全程免费参与。

Ignite the Tour·深圳站

已开启报名

即刻扫码注册,尊享超值礼遇!

Ignite the Tour·上海站

已开启报名

即刻扫码注册,尊享超值礼遇!

Ignite the Tour·北京站

2019年12月10日至11日

北京国家会议中心报名已结束

限时特惠:本站每日持续更新海量设计资源,一年会员只需29.9元,全站资源免费下载
站长微信:ziyuanshu688

mysql 整库备份_itunes有备份无法恢复备份_备份集中的数据库与现有的数据库不同

作者 | 屠敏

出品 | CSDN(ID:CSDNnews)

经过一批批先行者和企业的努力,国产数据库崭露峥嵘,逐渐走上国际舞台,譬如:三年前阿里自主研发的金融级分布式关系数据库 OceanBase 在 TPC-C 基准测试中,拿到全球第一的好成绩;不久前,腾讯云数据库在 TPC-C的基准测试,性能达到每分钟 8.14 亿笔交易(tpmC),打破了世界纪录;与此同时,当 宣布将逐步结束在中国的直接运营之时,无论是阿里云的 AnalyticDB,还是南大通用的 GBase、鼎石纵横的StarRocks、华为的 GaussDB(DWS)均已做好了十足的准备。

从过往由欧美软件为主导到如今逐步实现国产替代,我们所处地位在不断刷新的背后是国产数据库的厚积与薄发,沉淀与酝酿。当下,随着 AI 2.0 时代的到来,以及各种类 ChatGPT 大模型工具不断孵化的今天,一些新需求的出现对数据库研发提出挑战,一些旧的观念也在发生变化,一些新的技术将对数据库产品形态产生影响。

为了帮助数据库从业者与企业探索更多可能,CSDN 重磅发布《2022-2023 中国基础软硬件-数据库开发者调查报告》,从工具、技术、应用、趋势等维度剖析数据库使用现状,展望数据库的未来发展路线备份集中的数据库与现有的数据库不同,同时,我们也特邀腾讯数据库首席架构师李海翔对报告进行深度分析与点评。

itunes有备份无法恢复备份_备份集中的数据库与现有的数据库不同_mysql 整库备份

以下是一些重要发现:

▶94%的开发者对数据库技术有一定的了解,但是参与数据库内核研发的专业人才仅有 5%;

▶有独立的理论原创内容才算是数据库实现了创新,支持这一观点的开发者人数最多;

▶ MySQL 使用率最高、TiDB 是开发者最熟悉的国产数据库;

▶68% 的企业计划或者已经应用了云数据库,但仍有 83% 的开发者对云数据库的数据安全表示担心。

▶「工程实现难度大,模块之间的耦合度太高」是开发者认为在数据库引擎研发中最大的挑战。

▶ChatGPT 的兴起,必然会对数据库的产品形态带来冲击。51% 的开发者看好 AI 融合数据库的发展,认为智能化、自动化运维数据库会一个很重要的方向。

mysql 整库备份_itunes有备份无法恢复备份_备份集中的数据库与现有的数据库不同

深入应用数据库开发者增加,但更为专业的数据库人才仍然匮乏

作为基础软件三驾马车之一的数据库,它是数据处理和存储的重要组成部分,对于开发者来说掌握其基础知识是必不可少的。

根据调查结果显示,有 40% 的开发者已经对数据库进行了深入的了解,并能够应用到实际的开发中,这一部分开发者可以被认为是数据库的高级使用者,可以独立进行数据库的开发和维护工作。这一数值相较去年 38%的占比,有所增加。

但是,仅有 2% 的开发者具有深入理解数据库原理的知识,并有数据引擎研发的背景,这些开发者具备编写高级数据库引擎的能力。

itunes有备份无法恢复备份_备份集中的数据库与现有的数据库不同_mysql 整库备份

图表1 开发者对数据库的了解

在有数据库相关工作经验和技能的开发者群体中,30%的开发者主要负责数据库业务开发,25%的开发者从事数据库应用程序开发。这两个领域的开发者充分掌握了数据库操作和应用的技能,能够快速有效地开发各种类型的数据库业务与应用。

备份集中的数据库与现有的数据库不同_mysql 整库备份_itunes有备份无法恢复备份

图表2 与数据库工作相关的开发者占比

另外,内核研发是数据库中非常重要的一部分,这部分开发者所需的技能与知识更为专业化和深入,不过内核研发的开发者仅占总开发者比例的 5%。

itunes有备份无法恢复备份_备份集中的数据库与现有的数据库不同_mysql 整库备份

国产数据库:谁能突破理论研究,谁就会受益

从上述数据中也不难看出,相较往年,关注与参与数据库开发的从业者在稳步增长,这离不开云计算和大数据等技术的加持,也离不开国内创业公司和大型企业纷纷涌入数据库市场的引导。

据调查数据显示,31% 的开发者感觉国产数据库发展迅速,表现出极大的潜力与发展前景;当然,也有 22% 的开发者认为国产数据库还缺乏创新,需要更多的技术和功能的升级。

备份集中的数据库与现有的数据库不同_mysql 整库备份_itunes有备份无法恢复备份

图表3开发者对国产数据库的印象

开发者们对数据库领域的创新展现了极高的关注和兴趣。根据我们所统计的数据显示,38% 的开发者认为,有独立的理论原创内容才算是数据库领域的创新。其次,在工程领域做到世界前列(32%)和基于现有理论独立完成编码实现(32%)紧随其后。

与此同时,也有不少开发者提出,国产数据库如果能支持中文语句、包罗万象、或者兼容其他类型数据库会更有创新性。

mysql 整库备份_itunes有备份无法恢复备份_备份集中的数据库与现有的数据库不同

图表4数据库领域中什么样算是创新

事实上,国产数据库在理论方面的研究还没有形成体系和影响力,好在能有一点成体系的研究,如 DTCC 大会近几年内分享过的分布式事务全局读一致性、多级一致性等。李海翔表示,「数据库的发展更需要在基础理论方面,投入更多的力量,取得突破。我们认为,能够引发数据库技术下一场的革命,一定是基础理论层面获得突破性进展。可以肯定的是,谁肯在理论研究层面投入资源,谁将获得收益」。

而在工程领域方面,也正如文章伊始所述,国内先后有阿里、腾讯 2 家公司,在 TPC-C 测评中先后以较大优势赢得榜首。当然,要想国产数据库未来取得无限可能的成就,还需要基于上述这些创新方向持续发力,做出突破。

备份集中的数据库与现有的数据库不同_itunes有备份无法恢复备份_mysql 整库备份

MySQL 使用率最高、TiDB是开发者最熟悉的国产数据库

调查数据显示,有 17% 开发者表示企业中使用商业数据库,39% 开发者表示企业中使用开源数据库,这反映出虽然开源数据库在成本、可定制性等方面有很大的优势,但商业数据库在数据安全、服务质量等方面的优势也不能被忽视。

itunes有备份无法恢复备份_mysql 整库备份_备份集中的数据库与现有的数据库不同

图表5公司使用或开发的数据库类型

关系型数据库依然是使用率最高的数据库类型,约 73% 的开发者在使用它。

备份集中的数据库与现有的数据库不同_mysql 整库备份_itunes有备份无法恢复备份

图表6开发者使用的数据库类型

开源的 MySQL 是使用率最高的数据库,占比 70%。另外 Oracle 和 Redis 的使用率也比较高,分别占比 28% 和 24%

备份集中的数据库与现有的数据库不同_itunes有备份无法恢复备份_mysql 整库备份

图表7开发者主要使用的数据库

国产数据库持续在特定领域深耕,也受到了不少开发者的喜爱, 数据显示, TiDB 数据库继续领先其他竞争对手,成为开发者最熟悉的国产数据库之一。同时,AliSQL 和 OceanBase 也保持其强劲的发展势头。

备份集中的数据库与现有的数据库不同_itunes有备份无法恢复备份_mysql 整库备份

图表8开发者最为熟悉的国产数据库(Top 10)

mysql 整库备份_itunes有备份无法恢复备份_备份集中的数据库与现有的数据库不同

云数据库势不可挡

本地部署是最常见的部署模式,占比高达 59%,其次是混合部署,占比为 34%。虽然混合部署、云托管和云原生的占比相对较低,但总体来说仍有相当大一部分的开发者在使用云端数据库服务。

itunes有备份无法恢复备份_mysql 整库备份_备份集中的数据库与现有的数据库不同

图表9数据库部署模式

究其原因,部署云数据库是一种高效的数据库解决方案,具有多项优点,如数据备份和恢复、灵活性、易扩展性以及成本节省等。随着云计算技术的不断发展和普及,越来越多的企业选择使用云数据库提高数据处理效率,并减少数据库维护成本。据调查显示,已有 48% 的企业应用了云数据库。还有 20% 的企业已经在计划中。

itunes有备份无法恢复备份_mysql 整库备份_备份集中的数据库与现有的数据库不同

图表10是否应用云数据库

不过,与传统的本地数据库相比,云数据库在许多方面具有更高的可靠性和安全性, 但仍有 83% 的开发者对数据安全表示担心。其次性能、网络延迟和价格等问题也占比较高。在云数据库的使用中,企业可以选择根据实际需求灵活调整所使用的云数据库规模,包括存储容量和性能型号,云数据库厂商也针对这些问题提供各种优化服务,例如定制化硬件和软件、自动负载均衡等。

itunes有备份无法恢复备份_mysql 整库备份_备份集中的数据库与现有的数据库不同

图表11企业在迁移上云过程中的顾虑

对此,李海翔表示,云数据库服务,未来还有一定的发展空间;但也表明,云数据库应用的速度并不是非常快,云数据库的技术尚需磨砺并获得突破,才能有望获得更大的份额。

备份集中的数据库与现有的数据库不同_itunes有备份无法恢复备份_mysql 整库备份

数据库研发面临重重挑战

对于很多开发者与企业而言,在开发数据库有关的应用过程中,也面临重重挑战。

据调查数据显示,最难点是需求分析,占比 30%。其次是数据结构(18%)、表结构的设计(17%)和系统设计(15%)。缺乏研发人才(14%)也是一个比较大的问题。

itunes有备份无法恢复备份_备份集中的数据库与现有的数据库不同_mysql 整库备份

图表12应用研发过程中的难点

另外,在数据库引擎的研发过程中,引擎的设计和优化是非常重要的,因为它直接关系到数据库的运行效率和稳定性。数据显示,33% 的开发者认为在研发过程中最大的问题就是「工程实现难度大,模块之间的耦合度太高」。实际上,这也是开发数据库引擎时遇到的一个难点。

itunes有备份无法恢复备份_备份集中的数据库与现有的数据库不同_mysql 整库备份

图表13研发数据库引擎的难点

虽然国产数据库发展稳中向好,但数据库迁移成本、兼容性等制约着国产数据库的发展,因此,国产数据库的发展也需要注意到这些问题,加强技术研发和团队建设,提高数据迁移和兼容性的能力,以更好地服务于广大用户。

mysql 整库备份_itunes有备份无法恢复备份_备份集中的数据库与现有的数据库不同

图表14制约国产数据库发展因素

与此同时,数据库需要满足多方面的需求,以更好地服务不同行业和用户的需求。总体来看,数据库需要具备足够稳定和安全性,53% 的开发者更加关注数据库的稳定性。44% 的开发者关注数据库的安全性。当然,数据的正确性、处理速度性能也是非常重要。

mysql 整库备份_itunes有备份无法恢复备份_备份集中的数据库与现有的数据库不同

图表15行业对数据库的特定需求排行

李海翔解析道,新的数据表明,在数据正确性方面,采用严格的可串行化隔离级别的用户(40%)已经多于采用弱隔离级别的用户(32%)。这一点和传统的认知有所不同:在 Oracle 数据库一统天下的时代,即使金融类的应用为追求性能也只采用读已提交隔离级别备份集中的数据库与现有的数据库不同,而把正确性的问题抛给开发者(开发者使用SELECT…FOR UPDATE)。人们普遍认为:弱隔离级别已经足够使用了。其实这一点非常不正确,在 DTCC 2022 大会上,有分享者给出数据证明:采用 SELECT…FOR UPDATE 从外部实现数据正确性的方法会严重导致数据库的性能下降,在较高并发场景下,数据库性能可能下降 70% 左右;所以数据库如何保证 100% 数据正确的背景下提高并发性能,对数据库研发而言是一个艰巨的挑战。

而如何解决上述提及到的数据库内核、数据库引擎以及让产品变得更智能更易用且更稳定的种种挑战,李海翔认为,当下或许可以思考 ChatGPT 技术能为数据库的易用性带来什么。

mysql 整库备份_itunes有备份无法恢复备份_备份集中的数据库与现有的数据库不同

ChatGPT 的兴起,必然会对数据库的产品形态带来冲击

当展望数据库的未来发展方向,开发者的观点主要集中在以下几个方面:

1. 多模数据库,即一库多用。这种数据库开发技术可以将不同应用所需的各种数据整合到一个数据库中,满足多个应用场景需要,占比为 52%。

2. AI 融合数据库也成为一个热门方向。数据库结合人工智能技术,可以实现数据库的智能化、自动化运维,从而提高数据库性能,占比为 51%。

3. 与云计算深度结合的数据库,作为一种新型数据库技术,将极大地提升数据分析和数据处理能力,占比为 40%。

mysql 整库备份_itunes有备份无法恢复备份_备份集中的数据库与现有的数据库不同

图表16未来数据库发展方向

对此,李海翔表示,当下许多开发者看好 AI 融合数据库的发展,现如今随着 ChatGPT 的兴起,必然会对数据库的产品形态带来冲击,新品类的数据库系统,也许会兴起,可能的方向为:易用的数据库系统,人机交互方式和运维方式将得到巨大改变;数据库引擎的核心组件如查询优化器、执行器、事务处理模块等,都有希望获得巨大变化。

以上便是《2022-2023 中国数据库开发者调查报告》的内容。之后我们将陆续揭晓围绕开源、基础软硬件、云计算、AIOT 四大主题的调查报告,敬请期待。

限时特惠:本站每日持续更新海量设计资源,一年会员只需29.9元,全站资源免费下载
站长微信:ziyuanshu688

本篇问答汇总由社区专家李志刚根据社区交流答疑活动内容整理总结,主要包括企业建设备份恢复系统中可能遭遇的难点问题,以及技术路线选型分析。

1、企业在建设备份恢复系统的过程中,可能有哪些误区?

主要认识误区有下面几个方面:

1)用双机、阵列复制等系统冗余替代数据备份

双机双柜可实现服务器和存储的高可用性,保障业务持续运行,但绝不能替代备份,因为双机双柜能解决数据的物理错误,例如:服务器或存储故障,但解决不了数据的逻辑错误,例如:病毒,人为误删除数据(rm –f )等。

2)写脚本备份数据库代替数据备份软件

1个2个数据库还能操作过来,假如有100个数据库呢?除了数据库,其他的都要写脚本吗(除非是要开发个备份软件)?非常不建议这样操作,因为这样做问题太多了,如果有条件,就不要再人为写脚本备份了,不久前我碰到一个内部同行,一直用脚本备份的Oracle数据库,等恢复的时候发现每天备份的都是0KB,这才开会讨论脚本备份的没有数据验证功能。需要一套专业的备份软件来做这件事情,否则可能灾难重现。

3)操作系统不用备份

有人说,系统备份什么?坏了就重装呗,数据不丢就行,首先大家应该都用过Ghost软件,容易不?太容易了!其实Unix,Linux,Windows等系统备份恢复如果学会使用不比Ghost难多少,光盘启动,找到想恢复的时间点,分分钟系统就恢复到备份时的状态,但我们想一想,如果没有系统备份工具,我们要重装系统,然后找驱动,安装软件,系统优化,测试,这要多久,一个资深的运维技术6个小时你敢承诺系统能上线吗?我想没有人敢保证,我曾经看过一个工程师为了一个网卡驱动(非常老的服务器)花了一上午的时间。而且有的时候当时部署系统的工程师已经不在了,系统装上了,应用没人会装。想想现在我们的技术人员是不是大半夜的还有在机房维护操作系统的?运维人员忙的要死,天天救火,但技术又没什么长进备份集中的数据库与现有的数据库不同,想想时间都去哪了。

4)想用CDP代替备份

不论是True CDP还是 CDP(就是业内说的真假CDP)都代替不了备份。我们都知道备份都是放在系统空闲时做,除了游戏企业外其他大多数企业都会选择在夜里备份,因为备份会占用大量系统资源,系统繁忙的时候是不可以备份的,(除非你想让用户骂)。CDP顾名思义持续数据保护,不论真假CDP, 24小时不间断对系统IO读取,对系统的性能影响可想而知,CDP通常嵌入数据中心关键业务应用的I/O路径中,是一个I/O聚散点,其任何不稳定都可能导致关键业务停顿。所以CDP只能用在部分业务上,增强备份软件RPO的指标参数,而不是替代备份软件,不会有企业傻到所有业务都采用CDP保护,而且CDP一定要测试后方能使用,如果遇到产品问题或兼容性问题,你的业务系统可能宕机。

2、企业在搭建备份系统中,可能犯哪些错误?如何避免和解决?

以下以分享者所在行业——铁路企业为例,供其他行业参考:

1)多数铁路企业没有考虑到操作系统备份, 本来可以再10分钟就恢复到系统备份时的状态,如果没有系统备份,可能恢复一个系统需要几天的时间.所以企业需要考虑所有重要操作系统的备份.

2)没有培养和配备专业的备份人员,导致备份作业失败率高,问题处理速度缓慢,尤其出现灾难故障的时候不知道如何应对,缺乏专业知识的交流渠道。企业应该加强对备份管理员的重视,给与足够的培训机会,不断提升备份管理员的技术水平.

3)备份项目跟着工程走,每个工程可能会配一套备份系统,形成不同厂家的多种备份系统,很难集中管理备份集中的数据库与现有的数据库不同,维护繁琐,每天巡检都会大量浪费人力资源。企业需要尽量整合资源,集中管理.

4)系统越来越多,环境越来越复杂,备份时间窗口越来越紧张。采用技术领先、产品兼容性好、技术支持完善的备份厂商产品。

5)很多工程的备份系统使用的是备份软件+VTL,这种情况,当VTL空间满了以后,过期的数据不能自动释放空间,需要人为手动操做,否则所有备份由于没有备份空间而失败,往往备份软件和VTL又是不同厂商,增加了维护难度。采用磁盘阵列或者备份一体化设备作为备份的载体。

6)没有容灾演练平台,都是哪个坏了就恢复哪个,恢复会存在很多不确定性,导致恢复时间长,或者不能恢复。需要在企业搭建自己的容灾演练平台。

3、建设备份系统过程中,可能遇到过哪些技术难点?

1)备份环境越来越复杂,企业中包含各种类型操作系统,各种类型数据库,以及物理环境,虚拟化环境,云环境,缺乏集中、统一的备份管理平台,导致系统管理和维护复杂度增加,管理和维护成本上升;

2)现有物理系统缺乏统一的主机灾难快速恢复解决方案,UNIX、Linux、Windows等各个业务系统的主机灾难恢复主要依靠管理人员手工操作,不同操作系统平台采用完全不同的恢复方案,管理和维护复杂度高,而且效率低下;

3)存储空间问题:相应备份数据如果采用普通存放模式则需要耗费大量的存储空间。因此,如何能将这些数据高效安全的存放也是企业备份面临的的一个问题。

4)备份时间窗口问题,已经很难在一个晚上将所有数据做一次完整的备份。

5)单台服务器故障其影响可能会扩散到其他生产服务器:生产服务器同时管理备份设备,由于需要在SAN中与其他生产服务器共享设备,结果可能会导致关联其他服务器也要做配置变更管理

6)可靠性问题:涉及到备份数据的安全问题。因此,整个系统的可靠性尤为重要,备份经常失败会给企业管理人员造成过大的维护工作量。

7)缺乏必要的校验和恢复演习,面临灾难,手足无措,备份的目的就是可以把丢失的数据恢复到生产的状态,但备份的可靠性并不能够保证备份了的数据就一定可以百分百恢复出来。因此,需要进行定期的数据恢复测试确保备份介质的可用性。

8)缺乏专业的技术人员进行备份管理系统的维护,导致备份作业经常出现失败,也找不到很好的故障解决办法。

4、企业在建设备份系统中,有哪些备份路线可供选择?

可以分别采用4种备份方式:

1)LAN备份

基于局域网(LAN)的备份,服务器将局域网内不同主机的数据通过局域网备份到共享的磁带库中。这种集中备份管理架构,提高了磁带库的利用率,但是数据主要在局域网上传输,增大了网络传输压力。

2)SAN 备份

基于SAN的备份,需要备份的应用服务器通过SAN连接到备份介质上,应用服务器在备份软件的控制下,将数据通过SAN备份到备份介质上。这种架构将大量数据传输从LAN转移到SAN上,减小了网络传输压力,资源也得到了共享,但是备份时仍要耗费备份主机的CPU和内存资源,同时也占用光纤交换机端口。

3)Server-Free备份

也是一种基于SAN的备份,无须在服务器上缓存而直接从在线存储设备向备份介质拷贝数据。这种备份架构使用SCSI远程拷贝命令,允许服务器向一个设备(如磁盘)发送命令,指示它直接向另一个设备(如磁带)传输数据而不需要通过服务器内存。

4)SAN-Client备份

新一代的SAN备份技术,它可以帮助我们无需模拟磁带库的协议而实现光纤网络的 LAN-Free 备份,业务平台无需再承担安装备份设备驱动所带来的风险,同时避免了业务拓展造成的传统备份架构设备仲裁的问题。

钛备份能备份应用数据吗_备份集中的数据库与现有的数据库不同_svn版本库定期备份

5、如何根据企业自身情况选择合适的备份技术路线?各备份路线所适合的业务场景?

1)LAN备份

备份数据量非常少的应用主机建议使用基于LAN的备份。

2)SAN 备份

数据量比较大、备份频度比较高的应用系统应该采用SAN备份。

3)Server-Free备份

对于海量的数据库系统备份可以采用Server-Free的方式进行备份,即通过在生产服务器上触发磁盘阵列的快照,然后由另外的主机将快照加载并备份。

4)SAN-Client备份

所有采用SAN备份的客户端都适用于SAN-client备份.

企业在选择自家的备份方案的时候,要根据自身的实际情况来定。不但要满足当前的备份需求,还要满足未来一段时间内的扩展。不考虑容灾复制,就当前的备份软件来说,目前有以下几种传统备份软件,如IBM TSM,Veritas的NBU、Backup Exec、EMC的Networker、CommVault等等。支持商用市场主流的业务场景,如文件备份、数据库备份、虚拟机备份、邮件备份、erp备份等场景。当前主流备份软件的版本也大都支持重删、备份容灾复制、磁带离线保存归档等功能,并且最新的版本都更新了对几种主流公有云的支持。但对当前大数据、开源技术等方面的支持,略有不足。如果企业做综合的备份方案,需要备份覆盖的多种业务场景,并且符合上述的条件,或者有磁带离线保存需求的,需要优先考虑传统的备份软件。

基于cdp的备份软件,如飞康的cdp、emc RecoverPoint以及早年IBM的fastback等产品都属于cdp备份产品。cdp备份的原理是复制IO的写入,并利用copy on write+时间戳的方式标记,副本会独立存放。cdp备份摆脱了保护周期的概念,对生成系统的数据持续的跟踪保护。一般需要在主机端有一定的要求,如利用aix的lvm功能,其他平台可能需要agent来配合,会带来一定的开销和兼容性问题。 如果企业的备份方案对rto,rpo要求极短,并且当前的基础架构环境与cdp的实施环境吻合,经测试IO复制方面兼容性和性能都比较良好,可以采用cdp的解决方案。

面向特定领域的备份软件,如面向虚拟化的veeam备份软件。在细分的虚拟化备份领域做到非常好。如果用户需要备份的环境都是虚拟化环境,并且对容灾有一定要求,可以选择veeam这类行的软件。当然也可以选择tsm+spp的组合,spp的更多功能还有待未来的版本去更新。

6、针对不同的备份路线,如何选择合适的备份设备?

备份路线的不同于备份设备的选择关系不大,主要的LAN备份设备不用带FC接口,SAN、SANclient、Server-free备份需要备份设备有FC类型接口。

目前基本三种:

1. 传统磁盘存储:就是磁盘阵列,现在很多备份软件的新特性都是基于磁盘存储做的,如tsm的容器目录存储池,支持重删、压缩、节点复制等等;nbu的msdp也是基于磁盘存储。磁盘存储的价格也越来越低。

2. 虚拟磁带库:底层也是磁盘存储,只是多了一层软件仿真的磁带库设备。适合原有的传统备份软件环境。压缩功能可以通过硬件实现。比如tsm只能通过磁带库来实现lanfree,这时vtl就发挥优势了。

3. 物理磁带库:优点是便宜、可离线存储。确定是慢,并发备份需要多驱动器支持。

综上,看自己需求了。

7、DB2、Oracle、MySQL等数据库在线备份有何区别?数据库在线备份应注意哪些问题?

区别: DB2、oracle、MySQL都采用物理备份的方式实现在线备份数据。DB2数据库默认使用脱机备份方式,在线备份时需要修改数据库配置文件,同时启用归档模式。Oracle使用rman进行数据库的在线备份,对数据库进行备份时也需要启用归档模式。DB2和Oracle在线备份有三种方式:完全备份、增量备份和差异备份。Mysql使用Xtrabackup实现在线备份,但是Mysql的在线备份方式单一,只用完全备份。同时,Mysql只能对数据文件进行备份,不能备份日志文件。

注意问题:

1)磁盘读写限制:在线备份虽然不会阻塞数据库的正常操作,但是会产生一系列的硬盘读写。如果服务器本身I/O就比较繁忙,备份动作会进一步影响数据库的性能。注意增强服务器的硬盘读写处理能力,或者选择合适的备份窗口。

2)网络带宽限制:在线备份需要注意网络资源,数据库在线备份时会产生大量的数据传输,如果网络带宽不足将对业务系统产生影响。选择合适的备份网络或者合适的备份窗口。

三者都支持在线备份,都需要开日志归档,mysql中记得是binlog,意思差不多。

如果采用备份软件备份的话,当前大部分备份软件还是调用数据库自身的备份,大部分还不支持mysql。

注意事项:

1. 备份的数据量:根据数据量测算备份时间、备份设备、选择合适的备份通道

2. 备份窗口:受数据量和备份速度影响,还需要避开业务高峰段。

3. rpo,rto:影响备份策略的设计。

4. 备份时对业务的性能影响程度:如果影响大,通过错峰窗口、或server less等方案来规避

8、不同虚拟化环境下(Citrix XenServer、VMware、hyper-v)的备份方法?

Citrix XenServer 需要在需要备份的Guest分别安装NBU Agent 来备份.

hyper-v 需要在Windows Server 上安装NBU Agent,然后通过Agent备份.

VMware不需要安装NBU Agent,直接通过VMware API 备份,只需要在NBU服务器输入VC的管理员以及密码.

对于虚拟化环境的备份支持,当前主流产品一般只支持VMware和hyper-v两个平台,这里的支持是指有专门的虚拟化备份模块,支持虚拟化产品备份相关的各种高级特性。其他虚拟化平台一般都是有限支持,有限支持的意思一般就是当作物理机来处理,在虚拟机内安装客户端。

李志刚,某铁路局资深工程师,负责计算机系统软硬件安装、配置、升级、运行维护与安全基线管理及备份管理,保障系统正常运行,多年的一线实践运维经验。

相关资料,欢迎阅读下载:

限时特惠:本站每日持续更新海量设计资源,一年会员只需29.9元,全站资源免费下载
站长微信:ziyuanshu688

linux svn全库备份_财库联网集中户是什么意思_备份集中的数据库与现有的数据库不同

「FOCUS · 焦点」成功案例大赏

Telenor 集团是世界领先的国际电信供应商之一,在全球 13 个市场拥有超过 2.14 亿用户。其匈牙利子公司 Telenor 通过集中式 Micro Focus 解决方案取代了传统的庞大备份系统,提供了基于数百 TB 的数据的颇具成本效益的监控方案,并能确保该公司符合审计要求。

直面数据挑战

亟需全新备份管理方案

像任何一家大公司一样,匈牙利 Telenor 公司必须跟踪不断增长的数据量。年审会检查内部对于财务报表的控制能力,要求公司迅速发现数据备份的错误。

然而,在 2016 年之前,备用系统的使用带来了麻烦。该公司每天需要备份数十 TB 的数据。包括电子邮件,以及由多达 100 个用于管理客户账单和工资单的应用程序创建的其他数据等等。最开始,团队使用一系列应用程序处理数据,包括数据仓库、Microsoft SQL Server、Microsoft Exchange和Oracle 数据库等,以及一系列的 Windows、Unix 和虚拟平台。随着数据量增加,Telenor 要满足服务水平协议(SLA)的难度越来越大。比如,SLA 要求快速完成关键备份。但每天备份 20 TB 的计费系统需要花费至少 20 个小时,并缺少一个能备份全部内容的工具。为此,在过去十年中该公司尝试实施了 7 个不同的备份应用程序,包括主要的备份解决方案 IBM Tivoli Storage Manager,作为本地数据库和操作系统备份机制、定制脚本,以及其他用于备份其数据库和虚拟主机的解决方案。

然而,备份工具的数量增加了问题诊断的难度。为了查明备份是否失败,IT 人员必须从 7 个备份应用程序中收集日志,全过程可能长达 2 小时,并可能导致预定的备份和恢复进程中断(如果发生,工作人员必须再次执行这些备份。)Telenor 还希望提高数据备份和恢复效率,因为缓慢的磁带库和驱动器限制了备份、恢复和应用性能的提升,而且管理备份既昂贵又耗时。综上所述备份集中的数据库与现有的数据库不同,为提高现有备份系统的性能和可靠性,该公司开始寻求一种全新的备份综合方案。

成功精简备份

整合优化 加速去重

2016 年,Telenor 开始整合和优化其备份环境备份集中的数据库与现有的数据库不同,该公司的选择是 Micro Focus 备份解决方案。匈牙利 Telenor 公司 业务价值可持续发展部 IT 服务体验交付办公室的主管 Tamás Lepenye 说:

“这个决定不仅仅考虑了技术因素。也是由于 Micro Focus 在当地的经验以及与我们合作的意愿。而且,我们认为 Micro Focus 解决方案具有成本效益。”

该公司通过 Micro Focus Data Protector 集中管理存储于不同系统、不同数据类型的备份及恢复进程,以减少备份的应用程序数。Data Protector 取代了许多现有备份工具,包括 IBM Tivoli Storage Manager。为更快地发现备份问题,Telenor 还采用了 Micro Focus Backup Navigator。该软件利用数据分析以及超过 75 个关键的性能指标,提供关于备份和恢复系统等的详细报告。

同时,为加快备份速度和减少失败的次数,该公司将数据备份到磁盘,然后再将相同的数据归档到磁带。它购买了一台 470 TB 的 StoreOnce 6500 Backup 磁盘设备作为虚拟磁带库,与 Data Protector 协同工作、去重数据,并减少存储需求。

在整体解决方案的交付过程中,Telenor 与 Micro Focus、独立 IT 顾问和项目经理 István Kerese 以及 Micro Focus 合作伙伴 Axis 密切合作。首先部署了试点系统,以寻找最佳的备份配置;然后对要迁移到新备份平台的应用程序和数据进行识别、分类和优先级排序;接下来,从那些预计耗时更长的备份系统开始,该公司开始逐步迁移需要备份的系统和备份策略列表,并对数据块大小、数据段大小、代理缓冲区等数十个备份参数进行了分析优化,以确保了在备份在不同平台设备的应用上最佳的运营性能。最后,测试全新备份解决方案足够满足性能与 SLA 要求。

除此外,Micro Focus 还为其产品专家提供专门的培训支持。István Kerese 说:

“所有的这些方面,确保了项目能顺利进行。技术能力固然很重要,但像这样庞大的项目,成功还有很多其他的因素。因为我们有所有的这些参与者,包括客户方面的合作工作人员存在,项目管理才变得如此轻松。”

高质量交付

高效率、高准确率、低成本

应对合规风险

该解决方案有助于解决欧洲通用数据保护条例(GDPR)的合规问题。虽然 Lepenye 表示 GDPR 并不是实施该项目的原因之一,但匈牙利 Telenor 公司的高级 IT 基础设施、运营IT基础设施专家 György Fajt 认为:“该解决方案提供了必要的能力、性能和管理功能,以实现会计审计的合规,同时只需要相当数量的资源来操作。”

提高团队生产力

该解决方案为 IT 团队平均每周节省了几小时的工时,它主要通过两种方式提升备份管理效率:

首先是集中化管理工具,让 IT 团队更快地识别备份故障。Backup Navigator 报告不会花费 1 小时从多个应用程序中筛选备份日志,而是向它们发出各种问题的警报。这些报告显示了最不可靠的设备,并提供了显示每个错误发生时间的时间线。及早发现问题还可以减少备份和恢复的中断。Backup Navigator 还与 Telenor 的票据系统合作,以简化 IT 团队的问题响应方式,确保在 15 分钟内识别响应备份故障。此外,监控软件还会列出各设备的数据传输速率和各备份客户端的会话流量。IT 团队可以借此主动监控备份系统的负载,并使用 Backup Navigator 检查容量,避免存储空间耗尽。

其次,StoreOnce Backup 设备允许 IT 团队更快地备份和恢复数据。备份 Microsoft SQL Server 数据库的速度比以前快 20%,备份 Microsoft Exchange 数据库的速度比以前快 10%。而在备份和恢复公司文件系统方面,该方案比旧的磁带系统快 20%。György Fajt 说:“Micro Focus 综合解决方案提供了容量、性能和管理能力,以实现符合会计审计的要求,并且只需要一定量的资源。”

降低成本

在未来,该公司也不需要在备份存储上花费那么多,因为删除重复数据正在精简其备份量,缩小了 StoreOnce Backup 虚拟带库规模,并减少了长期归档所需的物理磁带数量。据此,匈牙利 Telenor 公司的支持成本也大大降低,因为它已经成功统一了备份解决方案。

扫 · 码 · 阅 · 读

尽 享 企 业 数 字 化 转 型 盛 宴

linux svn全库备份_备份集中的数据库与现有的数据库不同_财库联网集中户是什么意思

限时特惠:本站每日持续更新海量设计资源,一年会员只需29.9元,全站资源免费下载
站长微信:ziyuanshu688