数据治理架构概述总结
数据治理架构概述总结 第一篇
缺少统一的规范，往往是数据混乱的根源。因此，数仓规范性建设非常重要。
数据规范治理包括：
一. 制定规范，包括数据模型规范、数仓公共开发规范、数仓命名规范,苦表规范等。
二. 规范落地，指定了规范，要有对应的机制以及工具保证规范能够落地，不能空有规范，却不执行。
数据规范性的治理，业内公司已经有一些比较好的实践，下面我们一起看看。
阿里规范性治理
美团规范性建设
规范建设
规范是数据治理建章立制的基础，针对标准规范建设不合理及流程规范缺失的问题，美团用体系化的建设思路从整体架构上对数据开发流程及数据治理流程进行划分，并针对全流程数据管治各个环节建设相应规范：
一、数据治理管理规范：明确数据治理组织职责以及人员构成，确定数据治理实施流程及治理问题运维流程，以保障数据治理过程顺利进行。
二、数据研发规范：明确数据开发各个环节需要遵守的规范要求，从问题产生的源头，通过建设完善的研发规范，指导研发工作按标准进行，一定程度上可减少问题发生。
三、数据标准化治理SOP：明确各个治理问题治理动作，确保治理动作是标准且可实施。
四、数据健康度评估规范：明确治理效果的评价标准，对数据体系做到长期，稳定及指标化的衡量。
规范落地
在标准规范的共享方面，以往技术团队在实际规范落地过程中可能存在以下问题：
一、规范找不着：重要规范文档散落在各个Wiki空间，导致使用时无法快速查找，效率低下。
二、规范质量差：文档没有统一进行维护，无法持续进行迭代和完善，不能随着业务及技术的发展更新。
三、规范没权限：文档散落在各个成员的私人空间内部，未对所有人开通权限，优质内容无法及时共享。
数据治理架构概述总结 第二篇
本书围绕数据价值的挖掘出现的诸多问题，以“数据治理与数据安全”为主题展开论述，对数据治理的对象、主题、框架和方式等进行分析，使读者认识到数字经济时代数据流动的重要性和巨大意义。然后，从国内、国际两个方面进行阐述，力图为政府和企业开展个人信息保护、推进数据开放共享及跨境流动战略出谋划策。最后，基于我国的实际情况，借鉴国际经验，针对数据开放共享中存在的问题提出了具体落地的数据治理策略。具有很高的理论意义和应用推广价值。
数据治理架构概述总结 第三篇
本书全面探讨了企业数据治理的方向、策略、总体架构、治理机制、运维管理等内容。首先关于企业数据治理的发展方向，提出了企业数据治理的“八步走”策略。然后从项目层面对企业如何进行数据治理进行了深入分析，分别对数据治理项目的前期准备、项目实施方法论及调研分析、构建数据管理体系、存量数据清洗、完善数据交换架构、优化增量数据质量、企业数据治理项目的管理，以及数据治理项目后的数据运维工作、监控进行了探讨，并分享了大量数据治理项目实际案例。
数据治理架构概述总结 第四篇
本书从大数据治理的基本概念和现状出发，提出了大数据治理的框架及治理的关键要素，分析了大数据环境下企业面临的挑战、战略转型、组织职能分配，创新性地提出大数据架构，关于了大数据环境下的数据质量、数据安全特点和应对方案，以及基于数据生命周期的风险、特点和管理方案，最后给出了大数据治理实施的方法论和基于服务的大数据治理价值展现。
本书立足于大数据环境下的数据治理，既有治理视角的战略价值、风险合规，也有管理视角的数据资产、数据服务，模型与案例结合，条理清晰，易于使用。
数据治理架构概述总结 第五篇
本书最新已经更新到第二版，是数据治理领域的经典书。本书是数据管理协会（DAMA国际）组织众多国际资深专家对过去三零多年数据管理领域知识和实践的总结，是市场上综合了数据管理方方面面的一部具有权威性的基础工具书。
从数据治理、数据架构、数据质量、数据安全、主数据管理、参考数据管理、元数据管理、商务智能和数据参考管理、数据建模设计、数据存储和操作、数据集成和互操作、文档和内容管理、大数据、数据管理人员的道德要求等方面关于了数据管理的知识体系，对于数据治理的落地意义重大。
数据治理架构概述总结 第六篇
本书首先对数据生产力的定义和内涵进行了界定。数据生产力是生产力理论体系在数字经济时代的拓展，是_数据 算法 算力”成为改造世界能力基础上对生产力经典论述的新阐释和再丰富。本书认为，数据生产力是在_数据 算力 算法”定义的世界中，知识创造者借助智能工具，基于能源、资源以及数据这一新生产要素，构建的一种认识、适应和改造自然的新能力。本书进一步将数据生产力的主题，从产业创新、经济增长、组织管理、产业分工、数据运营、数据资产、数据治理、数据产权、政府治理、数据主权等方面，进行了系统阐释和分析。
数据治理架构概述总结 第七篇
数据架构的设计是企业架构的一部分内容，对于企业架构的设计业界有很多成熟的模型和框架，例如：TOGAF、Zachman、FEA、DoDAF，在国内用的最广泛的是TOGAF框架。在TOGAF企业架构框架中，数据架构也是整个企业架构框架中的四个重要组成部分之一。
TOGAF框架将企业架构的规划设计分为了一个预备阶段和八个设计阶段，如下图所示。本次我们不对TOGAF框架如何使用做过多的探讨，事实上，没有那两家企业的业务、数据、应用系统，以及企业性质、管控模式、企业文化是完全相同的，所以我们在做数据治理架构设计的时候，任何先进的体系框架、最佳实践，都是只能作为参考，而不能照搬。最核心的，还是要结合企业的特点以及需求设计符合企业要求的数据架构。在这一点上，我非常喜欢TOGAF框架，它的每个阶段、每个步骤都是要我们围绕企业的需求进行规划和设计。
结合TOGAF框架，笔者认为数据治理项目中的数据架构设计，应有以下几个步骤：
数据治理架构概述总结 第八篇
本书关注数据要素中一个重要的领域——“数据治理”。书中关于了数据治理中公共政策的框架；分析了数据权属问题、个人数据的隐私性与经济性二元性及企业数据财产利益确认；分析比较了欧盟 GDPR 与美国加州 CCPA 两大体系的发展趋势，以及对数据跨境流动方面的认识和处理；探讨了面部识别、区块链、隐私计算的影响、挑战和机遇；本书还关于了我国个人信息保护立法与实践方面的情况，以及我国数据治理方面的努力与成效；特别是对抗击新冠疫情期间数据采集、使用、保护与责权处置等进行了深入剖析和解读。
本书对我们开阔视野、增长知识、预知未来，对于提升政府机构和企业对数据治理的科学性与系统性，对于增强个人数据隐私保护意识和落实个人隐私数据使用规范等均具有极其重要的作用，对于在全球化的今天如何正确处理数据权属、数据资产和数据保护等问题，对于有效保护个人数据隐私具有重要的指导价值。
数据治理架构概述总结 第九篇
本书详细阐述了大数据的基本概念、商业银行大数据应用的各类场景等内容，列举了当前商业银行普遍使用的各类大数据相关技术，数据治理的方法论、框架和成果，以及大数据治理体系。同时，本书结合商业银行自身特点，指出了商业银行大数据治理能力提升的重点方向，结合大数据成熟度模型构建数据治理能力评价方法，探讨了数据资产估值的现状及可行性。
本书既有较为全面的理论知识，又有丰富的商业银行实践与案例，可以作为商业银行数据管理者和大数据应用及开发人员的入门参考用书，也适合银行业务人员阅读以了解大数据应用对银行业务发展的意义和大数据治理对数据应用的支撑作用。
数据治理架构概述总结 第一零篇
以下结合笔者接触过的和了解的一些行业和企业谈一谈这些行业或企业的数据治理架构的特点。
一、元数据驱动的数据治理架构
新技术的发展给传统行业带来了挑战，就连我们一直艳羡的银行业也难以幸免。传统银行企业的信息化模式，也是先建设后治理，大量的烟囱式架构系统产生了大量的数据孤岛，业务的交叉、功能的重复、数据的冗余，数据质量不高、标准不统一、归集处理手段单一、存储分散，数据挖掘能力不足，数据割裂、共享不充分等问题在大多数银行企业还较为普遍。再加上互联网金融的冲击使得银行业面临了一个困难时期。
数据是企业的资产，对于银行业来说更是。特别是大数据在营销、风控和普惠金融等领域的广泛运用，数据已经从提高运营效率和监管效能的工具进化成为银行业最核心的资产和实现监管意图的重要依托。以元数据为驱动，理清企业数据资产，建立数据标准体系、数据质量管理体系，对企业实施数据治理，是银行业目前典型的数据治理架构。通过元数据管理平台, 实现元数据的采集、变更、删除及检索, 并在元数据的驱动下实现数据的抽取、转换、加载, 建立数据资源目录，盘点企业数据资产，结合数据标准管理、三六零°客户主数据管理和数据质量管理，实现统一、标准的对外数据服务，为企业的产品创新和服务创新提供支撑。通过数据治理，对优化银行业务，建立和保持与客户的良好关系，增加销售机会都起到了很大的支撑作用。
二、主数据驱动的数据治理架构
对于制造型企业来说，“降本、增效、提质”是企业永恒的追求的目标。在企业发展的进程中，业务关联越来越紧密，而割裂的业务系统，数据的不一致、不标准、不正确、不完整等问题对业务之间的协同、协作造成了很大的制约，进而影响了企业的“降本、增效、提质”目标。在制造型企业里，各部门、各业务之间线上沟通时，往往因为编码不统一，名称不一致，造成业务沟通不畅，增加沟通成本，影响业务效率。
通过对企业的数据资源进行统一的梳理和识别，建立主数据标准，包括：分类标准、编码标准、数据模型标准、数据质量规则标准、数据集成标准等。通过以主数据的为驱动的数据治理平台，打通各业务系统的数据通道，形成主数据的唯一数据源和统一数据视图，实现主数据的一物一码、统一管理、统一分发、统一应用。通过主数据的解决各异构系统的数据不标准、不一致问题，保障业务连贯性和数据的一致性、完整性和准确性，提升业务线条之间的协同能力，同时，高质量的主数据也为领导的管理决策提供了支撑。
三、微服务模式的数据治理架构
微服务——去中心化的信息系统架构，服务组件化、部署自动化、灵活敏捷的特点受到了互联网企业和一些开放性行业（二C业务）的推崇。随着微服务架构的落地，人们发现微服务架构虽然改进了开发模式，但同时也引入了一些问题，在这所有的问题中，最重要的就是数据的问题。在微服务架构中强调彻底的组件化和服务化，每个微服务都可以独立的部署和投产，很多的微服务有自己独立的数据库。这就带来了两个问题：一）业务系统对数据完整的查询，数据被割裂后如何来整合？二）如何对数据进一步的分析挖掘？这些需求可能需要分析全量的数据，并且在分析时不能影响到当前业务。
上图是某酒店基于微服务的数据治理架构，总体设计思路是采用三层架构模式，分为：数据层、服务层和应用层，将二C端业务微服务化，通过建立服务层将应用层和数据层隔离。微服务按照主数据的逻辑进行识别和划分，将共享程度较高的应用进行微服务化，同时将主数据应用进行微服务化，例如：会员中心、积分中心、产品中心、门店中心……。对于前端的业务系统，不能直接操作这些数据，而是通过调用服务层的各个微服务实现后端数据的获取。当需要对全量数据进行统计分析时，是通过数据移动的技术将相应的数据，移动并汇总到数据湖中，再按照统计分析的需要进行处理，实现分析。
四、基于混合云的数据治理架构
根据《中国混合云市场调查报告(二零一八)》混合云已经成为企业上云的主旋律，报告指出减少基础设施投资，并能够一定程度实现企业业务的定制和安全性的考量是企业选择混合云的重要原因。混合下的数据治理未来将是企业不得不考虑的问题。
基于混合云的数据治理模式，将将国家标准、行业标准的数据资源，形成公共数据资源池，部署在公有云端，并通过API接口服务提供出来供企业调用。每一个API接口可以看做是一个DSaaS服务，为了让公共数据资源池应用最大化，可以通过OpenAPI将数据开放，以供更多的应用开发者使用。对于企业而言，其数据治理的本质是提升数据质量，既然公有云有了高质量的标准数据，那么这一部分数据是完全可以引用到企业内部中使用的，使得公有云标准数据资源融合到企业的数据治理中来，一方面降低了企业数据管理维护的成本，另一方面提升了企业数据的可靠性。
五、大数据架构的数据治理体系
在大数据时代，数据分散在整个企业中。它是结构化的、非结构化的、半结构化的和各种其他格式。随着可用数据的数量、种类和速度都在以惊人的速度持续增长。此外，数据源不在需要管理的团队的控制之下。企业面临着两个紧迫的挑战：如何发现这些数据中的可操作的洞察力，以及如何保护它。这两个挑战直接取决于数据治理的能力。
大数据环境下，如何实现数据的高效治理。以上是某电信公司的大数据治理架构，数据治理平台包含了元数据管理、数据质量管理、主数据管理、数据标准管理和数据安全管理。通过数据治理平台定义大数据平台的数据结构、质量规则和数据标准，实现大数据平台的数据管控和治理。同时，大数据平台的分析结果也可以反哺数据治理平台，形成更多的可信赖数据服务。大数据平台与数据治理平台各模块之间的关系如下：
四、总结
数据架构设计定义是整体IT系统资产蓝图，为企业数据资产的管理和应用奠定基础。数据架构支撑数据的存储、访问、整合和分析，数据架构设计要不仅要考虑到相对静态数据，如：元数据、数据模型、主数据、共享数据的标准化问题，还需要考虑相对动态的数据，如：交易数据、数据流转、大数据、ETL、访问应用和数据全生命周期的管控和治理。对于数据治理架构的设计，应紧密贴合行业特点和企业需求，设计符合企业需求和发展的数据架构，强化数据治理、数据全生命周期、数据安全等方面的管理，持续提升数据质量，保证企业的数据资产的可靠性，使数据成为引领企业战略规划和业务发展的核心竞争能力奠定坚实的基础。
数据治理架构概述总结 第一一篇
本书站在国际的视角、历史的视角和系统的视角，围绕数据治理体系框架，以贵州为例研究分析数据治理的实践。内容分为两篇。第一篇分析总结了国际上重点国家和地区的数据治理实践经验，梳理关于了国内数据治理的发展历程和总体现状。第二篇详细关于了贵州在数据治理方面的探索过程，并从数据资产化探索、数据管理的体制机制、数据共享开放、数据安全和隐私保护四个方面深入分析总结贵州经验。贵州是国内大数据的先行者，深入分析总结贵州实践经验，对于国家发展数字经济、提升数据治理能力有十分重大的借鉴意义。
数据治理架构概述总结 第一二篇
数据架构其实还没有一个官方的、权威的定义，对于数据架构的理解和认知大多是源自于企业架构（EA），在EA架构中，数据架构是其一个重要的组成部分。企业架构一般包含：业务架构、数据架构、应用架构和技术架构。数据架构将企业业务实体抽象为信息对象，将企业的业务运作模式抽象为信息对象的属性和方法，建立面向对象的数据模型，数据架构实现从业务模式向数据模型的转变，业务需求向信息功能的映射，企业基础数据向企业信息的抽象。简单点说：数据架构是对业务架构中的各项业务的关联关系的逻辑描述，并通过数据架构描述各个应用模块的数据构成、相互关系和存储方式，位于业务架构和应用架构之间，起到承上启下的作用。
而我们所说的数据治理涉及的数据架构，从功能上讲，包括：信息资源目录管理、主数据管理、元数据管理、数据质量管理、数据标准管理、数据安全管理以及数据的全生命周期管理。
数据治理架构概述总结 第一三篇
大数据治理是传统信息治理的延续和扩展，其涉及的内容非常广泛。大数据治理确保以正确的方式对数据和信息进行管理，为大数据的有效应用保驾护航，使得数据成为一个有机整体而不是各自为政。本书首先对大数据治理的背景和基本概念进行简要关于，尝试为读者提供对大数据治理的基础认识；然后从政策、管理和技术等多个方面对大数据治理相关的概念和方法加以关于，对数据架构管理、元数据管理、主数据管理、大数据集成、数据质量管理、数据的标准化、数据资产化、数据安全与隐私保护等进行深入探讨，以期为读者提供一个比较全面的大数据治理的场景。
数据治理架构概述总结 第一四篇
本书梳理了元数据的发展历史、元数据的类型与应用，是科普元数据的《元数据》。它使我们看到，互联网发展得越来越快，元数据的格式也越来越多，人们对它的劋作要求也越来越高。“_登事件”之后，多的人开始关心元数据的使用方法与保护措施，因为它直接关系着个人、企业和组织的隐私。《元数据》也结合了元数据领域的前沿趋势，告诉我们利用元数据可以为大数据平台绘制数据地图，对数据平台进行监控……可做的事情如此之多。
数据治理架构概述总结 第一五篇
当然业内，已经有很多数据治理方案，并且一些公司已经形成了成体系的产品和架构，下面一起看看各公司的数据治理架构体系。
DataWorks是阿里的大数据治理平台。DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从二零零九年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。
管理层：立法，制定相关的组织保障流程规范、职责设计、奖惩措施，指导和保障数据治理顺利进行，这是数据治理能够成功启动运转的关键因素。
标准层：设标准，制定各类研发标准规范、解决方案标准SOP等数据治理过程中需要的各类技术规范和解决方案，这是所有技术问题正确与否的重要依据，也是治理中事前解决方案必不可少的一部分。完善的标准规范和良好的落地效果，可很好地降低数据故障问题的发生量。
能力层：完善能力，主要是基于元数据的问题度量的数字化能力，以及问题工具化检测和解决的系统化能力。数字化和系统化能力是数据治理实施的科学性、实施的质量及效率的重要保障。
执行层：设定动作，结合要达成的具体目标，对各治理域问题，按照事前约束、事中监控、事后治理的思路进行解决。目标的达成，需要拆分到七大治理域相关的具体问题中去落地。因此，一个治理目标的达成，很依赖治理域对问题描述的全面性及深度。
评价层：给出评价，基于指标的问题监控，健康度评价体系，专项评估报告，评价治理收益及效果，这是实施治理推进过程监控，结果检验的重要抓手。
愿景：长期治理目标，指导数据管治有方向地不断朝着最终目标前进。
华为的数据治理中心名为DataArts Studio。它是针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台。包含数据集成、数据开发、数据架构、数据质量监控、数据资产管理、数据服务、数据安全等功能，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，实现数字化转型。
数据治理架构概述总结 第一六篇
对于数据治理来说，人与技术同样重要。数据治理需要一个紧密、完善的组织不断去计划、实施、优化数据治理的工作。
二. 定期确定企业级和业务级的治理目标，确认年度/季度的总体目标和分拆目标，建立使用资产健康分作为集团统一普查衡量标准，进行短期和长期的标准评估方式，统一各方认知，降低沟通消耗。
三. 不断配合治理目标达成的同时，也需要降低数据治理的成本，配套确认长期性、常态化的策略、工具、文化的建设内容和配合方式。
阿里数据治理组织建设
华为数据治理组织建设
在战略层面，由数据治理Sponsor和各部门负责人组成的数据治理领导组制定数据治理的战略方向，以构建数据文化和氛围为纲，整体负责数据治理工作的开展、政策的推广和执行，并作为数据治理问题的最终决策组织解决争议，监控和监督数据治理工作的绩效，并确保数据治理工作预算支持。数据治理委员会和各领域数据治理工作组是数据治理战略在运作层面具体的实施团队。领域数据治理工作组由数据Owner、数据代表、数据管家、数据专员和数据架构师组成。详细的指责关于，可以看看原文：华为数据治理方法论
数据治理架构概述总结 第一七篇
为什么要做数据治理？因为在数据产生、采集、加工、存储、应用到销毁的全过程中，每个环节都可能会引入各种质量、效率或安全相关的问题。在公司早期的发展阶段，这些数据问题对公司发展的影响并不是很大，公司对问题的容忍度相对也比较高。但是，随着业务的发展，公司在利用数据资产创造价值的同时，对数据质量和稳定性要求也有所提升。此外，当数据积累得越来越多，公司对数据精细化运营程度的要求也随之提高，会逐渐发现有很多问题需要治理。
数据治理架构概述总结 第一八篇
为了解决数据使用效率问题，应该建设元数据，元数据解决的问题为：
元数据分类
业务元数据：描述数据系统中业务领域相关概念、关系和规则的数据；包括业务术语、信息分类、指标、统计口径等。（从业务角度描述的）
技术元数据：描述数据系统中技术领域相关的概念、关系和规则的数据；包括数据平台内对象和数据结构的定义、源数据到目的数据的映射、数据转换加工过程的描述等。
管理元数据：描述数据系统中管理领域相关概念、关系、规则的数据；主要包括人员角色、岗位职责、管理流程等信息。
腾讯数据资产管理建设
美团数据资产管理建设
资产全景从管理者+数据RD视角出发，关于了当前数据现状即有什么的问题，帮助业务线管理者及数据RD实现数据资产可视化，为管理者提供技术管理的抓手，为数据RD提升数据探查和数据使用效率。包含资产大盘、资产目录、个人资产三个子模块：
资产大盘：从业务线管理者视角出发，展示了业务线内各类资产概览，帮助管理者一站式快速了解组内数据资产，无需跳转多个平台。
资产目录：展示团队数据各资产类型及明细，为数据RD数据使用提供信息支撑，提升RD数据探查效率。
个人资产：从归属人视角，展示数据RD个人及小组名下数据资产数量和资产类型及数据明细，详细描述个人资产信息。
美团元数据建设如下：
数据治理架构概述总结 第一九篇
数据治理是一项需要长期被关注的复杂工程，这项工程通过建立一个满足企业需求的数据决策体系，在数据资产管理过程中行使权力、管控和决策等活动，并涉及到组织、流程、管理制度和技术体系等多个方面。一般而言，数据治理的治理内容主要包括下面几个部分：
a. 标准问题：当公司业务部门比较多的时候，各业务部门、开发团队的数据标准不一致，数据打通和整合过程中都会出现很多问题。
b. 质量问题：这是最重要的问题，很多公司的数据部门启动数据治理的大背景就是数据质量存在问题，比如数仓的及时性、准确性、规范性，以及数据应用指标的逻辑一致性问题等。
c. 效率问题：在数据开发和数据管理过程中都会遇到一些影响效率的问题，包括数据研发效率，数据使用效率，很多时候是靠“盲目”地堆人力在做。
d. 成本问题：互联网行业数据膨胀速度非常快，大型互联网公司在大数据基础设施上的成本投入占比非常高，而且随着数据量的增加，成本也将继续攀升。
e. 安全问题：业务部门特别关注用户数据，一旦泄露，对业务的影响非常之大，甚至能左右整个业务的生死。