新质生产力与数据标准化
2024-10-12 16:40:55

微信图片_20241012164506.jpg

在数字经济背景下,新质生产力以科技创新推动产业创新为要义,以大幅提升全要素生产率为目标,重在加强人工智能、大数据、物联网、工业互联网等数字技术的融合应用,以数据开发利用为引擎促使生产要素实现创新性配置,催生新产业、新模式、新动能,旨在走出一条生产要素高效协同、产业深度转型升级的增长路径。数据作为数字时代的新型生产要素,打破了传统生产要素的质态,是形成新质生产力的优质生产要素。

 1234.jpg

数据要素能够促进规模报酬递增,数据要素能够推动科技创新,数据要素能够推动产业实现深度转型升级,催生新产业、新业态、新模式。通过大量运用互联网、人工智能、云计算等数字技术,促进数据、高素质劳动者、现代金融等要素紧密结合,可以实现主导产业和支柱产业的持续迭代升级。数据要素能够推动生产要素创新性配置。数据要素有利于提高全要素生产率。充分发挥数据要素推动经济发展的乘数效应。数据要素赋能新质生产的理论机制表现为:作为数字化、网络化、智能化的基础,数据已快速融入生产、分配、流通、消费和社会服务管理等各环节。首先数据是新质生产力的重要支撑;其次数据要素市场的发展有助于推动新质生产力的进步;此外数据的广泛应用使得劳动力从体力密集型向知识密集型转变,这符合新质生产力的知识密集型特征。

搜狗截图24年10月11日1318_8.jpg

数据已成为国家基础性战略资源和关键生产要素,并由此形成数字生产力。数字生产力是指在数据+算力+算法构筑的数字平台或数字世界中,劳动者运用数字技术,充分开发利用数据这一新型生产要素,高质量地为人类创造物质财富和精神财富的新能力。在人工智能和机器学习领域,生成式预训练转换器(GPT)被视为一项革命性技术,它改变了我们与机器互动的方式。数据在推动经济高质量发展和新质生产力形成中的作用不容置疑,但实践中数据价值尚未得到充分释放。完善数据基础制度建设,加强数据基础设施建设,积极探索公共数据授权运营机制,支持和鼓励创新数据开发利用场景,繁荣数据开发利用产业生态。数据标准的建立至关重要。

 876.jpg

数据标准是进行数据标准化的主要依据,构建一套完整的数据标准体系是开展数据标准管理工作的良好基础。根据信通院发布的《数据标准管理实践白皮书》中的定义:数据标准(Data Standards)指的是保障数据的外部使用和交换的一致性和准确性的规范性约束。根据全国信标委大数据标准工作组发布的《数据管理能力成熟度评估模型》中的定义:数据标准:数据的命名、定义、结构和取值的规则,是组织数据中的数据规范和基准(业务含义、技术表达),为组织各个信息系统中的数据提供规范化、标准化的依据,是组织数据集成、共享的基础,是组织数据的重要组成部分。维基百科认为数据标准化是指研究、制定和推广应用统一的数据分类分级、记录格式及转换、编码等技术标准的过程。所以数据标准是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。数据标准化是指将不同来源、格式、规格的数据进行统一处理(转化为符合特定规范和格式),数据进行清洗、转换和统一,使其具有可比较性和可操作性的过程。

 778.png

数据标准化的意义和作用是数据一致性:通过数据标准化,可以将来自不同来源的数据转化为相同的格式和规范,确保数据的一致性。这有助于消除数据冗余和错误,提高数据的质量和可靠性。数据比较和分析:标准化的数据使得比较和分析更加容易。通过将数据转化为统一的表达形式,可以进行跨数据源的比较和分析,发现数据中的关联和趋势,支持决策和业务优化。数据集成和共享:数据标准化为不同系统和应用程序之间的数据集成提供了基础。标准化的数据可以更容易地被不同系统共享和交换,促进了信息的流动和共享,提高了组织的协同效率。数据治理和合规性:数据标准化是数据治理的基础。通过制定和遵循数据标准,可以确保数据的合规性和安全性,满足法规和行业标准的要求。数据标准化可以分为数值标准化,文本标准化,时间标准化,空值处理,数据类型转换,数据格式转换等几类。

 搜狗截图24年10月11日2115_17.jpg

数据标准化的方法为数据清洗:数据清洗是数据标准化的第一步,包括去除重复数据、处理缺失值和异常值等。可以使用数据清洗工具和算法来自动化处理这些任务。数据转换:数据转换是将数据从一种格式或结构转化为另一种格式或结构的过程。常见的数据转换方法包括数据格式转换、数据编码转换、数据单位转换等。数据规范化:数据规范化是将数据转化为特定的规范和标准格式。如日期可以按照ISO 8601标准进行格式化,货币可以按照ISO 4217标准进行统一编码。数据映射和整合:数据映射将不同数据源中的相似数据进行对应,建立数据之间的映射关系。数据整合将来自不同数据源的数据合并为一个统一的数据集。数据质量管理:数据质量管理是数据标准化的关键环节。通过制定数据质量规则和指标,对数据进行评估、监控和改进,确保数据的准确性、完整性和一致性。

 888.png

数据标准化适用场景有企业级数据管理和数据集成项目。数据仓库和商业智能系统的建设。跨部门和跨系统的数据共享和交换。数据分析和决策支持系统的开发和运营。遵循行业标准和法规的数据管理和合规性要求。数据标准化是将不一致、不规范的数据转化为符合规范和格式的过程。它具有重要的意义和作用,包括提高数据一致性、支持数据比较和分析、促进数据集成和共享,以及满足数据治理和合规性的要求。数据标准化的方法包括数据清洗、数据转换、数据规范化、数据映射和整合,以及数据质量管理。数据标准化适用于各个行业和领域,尤其适用于企业级数据管理、数据集成、数据分析和决策支持等场合。通过数据标准化,组织和企业可以更好地管理和利用数据,提升业务效率和竞争力。

 微信图片_20241012164522.jpg

作为企业,数据管理的难点在于1.数据共享难以实现。由于各个系统的数据存储结构不一致,分布在多个系统的不同数据,没有统一的标准,无法关联整合和分析,影响不同系统之间的数据共享。2.数据名称,标准不规范,语义不清。3.数据理解沟通成本高。降低企业组织内部的运转效率。数据标准规范的分类可分业务标准规范,技术标准规范,管理标准规范。数据建设的好处在于数据标准的统一制定与管理,可保证数据定义和使用的一致性,促进企业级单一数据视图的形成,促进信息资源共享。通过评估已有系统标准建设情况,可及时发现现有系统标准问题,支撑系统改造,减少数据转换,促进系统集成,提高数据质量。数据标准可作为新建系统参考依据,为企业系统建设整体规划设计打好基础,减少系统建设工作量,保障新建系统完全符合标准。同时数据标准建设也为企业各类人员提供相应的支撑。

 766.png

数据标准是指企业为保障数据的内外部使用和交换的一致性和准确性而制定的规范性约束。而数据标准管理则是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。数据标准是数据管理的基础性工作,是数据管理建设中的首要环节,具体主要体现在几个方面:数据标准为数据平台提供统一的数据标准定义和平台逻辑模型;数据标准是数据平台进行数据治理的依据和根本;数据标准是衡量数据平台数据资产运营和管理的评估依据;需要通过数据标准管理的实施,实现对数据平台全网数据的统一运营管理。 

 453.png

数据标准建设中的需要注意数据标准统一规划。以数据资产管理需求为导向,结合数据标准规范指导内容,构建适应数据平台的数据标准体系,并制定数据标准实施方案。建立数据标准挂历的支撑体系。要求包括数据标准管理组织架构、数据标准管理办法和制度流程,以及数据标准管理支撑工具。注意数据平台中数据业务口径和技术口径有效协同统一问题。要满足数据平台的平台化、产品化和数据资产运营的需求。需支持数据平台的数据接口标准化定义。 满足原有数据可逐步进行数据标准规范的迁移和统一。当然建设数据标准体系必备的前提条件是构建数据标准管理组织,制定数据标准管理制度,数据标准规范包含项目如业务标准规范,技术标准规范,管理标准规范等。

765.png 

企业数据标准化实施一般分四个阶段。第一阶段数据盘点与评估。数据盘点与评估工作包括以下内容:通过现状调研和需求收集充分了解数据标准化的现状和诉求;通过数据资源盘点理清存量数据标准化的状况和问题; 结合数据评估和对标成功实践确定数据标准化的基线和目标,为数据标准化实施提供依据。领导要思考要把什么数据转成标准化数据。标准化公式用于将原始数据转换为标准化数据。其公式如下: z = (x - μ) / σ 其中,z是标准化后的数据,x是原始数据,μ是原始数据的均值,σ是原始数据的标准差。标准化的优点是它可以将所有变量的尺度调整到相同的尺度,使得变量之间更容易比较和比较。此外标准化可以减少某些变量的量级差异,使数据更易于分析和推断。

 1111.jpg

第二阶段建立保障机制。建立数据标准化组织体系和认责流程,为数据标准化提供组织保障;建立数据标准化制度规范,为数据标准化提供制度支撑;加强人才培养和配置,为数据标准化提供人资和能力保障;推进数据文化建设,为数据标准化营造良好的环境和氛围。第三阶段数据标准化实施。建设技术平台和工具,为数据标准化实施落地提供技术支撑;针对数据标准化各个关键域逐一开展专项实施,确保各项关键目标落地。第四阶段数据价值实现。数据标准化是企业数据治理的关键基础保障,也是数据治理的重要抓手,利用数据标准化驱动好企业数据治理,持续推动数据治理的成果落地、实现数据价值,才是企业开展数据标准化工作的终极目的。

 322.png

当然在数据分析之前,我们通常需要先将数据标准化,利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题,对不同性质指标直接加总不能正确反映不同作用力的综合结果,须先考虑改变逆指标数据性质,使所有指标对测评方案的作用力同趋化,再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种,常用的有最小最大标准化“Z-score标准化按小数定标标准化等。经过上述标准化处理,原始数据均转换为无量纲化指标测评值,即各指标值都处于同一个数量级别上,可以进行综合测评分析。

 311.jpg

操作型系统我们经常看的企业的ERP系统、CRM系统、SRM系统,这些系统有的用的是套装软件,有的是自己开发的。梳理好数据标准要落地的时候主要有以下三种解决方案:第一个解决方案就是刚才我们提到的主数据的解决方案。主数据的解决方案解决机构系统之间的数据统一的问题,要实现一码一目一数一元,统一数据来源。这是数据标准落地的解决方案,主数据是解决方案。第二个解决方案是构建标准数据库。新业务系统来了,所有的需要运行的基础数据都可以从数据标准库里面来取,通过数据服务厂把数据标准提供出去,为业务系统的构建提供相应的支撑。第三个解决方案是在分析性系统。将来要做数据分析的时候,要解决分析指标透明不透明的问题,也需要调指标库,有的企业叫指标中心。指标中心为数据仓库、报表平台、智能分析平台提供了维度和度量,数据标准其实为数据分析提供了重要的支撑。

555.png 

数据一切从业务出发。第一个业务主导。要基于业务的一些痛点,最需要解决哪些问题,先把些要解决的问题找到,再针对要解决的些问题去梳理,到底哪些业务与哪些数据的主题,哪些数据的实体来定数据的标准?第二个循序渐进。先做什么后做什么能搞清楚。第三个数据标准的动态管理。因为整个外部环境是动态变化的,不管是商业环境还是技术环境都是变化的,数据标准也要与时俱进。我们要建立好数据标准的更新机制和更新机制配套相关的组织管理流程、相关的管理办法。第四个应用为王。最后数据标准还是要应用起来,需要贯彻到各个业务系统里面去,是以对现有系统影响最小为原则去落地数据标准。从第一资料收集,调研,分析评估,标准制定,意见征集反馈,修订标准,标准发布。

 微信图片_20241012164514.jpg

数据治理与数据标准管理是现代企业管理中不可或缺的重要环节。随着数据量的增大和数据的日益重要,企业需要建立有效的数据治理机制和数据标准管理体系,来确保数据在企业内部流通和应用的合规性、安全性和质量。数据治理是指企业对数据进行全面管理和控制的过程,包括数据采集、存储、处理、分析和共享等环节。通过建立数据治理机制,企业可以规范数据的使用规则、权限控制和监测机制,从而保护数据的完整性和机密性,降低数据管理的风险。数据标准管理是数据治理的一个重要组成部分,它指导企业建立统一的数据规范和标准,确保数据在不同业务系统和部门之间的一致性和可比性。数据标准管理可以帮助企业减少数据冗余和错误,提高数据的准确性和可信度,为企业决策提供可靠的数据支持。

 IMG_92bb251115af45bca869b65aead2ba10.png

作为一场及时雨,108日由国家发展改革委、国家数据局、中央网信办、工业和信息化部等六部门联合印发的《国家数据标准体系建设指南》(简称《建设指南》)正式发布。为了数据供得出、流得动、用得好 《建设指南》从基础通用、数据基础设施、数据资源、数据技术、数据流通、融合应用、安全保障等7个部分,加快构建数据标准体系,全面指导数据标准化工作开展,为制修订数据领域相关标准提供了重要指引,有利于充分发挥数据标准体系在激活数据要素潜能、建设数据产业生态、做强做优做大数字经济、培育和发展新质生产力等方面的引领和规范作用。

 123.png

基础通用标准包括术语、参考架构、管理、服务、产业等,支撑标准体系结构中其他部分;数据基础设施标准以现有相关标准为主,强化基础设施互联互通、算力保障和流通利用标准建设,为数据资源、数据技术、数据流通、融合应用提供支撑。数据资源标准聚焦基础资源、开发利用、数据主体、数据治理和训练数据集,为数据资源高质量供给提供标准支撑;数据技术标准聚焦数据汇聚、处理、流通、应用、运营、销毁等技术,为数据生命周期提供技术标准支撑;数据流通标准聚焦数据产品、确权、资源定价、流通交易等环节,为数据有序流通提供标准支撑;融合应用标准聚焦《数据要素×”三年行动计划(2024—2026年)》重点行业领域,为行业领域数据管理应用、数字化水平评价、数据服务能力评估、转型成效评价等融合应用提供标准支撑;安全保障标准包括数据基础设施安全、数据要素市场安全、数据流通安全等,为标准体系建设提供合规保障。

 搜狗截图24年10月11日2113_14.jpg

数据管理成熟度是衡量企业数据管理水平的标尺。数据治理是建立数据生态的“交通规则”,数据架构是数据治理的基础和支撑数据架构决定了企业如何构建和管理数据,数据标准化是打破信息孤岛,实现数据互通数据标准化是数据管理的重要一环。数据管理成熟度是衡量企业数据管理水平的标尺数据管理成熟度是衡量企业数据管理水平的重要标尺。通过评估数据管理成熟度,企业可以了解自身在数据管理方面的优势和不足,从而有针对性地制定改进计划。数据管理成熟度评估通常包括数据战略、数据组织、数据流程、数据质量、数据安全等多个方面。通过评估这些方面,企业可以全面了解自身在数据管理方面的现状,并找到提升数据管理水平的切入点。帮助企业实现数据的合规性、安全性和质量,提高数据的价值和利用率。因此企业在建立数据管理体系时,应该重视数据治理和数据标准管理,并不断优化和完善相关机制和流程,以适应日益复杂和快速变化的商业环境。只有这样,企业才能在激烈的市场竞争中立于不败之地,实现持续的发展和成功。

搜狗截图24年10月11日1311_1.jpg


阅读前一篇

今天是世界标准日