谈谈数据产品的设计和开发
2024-07-22 12:06:14

微信图片_20240722120942.jpg

上周五下午参加上海数据交易所的《企业数字化与数据资产化创新论坛》,收获颇丰。特别是朱大鹏专家谈《数据产品打造赋能数据要素潜能释放》中对标准化的诠释达到如火纯情的地步。我也只能围绕着数据产品的设计和开发谈谈自己的看法,数据已经成为数字经济时代的生产要素,数据要素定价将开启十万亿级新市场。随着数据要素×”行动、数据资产入表等政策落地实施,数据资源对于企业的价值创造发挥着更加重要的作用。现在是从数据资源时代进入数据资产时代。创造数据产品,它要求企业要进行交易就必须把数据资源提升到数据产品。这需要企业做很多的工作,比如讲清楚数据资源来源、对使用方的限制,出示合规性证明等。上海数据交易所力争到2025年,挂牌数据的产品数量突破5000个,服务数据供需主体数达到10万个,现在能挂牌数据的产品数量只有2000个,这是重点。

 微信图片_20240722120934.jpg

AI智能认为数据产品设计是将数据、数据分析、决策逻辑尽可能多地固化到一个软件系统中,以提供更快的更新频率、更准确的分析结果、更智能的提醒方式,从而为人们提供数据价值。这种设计不仅关乎技术实现,更涉及到如何通过数据来优化产品,提高用户体验和满意度,进而提升产品的竞争力和市场地位。数据产品开发是指基于大量数据分析和处理的技术,开发出符合用户需求的产品和服务。在当今信息化的时代,数据产品开发已成为企业提升竞争力和满足用户需求的重要手段。数据产品开发有着广泛的应用领域,涵盖金融、医疗、教育、零售等多个行业。

微信图片_20240722120910.jpg

数据产品设计的重要性体现在满足消费者需求:通过数据驱动的产品设计,企业可以更好地了解消费者需求,提高产品和服务的满意度,从而提高企业的竞争力。优化产品设计:数据产品设计通过数据分析、机器学习等技术,深入了解消费者需求,优化产品设计,提高产品的满意度和竞争力。业务导向的数据产品:对于偏业务的数据产品,从产品规划到产品设计各个环节都需要围绕解决业务痛点开展,从而最大化实现数据的价值。首先,数据产品开发需要对市场需求和用户行为进行深入分析。其次,数据产品开发需要跨部门协作和团队合作。最后,数据产品开发还需要不断优化和更新。数据产品设计和开发不仅关乎技术实现,更重要的是如何通过数据来优化产品,提高用户体验和满意度,进而提升产品的竞争力和市场地位。

 搜狗截图24年07月21日1534_35.jpg

设计和开发的确切定义在ISO 90003.4.4条:将要求转换为产品、过程或体系的规定的特性或规范的一组过程。由此可见,设计和开发可以是产品的、过程的、和体系的设计和开发。根据以上定义可以理解。设计和开发就是把顾客的各种使用要求转化为各项规定要求,以便可以操作实施和验证的一系列活动。这里设计和开发的结果可以是产品,也可以的过程和体系。我们用产品固有特性满足顾客的使用要求。我们对产品固有特性必须确定要求,然后,设计和开发过程,把产品的特性要求转化为对过程的固有特性和要求(要满足程序文件、过程规范要求)。再根据过程的要求转化为体系的特性和要求(要满足ISO 9001标准、自己的质量管理体系要求)。

 43.jpg

科学研究按照过程可以分为三类:基础研究(揭示事物内在的规律),应用研究(为新产品、新技术确定基本原理);开发研究(利用前面成果开发新产品、新技术)。然后,再针对顾客具体要求设计新产品或者新工艺技术(过程)。也可以认为先要设计新产品,新技术,然后,再开发满足顾客特定需求的产品和工艺技术。产品设计师通常致力于为技术产品创造想法和概念。产品开发人员采用产品设计团队提出的概念并执行它以创建成品。好的科技产品会根据用户体验进行调整和发展。这就是产品管理的用武之地。在产品管理阶段与您的原始设计和开发团队合作会给您带来优势,因为他们了解产品的内在和外在。随着业务的增长,可以利用用户反馈来改进技术产品、添加重要功能并执行定期维护,以确保用户始终拥有最佳体验。

 搜狗截图24年07月21日1051_7.jpg

智库百科给出的定义,数据产品是指可以发挥数据价值去辅助用户更优的做出决策(甚至行动)的一种产品形式DJ Patil对数据产品的定义是:“通过使用数据促进最终目标的产品”。数据产品是指利用数据,通过对数据的整合、分析和挖掘等手段,开发出一系列具有商业或社会价值的产品或服务,从而为客户带来实际价值的产品。从广义上讲,一切以数据作为驱动或者核心的都叫数据产品(例如数据报表平台、DMP、搜索与精准化产品、风控产品等等),从狭义上讲,就是公司的内部数据平台。数据产品可以根据不同的维度进行分类和划分,按照不同的业务场景可以分为:企业内部数据产品和外部市场数据产品。数据产品的三个价值:决策价值,降本增效,发展与创新价值。

 搜狗截图24年07月21日1055_9.jpg

我们都知道大数据的4V特征:数据体量巨大 (Volume)、数据类型繁多(Variety)、价值密度低(Value)、处理速度快(Velocity)。数据的应用为决策质量、效率的提升起到了重要作用,数据无处不在,只有高质量的数据才能发挥出更大价值。数据要为我所用,必须经过数据的采集、存储、分析计算、可视化等数据处理过程;经过集成、治理、质量保证的数据治理过程;经过统计、监控、分析、洞察、数据决策等数据应用过程。为提高数据质量、促进数据的应用、提升使用效率,业界催生了数据产品。它在用户的决策和行动过程中,可以提供更多的分析展现和数据洞察,让数据更直观、高效地驱动业务。

 搜狗截图24年07月21日1056_10.jpg

那么如何设计一款好用的数据产品呢?我们需要知道企业业务部门想要看什么数据,这些数据现在是否能够获取到,业务方通过这些数据分析,是如何推进和改善业务的。数据产品要根据使用方的特点设计出符合使用方需要的内容,产品要有层级和结构,老板们一般是把握业务的大方向,主要看一些关键性的指标,并希望知道这些关键指标出问题后背后的原因是什么?一线人员主要是偏执行层面,他们看数据的粒度一般都很细。数据产品一定要注意数据质量、规范、统一,因为公司的数据平台是面向所有部门的,怎么保证公司的所有部门人员对于数据的理解是一致的,数据平台的数据质量依赖于数据仓库底层的数据模型,一个好的数据仓库很大程度上决定了数据平台的数据质量。

 搜狗截图24年07月21日1105_25.jpg

01做数据产品需要1.思考数据产品要解决什么问题(Why),为用户或者公司带来什么价值(How Much)?产品的开发周期要多久(When)?一款数据产品的核心是要解决某种问题的,那么它到底解决了什么问题,是否给公司或者用户带来了足够的价值。2.要想清楚产品的目标用户是谁(Who),用户在什么场景下使用这款产品(Where),要站在用户的角度和使用场景下来设计数据产品。3.要解决的问题分析思路是什么(How)?由于是一款数据产品,那么必然是要用数据说话,针对解决的问题,我们应该以什么样的思路来分析,需要整理出一套全面的分析框架,并且制定产品的实现路径。4.对于问题需要用到哪些指标来核量(What),可以把指标组合为哪些模块?应该以何种方式展现?这一步主要思考产品具体的展现内容和形式。

 搜狗截图24年07月21日1106_28.jpg

数据产品设计有需求分析。这是一个数据产品设计的首要过程,主要包括商业需求分析、市场需求分析、产品需求分析和产品规划的过程。数据指标设计。这是根据上一步骤需求分析的结果,制定出用户最感兴趣、易于理解,并且最能够体现问题本质的数据指标。数据可视化设计。根据上一步骤设计出来的数据指标,并根据最终数据类型和表现目的,选择最佳的数据可视化方案,将每一个数据指标美观并且直观地呈现给用户。数据展现逻辑设计。包含数据指标展现逻辑设计、界面设计等过程,主要是根据各种已经实现了可视化方案的数据指标图表进行界面逻辑展现设计,除了对数据指标进行分类展现外,还需要从多个角度设计数据的展现逻辑,将每一个指标都有逻辑地呈现出来,使用户在看多个数据指标时清晰明了。产品管理。本步骤主要包括研发管理、产品上线、后续维护、产品迭代更新或结束等过程,主要是保证已经设计好的产品最终研发实现,以及对产品持续迭代更新的跟踪管理。这就是规划阶段、设计阶段和管理阶段

搜狗截图24年07月21日1107_30.jpg

数据产品的开发和实施一般涉及数据采集、数据处理、数据分析、数据可视化、数据交换等多个环节。确定数据需求和目标:企业需要明确自身的数据需求和目标,以便更好地开发和实施数据产品。数据采集和整合:企业需要收集和整合不同来源的数据,包括内部数据和外部数据,为数据产品提供数据基础。数据处理和清洗:企业需要对采集的数据进行处理和清洗,以确保数据的准确性和完整性。数据分析和建模:企业需要对处理好的数据进行分析和建模,从中发现商业机会和趋势,并预测未来的市场和客户行为。数据可视化和交互设计:企业需要将分析好的数据通过可视化和交互设计的方式呈现出来,以便用户更好地理解和利用数据。数据交换和部署:企业需要将数据产品部署到不同的平台和环境中,以满足不同用户的需求,并确保数据的安全和可靠性。另外在数据产品的开发和实施过程中,企业还需要考虑不同的因素,包括技术、人才、安全、隐私等方面,以确保数据产品的质量和效果。

1.jpg

数字化转型需要哪些数据产品?数字化转型主要包括业务数字化、数据资产化、资产业务化、业务智能化几个阶段。在不同的阶段,分别需要不同的数据产品。1.数据采集相关产品:数据采集范围与标准定义,埋点管理系统(可选),数据同步或集成系统。2.数据加工与处理工具:离线开发平台,实时开发平台,数据仓库建设工具(可选)。3.数据资产管理和治理产品:数据地图,数据质量监控,数据血缘,数据成本优化,统一数据权限。4.数据决策与智能应用:数据可视化分析,现代自助式BI分析,用户行为分析系统(可选),数字化营销CDPDMP,一般企业内部私域流量运营称之为CDP(客户数据管理平台),流量变现的企业称之为DMP(数据管理平台),算法平台(可选),数据服务管理(可选)。凡是可以提升数据从采、存、管、算、用全流程效率,促进数据价值输出的相关产品都可以归结为数据产品,企业在实际数字化转型的过程中可以根据研发资源、投入时间及财务成本、数据安全等多个方面综合评估,哪些选择外采,哪些自主研发。

 23.jpg

数据中台称之为DAAS,即数据即服务,数据如何快速输出业务端,赋能产品创新。要形成数据中台,首先要在数据层级、数据流转上有如下关系,可以看到都有明确的业务对象、数据合规性标准、数据存储指向。API服务统一管理,提供通用接口的配置化生成能力,降低对Java开发的依赖。数据中台思想下,数据服务API输出是应用输出的最主要形式,数据服务管理平台一方面要具备将数据资产自助配置化输出的能力,即数仓清洗好的数据模型,数据开发或业务人员可以通过入参、出参的可视化配置生成API接口,不需要接口开发介入。同时也要把API资产化管理,API接口文档、应用调用情况做到可追踪、可监控。包含了数据整合和管理、数据提炼和分析加工、数据资产化服务、业务价值变现。实际上最终落地以接口的方式提供数据可视化、数据指标、接口管理、平台用户人群管理。

 微信图片_20240625105440.jpg

企业数智化,是基于新一代数字与智能技术的各类云服务,通过网络协同、数据智能、连接资源、重组流程、赋能组织,处理交易,执行作业,融入数字经济,推进企业业务创新(研发、生产、营销、服务等)、管理变革(管理模式、组织与人才、管理决策等),从而转变生产经营与管理方式,实现更强竞争优势、更高经营绩效、更可持续发展的进步过程。数智化与数字化的特点并不相同,区别是从支撑技术来看数字化转型基于IT,也就是互联网技术;数智化则是基于 DT,即数据处理技术。数智化企业要以消费者运营为核心,需要构建一套实时感知、响应、服务客户的新架构体系,一套基于云计算、数据中台和移动端的开放解决方案,实现与供应商、代理商以及客户的数据集成。

 搜狗截图24年07月21日1108_31.jpg

从核心理念来看数字化时代,企业经营的核心理念是以产品为中心,致力于解决产品的成本、质量、效率、交付;数智化企业思考的核心问题是如何以客户运营为核心,如何提高客户全生命周期的体验,如何构建一套以消费者运营为核心的技术体系。大型企业推进数智化有三个关键行动: 把企业的数智化规划作为战略指引,统一企业的数据治理, 以数据为基础统一企业的数智底座。从应用系统的部署来看,功能型应用:如财务、人力、采购、协同办公等,这些应用都将逐步走向服务和管控一体的共享化模式;业务型应用:部署策略是按照产业板块分别构建和运营对应的业务系统,实现产业化发展。从业务层面来看,企业业务的场景诉求、痛点,是企业数智化转型的重要发力点。企业数字化转型从具体场景开始,按实景、实用、实效为标尺,找到关键场景切口进入,沿途形成关键成果,以数字化应用成果滚动式完成企业的数智化转型。

 搜狗截图24年07月21日1057_12.jpg

常规的数据产品有三种类型:用户数据产品、商用数据产品及企业数据产品。需要思考企业数据产品之数据,企业数据产品之企业(面向企业内部的定位决定了此类需求具有受众集中、反馈回路短、用户体验要求低、需求繁杂琐碎、层级明显、看重数据安全6个特征),企业数据产品之产品(应用型和平台型)。应用型的核心是业务敏感度,根据不同的业务需求设计对应的数据产品。如根据风控部门的需求来实时更新对应的风控标签和数据阈值,并且提供对应的监控和分析工具,完成从策略应用到分析落地的闭环。平台型强调的是面向各个业务提供服务,这要求产品具备较高的标准化和抽象化水平。

 4.png

借用GrowingIO CEO Simon的理念,企业如同人类建立的水资源使用系统,而数据如水。企业数据平台的建设目标,应当是让数据像水资源一样在企业中流动,这意味着数据要像水一样做到干净无害、随用随取、场景丰富,而这恰好对应着数据准确、及时、易用、全面四个衡量维度。一个完善的企业数据平台应该由技术框架、数据框架和产品框架三部分组成,数据框架主要有数据模型、安全及质量这三个模块。产品框架上,遵循What-Why-How的划分方式。首先解决采集存储,即是什么What)的问题,将数据采集后清洗存储下来;其次解决为什么Why)的问题,利用分析架构和数据可视化展示,帮助用户寻找原因;最后解决怎么做How)的问题,通过价值的深入挖掘、与业务紧密结合等方式,来确定具体的内容和方向。

 6.png

企业数据产品在设计和开发上应有很多独有的特点。首先企业数据产品承接了来源众多的业务需求,在抽象和管理上难度较大,很容易产生冗余浪费,历史依赖混杂不清,整个BI平台变成数据的垃圾场、泥沼地。其次数据开发工作长期来看是个细活、脏活、累活,要想长期保证数据安全、质量和规范,需要设计各种机制进行监测,并不断优化。最后在发挥企业数据资产价值的路上,我们还需要不断丰富场景,设计与开发符合业务场景的数据产品。在数据产品开发中,选取好的业务指标是保证数据产品质量最重要的标准,定好合理的业务指标是所有数据产品应用层实现技术落地的核心。在数据产品开发中,我们要考虑两类技术指标:算法的技术指标和模型的诊断统计量。大部分数据产品都是可以拆解为一系列分类和回归模块的有机组合。数据标准化是企业或组织对数据的定义、组织、监督和保护进行标准化的过程而且至关重要。

 搜狗截图24年07月21日1106_29.jpg

《人类简史》作者尤瓦尔·赫拉利曾谈到: 就像宗教神话赋予神权合法性,人文主义思想体系赋予人权合法性,高科技大师和硅谷预言家们正在创造一种新的全球性叙事将算法和大数据的权威合法化。 这一新颖的信条可以被称为数据主义 数据正在取代机器,成为最贵重的资产,如果大量数据集中到少数人手中,那时人不会再分化为阶级,而是被分化为不同的物种。” 达尔文之后100多年的生物学研究主题是:生物即算法:不管是病毒、香蕉,还是人类,生物其实都是有机化的算法。” 所以整个智能世界是建筑在数据的基础之上的。看手机是在看朋友圈,而看朋友圈是在看信息,看信息事实上就是在看数据。我们今天对数据的需求可能比对性的需求还要强烈,很多人一拿出手机就放不下来。数据已经成为我们现代人发展的基础。

 搜狗截图24年07月21日1104_23.jpg

数据要素大体可分为供给、流通、应用三大环节。在《“十四五”数字经济发展规划》中,针对数据要素供给环节,提出数据质量提升工程,侧重从数据资源、主体、标准化三大维度切入提升数据质量;在数据要素流通环节,提出数据要素市场培育试点工程,聚焦于确权及定价、数据交易平台的试验与培育。数据要素供给:形成数据资源,为数据从资源向资产转化打下基础。数据要素供给,包含采集、整理(数据标注、数据清洗、脱敏脱密、标准化)、聚合(数据传输、存储、集合汇聚等)、分析几大环节,从原始的数据为起点,以形成可流通、利用的数据资源为终点,为数据向资产转化打下重要的基础。通过建设标准化体系、发展数据处理技术,加强数据分类分级管理有助于增强数据处理能力,提升数据质量,是数据全产业链的基础环节。数据要素流通需要市场主体的积极参与,提供交易产品,确权及交易的支持技术、服务;也需要监管主体不断完善交易管理、规则制定、争议仲裁等机制,为数据要素流通创造良好的市场环境。数据要素应用是数据要素产生价值的具体体现。

 搜狗截图24年07月21日1103_21.jpg


根据相关统计数据,2023年全球数据要素市场规模已经超过1万亿美元,预计到2025年将达到1.7万亿美元。在国内市场数据要素概念股也备受关注,成为资本市场的新热点。目前,国内的数据要素市场还处于发展阶段,但随着数字经济的加速发展,预计未来市场规模将不断扩大。随着人工智能和大数据技术的不断发展,数据要素行业趋势也越来越明朗。未来,数据要素市场将朝着更加规范化和标准化的方向发展,同时将涌现出更多的创新型公司和业务模式。此外随着数字经济的加速发展,数据要素市场还将继续保持高速增长的态势。


搜狗截图24年07月21日1100_17.jpg


数据要素有望接力房地产成为 GDP 新支柱;从土地经济走向数字经济,数据产业链将成为拉动 GDP 的新引擎。进入数字经济时代,数据对于规模经济的效应进一步放大。人工智能AI 的高速发展需要大模型的支持,大模型是指在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型,大模型的背后需要海量的数据支撑。中国信通院《人工智能白皮书(2022年)》显示,当前预训练模型参数数量、训练数据规模按照 300 /年的趋势增长,增大模型和增加训练数据是未来演进方向。海量数据需求的提升将带动数据要素产业高速发展。数据要素是数字经济的核心引擎,是实现数字产业化和产业数字化的关键。

微信图片_20240722120926.jpg


阅读前一篇

中小企业急需要管理咨询的帮助