服务产品【纯干货】一文中欧体育搞懂数据服务平台产品

发布时间：2023-07-16 13:35:22 丨 浏览次数：

　　数据服务作为数据中台方法论OneService的核心内容，主要解决数据最后一公里问题，将大数据平台开发好的数据资产通过在线化配置API的方式提供给业务方调用，同时也能够支持用户已有的API注册到数据服务平台上调用。

　　为何要有数据服务平台？解释这一问题就需要了解其能解决客户的哪些痛点，我这边做了简单的梳理，主要存在以下几个痛点：

　　数据中台OneData、OneService方法论在国内最早是由阿里提出来的，因此国内数据中台的鼻祖非阿里莫属中欧体育，其它的中台厂商大多数在阿里的产品方法论上结合自己实际业务需求进行开发的，整个数据服务平台的竞品选择如下几家厂商的产品：

　　DataWorks数据服务旨在为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的API服务。

　　生成API支持向导模式（可视化创建）及脚本模式（SQL编辑创中欧体育建）两种。

　　注册API主要是将已有的API注册至服务平台，便于进行统一的运维管理。

　　API网关主要提供API托管服务，涵盖API发布、管理、运维、售卖的全生命周期管理。

　　API市场主要用于企业将已有的API发布至应用市场，便于企业快速实现数据价值变现，最终形成中欧体育商业闭环。

　　首先是进行数据源的连接，阿里该部分主要是DataWorks其它模块共用的数据源管理连接，此部分详见数据集成产品中的配置各种数据源，阿里目前已支持多种数据源接入，详细请查看文档：支持的数据源

　　因此对于自研数据服务平台的厂商来说可以考虑该模块与数据中台中的其它产品共用该功能模块。例如：海豚调度（DophinSchduler）中的数据源中心。

　　DataWorks数据服务根据业务种类将不同类型的资源组织在一起，即构成业务流程，能够更好地帮助您以业务为单元进行开发。每一个业务流程下均包括API、函数和服务编排三个类目，分别存放您创建的API、函数和服务编排。

　　API大家可以都可以理解，就是在该平台通过向导模式、脚本模式、注册API三种方式在平台创建API

　　函数这个给大家简单总结下：就是可以通过编写相关函数对API进行数据过滤，目前数据服务支持的函数类型包括：Aviator函数、Python函数。该功能为数据服务的新功能

　　服务编排：提供拖拽式、可视化的工作流编排能力，支持用户按照业务逻辑，以串行、并行和分支等结构编排多个API及函数服务为工作流。

　　目前分析来看，对于自研数据服务的厂商，MVP版本可以暂时考虑仅做API的开发，对于函数及服务编排可作为后续的版本的迭代升级功能。

　　支持向导模式和脚本模式两种方式创建API，目前行业内所有产品都是这样，对于两种模式有如下区别：

　　可视化方式支持用户选择相应的库、表之后进行请求参数、返回参数、排序参数的配置选择，完成之后会自动生成相关参数服务产品，同时用户可进行过滤器配置（此部分主要通过函数实现）：

　　同时可进行资源组配置一级查看该API的版本记录，此部分不做说明，具体见DataWorks说明文档，配置完成之后点击右上角的测试，测试通过之后可以点击提交，完成API的开发。

　　脚本模式主要区别是通过编写SQL完成API的配置开发，其它内容与向导模式相同，如下图：

　　输入API的相关请求参数，可以进行API的测试，右侧出现请求详情及返回结果

　　因此对于此处存在疑虑，上面的是直接授权某个云ID，在API调用时，强调了需要新建应用，然后将API授权给某个应用。

　　此处是DataWorks新增的功能，此处主要对API的调用情况进行整体的统计分析说明，API计量大屏提供了各类可视化图表及统计数据，包括工作空间下的API总数、总调用次数、总执行时长用量，以及网关状态码、服务错误码、服务资源分配、排行榜单等信息，帮助您从全局角度了解API的调用情况。

　　API计量详情提供了各类可视化图表及统计数据，可以针对单个API分别查看监控图表，包括API网关状态码、数据服务错误码、App请求次数、流量带宽、平均响应时间。

　　网易有数的一站式的数据开发及管理平台提供全链路的大数据开发，任务调度，数据质量，数据治理及数据服务平台，其中数据服务模块也是经过内部多条业务产品线的验证。

　　其主要作为数据资产和上层业务连接的纽带，能够快速将数仓的表通过API接口的方式提供业务方调用

　　从数据服务的技术角度，整个产品包含API管理服务、API查询服务、统一查询服务和网关服务，其中网关服务能够对某 些服务的调用起到限流等作用，且自身通过多副本节点的方式保证高可用。

　　API管理服务：主要负责数据源配置、API配置管理、测试和发布、API调用状态查询等业务逻辑。

　　API查询服务：主要负责接受用户的请求，根据请求头信息、请求方法、请求URL、请求Body信息解析出调用的API ID、调用参数，并生产统一查询服务的SQL，调用统一查询服务，获取到查询结果后封装返回。

　　统一查询服务：接受统一查询SQL和数据源相关信息，解析SQL生成对应的数据源查询计划，查询具体的数据系 统，并返回结果。

　　网关服务：网关服务起到内部组件相互调用的路由作用，组件对组件的访问都必须经过网关服务；能够对某些服 务调用起到限流作用。

　　首先是进行API集合创建，类似对为API创建不同的分组，比如我们可以根据我们不同的业务需求去创建不同的集合，其中集合的path作为整个API的一部分，能够方便我们快速定位该API的应用场景。

　　第二步进行API的配置开发（先介绍生成API，后面介绍注册API）服务产品，同阿里DataWorks相同，网易也支持两种方式创建API，网易主要是分三步：配置基本信息、配置参数、测试

　　需要注意的是，网易在创建API的时候就可进行apiToken鉴权的设置，若打开，可通过apiToken调用API，只需要在header中添加字段apiTOken、 appKey和version即可，适用于报表、数据大屏等安全性要求不高的使用场景。

　　在配置参数时，网易有个功能就是如果用户需要对返回参数进行二次处理，平台支持上传Jar包达到对返回参数的二次处理，可以将对返回参数的处理逻辑在Jar中 完成，然后上传Jar包，填写类名，若Jar中对返回参数进行了修改，可添加真实的返回参数，给API调用者将暴露真实的 返回参数信息，具体页面如下：

　　测试成功的API便可以进行发布上线，只有发布的API才可以绑定应用，API才可以被调用。

　　在创建应用时会自动生成AppKey和AppCode值，方便在后续调用时进行签名验签认证

　　API集市功能相当于API的售卖市场，所有发布上线的API均可在此处看到，API的调用人员可根据需求查看搜索自己想要使用的API，可以通过详情页，查看当前 API的请求和返回参数，若属于需要的API，可点击”申请API”进入申请审批流程，审批通过后即可进行API的调用。

　　说明：如果我们自研数据服务，API集市可以作为迭代版本功能，MVP版本暂时不需要考虑该功能

　　服务概览类似于DataWorks里面的计量API，在服务概览页面，可以查看今日、近7日和近30日的API的调用情况，包括累计已发布的API数量、累计调用API的数量、 累计调用API的次数以及累计调用API的成功次数，通过图表可了解在对应时间范围内的API调用的Top10以及服务的调 用比率等。

　　注册API与创建API除了第二步配置参数不同，其它步骤类似，配置参数页面如下：

　　复制API：可快速复制与当前API一模一样的API，默认API名称和path后面填充时间戳，允许修改。

　　导出API：支持选择后进行导出下载，可下载word或者pdf版本，下载的文档中包含API的基础信息、请求参数、排序参数和返回参数等内容。

　　锁定API：对于自己是创建人的API，支持对API增加锁定，API锁定后，即便在安全中心赋权API有编辑等权限，依旧会受到锁定的 权限控制，只有API的创建人可以对API执行锁定(数据服务平台管理员，即超管不受锁定的限制)和解锁，锁定后，只有 API的创建人才可以对API进行编辑、解除应用等操作。

　　支持API回滚及历史版本对比，不过对于历史版本的记录，只有下面两种中欧体育情况下才会进行记录：

　　流控策略：支持限制单位时间内对API的调用次数，支持按照分/秒粒度级别的流量控制，也支持针对授权的应用设置流量控制，实现双重的流控。

　　支持控制API行级权限，从入参的角度，设置行级权限方案，整体使用流程如下：

　　新建行级权限方案，选择入参类型，支持字符串、整型和浮点型，添加行权限值(表示可授权查看的行数据，比如city字 段有上海、杭州、北京，但只允许用户获取杭州的数据，则行权限值为杭州)；

　　该功能与其他厂商产品类似，主要用于数据库的连接，支持关系型数据库及非关系型等多种数据库的连接

　　安全与限制策略：袋鼠云将限流测试及黑白名单策略直接在新建API时候添加了，其中流量策略为单用户单秒调用次数上限且为必填项，系统默认2000，黑白名称安全组设置为非必填项

　　行级权限设置：该功能同网易猛犸产品中的功能，主要是在API调用时对字段进行访问权限的控制。用户勾选行级权限后，可继续选择“行级权限标识”对字段进行对应权限的控制

　　点击“编辑参数”，系统将解析当前SQL代码，得到输入参数与输出参数的关系映射并展示，帮助用户快速确认API配置逻辑是否有误。

　　API管理主要包括API类目管理、API列表管理、函数管理、服务编排管理，详细说明如下：

　　API列表管理：查看当前所有的API，包括生成API、注册API、服务编排。

　　类似网易的API集市，用户可在集市里看到上线的API，如查询到与自己业务相关的API需要使用时，则可进行API的申请，通过审批流进行API的调用。

　　在API管理—我的API—API申请-已审批页面查看申请通过的API。点击API名称，查看API详情.

　　API调用时，行级权限用来控制用户对字段的访问权限。若输入参数不符合行级权限标识下的该用户的权限值，则无法获得相应内容的输出。

　　步骤三：确认完API基本属性后，在参数配置页面，选择数据源配置，选择相应的输出参数以及输出参数，并在输入参数中设置是否需要行级权限以及权限标识的选择。

　　API告警用于及时告知用户API调用失败的情况，并支持单次调用失败和某时间段内累计调用失败达到指定次数两种配置方式。

　　是API的首页，展示整体调用情况，并根据API角色展示不同视角的概览全局。

　　提供全链路、精细化、高可用的API全生命周期开发管理工具，双模式完成数据查询、标签查询、智能计算等类型API生成和API注册，一站式完成API发布、安全认证、调用流控等服务管控，提高数据开放与数据共享。

　　数澜的主要是阿里出来的一拨人创业的，因此整个产品和DataWorks类似

　　DGC数据服务旨在为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的API服务。数据服务为您提供快速将数据表生成数据API的能力，涵盖API发布、管理、运维、售卖的全生命周期管理，帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、系统集成，向合作伙伴、开发者开放功能和数据。

　　华为数据治理中的数据服务主要从开发API、调用API两方面说明的，两部分的流程如下：

　　对于自研厂商来说，MVP版本可以按照上述功能点实现，同时可进行产品的迭代优化，我这边也简单梳理了迭代版本的一些功能点，如下：

　　DBAPI项目权限系统较简单，只能针对某一个接口进行权限进行管理，不能针对API组及用户进行权限进行管理

　　DBAPI在定义API过程中选择库表会进行全库全表进行扫描，过程速度慢

　　DBAPI没有API限流，灰度发布等，集成的spring gateway功能有限

　　同时对于黑白名单的控制，仅能做到所有API设置黑白名单，不支持单个API控制黑白名单

　　如果是商业化产品，产品设计可按照大厂设计，里面的部分功能可以使用DbApi的底层技术

　　3、网易猛犸：大数据开发及管理 数据开发_数据治理_数据治理_数据质量_数据服务_网易有数

　　6、华为数据治理：DGC使用简介_数据湖治理中心 DGC_用户指南_华为云