从Web Service接入数据

创建于 2022-10-18 / 最近更新于 2023-11-03 / 6216

字体： [默认] [大] [更大]

1. 从Web Service接入数据概述

从Web Service接入数据，是指观远数据支持将API数据通过Web Service数据连接器进行接入，可自定义灵活配置API返回数据的解析规则和选取所需字段，最后并利用连接创建Web Service数据集。

2. 从Web Service数据集接入数据操作步骤

首先点击导航栏的“数据中心”，进入数据管理中心。随后点击右上角的“新建数据集”按钮，选择Web Service。

2.1 创建数据连接

首先填写Web Service的URL地址、请求方式、请求头、认证、请求参数、请求体、前置操作（可选）、后置操作（可选）。点击“发送请求”可测试连接并查看响应结果，结果包括状态码和响应消息体。

请求方式（支持GET/POST，默认为GET）：

GET：一般用于请求资源；
POST：一般用于传输资源。

请求头：由key/value 组成，告诉服务端需要的资源类型。具体参数设置可以见以下文档。

https://www.cnblogs.com/yunlongaimeng/p/10904558.html

认证（当前只支持API密钥、Token令牌2种认证方式）：

API密钥：API密钥是赋予某种形式的秘密令牌的名称，与Web服务（或类似的）请求一起提交以识别请求的来源；
Token令牌：Token是指在指定有效时间内可以代表用户角色，具有请求接口的权限。

请求参数：需要获取的字段和条件。

请求体（只限JSON格式）：封装POST请求消息的请求参数的，GET没有请求体。

前置操作：

每次调用主API前，都将预先执行“前置操作”，同时支持将前置请求部分结果存储为动态参数，引用至主API的请求头/请求参数/请求体中，实现对参数的动态获取。

1.选择[前置操作]，单击[新增前置请求]：

2.填写需前置执行的请求url各项必要信息，支持根据响应新增动态参数：

动态参数：通过结果字段路径对响应内容进行解析，得到动态参数值，通常用于token信息获取等场景，已创建的动态参数可在后续请求参数中通过${参数名称}的方式进行引用。
*非必填，可以仅执行前置请求而不传递任何参数
结果字段路径：使用JSONPATH对响应内容进行解析，获取目标参数值

通过上述操作，将鉴权接口作为前置请求，其返回的token信息将作为动态参数传递至待定义的Web Service数据集配置中。

3.单击确定，保存前置请求。

4.根据接口文档要求，在Web Service数据集请求头/请求体/请求参数中使用动态参数，实现动态传参的能力。

使用限制：当前未实现动态参数值的缓存机制，因而每次更新WebService数据集时，都将执行前置请求。因而需要评估业务方的鉴权API调用次数限制，如存在次数限制，频繁调用鉴权API或触发其限制。

后置操作：

通过自定义JavaScript脚本，可对WebService请求的响应进行拦截，并进行数据处理、转换、筛选等，将其更改为符合平台JSONPath解析方法的标准结构，再进行数据解析配置。

使用样例：

定义convertJson方法并返回修改后的response

function convertJson(response) {
  //请在方法内定义response的修改逻辑
    return response;//向BI平台返回修改后的response
}

下面以一个基础的Response为例，去展示可支持的基础语法：

//原response
{
  "a":1
}

场景一：添加字段

//后置操作脚本
function convertJson(response) {
    response["b"]=2;
    return response;
}

//修改后的Response
{ 
  "a": 1, 
  "b": 2 
}

场景二：修改字段

//后置操作脚本
function convertJson(response) {
  response["a"]=2;
  return response;
}

//修改后的response
{
  "a":2
}

场景三：删除字段

//后置操作脚本
function convertJson(response) {
  delete response["a"];
  return response;
}

//修改后的Response
{
}

2.2 配置数据解析

测试连接成功后，可查看API的返回结构。通过使用标准的JSONPath解析JSON的规则，可输入结果字段路径（结果字段路径支持JSON对象和数组），系统将自动解析结果字段路径的1级层级下所有对象的键值对（key/value）并自动展示一个勾选列表。如果需要进一步解析其中的嵌套结构，可参考《用ETL解析JSON》。

如果需要额外添加结果字段路径下嵌套对象中的某一键值对，则可通过新增字段来添加。

最后勾选所需字段，修改字段名称和类型，并可预览30行数据。

2.3 数据连接及更新设置

观远数据支持两种数据连接方式，分别为：

直连：通过Restful API进行准实时的接口数据获取，并通过BI进行可视化展示；同时可以通过全局参数等实现接口参数化查询。此时系统不会对抽取的数据进行持久化管理，也不进行增加更新，数据具有实时性。
Guan-Index：通过Restful API进行历史数据全量抽取，并配置好增量策略，将获取的数据在BI平台内沉淀为Guan-Index数据集，以便进行后续的数据加工处理。

ps：接口请求中使用全局参数后，仅支持“直连”，不支持“Guan-Index”。

当连接方式为“直连”时，可为Web Service数据集设置一个合理的缓存有效周期，并可选择是否支持卡片实时数据。