项目导出及导入
在规范的生产开发及问题排查修复流程中,生产环境不建议直接做逻辑改动,所有改动内容通过内部开发-测试环境验证,再执行发布流程到生产环境,在生产环境上替换真实数据源,从而完成AI项目迭代过程。
与此同时,在项目针对特定场景实现通用化后,期望能够基于迭代后的通用场景项目,快速完成场景复制及不断更新,为企业内部提效。
为适配规范发布流程的需要,以更通用、灵活的形态支持项目逻辑的迭代更新及复用,平台支持AI项目导出及导入功能。
1. 项目导出
入口:AI项目homepage页-项目设置-项目导出-导出
单击导出,弹出项目打包弹窗,导出内容将包含:
所有AI Flow及内部节点结构(包括Flow参数、注释信息,不包括运行实例)
所有数据集的元数据信息(不包含数据本身),包含以下四类数据集:
输入数据集:AI项目中“引用自数据中心”的数据集;
增量更新输出数据集:为AI Flow中在前方operator节点上设置了增量更新的输出数据集;
注册到数据中心数据集:为AI Flow中开启了“注册至数据中心”功能的输出数据集;
全量更新输出数据集:为AI Flow中普通的全量更新输出数据集;
所有仪表板的元数据(不包含数据本身)
所有数据预处理ETL
所有Code节点(选取文件模式不导出其.py文件,仅导出其映射关系)
单击下载,导出的AI项目以“zip文件”格式下载到本地,以支持同环境/跨环境进行AI项目的导入。
2. 项目导入
入口:AI项目homepage页-右侧操作栏-导入
单击导入后,此时可选择是否开启数据集智能匹配(默认开启):
勾选智能匹配后,如果导入的来自于数据中心的输入数据集在画布中不存在,平台将在数据中心寻找与当前输入数据集路径+名称+schema完全一致的数据集,建立自动映射关系。
若不勾选智能匹配,平台仅会在当前画布内寻找与待导入项目内名称+schema完全一致的数据集进行自动映射,不会再去数据中心寻找。
单击确定后,进入数据集映射选择界面,平台将自动按上述逻辑进行数据集匹配,可对映射目标进行手动选择或替换。
输入数据集:必填项,必须完成映射才能继续进行导入操作
映射目标:画布内已有或其他数据中心来源的数据集
增量更新数据集:非必填项,可以选择是否进行映射匹配
映射目标可选范围:现有AI项目内的输出数据集
注册到数据中心数据集:非必填项,可以选择是否进行映射匹配
映射目标可选范围:现有AI项目内的输出数据集
完成映射后,单击“确定”按钮,执行导入环节,在此过程中将展示当前导入的大体进度。
导入完成后,若对数据集进行了映射,将保留画布内被映射的数据集及其数据内容,以替换对应导入流的数据集;
如未对输出数据集进行映射,输出数据集会变更为虚线数据集,需要重新运行AI Flow生成初始数据。
依次运行相应的AI Flow后,相应的数据集会转化为激活状态,重新具有数据:
**导入过程限制了编辑操作,如其他用户对正处于导入过程的AI项目各Flow进行编辑,将会根据导入进度提示异常。(如导入过程中已清理了原画布flow,则操作flow时画布可能为空)
遇到异常报错,可先在homepage页查看当前AI项目是否正处于导入过程中,若是,则等待导入完毕后,再执行各项编辑操作。