Universe 帮助中心

4.2.4 FTP节点

创建于 2022-10-31 / 最近更新于 2022-11-07 / 1278
字体: [默认] [大] [更大]

FTP任务节点可以对接来自FTP服务器的文件数据来源,包括:文件读取、文件输出。

  • 文件读取:从FTP服务器上读取文件,最终解析成表结构的输出,供下游节点使用

    • 数据源:可选择配置好的FTP连接

    • 文件类型:支持CSV/Excel两种文件类型

    • 文件名称:根据填写的正则表达式在指定FTP目录下获取匹配的文件,如果获取多个文件将针对所有文件进行union操作(对于Excel类型的文件默认读取第一个Sheet)

    • 文件编码:针对CSV文件类型,支持指定文件编码

    • 数据解析:针对CSV文件类型,支持指定分隔符、封闭字符和逃逸字符

      • 封闭字符:将在字段数据周围加上一对封闭字符,如果字段数据本身中存在分隔符,封闭字符可以保证分隔符被解析为数据本身

      • 逃逸字符:如果字段数据中存在特殊字符(eg:双引号、tab键、\n、\t、\r、斜杠),会在特殊字符前面加上逃逸字符,可以保证特殊字符被正常解析

    • 未找到文件:

      • 选项不启用时:如果未找到指定文件,当前节点运行失败

      • 选项启用时:如果未找到指定文件,当前节点依然运行成功,将默认采用“列设置”中设置的字段进行数据传输

    • 列头行:

      • 如果文件的第一行包含列名:将按照文件第一行解析字段名称,并按照文件前1000行数据解析字段类型;同时支持按照“列设置”中设置的字段名称和类型进行“选择列”操作

      • 如果文件的第一行不包含列名:将采用“列设置”中设置的字段名称和类型对文件进行解析

    • 列设置:支持设置字段名称&字段类型,可与“未找到文件”和“列头行”选项配合使用

    • 输出:文件解析得到的数据将作为该任务节点的输出数据,允许对输出进行命名

    • 文件操作:如果可以找到指定文件,文件读取完成/中断后,支持对原文件进行善后操作

      • 支持不操作/删除/移动原文件

      • 如果选择移动,则需要设置目标路径(基于指定的FTP目录)

  • 文件输出:将表结构数据上传到外部的FTP服务器中,生成相应的CSV文件

    • 输入:可选择当前工作流中任何任务节点的输出数据作为输入

    • 数据源:可选择配置好的FTP连接

    • 文件编码:支持根据指定的文件编码生成CSV文件

    • 文件名称:根据填写的文件名称,在指定目录下生成CSV文件(文件名称路径需要以"/"开头)

    • 名称后缀:支持对生成的文件名称增加日期/时间后缀,避免生成的同名文件进行覆盖


41 人点赞过