观远 BI

MongoDB 数据接入

创建于 2022-10-28 / 最近更新于 2023-01-17 / 1393
字体: [默认] [大] [更大]

1. 从MongoDB接入数据概述

从MongoDB接入数据,是指观远数据提供的从MongoDB这一数据库类型进行接入数据的服务。观远数据针对MongoDB专门开发了MongoDB数据连接器,用来支持对MongoDB的直接连接。MongoDB内通常存在一些List、Json类型的半结构化数据,无法使用标准的SQL进行查询,而将MongoDB内数据导入至Guan-Index中,再通过Smart ETL进一步加工处理是一种比较好的使用方式。

2. 从MongoDB接入数据操作步骤

2.1 创建MongoDB数据连接账户

进入数据中心的数据账户界面,点击右上角“+新建数据账户”。在添加账户弹窗中,账户平台框选择“MongoDB”。连接方式可以选择“指定数据库”或“Connection URL”两种。同时也可以根据实际情况,在不填写“用户名”与“密码”的情况下创建连接。

确认信息填写无误后,点击“测试连接”,显示“连接成功”,则点击“确认”创建好一个MongoDB数据连接账户。

2.2 创建MongoDB数据集

2.2.1 选择连接器

进入数据中心>数据集,点击“+新建数据集”,选择“数据库”。在“选择连接器”中选中“MongoDB”,点击下一步。

2.2.2 选择数据表

选择一个已建好的MongoDB账户,左侧列出该账户下可见的数据表。选择其中一张表,系统会根据这张表中前100行数据自动生成字段信息。若有些字段您并不想要抽取上来,可以选择删除若干。

若前100行数据中未包含您想要的字段,您也可以通过新建字段来自行添加字段信息。字段类型也可自行指定。

若想对抽取的数据进行一些筛选,您可以按字段添加若干筛选条件。配置完成后点击“预览”,可以查看到获得的预览数据。

2.2.3 更新设置

MongoDB仅支持Guan-Index模式。您可以为MongoDB数据集设置“去重主键”和“增量更新”。“增量更新”仅需设置筛选条件即可,比如选择日期为“昨天”。

在数据更新周期的设置中,您可以选择手动更新/每天/每周/每月更新,当选择定时更新,还可以设定几时几分的具体时间。

2.2.4 确认数据表信息

填写“数据集名称”,选择保存的位置。此时如果需要重命名字段,可以点击字段右侧的小箭头进行设置。最后点击“确认新建”。

2.3 使用MongoDB数据集

MongoDB数据集与一般的Guan-Index数据集没有太多差别,您可以直接使用MongoDB数据集创建卡片或ETL。值得注意的是,若数据集中带有非结构化的数组、JSON字段时,因其是以文本的形式存储的,若需要进行加工转换处理,可能需要使用到Spark中JSON相关的函数。

3. 名词解释

MongoDB

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。它是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。


3 人点赞过