# 文件采集新增支持数据库数据采集

来源快照：`result_data_new_260518.json`

- 来源 ID：`1168452548888346801`
- 模块：未分组
- 目录：功能更新说明 - 2025-07
- space ID：`4525655228114545697`
- 原文链接：未提供
- 产品基线：未提供

## 正文

# 一、背景

越来越多的客户需要将第三方系统的文件迁移到E10系统中，除了直接从第三方系统的存储服务器中直接采集文件到E10中，还有希望可以基于第三方系统数据库中文件的逻辑数据去做精确迁移。

# 二、功能描述

1、新建采集任务窗口增加【采集类型】下拉选择框，选项值有{数据源数据采集、数据库数据采集}，默认”数据源数据采集“，为原采集逻辑。  
2、当【采集类型】的选项值为“数据源数据采集”时，不展示ETL数据集浏览框；当切换【采集类型】的选项值为“数据库数据采集”时，联动展示ETL数据集浏览框（单选），有必填标识。（此数据来源于数据加工中的ETL流程）  
3、选择完采集类型及ETL数据集浏览框之后，实现从第三方系统数据库中采集逻辑数据关联物理路径实现文件采集。

# 三、功能说明

## 3.1 新建连接器

步骤：后台管理中心-平台引擎-ESB中心-连接器-新建连接器-创建FTP/NAS类型的连接器-创建具体连接

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020973548306446&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

创建ftp连接器：

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020960864731137&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

创建nfs连接器：

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020952089214988&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

## 3.2 新建归集动作流

步骤：后台管理中心-平台引擎-ESB中心-动作流-新建动作流-自定义事件触发-自定义触发-配置第一个节点输入参数-配置第二节点-新建文档-配置第三个节点输出参数-保存并启用动作流

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020956527820816&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020969442951179&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020969442951183&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020964996988931&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020960819462147&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020952258019329&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020956384714771&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020982353018883&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020965059035139&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020982247292936&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

## 3.3 创建数据链接（可选）

这一步骤只有当符合此基线条件：（10.0.2507.01基线及以上版本）（包括10.0.2507.01），即文件采集支持etl流程配置时才有必要操作

 

步骤：后台管理中心-数据加工-数据连接-新增连接

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020977918771205&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

 

## 3.4 创建etl流程（可选）

这一步骤只有当符合此基线条件：（10.0.2507.01基线及以上版本）（包括10.0.2507.01），即文件采集支持etl流程配置时才有必要操作

 

步骤：后台管理中心-数据加工-数据开发-新增分组-新建ETL

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020969442951174&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

直接采集数据库数据转存为附件的etl配置示例：

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020977898668044&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020973662421000&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020956407054336&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020952258019332&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020982353018895&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

根据第三方数据库记录的附件信息做精确采集的示例：

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020977918771212&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020973662420996&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020977898668034&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020973665247234&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

## 3.5 配置采集任务

步骤：后台管理中心-全局基础-文件设置-文件采集设置-新建采集任务

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020964996988934&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020965049614343&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020969442951170&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020956442902543&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

采集数据源弹窗介绍：

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020969345114113&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

 

## 3.6 使用采集任务

### 3.6.1 执行

默认整个系统只能有一个任务执行，可以通过调整文件服务配置项file.coll.system.lock来关闭此限制

 

未启用的采集任务，点击启用按钮，开始文件采集。

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020956527820809&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

 

 

任务开始采集前会进行扫描，弹窗告知用户即将要采集多少文件数、大小及耗时

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020960864731151&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

 

点击开始采集按钮，开始执行采集任务，弹出采集进度弹窗，展示采集详情

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020960804978702&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

 

### 3.6.2 暂停

正在执行中的采集任务，可以在采集进度中点击【暂停采集】，或直接点击启用开关进行暂停

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020956527820806&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020973548306441&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

 

暂停的任务可在任务进度中点击重新采集按钮，或者点击启用开关，继续执行采集任务

 

### 3.6.3 另存为

对于已存在的采集任务，可点击另存为按钮，生成一份新的采集任务，新的采集任务状态为未开始状态

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020960864731141&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

 

另存为的采集任务，可以编辑修改采集任务设置

![](https://weapp.eteams.cn/papi/file/preview?fileId=1171020965175975939&type=redirect&customParam=%7B%22isExtDist%22%3Atrue%2C%22distributeId%22%3A%22%22%2C%22externalId%22%3A%22%22%2C%22appId%22%3A%22%22%7D)

###
