基于Spring Boot的数据采集系统的设计与实现

摘要： 随着人工智能时代的到来，核心算法的突破和计算能力的提升，用于支持机器学习的样本和数据的需求也在增加。并且视觉认知和行为认知的探索和实践也需要大量的数据资料作为基础[1]。为提供高质量的机器学习原材料，我们设计并实现了一个基于Spring Boot的人工智能数据采集系统，让互联网上的每一个人都能参与到人工智能行业的发展中来。

关键词： Spring Boot; data collection; database; android

1 引言

自1956年人工智能概念首次提出以来，经过62年的发展，人工智能已成为新一轮产业转型的核心动力[3]，并取得了巨大进步，成为全世界科技的焦点。

它对世界经济、社会进步和人类生活产生了极其深远的影响[4]。从人工智能的发展来看，其核心在于数据支持。我们应该如何为人工智能行业获取高质量的数据呢？

第一个当然是网络爬虫，但爬虫只能按照一定的规则进行爬取，而且捕获信息的质量也参差不齐。同时，被爬取的信息只能是从互联网上获取的，而不是新创建的，因此一种新型的数据采集方式的出现就显得尤为重要。

鉴于此，本文以人工智能数据需求为牵引，结合业务需求和数据需求的应用分析，基于Spring Boot框架，开发并实现了一个具有高并发性优势，可以充分利用分层服务为用户提供良好的交互体验。数据采集系统扮演着亿万互联网用户的角色，准确高效地为人工智能行业提供高质量的数据，为普通人参与人工智能领域打开了新的入口。

2 SPRING BOOT 的技术研究

Spring Boot是Pivotal团队在2013年开发的一个全新的开源轻量级框架，于2014年4月发布。它基于Spring 4.0设计，不仅继承了Spring框架原有的优秀特性，而且通过简化配置简化了Spring应用程序的整个构建和开发过程[5]。

Spring Boot可用于多层体系结构的模型层。对于上层，它可以有效屏蔽底层数据库操作，提高底层模块和高层模块之间的内聚性，减少多层模块之间的耦合，同时也可以通过分层模块化架构应用于业务系统。

Spring Boot框架简化了应用程序服务的复杂性，以方便、快速、灵活的方式支持服务和部署，并具有跨平台互操作性和数据的可重用性。Spring Boot框架可以有效地解决快速开发和部署、网络异构、跨平台和数据重用等问题。该数据采集系统采用Spring Boot框架构建，具有出色的性能、处理并发问题的强大能力，以及出色的数据交互和算法计算能力。

数据采集系统的数据提供者采用Spring Boot library框架，定义了一套标准的数据调用方法和接口[6]，为数据计算、数据分析、数据统计等提供标准化的数据支持。

Spring Boot框架对数据采集平台的技术支持主要包括以下几点：

bull; 负责业务数据清理和质量控制。

bull; 系统数据流逻辑实现。

bull; 负责数据库的查询、添加、更新、删除、统计等。

bull; 负责数据库的持久化。

bull; 为系统接口提供数据服务接口支持。

bull; 管理用户和用户日志数据。

bull; 为系统中涉及的机器学习算法提供计算服务。

3 详细的系统设计

该系统以Spring Boot的数据采集系统为基础，分三部分进行介绍，即总体框架设计、系统详细设计和前端设计。

A.总体框架介绍

系统采用分层设计框架，确保数据采集系统的高可扩展性。系统的总体框架由三部分组成：数据层、服务层和控制层[7]。

系统整体框架如图1所示。

图1：总体框架

a）Dao层：主要负责数据库的运行、设计数据的存储、更新、删除等，涉及4类主要信息，包括基础业务数据（如用户信息数据、任务信息数据、应答信息数据等）、系统管理数据、统计数据、系统配置数据[8]。所有数据都以统一的方式存储和管理。基础业务数据和系统管理数据主要存储在MySql数据库中，统计数据和系统配置数据以JSON模式存储。

b）服务层：主要负责相应的逻辑，即处理数据，形成最终的服务数据，形成数据服务接口供Dao层处理。服务层主要处理用户信息、任务信息、应答信息、用户通知信息、机器学习算法计算的相关逻辑处理，并请求相应的数据。

c）控制层：主要负责处理客户端发送的http请求及相关业务调度，并通过客户端接口访问的控制层连接到服务层，实现具体的服务操作。

B.系统具体架构

系统主要提供以下两个业务模块：任务发布者（数据请求者）：发布和管理数据采集任务；任务完成者（数据提供者）：完成数据采集任务并获取任务金币。系统主要包括三个信息管理模块：用户信息管理模块、任务信息管理模块、应答信息管理模块[9]。

bull; 用户信息管理模块设计：

如图2所示，首先是用户登录部分，当数据库中找不到户信息时，要求用户注册。注册时，用户信息将输入数据库。如果用户忘记了密码，可以找回密码（注册的电子邮件地址会收到验证码）。

如果用户输入的帐户名或密码不正确，数据库将无法搜索，验证将失败，错误消息将返回给用户。否则，正确的身份验证可以成功进入应用程序主页，并且可以更改个人信息，包括用户密码、电子邮件、性别、个人签名、手机号码；金币充值、个人通知信息等。

图2：用户信息管理模块图

bull; 任务信息管理模块设计：

如图3所示，数据请求者是任务发布者。在这一部分中，用户可以发布任务，包括图片任务、音频任务和文本任务。任务发布者将被要求输入任务名称、任务内容、任务奖金、任务类型等。提交后，这些信息将与任务发布者和发布时间一起存储在数据库中。剩下的用户可以刷新新发布的任务、查看任务信息、收集任务和评论任务；任务发布器可以执行任务修改、任务更新和任务删除。

图3：回复信息管理模块图

bull; 信息回复管理模块：

如图3所示，数据提供者浏览任务，选择可以完成的任务，并上传任务所需的图像、音频或文本。在上传过程中，web后端使用机器学习算法自动检测任务是否与用户上传的资源匹配。如果这里使用图像任务，则使用CNN、RNN神经网络和Inception3架构来实现图像识别[10]，并根据任务要求比较分数；

后台自动审核完成后，答案信息将输入数据库。上传数据的用户和任务发布者可以查看任务，用户还可以修改上传的数据。任务发布者还可以手动判断任务。如果用户上传的数据确实满足任务发布者的需求，任务结束后，相应的奖金将自动结算给用户上传者。如果任务发布者对用户上传的数据感到不满意，然后用户可以重新上传新的数据。在这个过程中，自动审计数据为任务发布者提供了极大的便利，减轻了他们的审查压力，使我们的系统更加完整。

C.前端设计

系统前端采用基于XML和活动的Android设计，提供五个模块：任务管理、应答管理、用户管理、金币管理、通知管理[11]。

如图4所示，图示视图层负责将用户请求通知业务逻辑层，并根据数据访问层更新接口；在业务逻辑层完成业务逻辑后，活动或片段接收到用户更改数据访问层状态的请求[12]；数据访问层是新的，数据被发送到视图层显示，用户得到反馈，视图层主要为用户提供直观简洁的操作。

系统的安卓部分采用MVC设计模式，将安卓系统分为三层，即数据访问层（M）、视图层（V）、业务逻辑层（C），最终实现较低的代码耦合度，提高代码的内聚性。

Android主要使用okHttp3包与Spring Boot进行数据交互，数据处理能力优异，支持Http2/SPDY；套接字自动选择最佳线路并支持自动重新连接；两个头缓存策略减少了重复的网络请求；拦截器可以轻松处理请求和响应，并轻松高效地连接到Spring Boot。

图4： Android 系统 MVC 模式设计

4 结论

通过对Spring的研究，我们确定了Spring Boot开发的优势，结合当前时代的实际情况和当今数据采集的缺陷，设计了数据采集系统[139]。本文介绍了Spring-Boot框架的基本特点和概念，以及基于Spring-Boot的数据采集系统各功能模块的设计和具体实现方法。由此可见，Spring Boot框架的应用为数据采集系统提供了新的构建思路和手段，提高了为人工智能时代提供大量各种形式数据的能力。

外文原文资料信息

Authors: Liu xuchen; Li chaoyu

Title: Design and Implementation of a Spring Boot-Based Data Collection System

Published in: 2020 12th International Conference on Intelligent Human-Machine Systems and Cybernetics (IHMSC)

Date of Conference: 22-23 Aug. 2020

Date Added to IEEEXplore: 23 September 2020

ISBN Information:

Electronic ISBN: 978-1-7281-6517-2

Print on Demand(PoD) ISBN: 978-1-7281-6518-9

INSPEC Accession Number: 19996452

DOI: 10.1109/IHMSC49165.2020.00059

Publisher: IEEE

Conference Location: Hangzhou, China

Website: https:/

剩余内容已隐藏，支付完成后下载完整资料

英语原文共 4 页，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[596135]，资料为PDF文档或Word文档，PDF文档可免费转换为Word