问界低代码平台架构设计及业务实践

2023-07-03 08:35 由古道轻风发表于 #软件设计

1.前言

内因：随着之家业务快速发展，公司内部的数字化需求越来越多，信息系统团队每年都面对大量的需求，但研发侧资源是一定的，那么如何更快速的交付需求，越来越成为团队重点思考解决的问题。

外因：互联网技术的不断推陈出新，尤其以React，Vue为代表的前端技术框架突飞猛进，大幅降低了可视化拖拽操作的技术门槛。

行业内低代码平台主要涉及表单，流程, 数据开发，BI工具，智能机器人等方向。

1.前言

2.问界低代码平台介绍

问界平台，第一期锁定了数据方向的主题进行建设开发。具体围绕数据分析的以下5个场景：

数据建模场景：实现零代码，可视化的拖拉拽方式数据建模;
数据开发场景：实现数据抽取，清洗加工，然后输出到目标表等功能;
数据分析场景：通过BI解决多维度数据分析需求;
指标及维度规则场景：实现在线的计算公式、数据核算规则的配置及后端自动化核算;
数据质量监控场景：实现低代码方式的数据监控，及既定规则的数据自动修复

3.问界平台技术架构介绍

3.1

前端框架

前端框架选型React, React提供了组件化的编程思想，特别适合中大工程采用，另外考虑移动端RN的普及，所以整体采用React来实施。

前端框架一览表：

3.2

后端框架

后端整体的技术架构基于Spring Cloud微服务框架，依托于云平台Asf ; 通过SkyWalking实现后端全链路调用链的监控。

3.2.后端框架

3.3

调度引擎

调度引擎选型方面，我们选择了PowerJob开源的工作流调度引擎，目前市面上的调度引擎主要分为两类，定时调度，代表性的调度引擎有quartz,xxlJob等，以及以Oozie,PowerJob等为代表的工作流调度引擎，考虑到数据开发场景的大量数据依赖任务，问界平台选择了PowerJob来负责底层的任务调度引擎，PowJob框架本身自带流程引擎设计器。

3.4

ORM框架

采取自研的ORM框架（automis.orm）,相比Mybatis半自动化ORM框架,省去大量SQL脚本的编写，框架底层增加大量常用的数据查询方法，如自动加载为hash，自动格式化为交叉表等数据的查询及汇总，小计合计的计算等。框架自动支持底层各类日志的跟踪分析，及数据缓存策略，如基于方法，基于脚本，基于路径的数据缓存等。

问界低代码平台后续将继续表单场景的低代码化，基于当前支持动态实体多表的自动序列化。可以有效支持基于数据模型设计的表单数据自动映射与序列化；

3.5

运行机制

3.5.运行机制

4.问界低代码场景介绍

4.1

数据建模场景

数据建模做为数据分析的基础，问界提供了在线ER图的设计，并且可以在线进行数据表，维度及度量名称等的二次修改及调整，另外支持计算字段及分组字段等的高阶配置；

计算字段：支持聚合函数（sum/count/avg等）及计算公式（如：a+b-c*100）等的配置
分组字段：支持时间、字符、数值类型的快速分组配置（类case when）

通过以上功能，普通的数据分析师完全可以通过零代码的方式，完成线上数据模型设计，并通过后续的BI分析模块进行下一步的数据分析。

► 4.1.1 在线ER图的设计

4.1.1.在线ER图的设计

► 4.1.2 计算字段的可视化配置

4.1.2.计算字段的可视化配置

► 4.1.3 分组字段的可视化配置

4.1.3.分组字段的可视化配置

4.2

数据开发场景

所有的数据分析，离不开基础数据的加工，只有加工清洗后的数据，才具备分析的价值。

问界平台目前已上线支持12个组件，其中4类脚本开发组件，用于在线直接数据脚本的编写与开发，采用Monaco Editor 支持一定的SQL语法糖，支持mysql,SqlServer, hiveSQL, StarRockcs等数据库脚本的编写；另外提供7类数据专项开发组件，后续还会不断进行新增扩充组件（如：API组件、脚本组件等）。

开发模块运行机制：