第三章 德塔 ETL 人工智能可视化数据流分析引擎系统.
基础应用: 元基催化与肽计算编译机的神经元模拟机
知识来源, 作者第一次接触节点编码是在上海的章鑫杰公司2009年, 作者的工作任务是基于Knime,进行eclipse 插件开发Knime的节点, 当时是作者第一次用Java进行工作编码, 作为ESIEE的pascal助理partner, 参与flech元音法语邮件的文本分析.
作者这里要感谢罗瑶林教作者使用eclpse进行1断点调试和knime插件的2单例迭代编码方法, 用于区别java和c, 当时用qq的远程操作. 同时也要感谢章鑫杰在堂弟教了断点调试后第2天也重复教了作者import 和export 开发包和eclpse进行断点调试, 也是用qq的远程操作.作者在章总那就问了罗瑶林这两个问题.
章鑫杰给了作者和张继斌(后离开上海帆腾去了美国花旗银行就职数据分析员)关于C#的数据分析软件, 作者记得内含另一种ETL风格的窗口组件, 底层章总进行了dll加密, 章总用comforx标识API文件名, 作者在美国仅仅给彭昌世和米达提阿勒布斯拜展示过一次(还有一个台湾的tony,住在彭昌世家,卡拉森的学生,看了也没用,又是送的还加密). 后卡拉森要牛怡然给作者格式化了联想电脑, 源码存储在美国工业城市frys店购买的西部数字的usb移动硬盘内, 在Rosemead
Del Mar AVE租房作者与国内父母用qq聊天,网络是作者联想电脑+qq313699483+atnt+360杀毒+安全卫士+国内浏阳电信+tplink路由器+qq275108127,当时莫名愤怒砸了, 在场有梁春梅和李妙环身边RC电子设备有三星手机,诺基亚手机,苹果itouch,戴尔笔记本,雅马哈电钢等. 美国时间是晚上,
作者之后一直用卡拉森的路德大学镜像操作系统读书.作者在学校接触Weka API, 这是作者见过的第三种Pipeline 节点分析模块, 后设计甲骨文数据库, 又自学了甲骨文的节点流ETL, 之后又在谷歌搜索上自学了Orange和 Kettle ETL, 分享一个秘密, 作者的波浪曲线模拟神经元链接箭头便是来自Orange的灵感,只是Orange更细腻,因为封装了,作者看不到源码。
这些ETL的文档阅读,安装和使用,丰富了作者在 ETL领域的应用和研发知识。再分享大家一个秘密,作者在2014年设计ETL Unicorn一开始准备想用C#来设计,模拟章总送的那个ETL的样子,当时作者的联想电脑装的VS2008是盗版的是高顺给作者的,用的各种不爽和卡机,而作者的计算机视觉作业是Java写的API,最后,作者就硬着头皮用Java写ETL
Unicorn了。作者一边设计,一边教旁边的李妙环,内心很有成就,但是莫名肋感神经剧烈疼痛,引擎界面一出来,作者疼的当时就停止了研发,去波音面试展示了下,后上班去了就淡忘了。因为养疗经的设计,2019年又重新开始ETL优化编码。另外,感谢下作者人生第一次用batch line 来执行Java调用exec批处理脚本指令,是章鑫杰教的。
罗瑶光
1 德塔ETL 又叫 ETL UNICRON, 是一个数据节点流计算的可视化操作工具.refer page 267
2 最早由作者在路德大学设计java卷积视觉包,为了方便 像素矩阵流的流水观测。refer page 186
3 德塔ETL采用APPLET,可以嵌入在网页上作为 rich web架构,与flash应用相似。refer page 287
4 德塔ETL已成为当前的PLETL,和元基花模拟神经元计算的基础组件。refer page 774
界面,
1 德塔ETL 的界面采用Jsplitpane分区 主要包含节点显示树区,节点画布操作区,计算状态反馈区 和系统配置区。refer page 286~
2 节点的显示区 采用Jtree进行鼠标操作,左键选择,右键弹框。refer page 286~
3 画布操作区 的 节点采用画线描点实现,操作为左键拖拽,右键连线和弹框。refer page 311~
早期的节点处理界面弹框 设计成inner弹框模式作者发现关闭按钮被屏蔽了,于是就改成frame组件跳出canvas画布来显示节点处理界面。
4 状态反馈与系统配置区用于实时了解ETL的运行状态。refer page 见jtextPanel
最新 养疗经 版本,作者将状态数据的jtextpanel 写在了元基枝全局变量进行集成,如果要单独将etl做插件使用,要区别这个 函数,可以改写下。
皮肤,
1 德塔ETL 皮肤采用bitmap实现,可以自由替换。refer page 333,334
(之后我会进行代码的优化优化, 将 bitmap的表达形式 array[][] swap成 array[]+array[],这样50*50的界面 含有200个点, 2500次遍历 就变成了200次, 界面刷新时间缩减到原来的十分之一甚至更短。罗瑶光)
写清楚点, array[10行][10位]= 1 or true 如果坐标矩阵第10行第10位 是像素显示标记1, 那么可以swap成 array[0]=10行, + array[0]=10位, 这样极大的减少计算array的内存buffer占用。再举例 array[13行][9位]= 1 or true 如果坐标矩阵第13行第9位 是像素显示标记1, 那么可以接下来swap成 array[1]=13行, + array[1]=9位,方便理解。
2 德塔ETL 皮肤包含指标,箭头,连线,节点外形,控间外形设计。refer page 332,319~
3 德塔ETL 的控件采用jdk的组件 componient进行2次开发。refer page 334~
4 德塔ETL 的引擎界面的描点画线基于AWT Swing的canvas 画布系统实现。refer page 311~
另外德塔早期曾用界面 LYG-AI 如下:
流存储,
1 德塔ETL的流存储是一个object类,可以包含多种状态。refer page 329~332
2 德塔ETL的流采用单例的this.clone,确定了中间态存储模式。refer page 见 节点 clone()
3 德塔ETL的流可保存,可观测,但不可逆。refer page 329,330
节点,
1 德塔ETL的节点作为一个计算单元,模拟神经元作为最小单位计算。refer page 327~
2 德塔ETL的节点存在UI多样化,可界面设计如orange, knime,weka那样。refer page 335
3 德塔ETL的节点也可以语言化,如PLETL的语句IO模式研发设计。refer page 774~,790
4 德塔ETL的节点大体为从左到右的IO模式,节点流计算目前可循环但不可逆。refer page 329~332
插件,
1 德塔ETL的插件类似OSGI的jar开发模式。严谨的说只是继承的classloader模式。refer page 286,290,777
2 德塔ETL的插件可以加元基标识认证组件,避免错误插件扩展。refer page 290,777,779
3 德塔ETL目前支持插件进行平台配置,页面扩展和节点扩展。refer page 286,290
4 德塔ETL目前的3元基文件名索引肽化支持插件的分类管理和加密标识。refer page 781
档案,
1 德塔ETL的档案包含节点流信息和节点配置信息。refer page 279,282
2 德塔ETL的存储采用节点的画布状态单例信息存储方式.refer page,279,,282
3 单例信息包含画布中节点的坐标,名称,ID,连线,配置信息等实体信息。refer page 282
4 德塔ETL的流存储用文件读写形式.etl后缀存储.refer page 282
5 德塔ETL的存储可支持加密和batch模式运行。refer page 养疗经应用略
拓扑,
1 德塔ETL的拓扑体现在节点的神经元模拟计算观测。refer page 273
2 节点的神经元模拟拓扑体现在从左到右的从高到低拓扑模式。refer page 273
3 第2点或许是个拓扑缺陷,但是却因此又确定了固有 的向量方位。refer page 273
神经网络,
1 德塔ETL的神经网络计算在流数据计算中有实际价值。refer page 274
2 德塔ETL神经网络在PLETL和tinshell中逐渐体现其更多学术价值。refer page 783
3 德塔ETL的向量拓扑模式确定了神经网络的加权方式。refer page 274
4 德塔ETL的神经网络可循环不可逆。refer page 274
一键执行,
1 德塔ETL支持 一键保存 。refer page 277, 282
2 德塔ETL支持 一键读取。refer page 302
3 德塔ETL支持 一键执行。refer page 308
德塔的一键执行最早作者想设计成Knime的那种batch的批处理脚本节点流那样,随着作者TinShell出来后,作者觉得批处理跨语言,即繁琐又没效率。于是想做成JAVA脚本语言,伴随着个思路,目前作者设计了TinShell语言和元基花语言。
涉及著作权文件:
1.罗瑶光. 《德塔ETL人工智能可视化数据流分析引擎系统 V1.0.2》. 中华人民共和国国家版权局, 软著登字第4240558号. 2019.
2.罗瑶光,罗荣武. 《类人DNA与 神经元基于催化算子映射编码方式 V_1.2.2》. 中华人民共和国国家版权局,国作登字-2021-A-00097017. 2021.
3.罗瑶光,罗荣武. 《DNA元基催化与肽计算第二卷养疗经应用研究20210305》. 中华人民共和国国家版权局,国作登字-2021-L-00103660. 2021.
4.罗瑶光,罗荣武. 《DNA 元基催化与肽计算 第三修订版V039010912》. 中华人民共和国国家版权局,国作登字-2021-L-00268255. 2021.
5.罗瑶光. 《DNA元基索引ETL中文脚本编译机V0.0.2》. 中华人民共和国国家版权局,SD-2021R11L2844054. 2021. (登记号:2022SR0011067)软著登字第8965266号
6.类人数据生命的DNA计算思想 Github [引用日期2020-03-05] https://github.com/yaoguangluo/Deta_Resource
7.罗瑶光,罗荣武. 《DNA元基催化与肽计算 第四修订版 V00919》. 中华人民共和国国家版权局,SD-2022Z11L0025809. 2022.
文件资源
1 jar: https://github.com/yaoguangluo/ChromosomeDNA/blob/main/BloomChromosome_V19001_20220108.jar
2 book 《DNA元基催化与肽计算 第四修订版 V00919》上下册
https://github.com/yaoguangluo/ChromosomeDNA/tree/main/元基催化与肽计算第四修订版本整理
3 函数在git的存储地址:demos
Github:https://github.com/yaoguangluo/ChromosomeDNA/
Coding:https://yaoguangluo.coding.net/public/YangLiaoJingHuaRuiJi/YangliaojingHuaruiji/
Bitbucket:https://bitbucket.org/luoyaoguang/yangliaojing/
Gitee:https://gitee.com/DetaChina/
4 uml: https://blog.csdn.net/weixin_38249398/category_11647527.html