第三章 德塔 ETL 人工智能可视化数据流分析引擎系统.

第三章 德塔 ETL 人工智能可视化数据流分析引擎系统.

基础应用: 元基催化与肽计算编译机的神经元模拟机

知识来源, 作者第一次接触节点编码是在上海的章鑫杰公司2009年, 作者的工作任务是基于Knime,进行eclipse 插件开发Knime的节点, 当时是作者第一次用Java进行工作编码, 作为ESIEE的pascal助理partner, 参与flech元音法语邮件的文本分析.

作者这里要感谢罗瑶林教作者使用eclpse进行1断点调试和knime插件的2单例迭代编码方法, 用于区别java和c, 当时用qq的远程操作. 同时也要感谢章鑫杰在堂弟教了断点调试后第2天也重复教了作者import 和export 开发包和eclpse进行断点调试, 也是用qq的远程操作.作者在章总那就问了罗瑶林这两个问题.

章鑫杰给了作者和张继斌(后离开上海帆腾去了美国花旗银行就职数据分析员)关于C#的数据分析软件, 作者记得内含另一种ETL风格的窗口组件, 底层章总进行了dll加密, 章总用comforx标识API文件名, 作者在美国仅仅给彭昌世和米达提阿勒布斯拜展示过一次(还有一个台湾的tony,住在彭昌世家,卡拉森的学生,看了也没用,又是送的还加密). 后卡拉森要牛怡然给作者格式化了联想电脑, 源码存储在美国工业城市frys店购买的西部数字的usb移动硬盘内, 在Rosemead

Del Mar AVE租房作者与国内父母用qq聊天,网络是作者联想电脑+qq313699483+atnt+360杀毒+安全卫士+国内浏阳电信+tplink路由器+qq275108127,当时莫名愤怒砸了, 在场有梁春梅和李妙环身边RC电子设备有三星手机,诺基亚手机,苹果itouch,戴尔笔记本,雅马哈电钢等. 美国时间是晚上,

作者之后一直用卡拉森的路德大学镜像操作系统读书.作者在学校接触Weka API, 这是作者见过的第三种Pipeline 节点分析模块, 后设计甲骨文数据库, 又自学了甲骨文的节点流ETL, 之后又在谷歌搜索上自学了Orange和 Kettle ETL, 分享一个秘密, 作者的波浪曲线模拟神经元链接箭头便是来自Orange的灵感,只是Orange更细腻,因为封装了,作者看不到源码。

这些ETL的文档阅读,安装和使用,丰富了作者在 ETL领域的应用和研发知识。再分享大家一个秘密,作者在2014年设计ETL Unicorn一开始准备想用C#来设计,模拟章总送的那个ETL的样子,当时作者的联想电脑装的VS2008是盗版的是高顺给作者的,用的各种不爽和卡机,而作者的计算机视觉作业是Java写的API,最后,作者就硬着头皮用Java写ETL

Unicorn了。作者一边设计,一边教旁边的李妙环,内心很有成就,但是莫名肋感神经剧烈疼痛,引擎界面一出来,作者疼的当时就停止了研发,去波音面试展示了下,后上班去了就淡忘了。因为养疗经的设计,2019年又重新开始ETL优化编码。另外,感谢下作者人生第一次用batch line 来执行Java调用exec批处理脚本指令,是章鑫杰教的。

罗瑶光


1 德塔ETL 又叫 ETL UNICRON, 是一个数据节点流计算的可视化操作工具.refer page 267

2 最早由作者在路德大学设计java卷积视觉包,为了方便 像素矩阵流的流水观测。refer page 186

3 德塔ETL采用APPLET,可以嵌入在网页上作为 rich web架构,与flash应用相似。refer page 287

4 德塔ETL已成为当前的PLETL,和元基花模拟神经元计算的基础组件。refer page 774

界面,

1 德塔ETL 的界面采用Jsplitpane分区 主要包含节点显示树区,节点画布操作区,计算状态反馈区 和系统配置区。refer page 286~

2 节点的显示区 采用Jtree进行鼠标操作,左键选择,右键弹框。refer page 286~

3 画布操作区 的 节点采用画线描点实现,操作为左键拖拽,右键连线和弹框。refer page 311~

早期的节点处理界面弹框 设计成inner弹框模式作者发现关闭按钮被屏蔽了,于是就改成frame组件跳出canvas画布来显示节点处理界面。

4 状态反馈与系统配置区用于实时了解ETL的运行状态。refer page 见jtextPanel

最新 养疗经 版本,作者将状态数据的jtextpanel 写在了元基枝全局变量进行集成,如果要单独将etl做插件使用,要区别这个 函数,可以改写下。

皮肤,

1 德塔ETL 皮肤采用bitmap实现,可以自由替换。refer page 333,334

之后我会进行代码的优化优化, 将 bitmap的表达形式 array[][] swap成 array[]+array[],这样50*50的界面 含有200个点, 2500次遍历 就变成了200次, 界面刷新时间缩减到原来的十分之一甚至更短。罗瑶光

写清楚点, array[10行][10位]= 1 or true 如果坐标矩阵第10行第10位 是像素显示标记1, 那么可以swap成 array[0]=10行, + array[0]=10位, 这样极大的减少计算array的内存buffer占用。再举例 array[13行][9位]= 1 or true 如果坐标矩阵第13行第9位 是像素显示标记1, 那么可以接下来swap成 array[1]=13行, + array[1]=9位,方便理解。

2 德塔ETL 皮肤包含指标,箭头,连线,节点外形,控间外形设计。refer page 332,319~

3 德塔ETL 的控件采用jdk的组件 componient进行2次开发。refer page 334~

4 德塔ETL 的引擎界面的描点画线基于AWT Swing的canvas 画布系统实现。refer page 311~

另外德塔早期曾用界面 LYG-AI 如下:

流存储,

1 德塔ETL的流存储是一个object类,可以包含多种状态。refer page 329~332

2 德塔ETL的流采用单例的this.clone,确定了中间态存储模式。refer page 见 节点 clone()

3 德塔ETL的流可保存,可观测,但不可逆。refer page 329,330

节点,

1 德塔ETL的节点作为一个计算单元,模拟神经元作为最小单位计算。refer page 327~

2 德塔ETL的节点存在UI多样化,可界面设计如orange, knime,weka那样。refer page 335

3 德塔ETL的节点也可以语言化,如PLETL的语句IO模式研发设计。refer page 774~,790

4 德塔ETL的节点大体为从左到右的IO模式,节点流计算目前可循环但不可逆。refer page 329~332



养疗经 处方节点 一键打印

插件,

1 德塔ETL的插件类似OSGI的jar开发模式。严谨的说只是继承的classloader模式。refer page 286,290,777

2 德塔ETL的插件可以加元基标识认证组件,避免错误插件扩展。refer page 290,777,779

3 德塔ETL目前支持插件进行平台配置,页面扩展和节点扩展。refer page 286,290

4 德塔ETL目前的3元基文件名索引肽化支持插件的分类管理和加密标识。refer page 781

档案,

1 德塔ETL的档案包含节点流信息和节点配置信息。refer page 279,282

2 德塔ETL的存储采用节点的画布状态单例信息存储方式.refer page,279,,282

3 单例信息包含画布中节点的坐标,名称,ID,连线,配置信息等实体信息。refer page 282

4 德塔ETL的流存储用文件读写形式.etl后缀存储.refer page 282

5 德塔ETL的存储可支持加密和batch模式运行。refer page 养疗经应用略

拓扑,

1 德塔ETL的拓扑体现在节点的神经元模拟计算观测。refer page 273

2 节点的神经元模拟拓扑体现在从左到右的从高到低拓扑模式。refer page 273

3 第2点或许是个拓扑缺陷,但是却因此又确定了固有 的向量方位。refer page 273

神经网络,

1 德塔ETL的神经网络计算在流数据计算中有实际价值。refer page 274

2 德塔ETL神经网络在PLETL和tinshell中逐渐体现其更多学术价值。refer page 783

3 德塔ETL的向量拓扑模式确定了神经网络的加权方式。refer page 274

4 德塔ETL的神经网络可循环不可逆。refer page 274

一键执行,

1 德塔ETL支持 一键保存 。refer page 277, 282

2 德塔ETL支持 一键读取。refer page 302

3 德塔ETL支持 一键执行。refer page 308

德塔的一键执行最早作者想设计成Knime的那种batch的批处理脚本节点流那样,随着作者TinShell出来后,作者觉得批处理跨语言,即繁琐又没效率。于是想做成JAVA脚本语言,伴随着个思路,目前作者设计了TinShell语言和元基花语言。

涉及著作权文件:

1.罗瑶光. 《德塔ETL人工智能可视化数据流分析引擎系统 V1.0.2》. 中华人民共和国国家版权局, 软著登字第4240558号. 2019.

2.罗瑶光,罗荣武. 《类人DNA与 神经元基于催化算子映射编码方式 V_1.2.2》. 中华人民共和国国家版权局,国作登字-2021-A-00097017. 2021.

3.罗瑶光,罗荣武. 《DNA元基催化与肽计算第二卷养疗经应用研究20210305》. 中华人民共和国国家版权局,国作登字-2021-L-00103660. 2021.

4.罗瑶光,罗荣武. 《DNA 元基催化与肽计算 第三修订版V039010912》. 中华人民共和国国家版权局,国作登字-2021-L-00268255. 2021.

5.罗瑶光. 《DNA元基索引ETL中文脚本编译机V0.0.2》. 中华人民共和国国家版权局,SD-2021R11L2844054. 2021. (登记号:2022SR0011067)软著登字第8965266号

6.类人数据生命的DNA计算思想 Github [引用日期2020-03-05] https://github.com/yaoguangluo/Deta_Resource

7.罗瑶光,罗荣武. 《DNA元基催化与肽计算 第四修订版 V00919》. 中华人民共和国国家版权局,SD-2022Z11L0025809. 2022.

文件资源

1 jar: https://github.com/yaoguangluo/ChromosomeDNA/blob/main/BloomChromosome_V19001_20220108.jar

2 book 《DNA元基催化与肽计算 第四修订版 V00919》上下册

https://github.com/yaoguangluo/ChromosomeDNA/tree/main/元基催化与肽计算第四修订版本整理

3 函数在git的存储地址:demos

Github:https://github.com/yaoguangluo/ChromosomeDNA/

Coding:https://yaoguangluo.coding.net/public/YangLiaoJingHuaRuiJi/YangliaojingHuaruiji/

Bitbucket:https://bitbucket.org/luoyaoguang/yangliaojing/

Gitee:https://gitee.com/DetaChina/

4 uml: https://blog.csdn.net/weixin_38249398/category_11647527.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容