终于实现LMS testlab数据半自动化处理

废话少说,先上效果图

格式工厂 屏幕录像20200318_201935.gif


可用的技术路线

技术路线图.png


自动化的需求

  • 多通道,多组,数据量比较大
  • 常规数据处理,方案一定,几乎都是重复性的操作
  • 数据量大,对原数据进行操作,容易污染原数据,也容易出错
  • 数据只能用专业软件打开,不利用共享

以上都是废话,最主要的是重复性工作,占用大部分时间,导致效率低下。有时候需求是多个评估指标,或者又临时加指标,所以又不得不把原来的数据重复算一遍,打开超级大的文件,会很凌乱。

为什么其他软件都可以自动化,偏偏LMS Testlab不行?

  • LMS testlab其实也提供了COM层的接口,什么是COM层?按我的理解就是程序在window系统上注册了一个对外开放的接口,方便自动化操作。下面这种全损图就是Excel的COM接口,VB代码初始化一个Excel应用如下:Dim ExcelApp As Excel.Application ExcelApp = CreateObject("Excel.Application")
    LMS帮助文档Automation.pdf里面有示例和接口说明,比较遗憾的是使用10.A版本,这种长久不更新的技术文档,几乎是暗示你不要使用这个方法了。
    excelCOM.PNG
  • 选择matlab。在命令窗口把文件拖进去,出现load('example.mat'),变量栏里面已经出现需要的数据,可以像剥笋一样把数据一层层打开……matlab是一个非常优秀的工程软件。但是它是收费的,而且体积很大,相对来说比较封闭,对于简单的文件操作来说选它不是太适合。对我来说它最致命的缺点就是十分奇怪的数据类型

最终选择python

  • 技术路线

不要什么原理,本人的追求就是开箱即用。
python主要的包.png
  • 主要程序如下:
# 先导入包
import os
import pandas as pd
from scipy.io import loadmat
import numpy as np
from scipy import signal
from scipy import math
from scipy import integrate
import matplotlib.pyplot as plt
def get_rms(records):
    '''求时域信号的有效值,不是均值'''
#     return records.apply(lambda x: math.sqrt(sum(x**2) / len(records)))
    return math.sqrt(sum([x**2 for x in records]) / len(records))

# 定义几个常用的方法,以后如果多了建议把这一块单独设置为类
def get_max_level(a_rms, a0=10**-6):
    '''求加速度振级'''
    return 20*math.log(a_rms/a0, 10)

def vibt_level_diff(lvf, lvr):
    '''
    振级落差,振级落差 = 隔振前加速度振级 - 隔振后加速度振级
    落差为正,有隔振效果,落差为负,振动经悬置传递后被放大
    '''
    deltav = lvf - lvr
    pj = ''
    if deltav>0:
        pj = '悬置有隔振效果'
    else:
        pj = '振动经悬置传递后被放大'
    return deltav, pj

# 下面主要是解析mat文件中包含的数据
m = loadmat('3.mat') #读取mat文件
data1 = pd.DataFrame(m['Signal'][0])

datay = pd.DataFrame(data1['y_values'][0][0])
datay1 = pd.DataFrame(datay['values'][0]) #这里就是所有振动数据的合集了

dataname1 = pd.DataFrame(data1['function_record'][0][0])
dataname2 = pd.DataFrame(dataname1['name'][0]).T
dataname2['测点位置'] = dataname2[0].apply(lambda a: ''.join(list(a))) # 包含测点的信息
dataname2.drop(columns=[0], inplace=True)
datay1.columns = list(dataname2['测点位置'])

testdata = pd.DataFrame(dataname1['creation_time'][0][0]) #获取文件创建时间
dataname2['创建时间'] = testdata[0].apply(lambda a: ''.join(list(a)))
testdata= pd.DataFrame(dataname1.last_modification_time[0][0]) #获取文件最后修改时间信息
dataname2['修改时间'] = testdata[0].apply(lambda a: ''.join(list(a)))
testdata= pd.DataFrame(dataname1.weighting[0][0]) #获取文件最后修改时间信息
dataname2['加权函数'] = testdata[0].apply(lambda a: ''.join(list(a)))
dataname2['数采通道'] = [x[0][0]for x in list(pd.DataFrame(pd.DataFrame(dataname1.primary_channel[0][0])['id'][0][0])[0])]
dataname2['窗函数'] = pd.DataFrame(pd.DataFrame(pd.DataFrame(dataname1.energy_amplitude_transform[0][0])['windows'][0][0])['type'][0][0])[0].apply(lambda a: ''.join(list(a)))
dataname2['项目文件'] = pd.DataFrame(pd.DataFrame(dataname1['TL_export_properties_annotation'][0][0])['project_name'][0][0])[0].apply(lambda a: ''.join(list(a)))
dataname2['section文件'] = pd.DataFrame(pd.DataFrame(dataname1['TL_export_properties_annotation'][0][0])['section_name'][0][0])[0].apply(lambda a: ''.join(list(a)))
dataname2['run目录'] = pd.DataFrame(pd.DataFrame(dataname1['TL_export_properties_annotation'][0][0])['run_name'][0][0])[0].apply(lambda a: ''.join(list(a)))
dataname2['实际开始测时间'] = pd.DataFrame(pd.DataFrame(dataname1['TL_export_properties_annotation'][0][0])['absolute_time'][0][0])[0].apply(lambda a: ''.join(list(a)))
dataname2['通道类型'] = pd.DataFrame(pd.DataFrame(dataname1['TL_export_properties_annotation'][0][0])['channel_group'][0][0])[0].apply(lambda a: ''.join(list(a)))
dataname2['文件路径'] = pd.DataFrame(pd.DataFrame(dataname1['TL_export_properties_annotation'][0][0])['orig_location'][0][0])[0].apply(lambda a: ''.join(list(a)))


datax = pd.DataFrame(data1['x_values'][0][0])
startvalue = datax.start_value[0][0][0] #时域开始点
increment = datax.increment[0][0][0] #步长
datalen = datax.number_of_values[0][0][0] #时间长度,这个值也可以通过 len(datay1)求出
t = len(datay1)*increment+startvalue #信号长度,这个可以用来校核信号是否取完整了
datainfo = pd.DataFrame(datax.quantity[0][0])
info = datainfo['info'][0][0] #这是显示data保存的信息

dataname2['采集开始点'] = startvalue
dataname2['步长'] = increment
dataname2['采样频率'] = 1/increment
dataname2['样本长度'] = datalen
dataname2['官方信息'] = info

# 查看与数据相关的信息,已经聚合到dataname2里了
dataname2.head()

# 求RMS值,振级
l_rms = [] # 求RMS值
l_zj = []
for col in datay1.columns:
    rms = get_rms(list(datay1[col]))
    l_rms.append(float('%.3f'%(rms)))
    l_zj.append(float('%.3f'%(get_max_level(rms))))
#     dic = {}
#     diczj = {}
#     dic[col+'_RMS'] = float('%.3f'%(get_rms(list(datay1[col]))))
#     diczj[col+'_ZJ'] = float('%.3f'%(get_max_level(dic[col+'_RMS'])))
#     l_rms.append(dic)
#     l_zj.append(diczj)
data_result = pd.DataFrame([list(dataname2['测点位置']), l_rms, l_zj])

# 把data_result整理成适合阅读的数据
data_result = data_result.T
data_result.columns = ['测点', 'RMS', '振级']

上面就是处理的程序了,目前来说还是想到一行写一行,可能是没有对象,所以一直没有面向对象的思维。程序中最关键的是利用pandas解析mat文件,其实只要把数据解析到不能解析为止,就可以对数据进行运算了。以上只是对一个run进行运算,加一个for循环,可以把所有的run都计算出来。我觉得对于处理已经是流程化的数据,自动化不光非常高效,而且能保证原数据的纯洁性,还能进行多次利用。唯一遗憾的是目前还不能实现全自动化,各位同仁有什么比较好的数据处理方法,请不吝赐教。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,080评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,422评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,630评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,554评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,662评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,856评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,014评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,752评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,212评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,541评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,687评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,347评论 4 331
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,973评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,777评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,006评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,406评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,576评论 2 349

推荐阅读更多精彩内容