KAP助力微软Power BI实现海量数据交互式分析

作者:何京珂

编辑:Sammi

Power BI是微软推出的行业领先的BI可视化工具,其拥有本地及云端多样的解决方案,与微软产品无缝整合,快速部署等特点令其在本地及云端都拥有广泛的应用。Power BI支持多样的数据源,包括关系型数据库SQL Server,Azure云上 的Blob存储以及HDInsight Hive等。然而随着企业信息化进程的加深,数据收集门槛的下降,越来越多的企业都面临着超大数据交互式分析的挑战。在海量数据规模下以上数据源在连接Power BI进行数据分析时经常出现查询响应慢,界面卡顿,数据装载时间长,高并发情况下查询性能急剧下降等问题,性能瓶颈的问题愈发严重。

Kyligence Analytics Platform (简称KAP) 是运行在大数据架构上的企业级分布式数据引擎,支持PB级别数据的秒级快速查询响应。KAP支持本地及Azure 云上部署,支持从Hive和 Kafka读取源数据,并使用MapReduce或Spark框架对数据进行预计算,然后将预计算的结果(即Cube)存储在HBase或KyStorage中(KyStorage是一种专门针对KAP优化的列式存储引擎)。查询语句直接运行在预计算的Cube之上,从而极大加速了查询的响应速度。KAP支持标准SQL语法,提供JDBC、ODBC、REST等协议接口,可以和主流BI工具无缝集成,实现海量数据上的交互式分析。

Power BI对接数据源时,由于不同数据源查询能力区别很大,往往只能采用Import模式,将数据导入到分析师的本地桌面或虚机,这对于海量数据场景完全不适用。针对这个问题,Kyligence开发了针对PowerBI的DirectQuery Plugin,配套使用Kyligence ODBC Driver,用户无需再导入数据,而是实时将查询语句发送给KAP后端处理,充分利用KAP的加速能力,极大提高了分析的效率和灵活度。

KAP在提供Cube预计算的同时也为一些预计算没能覆盖到的自助式OLAP分析提供了查询下压的功能,即Cube无法满足的查询将会被下压到其他SQL引擎,这包括SQL on Hadoop系统,或者关系型数据库。目前Hive,Spark Sql或SQL Server的用户,都可以迁移到KAP上,获得更好的数据加速。在KAP进行OLAP交互式分析同时,还可以沿用原有的查询引擎作为查询下压的解决方案,以补充当报表查询不能被Cube满足时的查询场景,在沿用当前的查询引擎的同时,又能利用KAP进行查询加速。

分析师可在本地部署的Power BI Desktop连接本地或云端KAP,进行Direct Query连接,享受KAP的OLAP能力带来的分析加速。下面我们将具体介绍如何使用Power BI连接KAP进行数据分析。

配置Kyligence ODBC Driver

我们推荐Power BI用户使用Kyligence ODBC Driver来连接KAP,搭配使用KAP Direct Query插件可以实现Power BI与 KAP的Direct Query连接模式。

Kyligence Account页面申请下载 Kyligence ODBC 驱动程序,并运行安装到你的Power BI Desktop所在的环境。

32 位应用程序:请安装使用 kyligence_odbc.x86.exe

64 位应用程序:请安装使用 kyligence_odbc.x64.exe

安装Power BI DirectQuery 插件

复制DirectQuery插件文件到C:\Users\\Documents\Microsoft Power BI Desktop\Custom Connectors文件夹,如果没有Custom Connectors这个文件夹,可以手动创建一个。

打开Power BI Desktop中的Options and settings中的Options。

在Preview Features中勾选Custom data connectors。

重启Power BI Desktop

使用Power BI Desktop连接KAP

启动您已经安装的Power BI Desktop,单击Get data按钮,点击more在Database类别中选中Kyligence Analytics Platform。

在连接字符串文本框中输入所需数据库的对应信息。连接方式请注意选择DirectQuery。

输入账号密码进行身份验证。

下一步Power BI将会列出项目中所有的表,您可以根据需要选择要连接的表。

现在你可以进一步使用Power BI进行可视化分析,首先对需要连接的表进行建模,请注意如果希望报表的查询能够击中Cube,模型的定义需要与KAP中的一致。

模型建立完成,现在你可以回到报表页面开始可视化分析了。

欲了解更多使用Power BI对接KAP的详情,请参见KAP用户手册的相关章节。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,362评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,330评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,247评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,560评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,580评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,569评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,929评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,587评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,840评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,596评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,678评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,366评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,945评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,929评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,165评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,271评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,403评论 2 342

推荐阅读更多精彩内容