电商数据分析平台

前言

现在发文章拖得很慢,加上简书这个月禁止发文,过了半个月才写了第二篇《打造数据蛙电商数据分析平台》小结。无奈自己是一个业务猿,每天被公司的产品大人虐的死去活来,上周又病了一下休息了一周,请大家见谅。

最近看到数据蛙公众号后台留言,有朋友留言说道近两年,传统电商流量红利已经越来越少,短视频和直播成为新的带货模式。在今年618期间,李佳琦在淘宝直播再度刷新战绩:一场直播卖出15万支唇釉;3分钟内卖出了5000单资生堂红腰子;1分钟售罄柳宗理铸铁锅4万口。只要在社交媒体上随便一搜,就能搜到李佳琦带货能力有多强,只要李佳琦他说出‘买它’两个字,有的网友就像被附体一样,看啥想买啥。



还看到有的朋友留言说刚入行电商数据分析不会处理数据,首先,我们要知道什么叫数据分析。其实从数据到信息的这个过程,就是数据分析。因为数据本身并没有什么价值,有价值的是从数据中提取出来的信息。

为了让数据蛙社区同学更好的学习数据分析,目前正在做一个电商数据分析平台,只作学习用。

一 规划 平台介绍

在电商平台购物时

会不会有以下的情况:

现在通常消费者会花大量的时间在商品之间、电商平台之间的来回比价,消费者都希望能买到价格划算的笋货,和自己的亲朋好友攀比谁买的东西更优惠划算。因为在这个时代没有人会拒绝最划算的价格

比如双11这类的电商重大节日时,即便价格跟对手仅仅相差几元钱,也有可能损失一笔订单。

电商平台各种各样的折扣信息,经常性不能选择关注指定商品。

想知道整个某宝上食品/衣服类目实时折扣力度最大的商品。

这是一个基于python爬虫的实时价格监控网站

我们打造一个类似这样的价格监控网站


实时价格监控网站-图片来自zhihu

添加商品-图片来自zhihu

发送邮件功能-图片来自zhihu

二 规划 网站功能介绍(后续还会添加)

  • 实时采集电商商品价格
  • 建立和管理比价关系
  • 进行比价运算
  • 用户通过浏览器登录该网站
  • 用户可设定email邮件通知
  • EXCEL报表输出

三 规划 网站架构

爬虫作为监控手段,监控商品的实时价格

Flask+ Scrapy爬虫框架+代理池 + 数据库

架构图
  • 采用Scrapy分布式爬虫框架爬取整个品类的商品
  • 采用代理池提高整体采集效率
  • Web端:后台会选择网上推荐的Flask。
  • Flask中,涉及到使用Flask-Admin,Flask-Login等组件,搭建用户注册登录系统。

四 规划 电商公开数据

持续地自动化地从(看图片)某宝、某猫、某京东、某品会、某易购、某当等网站上采集商品信息,将下述信息从网页上提取出来:


五 规划 数据呈现

六 规划 未来

这个项目正在和团队的小伙伴努力开发中,我也会一边开发一边总结。

环境搭建篇 2019-08-29 在此省略
(有兴趣的童鞋可以点击链接https://www.jianshu.com/p/6ab0c0196a55
看看上一期的文章,有环境搭建篇看)

雏形篇

大家好,今天对于这个项目搭建进行一个小结,最近在刷vue的官方文档了。在刷过文档之后,我就想着,真实的项目是怎么样子的呢,那么现在电商数据分析平台已经做出了简单的一个雏形

什么是Vue?

渐进式JavaScript框架优点:
1 体积小 压缩后 33K
2 更高的运行效率
3 双向数据绑定
4 生态丰富、学习成本低
5 对初学者友好,入门容易,资料多‍

大家可以看下方图片:

登陆

这个空白页面画上两个input的框,一个是登录账号,一个是登录密码。一个记住密码的框框,再放置一个登录按钮。我们将登录按钮上绑上click事件,点击登录之后向服务端提交账号和密码进行验证。 这就是一个简单的登录页面。


这两个页面是用于展示每个电商平台的数据和可视化,因为数据那边还在准备,现在暂时还没数据看到,我们争取本月让这个项目上线

雏形篇的东西也差不多讲完了,这里小编只是做一个简单的小结,朋友们如果有什么想法或者建议欢迎去微信社群找群主凯旋聊聊说说,或者在公众号留言
谢谢大家观看!

添加公众号【数据蛙DataFrog】,加入学习交流群,我们一起学习共进步,2019齐加油
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,163评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,301评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,089评论 0 352
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,093评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,110评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,079评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,005评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,840评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,278评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,497评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,667评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,394评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,980评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,628评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,649评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,548评论 2 352

推荐阅读更多精彩内容