电商数据分析平台【启动】

前言

最近看到数据蛙公众号后台留言,有朋友留言说道近两年,传统电商流量红利已经越来越少,短视频和直播成为新的带货模式。在今年618期间,李佳琦在淘宝直播再度刷新战绩:一场直播卖出15万支唇釉;3分钟内卖出了5000单资生堂红腰子;1分钟售罄柳宗理铸铁锅4万口。只要在社交媒体上随便一搜,就能搜到李佳琦带货能力有多强,只要李佳琦他说出‘买它’两个字,有的网友就像被附体一样,看啥想买啥。



还看到有的朋友留言说刚入行电商数据分析不会处理数据,首先,我们要知道什么叫数据分析。其实从数据到信息的这个过程,就是数据分析。因为数据本身并没有什么价值,有价值的是从数据中提取出来的信息。

为了让数据蛙社区同学更好的学习数据分析,目前正在做一个电商数据分析平台,只作学习用。

一 规划 平台介绍

在电商平台购物时

会不会有以下的情况:

现在通常消费者会花大量的时间在商品之间、电商平台之间的来回比价,消费者都希望能买到价格划算的笋货,和自己的亲朋好友攀比谁买的东西更优惠划算。因为在这个时代没有人会拒绝最划算的价格

比如双11这类的电商重大节日时,即便价格跟对手仅仅相差几元钱,也有可能损失一笔订单。

电商平台各种各样的折扣信息,经常性不能选择关注指定商品。

想知道整个某宝上食品/衣服类目实时折扣力度最大的商品。

这是一个基于python爬虫的实时价格监控网站

我们打造一个类似这样的价格监控网站


实时价格监控网站-图片来自zhihu

添加商品-图片来自zhihu

发送邮件功能-图片来自zhihu

二 规划 网站功能介绍(后续还会添加)

  • 实时采集电商商品价格
  • 建立和管理比价关系
  • 进行比价运算
  • 用户通过浏览器登录该网站
  • 用户可设定email邮件通知
  • EXCEL报表输出

三 规划 网站架构

爬虫作为监控手段,监控商品的实时价格

Flask+ Scrapy爬虫框架+代理池 + 数据库

架构图
  • 采用Scrapy分布式爬虫框架爬取整个品类的商品
  • 采用代理池提高整体采集效率
  • Web端:后台会选择网上推荐的Flask。
  • Flask中,涉及到使用Flask-Admin,Flask-Login等组件,搭建用户注册登录系统。

四 规划 电商公开数据

持续地自动化地从(看图片)某宝、某猫、某京东、某品会、某易购、某当等网站上采集商品信息,将下述信息从网页上提取出来:


五 规划 数据呈现

六 规划 未来

这个项目正在和团队的小伙伴努力开发中,我也会一边开发一边总结。

环境搭建篇 2019-08-29 搭建Vue.js

Vue.js 和Flask

首先安装Node.js

1.Node.js 安装包及源码下载地址为:https://nodejs.org/en/download/

你可以根据不同平台系统选择你需要的 Node.js 安装包

Node.js 历史版本下载地址:https://nodejs.org/dist/
我所使用的系统是Windows 10,可以采用Windows 安装包(.msi)方式来安装。

1 : 双击下载后的安装包 v0.10.26

2 : 点击以上的Run(运行)

3 : 勾选接受协议选项

4 : Node.js默认安装目录为 "C:\Program Files\nodejs" , 你可以修改目录,并点击 next(下一步)
6 :点击 Install(安装) 开始安装Node.js。你也可以点击 Back(返回)来修改先前的配置。 然后并点击 next(下一步)

点击 Finish(完成)按钮退出安装向导

image.png
检查Node.js版本是否安装成功

2.基于node.js,利用淘宝npm镜像安装相关依赖
在cmd里直接输入:

 npm --registry https://registry.npm.taobao.org info underscore,回车,等待替换成功..

3.安装vue

npm install --global vue

3.安装全局vue-cli脚手架,用于帮助搭建所需的模板框架

在cmd里 1)输入:npm install --global vue-cli,回车,等待安装...
           2).输入:vue,回车,若出现vue信息说明表示成功

(PS:如果此时显示vue不是内部命令或外部命令,可先将路径D:\Program Files\nodejs\node_global配置到系统变量PATH下。再次使用命令,若还不生效,请重启计算机再次操作。)

4.创建项目
在cmd里输入:vue init webpack vue_test(项目文件夹名)

5.安装依赖

在cmd里  1).输入:cd vue_test(项目名),回车,进入到具体项目文件夹

                2).输入:npm install,回车,等待一小会儿,会发现项目结构里,多了一个

                node_modules文件夹,这里面都是项目的依赖文件。

基于脚手架创建的默认项目结构如下图所示:



6.测试环境是否搭建成功
1:在当前vue_test目录打开cmd里输入:npm run dev
2:在浏览里输入:localhost:8080(默认端口为8080)

运行起来后的效果如下图所示:


添加公众号【数据蛙DataFrog】,加入学习交流群,我们一起学习共进步,2019齐加油
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,163评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,301评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,089评论 0 352
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,093评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,110评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,079评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,005评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,840评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,278评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,497评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,667评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,394评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,980评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,628评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,649评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,548评论 2 352

推荐阅读更多精彩内容