开发技术
pyspark hadoop mysql 爬虫 echarts大屏
说明
整体业用户需要注册的时候通过邮箱验证码接收验证码完成注册，然后可以登陆业务流程，做个登录页，新。登录进去以后，有个爬取数据的列表分页，支持多条件查询，上面有个爬取按钮，点一下就可以爬取数据更新列表。还有一个协同过滤商品推荐菜单，不同的用户登录能够推荐不同的商品，这里要注意新用户登录也可以推荐，但是登陆完浏览完收藏完以后下次登录推荐的又不一样了(下次可调用协同过滤).有一个大屏统计图菜单连接，点一下，直接打开新窗口调转到单独一个新页面：PySpark大屏
功能
数据爬取用selenium爬完商品、评论等等数据，清洗下杂质不完整的数据，把它们过滤掉，留下完整齐全的数据信息存到mysql。
有注册/登录功能，注册需要邮箱验证码。
登录成功进入以后有一个爬取数据的分页列表，支持多条件查询，上面有个爬取按钮，点一下直接调爬虫脚本完成爬取，更新列表。
有个协同过滤推荐算法推荐商品功能，新用户随机推荐，新用户第二次登录，如果之前浏览收藏过商品的话，进行协同过滤推荐。
有个大屏的超链接，点一下直接打开新窗口跳转到Spark大屏，大屏数据包含评论情感分析的词云(可调接口)、其余统计数据也要做的直观全面，图表要多一点！
这个项目2022年11月底完成 大概在11月25号附近。
运行截图
8.png
9.png
10.png
1.png
2.png
3.png
4.png
5.png
6.png
7.png
