前言 工作原因之前接触过爬虫这块技术，因为爬虫身为Java工程师的我不止学习了python，还入了易语言的坑。在网上看到各类爬虫示例虽然都是比较大的网站爬虫经历比如：前程、拉...
发简信
IP属地：广东
-
-
Java 无头浏览器 暴破网站登录
登录获取token 可以说是爬虫里面最难的点，其他的只要能在浏览器上显示的都可以用http工具获取。只要稍微有点安全意识的网站登录都比较复杂，JS混淆甚至可能密码加密等等操作...
-
Spark 保存数据到MongoDB背景交代 由于我们应用系统使用的是mongo,所以每次操作结果都要输出到MongoDB方便使用 。 思路 1、遇到这样的情景我第一时间打开Spark官网 Mongo数据源2、...
-
Spark 自定义聚合函数-求中位数
自定义聚合函数的场景 业务需要统计最接近两年某商品在门店销售价格的中位数 由于spark 原生并不支持这样的聚合操作，所这个时候自定义聚合函数产生了。中位数：所有输入数据排序...
-
Spark 第一个scala 程序1、环境准备 1、JDK配置，Scala 配置 。目前教程环境用的是 hadopp2.6-CDH5.6.0、spark 2.1.0 、jdk 1.7u51、scala2.11...
-
Docker最新Redis-cluster 集群配置一、安装最新的redis客户端。 默认latest 版本最新 docker pull redis 查看镜像时候安装成功 docker images |grep "redis"...