产品笔记 | 网站机器人

前言

之前写过一篇用户账户安全策略的笔记,总结了一些在账户安全方面可以采用的方式方法,有一些方法我也不明所以,直到最近网站遭受DDOS攻击,才提醒我又捡起了用户账户安全。
读完本篇笔记,你可以了解机器人的概念,机器人的任务;区别善意机器人与恶意机器人;了解如何阻止恶意机器人;

1. 什么是机器人

机器人是一种设定了特定任务的应用程序,他们通常可以根据事先设定的指令自动运行,无需人们重复操作,而且执行速度又快,所以被广泛应用。

1.1 机器人类型

机器人通常分为以下几个类型:

  • 聊天机器人:通过固定的格式对对话进行响应,现在有些AI聊天机器人已经可以通过学习模仿人类讲话,但是在感情方面还是很难做到与人类一样丰富。
  • Web爬虫:扫描互联网上的内容
  • 社交机器人:在社交媒体上运行
  • 恶意机器人:他们的活动包括凭证填充、网页/内容抓取、DOS或DDOS攻击、暴力破解密码、库存囤积、垃圾电子邮件内容、电子邮件地址搜集、点击欺诈等。

2. 善意机器人与恶意机器人

21 善意机器人

善意的机器人是执行有帮助的任务。例如以下的这些:

  • 搜索引擎机器人:爬取网页的内容,建立索引,帮助搜索引擎公司运营。
  • 版权机器人:爬取网页上需要版权保护的内容如图片、视频、音频等。帮助拥有版权的公司避免损失。
  • 聊天机器人:用来辅助客服的工作,他们往往可以事先处理一部分用户的对话,使得客服只需要处理复杂的问题,用户的问题也能最快得到响应。
  • 个人助理机器人:常见于个人的设备上,如siri、小爱同学等,根据指令完成指定的动作。
    等等。

2.2 恶意机器人

违反网站所有者的意图、违反服务条款、进行非法活动的机器人都是恶意机器人。
他们经常进行以下的操作:

  • 撞库:攻击者使用手里拥有的账号和密码进行尝试,如果有刚好符合的就能盗取用户的账号;
  • 网络爬虫:可以在几秒钟内下载完所有网页的内容;
  • DoS 或 DDoS 攻击:攻击者通过组建僵尸网络指挥僵尸向目标发送请求,导致服务器不堪重负,从而拒绝正常的流量服务;
  • 暴力破解密码:使用有可能的密码组合,不停的尝试;
  • 库存囤积:常见于电子商务类网站,将有限的库存加入购物车,但是不购买,导致正常用户无法购买,可能还会导致商家判断失误而进行不必要的补货;
  • 垃圾内容:常见于论坛类,机器人账号发布无垃圾的评论等;
  • 电子邮件地址收集:也属于爬取内容的机器人,专门收集站点上的邮件,做垃圾营销用;
  • 点击欺诈:经常发生在需要根据点击量付费的广告上,这类机器人伪装成合法的访问者在网站内点击,消耗广告费用。还有一类叫“水军” [狗头]
  • 垃圾邮件机器人:在能够社交的平台上注册账号,通过机器人向别的用户邮箱内发送垃圾信息;

3.防止恶意机器人

3.1 充钱使你强大

充8亿

有钱的话,扩带宽,能加多少加多少,同时提升硬件配置。

3.2善用工具

阻止机器人重要的一点在于,能够区分正常的用户请求,与恶意请求,然而这些请求看起来极其类似。初步的防护只能限制请求的次数、请求的IP等,大多数企业要自己做到训练用户的行为模型来判断是否是机器人,甚至恶意机器人需要技术团队耗费大量的精力。不如把这些交给专业的团队,甚至一些免费服务就足够我们使用。

3.3 CDN

静态的网站内容分发到多个服务器,用户访问时选择最近的服务器获取资源,提高访问速度的同时,也可以预防DDOS攻击。但是使用了CDN服务之后,要隐藏源服务器的IP,否则攻击者就可以绕过CDN直接攻击源服务器了。Cloudflare是一个不错的CDN服务,可以免费使用,我们的网站一直使用它来做静态资源的缓存,在防护时调整信誉参数,即可挡住信誉分不高的访问,但是还是会导致一些正常用户无法访问。

3.4 验证码

在一些关键的步骤加入机器人校验是有必要的,这样防止机器人恶意调用或者消耗资源。
我们见过很多验证码工具,他们的形式经常如填写数字、识别字母等。在经过一系列调研后,我们网站选择了Google reCaptcha,因为它有一种模式是invisible,一般情况下在后台就进行了验证,用户没有感知就通过了机器人校验,体验较好。只有在有特殊操作触发了机器人风控时才出现可见的验证让用户点击的验证码。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容