一个大型网站需要多少服务器?

我来分享社区型网站的大概服务器需求吧。

不知道各位开发者听没听说过掘金, 我2016-2019年在掘金担任技术总监(现已离职), 从0开始设计了掘金现有的整体架构 (包括软件架构和硬件基础设施, 所有开发和技术相关的业务均由我负责).

掘金到目前为止(2019-09-06), Alexa 全中国排名为626 (曾经最好成绩在230左右. 作为对比segmentfault是101, OSChina是154), similarweb 全中国排名为399 (作为对比segmentfault是329, OSChina是314). 不知道这样的成绩能不能算是"大型网站".

就业务类型来讲,社区业务本身的复杂性更多是产品功能之间的依赖造成的逻辑复杂。比如你给别人点个赞这个数字要反映到被点赞的文章上,还要给被点赞的作者发送通知,还要把点赞这个动作显示到你的timeline上,还要让关注你的人读取到你的这个动态等等。但说到底只不过是web业务而已。因此CPU,内存,磁盘等资源的使用密度都不算特别显著。

线上

我们先定义这个服务器是"一个运行操作系统的实体"吧. 毕竟现在全是虚拟化, 不太好计算到底用了多少物理服务器.

因为全是web业务, 所以相对来说掘金不是很复杂.

web端 是由 3 个 8core16G 的云服务器组成. 前面接了4个负载均衡每个负载均衡绑定了一裤兜IP用来应对DDoS.

微服务层由4个 16core32G 的云服务器组成. 同样, 前面也有4个负载均衡.

cronjob(定时任务) 2 个 4core 8g云服务器.

数据库2个MySQL实例(4机), 5个MongoDB实例(总计20机), 14个Redis实例(14机).

中间件zookeeper(6机), kafka(6机), ELK(3机).

大数据CDH全家桶(10机)

杂项认证服务器, DNS, 冷备份等(6机)

以上就是承载在线业务的所有机器了, 不包含负载均衡等直接提供服务的云服务商实例,总计78个实例.

如果极限压缩的话, 比如数据库不弄的那么复杂, 尽可能复用实例, 砍掉大数据等供运营的组件, 估计40以内实例就能完成一个这样的网站.

也就是说, 实现一个在中国排名500左右(世界大概3000排名左右)的社区网站, 40台服务器差不多可以完成了(当然其他业务类型可能会更多也可能会少一些,  不过一个社区类型的网站, 应该大家都差不多).

线下

但, 这只是冰山的一部分, 我们还有测试环境和日常供工程师使用的本地机房服务器等:

线下CDH全家桶 14 实例

开发用服务器 6 实例

代码托管, CI,CD 6 实例

容器环境 16 实例

CEPH 6 实例

数据冷备 3 实例

杂项 6 实例

总计 57 实例.

即最终掘金在用的服务器是 135 实例. 按照 4 实例一台物理机去计算,物理服务器应该在 34 台服务器左右(2个机柜就全装下了).

一些有意思的事情

由于我在这方面比较有经验, 所以从省钱的角度, 我们的本地服务器都是二手服务器

我们的本地服务器

得益于虚拟化,50+实例的虚拟机需要的服务器一个小板车就能运走了

开机BIOS画面是百度的IBM X3650M4服务器

是的你没看错, 都是淘宝货【手动滑稽】甚至有一台服务器还是百度下架的。

感谢这些行业龙头淘汰的服务器, 对于一个初创公司, 能买到廉价的设备来节省资金实在是一件幸事。当然, 有一个好老板的支持也很重要. 我们在采购服务器这一件事情上就能节约接近30万.

(google在刚开始成立的时候, 也是靠着一大堆二手设备来提供服务的).

google最初的生产用服务器

有的朋友可能会担心用二手服务器会不会出问题?这的确是个隐患,所以我们只在本地使用。线上仍然是直接用云服务。

熟悉我的朋友可能知道,我家里的机器数量其实比我公司的还要多。所以经验方面对我来说不是问题。哈哈。

以上就是我在掘金的实践经验了。

其他

搜索业务还是十分吃资源的,我在360搜索的时候, 仅仅用来展示搜索结果的web机,就达到了5机房每机房12机。一二级引擎机器的数量都在几千台以上。

直播业务的就会少一些了,更多是在CDN费用上会更贵。本身的业务不怎么吃机器。以PandaTV举例,在我离开的时候(2016年下旬),估计机器应该在1000台之内。我负责的数据业务实际上也就一套大一点的CDH全家桶,不到20台机器,以及一些平时用的业务机器,也是20台左右。

以上。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,185评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,652评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,524评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,339评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,387评论 6 391
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,287评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,130评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,985评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,420评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,617评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,779评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,477评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,088评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,716评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,857评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,876评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,700评论 2 354