小记2016AWS技术峰会

有幸参与了AWS技术峰会2016。简单纪录一下一天的见闻。

到场

时间: 2016.09.07
早上起晚了一点,赶到会场的时候已经是9:10左右。工作人员扫了邀请码后放我入了会场。

日程在昨天已经看过了,我选择了8:30-10:30的主题演讲,11:00-12:00分会场五的云计算架构,13:00-18:30分会场三的开发者专场

9月7日日程

主题演讲

主演讲

我到的时候主会场已经坐满人了,只能去分会场观看视频直播(囧)。
主演讲的人是一个叫Mike的家伙。这哥们看起来充满自信,但是貌似对技术不太懂,一直低头看提词器,演讲的内容基本上在官网上都能找到。

AWS提供的服务

上面这张图应该能涵盖他讲的主要内容。在他演讲的时候总是能听到各种量词,billion,million之类的。
总结起来就是AWS成功服务了很多公司,经过了海量实践的验证。

嘉宾

视频业务

这位嘉宾提到了他们选择AWS服务的原因,也提到了他们的主营业务在美国。

  1. 全球化
  2. 业务弹性扩张
  3. 运维的成本

我觉得第一个原因是主要的。因为下面两点阿里云或者国内其它的云服务也能够做到。

芒果TV

主要提到了autoscaling这个功能。
举的例子让人印象非常深刻。说是去年的湖南卫视某个演唱会,视频内容和弹幕导致流量攀升了很多很多倍,利用autoscaling功能,自动扩容后端服务器,加入负载均衡,成功扛过了流量高峰。

蒙牛

上来放个资料片,感觉是给蒙牛做广告的。
后面说了一些使用AWS的进行数据的存储和分析,说的比较多,但是给人印象不深,可能是传统企业的原因吧。

云计算架构

由DaoCloud 首席执行官 陈齐彦 先生主讲。
主要聊软件的

开发->交付->测试->运维->运营

这一标准化的流程在云端的实现,也提到了DaoCloud提供的一些功能。
我进去的时候人已经非常多了,在后面站着听,不怎么清楚,感觉没听出什么新东西,也为了早点去拿午餐(大雾),就提前离场了。

午饭

12:00点的时候会提供午餐,但是实际上11:45左右二楼就开始发放了,吃的很简单,一个香蕉,一个三明治,一小盒饼干,一瓶水。
这个时候没有讲座,可以看到很大的人流。走廊边有很多厂商,大部分是提供云端的解决方案的,在角落里还看到了csdn,没什么人驻留。
提供扫码送奖品的厂商柜台前的人是最多的。我也去凑热闹拿了几个小奖品。还去前台领了一个棉花糖。

开发者专场

高并发架构Plus——小谈AWS的混合型架构设立与应用

演讲者演示了在AWS上对autoscaling和docker的结合使用,实际上就是写了个脚本在autoscaling的时候用docker部署应用,所有的东西在脚本里面写死了。
感觉演讲者准备不怎么充分,没什么干货。略过不记。

AWS混合云技术大观

感觉演讲者准备不怎么充分。东扯西扯了一堆,没什么干货。略过不记。
听完这个果断闪到了分会场七-机器学习与高性能计算

机器学习与高性能计算

使用AWS进行大规模科学计算的实践

演讲人所在的公司是从事生命科学相关的领域。
我到的时候已经演讲已经开始一会了。他们的计算平台构建于AWS上。

听下来主要的一下几点。

  1. 他们经历了两次计算平台架构的变更。
  2. 提到了多次上传小文件所遇到的瓶颈。
  3. 提到了使用竞价实例的一些实践。
  4. 提到了遇到了一些问题,比如CPU核数无法完全利用等等。

演讲者提到了不少细节和实践。
值得注意的是,计算平台架在云服务上,是他们能够这样做的原因。
在云端搭建平台,对于未来变更架构的可行性和便利性,是很有好处的。

移动App和手游云端的精细化运营:热更新、分包和加固

主讲人讲了他们App中主要一些运营策略,和主题没什么关系,更像是做了一个广告。略过不记。

应用深度学习提高诊断准确率

演讲者水平应该很高,但是为了照顾下面的听众,大部分时间都在科普机器学习。略过不记。
听完这个讲座又闪到了分会场一-大数据

大数据

实现基于AWS EMR的大数据平台 --热云数据在AWS上构建数据平台的最佳实践

主讲人是热云技术VP
这次的宣讲干货满满,给人感觉就差把代码共享出来了,并且比预定时间延长了10分钟,所以这里会详细记录下。

主讲人首先介绍了他们之前使用IDC的数据分析架构,大概就是

  1. 数据来源:数据库,客户端上传的数据
  2. 数据经过清洗后写入kafka
  3. kafka一部分数据通过flume落地到hdfs,进行mapreduce计算
  4. 另外一部分数据写入redis,和storm一起进行实时计算。

这样的架构他们面临的主要问题有:

  1. 集群扩容难
  2. 机房的一些限制
  3. DDOS攻击
  4. 异地机房运维,主要是设备老化等问题,难免要和机房打交道
  5. 其它一些业务上的问题。

为了解决这些问题,他们选择了AWS及其相关服务,比如EMR。将原本线上的业务逐渐迁移到云平台上。
平台迁移后除了解决上面的问题之外,主讲人还提到了一些意外的好处,比如AWS实例上传带宽不收费,等等。

演讲末尾,主讲人分享了很多的实践经验,比如利用一些配置较差的实例做持续集成,等等。

结语

参加这样的会议,有幸在现场听取专家的理念和实践经验,长了不少见识。感谢王帅国老师给我提供的这次机会。当然,只是听讲座,个人水平是得不到提高的,还得多实践才能有真正的收获。
大家都在提的dockerautoscalingEMR在未来一段时间内还会继续火一下去。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,377评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,390评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,967评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,344评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,441评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,492评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,497评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,274评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,732评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,008评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,184评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,837评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,520评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,156评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,407评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,056评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,074评论 2 352

推荐阅读更多精彩内容