主讲人及背景

腾讯 社交网络事业群运营总监 聂鑫

• • 从开发到运维，伴随腾讯社交网络运营部成长的十年，负责过腾讯社交产品所有业务运维工作。

• • 目前主要负责 QQ、空间等产品运维团队管理工作。经历多个业务产品的诞生到蓬勃，伴随着运维团队的成长和成熟，见证着腾讯一代代运营技术的创新和发展。

• 作为运维界老兵有好多故事想和大家讲，也特别愿意听听各位经历的酸甜苦辣。

关键点

• • Root智能分析
  • 叠加告警

• • 全链路监控
  • 独一无二生命指标保障业务

• 通过机器学习来提高报警有效性

笔记

1. 1. 06年开始，腾讯采用DO分离Dev/Ops。

1. 1. 出现线上故障的很大一个原因就是因为告警泛滥，我们忽略关键告警。

1. 1. 对于“历史遗留问题/历史沿用架构”的态度是：坚决优化掉历史进程中不合理的架构。

1. 1. 腾讯内部有20+套针对监控的系统，这些系统用来保障公司业务的方方面面。
   2. 所谓“Root智能分析” 即：基于公司业务层面架构（业务/人事），将公司业务网状化。然后，通过网图，针对不同业务梳理出来一条单链路。

1. 1. 所谓“叠加告警” 即：发生告警的时候，通过上述链路，进行分析。倘若告警处于链路中连续环节，这个告警的重要程度和准确程度就越高，反之则反。
   2. 对于多告警情况，采用“故障面积算法”来给故障定性。
   3. 所谓“故障面积算法” 即：连续告警在多链路构成的矩形中所占面积大小。

1. 1. DLP-Deadline Point 即：业务生死指标。针对每个业务，不管是从业务架构层面还是系统层面，找到一个可以用来描述整个业务生或死的指标。这个指标有几个特点：
      • • 没有阈值：因为业务数据因太多因素变化，一个推广活动就会增加流量，活动结束，流量自然下降。所以，传统常规阈值实际上没有太大的作用；
      • • 只有一个：指标越多越不好把控；
      • 非业务指标：业务指标波动无规律且易受外界影响。应该使用准确且不易受外界非故障因素改变的指标。
   2. 所谓“全链路监控” 即：通过基础数值/系统日志/业务日志/业务内容/外界舆情等基本数据进行大数据分析，提取公共信息和数据。然后同大盘已有数据（历史数据/宏观安全数据）进行比较，进行判别然后告警。

1. 1. 针对重要指标的曲线，进行诸如3σ准则等法则判定，降低随机误差对数据的影响。同时引入机器图像学习，对曲线进行比较和学习，借助AI的力量合理告警。

1. 以上内容均在腾讯内部线上使用，收效非常好。

感悟

腾讯毕竟是腾讯。

很多内容和经验都非常深刻，个人认为有几点值得关注：

第一，运维引入机器学习。毫无疑问，未来是人工智能的天下。作为一个DevOps，在OPS方面，我们处理的90%的问题都是雷同的，机器取代人工是早晚的事情。当然，对于我司来说，革命尚未成功，同志仍需努力！

第二，生命指标的概念很棒。我们几乎都明白，80%的告警都属于持续告警，不重要不紧急。但是也正是这些不重要的告警导致我们忽略掉一些关键告警，人的精力毕竟有限。行话说，能用机器约束的规则，一定不要用人工。

第三，故障面积算法和小米的集群监控存在共通之处，都是把点集合到面去分析。值得细细品味。

REFERENCE

[3σ准则]: https://en.wikipedia.org/wiki/3σ_rule

The post ArchSummit深圳站学习笔记 – Part 2 appeared first on nood1es.

小米监控运维之路

主讲人及背景

小米 云平台工程师 陈帅

• • 多年从事于监控系统、部署系统、缓存系统的研发工作，热衷于自动化运维理念，独立完成公司部署系统的设计和研发，多次参与中国移动等竞标缓存系统的设计工作。

• 加入小米后，专注于小米监控的设计和研发工作，对于监控系统的应用场景和实践有较深入的理解。

关键点

• • 如何应对业务规模及数量快速增长

• • 自主开发实现监控系统

• • 提供可集成到业务代码监控SDK

• 针对集群而非单个主机进行监控

笔记

1. 1. 11年到14年，管控主机从200台增长到5000台。和我们情况类似，发展迅速，人力不足。
   2. 早期，同样全面采用Zabbix进行监控。

1. 1. 中后期（12年开始）开始自主研发监控系统。流程和Zabbix几乎一模一样。

1. 1. 提出针对主机采用“全生命周期自动化”管理。即：在机器建立、启动、交付、运行、停止、回收到销毁的过程中，都通过整个监控系统管理。去掉人工直接处理的步骤。

1. 1. Agent直接采用主动PUSH的模式（类似Zabbix主动模式）。

      系统架构

   2. 自行开发能够嵌套进业务代码的监控代码SDK，类似于NewRelic的模式。
   3. 机器体系设计采用打Tag方式，八个字段即：公司-部门-产品-集群-服务组-服务-任务组-任务。
   4. 策略模板除了可以继承外，还可以重载，即继承后复写。
   5. 针对集群而非单个主机进行监控，即：同一集群内机器，存在性能冗余。无需100%保证全可用，可用性通过简单四则运算即可完成计算。从实际上看，效果显著。
   6. 监控系统集成自动缩扩容，通过上述监控来自动动态管理。

1. 1. 大力推行Docker容器技术，容器编排框架使用的Marathon。自动缩扩容也通过其实现。
   2. 网络监控（包含网络硬件及流量监控）是很重要的项目。

1. 自动运维基于StackStorm实现。

感悟

从小米的分享来看，比较适合我司现状。其技术选型虽无太多新意，却很容易落地。不管是容器技术的大量运用还是通过Tag方式直观地管理机器，都是我们正在努力的方向。

个人认为值得注意的有两点：

第一，小米初期采用第三方开源监控系统，但后期却选择自研。这个选择不一定适合现阶段的我司。理由很简单，系统雷同又耗时。其自研系统Open-Falcon与Zabbix大同小异。虽然提供了可以嵌入业务代码的SDK等功能，但是我觉得还不足以让我们付出比较大的成本也去开发一套类似的系统。现有业务环境下，我们还是可以采用多套开源/商业方案来实现需求。当然，后期做大做强，自研势在必行。

第二，小米提到的针对集群而非单个主机进行监控的想法非常好——就类似于AWS的ELB——我们在CloudWatch里面可以直接查看针对ELB的监控数据，但是目前看来第三方监控系统都是采用以Single Host为粒度的监控方式。显然，一般集群都采用冗余且主机间低耦合模式设计，无需保证全集群100%健康度。这样可以大大降低我们的工作强度——只要在能保证生产环境安全运行的前提下，分清故障优先级，有的放矢。

REFERENCE

[Marathon]: http://mesosphere.github.io/marathon/

[StackStorm]: https://stackstorm.com/ 

[Open-Falcon]: http://open-falcon.org/

写在后面

周五周六InfoQ主办的ArchSummit深圳站在洲际召开。

含金量确实高，来了很多大佬，

票价也确实高。入门票5k起。Orz。

我司是几个人的小公司吗？？？：）

于是靠胜哥刷脸去听了两场监控相关的分享会。

The post ArchSummit深圳站学习笔记 – Part 1 appeared first on nood1es.

这篇，酝酿了很久，题目想了半个小时。提笔。

记事之初

在我很小的时候就开始接触游戏。应该是在01年小二，某日下午，父亲带着一个键盘类似的东西回家。拆开包装，那会还不会意识到，这个东西，会陪伴我度过此后如此漫长的岁月。

小霸王其乐无穷。因为一些原因，我们这个年代接触到的并不是原生红白机。当然，这是后话。也并不妨碍FC游戏成为我们的回忆。第一个接触的游戏就是超级玛丽。其实那会儿记忆并不深刻，只是依稀记得并不能很好控制手柄。慢慢的，周围小伙伴都开始玩起了游戏机，我们会相约放学的下午，一起去某个大人不在的同学家，开开心心打上一下午，这些是我游戏最初始的记忆。

FC游戏

有很多东西，就像曾经被不良少年在校门出去左手边第一个巷子抢了你准备用来买冰棍的五毛钱一样深刻。一如，超级玛丽1-3的隐藏通道到4-1，魂斗罗的上上下下左右左右BABA，赤色要塞抢了小伙伴的人质，松鼠大战故意摔晕同伴等等等等。

而回忆特别像一串脑海中久未出现的队列，一旦你想起了第一个，接踵而至的，就是剩下的所有，恶魔城、冒险岛、坦克大战、1942、热血系列。。。。

真正的童年

03年底，家里有了电脑，那个时候网络很不发达，父亲用Modem上网，我的第一个QQ号码也是在那个时候申请的，10开头的9位号码。一度成为我夸耀的资本。

从那个时候开始，我正式接触PC游戏。父亲算是很开明的了，在游戏上，并没有管过我太多。我的几个启蒙游戏，都是他带给我的。仙剑奇侠传一，是我玩过的第一个ARPG游戏，印象深刻到以至于当时做梦都在打水魔兽。不得不说，就算时至今日，仙剑系列都算一款很棒的游戏。不过，地图和迷宫的复杂程度对于当时的我来说太困难了一点。寻找灵珠的每个迷宫，我几乎都需要花一天时间。

仙剑奇侠传

网络不通的年代，几乎没有攻略。不像现在，游戏中但凡遇到困难，就去网上找。我记得，在玩另外一款ARPG游戏——剑侠情缘的时候，有一个环岛需要轻功才能飞上去，否则无法触发剧情。我在那卡了快一个月，因为我怎么都飞不过去。后来才知道，第一次按键起飞后，需要在中途A地板取消后摇然后继续释放轻功来完成二段飞。Emmmmm，心态爆炸。又如另一个，真·倚天屠龙记，直到现在，我才知道，我当时在万寿寺经历的一切，全TM是游戏本身的Bug（大概从小被Bug坑，如今成了程序员，手动滑稽）。

剑侠情缘

真·倚天屠龙记

值得说道的还有另外两款RTS游戏——红色警戒和帝国时代。直到现在，我都会偶尔开上一把。我RTS玩得并不好，共和国之辉不开超武只能够打两个冷酷，而帝国最多能打四个中等电脑。究其原因，是因为我并不喜欢打打杀杀。我喜欢建立一个军队的感觉，那种从无到有发展的过程，比起对抗，我更享受在城堡里指挥农民收集资源发展科技。也正因此，我慢慢发现自己的一些特点，算是另一个角度了解自己了吧。

红色警戒

除了上面说的，玩过的RPG和RTS不胜枚举。魔兽也是在当时入坑，可是由于画风上个人观点先入为主，我并不喜欢3D画面，所以直到现在，我仍旧不喜欢暴雪的大部分作品。当然，暗黑除外。

突然想起来好多东西啊，刀剑封魔录、月影传说、三国赵云传，整蛊邻居。。。。很多画面幻灯片般在脑海里面过。

说起三国赵云传，不得不展开说说了。这款游戏是第三波做的，综合质量非常高。特别是它的背景音乐，邀请了当时小有名气的白勺操刀——也是剑侠情缘的音乐操刀。而后面网易大火的大话西游2的整体背景音乐也是他做的，所以你还能从大话的背景音乐中听到一些赵云传的影子。现在，很久没有他的消息了。

三国赵云传

其实回过头来仔细想想，当时寰宇、西山居、第三波等国产单机游戏厂商发展非常好，原创精品倍出。可我始终没有明白，为什么后面就突然销声匿迹了呢，真的是因为接下来爆红的各种网游吗？当然，西山居后面能够顺应时代发展推出剑网3，我有尝试过，可是有些东西，似乎真的不一样了。

中二岁月

初中从小镇到了县城，网络也慢慢发展起来，各种端游也是在这个时候兴起。丁三石同学，天桥同学，也在这个时候发家。也对啊，毕竟当时穷逼如我，都贡献了一大波毛爷爷。网易盛大圈粉无数，中二年纪的我，毫无疑问也随着音乐（误）跟着节奏浪起来（大误）。初一在一个封闭式寄宿学校读书，几乎没办法玩游戏。初二转校了，有机会玩游戏了，我甚至一度认为，我是游戏天才，初一太耽误我了！

面对世纪难题，大话还是梦幻，我选择了大话，原因很简单，有人带（你看，有人带节奏的重要性）。第一个区貌似叫波月洞？这个真忘记了，大话别的没有做好，就是服务器开得多，而且喜欢合，而且还喜欢改名字。。。一个周不去，原来服务器就不见了。当时的我，新潮的我，第一次居然玩了一个人妖号（惊）而且还是小蛮妖（大惊），从渔村出来到扫塔到扫北冥，大话二我玩了快两年，可最高等级仅仅止步于一转30级（当然，一转我转了男仙，但是是很Gay的男仙）。

大话西游2

也是这个时候，我发现我并不适合玩游戏，因为我发现游戏也很复杂。大话是当之无愧的国产精品，其中涉及到的数值计算确实很复杂。比如，人物转世时，会针对前后世人物独立修正值，一点之差，天壤之别。又如属性相克，某些PK，大到带的召唤兽，小到BB带的饰品对应打的宝石，都有很多的讲究。既然这样，就算了吧。于是，我就带着我的狗熊坐骑，游遍了神州大地。。。Emmmmm美术做得真好。何厚铧何厚铧何厚铧！

除了大话，冒险岛、魔域、梦幻、诛仙、天下都有接触。当然啦，除了这些硬RPG，还有劲舞团、跑跑卡丁车、泡泡堂、QQ全家桶、几乎市面上有名的游戏，都玩过。佩服当年的自己。

劲舞团197 8K 反向连爆房。233333

网吧五连坐

高中没有玩过任何游戏。

上大学了，伟光正如我，天天忙着学习社团泡妹子。怎么能和宅寝室打游戏的死肥宅相提并论了？本着体察民情的心态玩了玩下LOL。。。。Emmmm真好玩啊！

前面说过，我不太喜欢暴雪的画风，所以，我从来没有点冰封王座-WoW-DotA的发展树，加之拳头的风格很对胃，毫无疑问踏入召唤师峡谷！

算起来，我S3入坑，基友们基本都是S2入坑。落后一个赛季的我，一开始很不适应。当时一区不开放注册，就跑去郊区练手，好死不死，Timo恰好周免，万万没想到，这个英雄会是我LOL生涯最重要的一个英雄啊。算上现在，前前后后几乎打了500+把Timo。好了，说我变态的人让一让，要杀我的人排个队啊别插队。。。。。

提莫

大一到大三，确实很少玩游戏。直到大四，我才真的体会到了，一群朋友开黑打游戏的乐趣。真正的乐趣并不是来自于最后的一声Victory，开黑的童鞋都明白我的意思，一群人各种逗逼各种搞笑，五个人都抱着拿五杀的心态。

把把一级团，全员带点燃，插眼的是猪，必出杀人书。

直到现在，我们每个周都会开黑。而且更多地是打大乱斗，节奏轻松，一群人说说笑笑。工作一周了，放松放松，感觉贼棒！

说回游戏，LOL质量之高，真的算得上极品游戏。当然，它在各方面都不是最棒的，但是从画风、美术、特效、音乐、动画、游戏性、社交性、可玩性等等方面综合来说，当之无愧算得上极品（估计有同学拿着跳刀准备等我了）（不可否认，LOL借鉴甚至疑似抄袭了部分DotA的内容）

LOL到现在出了772款皮肤（截至本文发布）。精品数不胜数，源计划系列、电玩系列、合金系列、魔法少女系列，还有大部分年限。LOL的皮肤不仅仅做到了好看这一最基础的要求，还有很多根据英雄特性设计的彩蛋以及根据英雄背景增加的故事。比如Timo（又是Timo）的系列皮肤的R技能，都会根据皮肤改变——超人的伞，兔宝宝的蛋、万圣节限定的南瓜、宇航员的天线，无一不是增加可玩性和趣味性的点。又如电玩系列，全系列像素化特效，真的让人眼前一亮！总之，大到人物立意（如最新的亚索瑞文的黎明黑暗对立），小到皮肤动画（如T1级别DJ琴女的音浪跟着背景音乐的节奏变化）等等。无一不体现拳头的用心，和腾讯有钱就是爹的第一要义（小马哥：爹，说得好！）

源计划系列

魔法少女系列

对于音乐及动画，这个就放到正在写的另外一片博文里面吧（此处一只大鸽子）。

无奈，英雄联盟在走下坡路了。哎，总是这样，时代不断向前的，就好像，我们能够回忆的，都是被时代的车轮碾过的，正在经历的，也终究会成为回忆。

从来没赢过

工作以后，因为时间和精力实在有限，很少玩游戏了。但是去年还是在基友的召唤下，左脚正式入了主机坑，购入了PS4（斜眼看看Xbox党，辣鸡），成为一名光荣的索大好党党员；右脚正式入了Steam坑，成了一名光荣的G胖一生推党党员。

Steam上，买了整蛊邻居、帝国时代等等，也算是为自己的童年充值了一波信仰，玩了这么多年盗版了。。。现在只是偶尔打一把帝国，看看新游戏。

PS4上，除了会免，买了一堆休闲游戏。当然，GTA5、DriverClub、自然元素、Broforce、小小大星球、基友那里搞来的美末、神海、巫师、血源一系列硬核也都是有的。

GTA 5

不过我想说的是，一些与游戏本身无关，而与其透露的信息有关的东西。

Journey，中文译风之旅人，PS独占。游戏的内容就是一个无名的旅人历经千辛万苦到达圣山朝拜的过程。中途有一些特殊的设定，通过获取经文一样的条带，让你可以飞起来。中途，你也许会遇到别的玩家，但是无法沟通，你们可以一起相伴到达目的地，牺牲了可以彼此相救，一开始，我并不懂这样设定的意义，直到最后通关，突然发现，好像人生就是如此啊，一路走来，也许会有很多人和你相伴，但是最后，终究是你自己。

我们生而孤独，茕茕孑立。

风之旅人

This War of Mine，中文译这是我的战争，全平台。游戏内容是你控制平民在战火纷飞的时期生存，你需要面对食物药品短缺、生病、死亡、战争、抢劫、帮助他人、偷窃、杀人。这些都是由你自己决定的，而你的决定会直接影响到角色的心态和情绪，有的玩家，不做任何坏事也能通关，有的，杀人无数。游戏的最后，会根据你的游戏表现，给出你操控的所有平民的最后结局。我花了两天几乎通宵通关了游戏，但是我无法再玩一次，因为会很不知所措很慌，我无法预估自己接下来的行为是否会造成角色内心的改变，更无法想象，如果真的为了吃的杀人了该怎么面对自己。它会很有代入感。因为你面对的就是你自己，你每做出的一个决定，都会直接影响你的人生进程。

这是我的战争

尾

人生就是最后的RPG。

Life’s a Struggle.

ReferENCE（Part of them）

赵云传原声大碟：http://music.163.com/#/album?id=2759018

三国赵云传：https://www.douban.com/game/10752611/

仙剑奇侠传：https://www.douban.com/game/10734111/

大话西游2：https://www.douban.com/game/21355201/

Broforce：https://www.douban.com/game/25923526/

Journey：https://www.douban.com/game/11620741/

TWoM：https://www.douban.com/game/26269051/

P.S.

接下来会出一篇覆盖全平台的游戏推荐（这也许又是一只大鸽子）敬请期待～

以上。

The post 上上下下左右左右BABA appeared first on nood1es.