本身以及领导的团队曾经负责较多差别范例的互联网服务体系，如几十万应用数&亿级流量的云盘算平台、年营收快要千亿的广告体系、亿级用户万万级日活的钉钉工作台体系、亿级生意业务额的钉钉市场&生意业务体系、算法在线离线工程体系等相干体系或子体系，团体而言无庞大故障，到达定级故障数也很少，线上稳固性保障在一个不错的水位上。阶段性总结下我从团队技能负责人视角做好稳固性建立的实践性思索和扼要思绪，为感爱好的技能同砚提供一个实践指南。
根据差别体系业务特点、差别发展阶段（体系规模、团队规模）、差别体系指标偏重性要求等，有许多差别的架构思绪和折中考量，比方存储选型、服务化管理、中心件选型、中台体系抽象等。本文扼要报告会影响体系稳固性的一些架构计划点以供参考，计划考量点详细内容可自行搜刮细看。
从哀求发起侧到服务处置惩罚返回的调用全链路的各个环节上制止存在单点（某个环节只由单个服务器完乐成能），做到每个环节利用相互独立的多台服务器举行分布式处置惩罚，要针对差别稳固性要求级别和本钱本领做到差别服务器规模分布式，如许就制止单个服务器挂掉引发单点故障后进而导致服务团体挂掉的风险。大概涉及的环节有端动态获取资源服务(html& js &小步伐包等)、域名剖析、多服务商多地区多机房IP入口、静态资源服务、接入路由层、服务逻辑层、使命调理实行层、依靠的微服务、数据库及消息中心件。
消除单点的计谋：
- 在服务逻辑层接纳多运营商多IP入口、跨地&同地多机房摆设、同机房多呆板摆设、分布式使命调理等计谋。
- 在数据存储层接纳数据库分库分表、数据库主从备集群、KV存储&消息平分布式体系集群多副本等计谋。
- 有分布式处置惩罚本领后，必要思量单个服务器故障后主动探活摘除、服务器增删能不绝服主动同步给依靠方等题目，这里就需引入一些分布式中枢控制体系，如服务注册发现体系、设置变动体系等，比方zookeeper是一个经典应用于该场景的一个分布式组件。
数据同等性
在分布式处置惩罚以及微服务化后，相干联的数据会存在于差别的体系之中，相干联的数据库表、数据存储、缓存等数据会由于架构计划或子体系抖动故障失败等缘故原由，导致相互数据出现不同等，这也是一类稳固性故障。最简朴的同等性，就是关系型数据库的同哀求内同库相干联的多个数据表更新的同等性， 这个可通过数据库的事件以及差别事件级别来包管。从架构层面，数据同等性也会根据业务特点，做强同等性、终极同等性的架构选型，差别选型根据CAP理论，也会带来可用性以及分区容忍性的一些折衷。
在做好SLA高的底子体系选型、分布式事件中心件利用、幂等计划，针对性提拔好微服务自己SLA后，可根据差别数据同等性级别要求，思量通过消息触发多体系对账、定时调理对账、子流程失败后自动投递消息耽误重试、消息消耗失败后盘旋重试、数据库记载过程中状态后做定时调理扫描未乐成记载后重试、离线全量对账。缓存更新机制不公道也轻易引发缓存和数据库之间数据不同等，一样平常在数据更新时思量并发更新时缓存删除优先或固定单线程串行更新计谋。
复杂分布式业务体系或微服务化管理后，基于消息中心件的解耦是广泛方式，这时选择一个确保自身不重不丢以及高SLA消息中心件非常紧张，使用消息中心件自身的多次盘旋重试根本能保障很高的终极同等性，数据同等性要求更高的，再共同差别级别对账机制即可。
强弱依靠梳理和降级
当服务依靠各类微服务时，制止强依靠（依靠服务挂掉会到本身服务挂掉），尽大概在对应服务出现题目时做到主动降级处置惩罚（弱依靠）大概手工降级，降级后依靠服务功能局部去掉或做符合局部提示，局部体验上有部门降级，但不会让主链路和团体功能挂掉。对于稳固性要求很好的关键体系，在本钱可担当的环境下，同时维护一套保障主链路可用的备用体系和架构，在焦点依靠服务出现题目能做肯定时间周期的切换过渡（比方mysql故障，阶段性利用KV数据库等），比方钉钉IM消息焦点体系就实现对数据库焦点依靠实现一套肯定周期的弱依靠存案，在焦点依靠数据库故障后也能保障一段时间消息收发可用。
强依靠的服务越少，体系团体底子稳固性就越高。部门特别数据依靠多于逻辑依靠的体系，做去依靠架构计划也是一个思绪，将依靠服务数据同一整合到自有服务的数据存储中，通过消息 或定时更新的方式更新，做到不依靠 或少依靠其他体系，进而进步稳固性，但如许做也会有副作用：数据冗余大概会引发差别水平肯定时间窗口数据不同等性。
热门或极限值处置惩罚
业务规模以及数据规模大的部门体系，在体系中会出现数据热门、数据非常倾斜、少量大客户凌驾极限阈值利用等极限场景，比方超等大客户广告投放物料、广告点击展示数据、API调用频次都是比平凡客户大许多，假如按照客户维度分库分表，根本在物料更新、查询、报表检察等一系列的场景都大概导致单库抖动，这除了影响大客户本身外也会影响分布在该分库分表上全部平凡客户。电商中非常脱销商品以及秒杀、企业IM中大构造群&大构造涉及全员关注更新举动、微博等订阅类明星大V的信息发布等都是少量极限场景大概会引发团体体系稳固性题目。因此，架构计划时，要分析本身体系中是否存在极限场景并计划对应方案做好应对。
极限场景中差别范例场景处置惩罚架构方案也不一样，大概的方式：
- 大客户从平凡客户分库分表中拆出来隔离建库表，隔离享用专有资源以及独立库表拆分路由逻辑以及隔离服务逻辑盘算资源；
- 大客户特定极限数据盘算做预约盘算以及预加载，在低峰期预约或提前优化完成；
- 秒杀体系极限值可以思量焦点逻辑简化+消息解耦、同商品库存拆分独立生意业务、部门查询或处置惩罚KV存储替换关系型存储、数据提前预热加载、列队、限流计谋等计谋；
- 大构造IM场景计划符合读扩散或写扩散的计谋，同时针对业务特点（差别人耽误度不一样）做到差别职员体验平滑，大概为大构造或大V提供专属盘算存储资源或专属查询更新逻辑。
- 在特定极限值体系架构以及资源无法满意的环境，产物侧以及技能侧要明白接纳最高阈值调用限定。
资金生意业务类体系要细致思量资损的风险
生意业务体系对于数据正确性、同等性、资金丧失等都是很敏感的，这一块在是否利用缓存、事件同等性考量、数据时延、数据不丢不重、数据精准查对和规复等必要额外架构计划考量。细致评估生意业务以及营销的全链路各个环节，评估此中出现资损的大概性以及做好应对计划，比方增长多层级对账、券总额度控制、非常金额限定和报警等资损防控的考量等。差别条理差别维度差别时间耽误的对账以及预案是一个紧张实时感知资损和止血的有用方式。全链路的过程数据要做好尽大概长期化和冗余备份，方便后续查对以及基于过程数据举行数据修复，同时只管针对特别数据丢失场景提供快速主动化修复处置惩罚预案（如生意业务消息可选择性回放和基于幂等原则的重新消耗）。
离线数据流
基于数据的搜刮保举、呆板学习算法体系、数据产物等，焦点功能依靠离线产出 或 增量产出数据，这类数据大概规模大、泉源广、生产链路长，在团体生产和传输链路中，很轻易出现数据少量丢失、部门环节失败、数据生产耽误等环境，终极消耗在线体系也很难感知少量数据错误进而导致故障。
针对离线数据流，要增长差别传输环节数据完备性校验、差别生产环节数据精确性校验、数据耽误监控、数据生产失败监控、端到端数据精确性规则校验、数据错误或耽误兜底预案、数据回滚重刷工具等机制。呆板学习类体系还要思量离线特性和线上特性数据同等性，确保离线练习的模子，线上猜测应用结果是同等的，因此模子上线时以及线上定期做离线和线上特性数据同等性查对。
其他非常环境处置惩罚
团体体系架构，除了正向逻辑、性能、扩展性计划等外，要增长一个非常计划视角，穷尽思索各类非常环境以及计划应对计谋。
2 容量评估计划
体系计划团体至少思量应对5到10倍或近1到3年体系规模增长，要保障后续通过增长呆板资源等快速方式能实现体系程度扩容。比方分库分表的规模提前计划好提前量，制止暂时数据库本领不敷导致必要暂时重构扩容（增长分库分表以及修改路由以及迁徙数据）；服务逻辑层计划持有数据状态导致无法加呆板做服务层扩容。互联网产物发展变革较快，不肯定会准期发作，容量架构计划上也要留意不要过分提前计划，制止提前复杂化引发研发服从以及呆板本钱题目。
针对线上流量峰值，发起体系常态保持近期峰值3倍左右容量余量，上线前和上线后要定期做压测摸高，写流量可用影子表等方式做压测，压测可单接口以及模仿线上流量分布压测联合，根据压测效果优化架构或扩容，连续保持容量富余。
对于大概凌驾体系现有容量的突发峰值，限流计谋是线上要设置的计谋。入口侧入口流量调用 、差别渠道服务依靠调用、对依靠服务的调用都要评估可极限调研的上限值，通过中心件等符合方式限定凌驾阈值调用，制止引发雪崩效应。特定业务体系，对于凌驾峰值流量，可以通过消息架构以及符合体验计划做削峰填谷。针对恶意攻击流量也要思量在入口层摆设防DDOS攻击的流量洗濯层。
部门体系峰值变革较大且必要连续尽大概承载保障，可思量引入弹性伸缩计谋，预约 或根据流量变革触发体系主动扩缩容，以确保以只管小成原来主动化满意变革峰值。
3 运维方案计划
体系要思量连续迭代发布变动以及线上运维的诉求，做到可灰度、可监控、可回滚。
可灰度保障实时在小流量环境，发现题目，制止引发大范围故障。因此在做体系任何变动时，要思量灰度方案，特殊是大用户流量体系。灰度方式大概有白名单用户、按用户Id固定分别后差别流量比例、呆板分批发布、业务概念相干分组分比例（比方某个行业、某个商品、某类商品）等，灰度周期要和联合体系风险和流量做符合计划，紧张体系灰度周期大概连续凌驾一周或更多。
监控项要体系性确认是否完备以及保持更新，大概监控项：错误日记前端js错误、用户体验到的性能和白屏率、接口乐成率、依靠服务乐成率、呆板底子负载相干监控（CPU使用率、cpu Load、内存、IO、网络等）、服务底子监控（端口、历程、状态探活、JVM full gc、OOM等）、数据库负载监控、数据库慢哀求、流量同比剧烈变革。监控项的报警计谋也要根据业务体系特点以及监控项的特点，做差别报警计谋计划，比方秒级&分钟级报警、错误率报警、错误日记次数报警、一连堕落报警等。焦点监控可择要一个监控大盘，一个大盘快速判定服务稳固性环境。
可回滚：新增功能增长设置开关，当线上出现题目时，可通过关闭功能开关，快速下线最新升级 或部门有题目功能。针对差别堕落场景，有设置驱动一些预案，比方降级对某个服务的依靠、提供符合功能维护中公告、切换到备用服务等预案，在特定题目出现时，可以快速做线上止损和规复。发布功能留意提前思量出现题目时快速回滚步调，部门常常发布留意对回滚步调做演练。
4 安全计划
数据以及应用安全题目一旦出现大概很致命，肯定要加以思量。安满是一个比力专业范畴，通例在针对业务体系经典安全场景做好考量的同时，只管引入专业安全技能同砚评估。全部资源访问必要符合鉴权，制止越权访问；防Sql注入等攻击，做参数正当性校验；资源斲丧频次管控，如短信资源等；用户防骚扰，设置用户关照、弹屏等触达阈值和频次；敏感信息过滤或脱敏等。
5 高质量的代码实现
符合实现和经典性实践黑白常紧张代码质量保障的方式，大量线上题目照旧由少量代码细节思量不全面和履历不敷引发的。这方面考量差别语言都会有本身一些最佳的实践，比方Java，可以参考《Java开辟手册》。比力通用保障方式是分支覆盖完备的单位测试 、线上引流回归测试、完备回归测试用例等测试质量保障步伐。
三 团队研发运维流程机制
稳固性涉及团队全部差别程度同砚、全部体系、研发全部环节、线上时时候刻，单个同砚是无法保障好的，必须创建团队流程机制来可连续保障。
重要流程机制如下：
- 技能Review：差别体量计划安排履历更加丰富同砚Review，架构师、主管、外部架构师的Review、定期体系团体Review等。
- 代码Code Review：创建规范和尺度，通过CR认证及格同砚实行code review动作。
- 单测：差别风险的体系设定只管高的行覆盖 & 分支覆盖率尺度，复杂逻辑类寻求100%分支覆盖。
- 回归测试：连续积聚回归用例，在上线前和上线后实行回归动作；上线火线上引流测试也是一种模仿测试方式，端范例体系还可以用monkey工具做随机化测试。
- 发布机制：计划发布准入和审批流程，确保每次上线发布都是颠末精致计划和考核的，上线过程要做到分批、灰度、支持快速回滚、线上分批观察（日记确认）、线上回归等焦点动作。创建发布红线等机制，差别体系计划符合发布时段以及发布灰度观察周期。
- 团队报警值班相应机制 （报警群、短信、电话）：确保报警有符合职员即时相应处置惩罚，团队层面可定期做数据性统计通晒，同时创建主管或架构师兜底机制。
- 定期排查线上隐患：定期做线上走查和错误日记管理、告警管理，确保线上小的隐患机制化发现和修复。比方在钉钉针对企业用户早晚高峰的特点，计划早值班机制，用于高峰期第一时间应急以及天天专人花肯定时间走查线上，该机制在钉钉技能团队连续践行多年，有用发现和管理了钉钉各个线上体系的隐患。
- 用户题目处置惩罚机制：Voc日清、周清等。在钉钉也履历Voc周清到日清的连续机制精进。
- 线上题目复盘机制：天内、周内题目实时复盘，确保针对每个线上题目做体系和团队精进。
- 代码质量抽查通晒：定期抽查团队同砚代码，做评估和通晒，鼓励好的代码，资助欠好代码的改善。
- 建立稳固性管理专门topic：符合同砚每周做好稳固性过程和精进。
- 定期压测机制：定期机制化实行，核查线上容量环境。
- 一样平常演练机制：预案演练，模仿线上故障的不关照的突袭演练提拔团队线上题目应对本领。
流程机制要和团队同砚共创告竣同等后，共同创建topic负责人机制，对流程机制实行度和实行结果要做好过程监测和通晒，创建明白数字化尺度和权衡机制（比方钉钉技能团队针对线上题目设定1-5-10尺度，1分钟相应5分钟内定位10分钟内规复），同时创建对应赏罚机制。流程机制也要根据体系状态举行精简或精进，确保流程机制可实行性和生命力。
四 技能同砚意识和本领
人的意识是最紧张的，专业本领可以锻炼造就。假如意识不敷或松弛，好的本领以及机制流程也会形同虚设。
永久要对敬畏线上，敬畏客户体验。面向线上的稳固性战术上可以基于专业度锻炼后自大，但战略和头脑上必须连续如履薄冰、三省吾身。线上稳固性保障是作为技能人本身专业度的寻求和必须保持初心，始终保持敬畏。不由于业务繁忙、个民气情状态、团队是否器重而有变革，只要职责在，就要保卫好。技能主管以及体系owner要有连续感知稳固性隐患和风险，保持锐度，会合性以及体系性查差补漏。
1 团队对线上敬畏的一些具象表现和要求
每个报警不要放过，每个报警实时相应处置惩罚
快速定位和快速规复是个人以及团队专业本领沉淀，但快速报警相应是每个敬畏线上敬畏用户体验的技能同砚可以做到的。
在监控完备和连续条件下，每个报警实时处置惩罚即可以低落故障影响范围，也会连续淘汰小的隐患。报警一些小的实践本领：报警按照方向收敛报警群，创建报警天级值班机制，报警短信手机设置为震惊模式（不打搅同空间家人或朋侪环境下，本身第一时间感知），主管要订阅报警作为团队报警兜底处置惩罚人，报警相应好的同砚和欠好的同砚要数据化表彰和品评。
从团队角度，报警实时相应必须共同报警管理举行，否则过多无效报警也会让有责任心的同砚变得麻痹。以是必须控制无效报警的数目，比方单应用无效报警（不必要线上题目举行定位以及修复处置惩罚的）不要凌驾5条，个人维度无效报警天级别不凌驾10条。
线上题目要复盘，岂论是否为定级故障，岂论题目巨细
小的线上题目也要复盘，复盘预备度可以低于定级故障，但都必要思索反思以及落实优化Action。小的线上题目就是将来线上故障的先兆。我们团队周会上都会有一个环节，上周如有线上题目则会安排对触发人做复盘。
错误日记要器重
要定期分析线上错误日记，隐患的题目是藏在错误日记中的。我们如今技能团队会有早值班机制，每个方向天天都有一个技能同砚走查线上，以发现线上隐患题目为导向，走查监控大盘、错误日记、用户反馈，通过这个例行机制，很好地防微杜渐。
每个用户反馈要器重，定位到根本缘故原由
一个用户反馈背后一定有多个现实线上题目，只是这个用户无法忍受，知道反馈路径以及对这个产物有热爱 或强依靠才选择反馈的。彻底定位一个voc，就是修复了一类线上题目。而且到用户反馈的水平，这个线上题目就已经有肯定水平用户体验影响了。我们如今技能团队有一个voc日清机制，针对线上voc题目对用户做好日内相应回复，也是一个不错对于这个意识的数字化权衡。
2 本领造就
单个技能同砚个人技能以及稳固性保障本领是团队在每个稳固性使命上拿到效果的实行者和底子，因此技能主管器重辨认差别同砚个人上风和不敷，针对性做工作安排以及造就锻炼。只要线上意识上充足器重，本领对于大部分技能同砚是可以造就的。
团队内同砚由于入行时间、汗青履历等各方面缘故原由，对于当前体系稳固性保障本领是有强弱的差别的，对于个人是正常环境，但对于团队而言，不能由于团队个别同砚本领上存在不敷而引入团队层面稳固性保障风险。必要主管很好认识以及判定同砚本领段位，在负责体系和模块、流程机制束缚、辅导人等方面做好差别化安排。比方校招同砚X个月不做线上发布，前X个月发布有师兄协同发布机制，并发高 或资金生意业务等等风险高的体系让更加有履历的负责。同时计划造就机制，本领当前不敷但有潜力的同砚，可以安排由履历丰富的同砚引导以及提供一些进阶实操路径，按照节奏从易到难渐渐负担更高风险的体系职责。
本领造就方式有技能Review、代码CR和辅导、到场团队稳固性保障机制、安排符合师兄引导、过程中主管引导、渐渐负担更高职责等。代码层面，对于Java同砚来说， 《Java开辟手册》是一个很好的实践性指南，超出代码风格，提供了日记、非常处置惩罚、聚集等库利用、数据库计划、分层计划等多个提拔代码质量的实践做法，我们本身团队全部Java研发同砚都会100%通过阿里云上阿里巴巴代码认证测验，同时团队有一个团队内新品德码机制，同时钉钉大技能团队层面有一个品码会机制，这些都是不错地造就同砚写出好代码的造就方式。
很多多少小团队、大团队、公司都有许多不错提拔稳固性机制和案例，积极自动参考学习以及联合本身业务体系思索践行，是本身提拔紧张路径。架构上高可用以及架构相干经典册本自我学习，从理论上做体系性认知也是有须要，相干册本网上有许多保举，比方《高性能网站建立》、《大型网站体系与Java中心件实践》等。
少量的同砚在主管和团队尽大概资助和辅导后在稳固性性保障的意识和本领上连续不能达标，这类同砚要做好阶段性高风险体系隔离以及刚强做汰换。对业务、客户体验、团队内其他同砚负责，实时汰换他以低落这一块稳固性风险。
五 精良的研发项目管理
从履历看，线上体系大部门故障是由新的变动引入和触发的，变动是业务和产物迭代演进方式，因此不大概没有变动，但我们可以对变动项目做符合质量管理，进而有用进步线上稳固性。
项目管理的四要素：工作范围（需求）、时间（交付时间）、质量、本钱（人 & 呆板资源等），简称STQC，这四个要素是相互关联的和制约的，形成一个项目管理质量管理铁三角，一个要素变更就会影响到其他要素，因此要保障好质量就必须要思量怎么管理好其他三个要素。
别的，我们可以进一步明白项目乐成的要素，以终为始聚焦思量怎样提拔现实影响乐成的质量，乐成的项目不但取决于项目自己从开始到竣事的实行过程，还取决于开始前和竣事后的积极。乐成的项目应该取决于三个阶段的积极：
- 项目开始前必须 “相识什么是客户的乐成”，只有客户乐成了项目才气乐成；——明白客户真正的需求。
- 项目实行中可以或许“担负客户乐成的责任”，按要求完成答应的工作。
- 项目竣事后能“资助客户实现代价”，只有客户说项目乐成了才是真正的乐成。——资助客户实现业务目的、用户代价目的、贸易代价目的。
质量管理铁三角
互联网产物迭代速率很快，推许快速推出、快速试错、快速占据市场先机，交付时间的快是互联网产物、业务同砚对于研发团队显性的要求，而交付质量和线上连续稳固则是一个隐性需求，产物业务默认研发团队应该做到，但每每在时间、本钱等方面没有给予显性思量，这一块就必要研发项目管理同砚自动评估考量进来，有本身专业判定和对峙。
明白好真正的客户需求和交付后客户代价的实现，可以资助在四要素辩论的时间符合弃取需求来保障时间和质量，以及和业务产物&客户基于客户代价实现夺取时间、资源来保障质量。项目管理角度稳固性保障根本动作包罗确定和充实明白资助客户乐成的需求范围、控制好需求变动、预留质量保障环节时间、动态管控交付预期时间、夺取富足人力以及呆板等本钱资源。进阶动作：在提前相识和明白乃至共同到场订定业务战略和计谋底子上提前规划需求范围和研发节奏&职员排兵布阵&架构结构、深入明白业务底子上帮忙做需求弃取和优化。
作者：开辟者小助手_LS
本文为阿里云原创内容，未经答应不得转载返回搜狐，检察更多
|申请友链|小黑屋|手机版|Hlshell Inc.
( 豫ICP备16002110号-5 )
窥视卡
雷达卡
发表于 2020-12-24 04:11:19
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜