流量巅峰时刻的“重保大战”：运维人怎样度过双十一？
2022年11月10日10点,鹏博士大数据IT运维部主管王旭辰刚刚带领团队对数据中心进行双十一前最后一次巡检。他拿起对讲机,面色严肃,语气平缓:“经巡检数据中心服务器、网络设备运行状态一切正常,已完成IT运维部重保部署。”
全场进入倒计时准备状态。20点一过,平台支付尾款交易数量疯狂暴涨。王旭辰和他的团队井然有序、各司其职,确保双十一期间客户系统可以安全稳定运行。
当过了交易峰值、系统趋于稳定的时候,数据中心运维人员心中的成就感油然而生。“重保工作就像是守一座城,我们都是守城人,现在我们又成功拼下了一城”,王旭辰绽开笑容,一改方才的严肃神情。
王旭辰于2008年10月入职公司,担任IT运维部主管,主要负责机房巡检、人员设备的管理等工作。他表示,IT运维部是客户了解基础设施方面的沟通桥梁。从2015年到现在,他已经备战过8次双十一了,可以说是重保工作方面的元老了。
提前进入“战备”状态,消除隐患不松懈
王旭辰称,为了保障双十一期间客户们的业务能够稳定运行,运维人员一般在十月下旬就要开始进入“战备”状态了。首先,对各系统进行全面风险自查,并统一进行安全生产教育培训,明确职责流程、加强人员管控,确保各机房基础设施平稳运行。
运维团队还要与重保客户开展重保沟通会,确认重保期间带宽及电力峰值需求,提前扩容带宽限速,配合客户完成网络压力测试并建立线上联络群,便于随时与客户进行沟通,优化授权流程。完成客户设备状态巡检,检查重要光纤链路标识是否完整,线缆敷设是否规范。配合基础设施部门加强关键基础设施备品备件管理,确保应急抢修效率。安排相关基础设施厂家或代维人员,与数据中心各基础设施部门负责人重保期内现场轮流值守。
“当然了,仅仅靠预先检查就想做到细致周密是远远不够的。有句话说的好,’实践出真知’。所以,在每次重保之前,所有数据中心要针对每一种可能发生的故障,按照应急处理预案,进行反复模拟和实操演练,直至运维人员将所有操作烂熟于心,”王旭辰解释道,“这个过程主要就是针对可能出现的突发事件进行应急演练,明确事件处理流程和通报机制。一旦出现问题可以迅速采取措施恢复事件造成的影响并让相关人员了解事件影响范围和处理进度。
“实际上,在正式开展重保工作期间是很少出现突发状况的,因为经过了这么多年的开发和完善,整套工作流程已经能够稳定有序的运行了。不过,为了确保万无一失,我们还是非常重视重保前的各项准备工作的,确保每个细节都做到位,这也是我们的使命和任务。”
7 x 24小时全程待命,恪尽职守稳运行
谈到外界对运维人员的印象,在外人看来,运维工作人员是一种很神秘的存在,“绝大部分人对我们的工作都不是很了解,就算有所耳闻可能了解的也不是太全面,可能认为我们在双十一期间一定会忙到废寝忘食。这实际上有一定的误解,就像我刚刚提到的,我们现在的各项技术已经非常成熟了,同时所有数据中心的同事也通过日常的实战磨炼积累了一定的经验,对各项操作流程及应急处理可以说是铭记在心,所以在应对双十一购物节这一类重大保障工作有充足的信心。”
“不过,就算各方面准备工作做足也不代表我们就可以完全高枕无忧了,”王旭辰强调,“在重保当天,我们会以关键设备的现场巡检及动力环境系统的全方位监控列为重保工作最优先事项,巡检过程中,我们会检查客户相关设备的运行状态,如接入层网络设备有无告警、连续供电设备及连续制冷设备运行状态等等。在重保期间,我们通过预先建立好的内部事件汇报机制,实时观察基础设施运行状态和网络设备运行状态,并定时进行文字性的汇报,一旦发现有突发情况,立即启动相关EOP及应急处置方案,按照演练时的操作有条不紊地做出应急处理。”
重保过程中,大家都会高度专注,虽然各数据中心一直有人值守,但是重保期间依然会增加主管值守,同时尽可能地减少非必要人员进出和非必要的操作。由于电商平台的促销时段比较分散,所以运维人员在重保当日保持7 x 24小时全程待命,“我们几乎是随叫随到的,只要客户有需求传达到现场,如某台设备需要查看状态或进行某些授权操作之类,我们必须马上到现场处理,并且第一时间把设备状态反馈给客户。”
对运维人来说,重保期间7 x 24小时现场值守已经习以为常了,全程高度紧绷的状态也会让人感到疲惫不堪。“每次重保工作完成后,我们大家都会感到如释重负,心里的石头也终于落了地。”王旭辰笑着说道。
运维人——客户和“剁手党”坚实的后盾
目前,鹏博士大数据已经在全国建立了10余个数据中心,拥有超过500名运维人员,服务超过2000家优质客户,为百行千业的全景数字世界运行提供了坚实的保障。作为一名从业超过10年的运维工作者,王旭辰表示,“我只是鹏博士大数据运维人员大家庭中的小小一员,双十一重保工作的圆满完成离不开我们每一个人的坚守。未来,我们相信通过技术的持续创新以及运维服务的不断完善,我们将为客户的业务带来更大价值。”
