一个操作失误,阿里云大规模故障,引发大量吐槽


发布人:321456分类:网络安全浏览量:462发布时间:2018-06-29

阿里云因 bug 禁用内部 IP 导致链路不通,造成大规模故障

7日,阿里云午夜在官网、微博发布了故障公告:

6月27日下午,我们在运维上的一个操作失误,导致一些客户访问阿里云官网控制台和使用部分产品功能出现问题,引发了大量吐槽。故障于北京时间2018年6月27日16:21左右开始,16:50分开始陆续恢复。

经过紧急技术复盘,故障原因如下:


当天下午,工程师团队在上线一个自动化运维新功能中,执行了一项变更验证操作。这一功能在测试环境验证中并未发生问题,上线到自动化运维系统后,触发了一个未知代码bug。错误代码禁用了部分内部IP,导致部分产品访问链路不通。 后续人工介入后,工程师团队快速定位问题进行了恢复。

 

受影响范围包括阿里云官网控制台,以及MQ、NAS、OSS等产品功能。
 

对于这次故障,没有借口,我们不能也不该出现这样的失误!我们将认真复盘改进自动化运维技术和发布验证流程,敬畏每一行代码,敬畏每一份托付。


下午 16:30 左右,微信朋友圈、微信群、微博出现阿里云故障消息,故障原因主要体现在阿里云官网、控制台无法访问,尝试登陆阿里云官网,显示如下:

640?wx_fmt=png


官网有时候可以访问,有时候显示502错误的网关,即使官网可以访时,点击登陆,页面只会刷新,登陆不了。


一位行业从业者发推称:阿里云的函数计算挂了,导致线上故障。打算马上降级到本地计算,结果阿里云的 Kubernetes 也挂了。想着挨个机器手工改一下,发现 OSS 也挂了…整个过程没有报警,因为 SLS 也挂了…(备注:未得到阿里云官方确认)


官网公告称16:21左右开始,阿里云官网的部分管控功能,及MQ、NAS、OSS等产品的部分功能出现故障,以下为全文:

640?wx_fmt=png


阿里云官网通告:6月27日阿里云部分产品及账号登录访问异常通告


【阿里云】【网络】【异常通告】


异常时间:北京时间2018年6月27日16:21左右。

异常概述:于北京时间2018年6月27日16:21左右开始,阿里云官网的部分管控功能,及MQ、NAS、OSS等产品的部分功能出现访问异常,阿里云工程师正在紧急处理中,请您稍后重试。


【异常更新】

北京时间2018年6月27日 16:50

目前受影响的业务正在逐步恢复中,若遇到异常,请您稍等后重试。


【异常更新】

北京时间2018年6月27日 17:30
目前受影响的业务大部分已经恢复正常,请您确认。若还有异常,请您跟我们反馈,谢谢。

故障时间 50 分钟左右,故障原因,阿里云尚未披露。

以下为用户吐糟:

640?wx_fmt=jpeg

640?wx_fmt=jpeg

网友吐糟:毕竟是自主研发的云,当然有点小脾气

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

写在最后

每一次的故障确实不应该发生,但有时又难以避免。对此,不少网友表示,理解身为同行的程序员们,解决问题比解决人更重要。

640?wx_fmt=png

但是也有不少人认为:

出了故障可以原谅,那客户的损失该如何算?

如果是没按规范操作导致的事故肯定是要处罚的,否则这次事故的复盘就是无价的经验啊。

技术人员肯定得背故障啊,但是这事应该要升级,不是说一个技术人或者开除就算了的。




文章转自:https://blog.csdn.net/p5deyt322jacs/article/details/80851355


被黑站点统计 - 文章版权1、本主题所有言论和图片纯属会员个人意见,与本文章立场无关
2、本站所有主题由该文章作者发表,该文章作者与被黑站点统计享有文章相关版权
3、其他单位或个人使用、转载或引用本文时必须同时征得该文章作者和被黑站点统计的同意
4、文章作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
5、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责
6、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
7、被黑站点统计管理员有权不事先通知发贴者而删除本文

免责声明

本站主要通过网络搜集国内被黑网站信息,统计分析数据,为部署安全型网络提供强有力的依据.本站所有工作人员均不参与黑站,挂马或赢利性行为,所有数据均为网民提供,提交者不一定是黑站人,所有提交采取不记名,先提交先审核的方式,如有任何疑问请及时与我们联系.

321456  的文章


微信公众号

微信公众号


Copyright © 2012-2022被黑网站统计系统All Rights Reserved
页面总访问量:15662817(PV) 页面执行时间:57.747(MS)