查看原文
其他

程序员黑话之故障专辑(中英文对照版)

天舟 Bytebase 2023-12-22

去年出过一期「程序员黑话集」,一直想着更新一季,正好最近业内接连发生了几起影响比较大的故障,那我们就专门做一期「故障专辑」吧。


故障

故障有好几种叫法,比较正式的
  • 故障 - Outage

  • 事故 - Incident
不怎么严重的,时间很短的
  • 抖了一下 - Jitter(多用于网络)

  • Hiccup (中文翻译是打了个嗝,不过中文里貌似没有这个讲法)
通俗点的说法
  • 挂了/崩了- Down


500

当在请求某个网络资源时,服务器内部发生错误时,返回的错误编号。扩展为系统发生内部故障。


变更

虽然突然的流量暴涨,或者光缆被挖断,数据中心着火,被雷劈都有可能,但绝大多数时候,故障都是变更导致的。

变更分为三大类:
  1. 代码变更 - Code Change

  2. 配置变更 - Config Change

  3. 数据库变更 - Database Change


左移 (shift-left)

降低变更风险的一个方法,就是做变更前检查,问题越早发现越好。因为变更的流水线是从左往右画的,起点在左边。所以左移就是把检查尽量靠近起点。


金丝雀 (Canary)

以前矿工下井,会带一只金丝雀,如果井下空气出现状况,更敏感的金丝雀会先有异常。这个概念也带到了软件研发里。会循序渐进地做变更。另外一种叫法是灰度 (Grayscale)。


单元化/区域化 (Regionalization)

在互联网公司逐渐普及的架构,主要由 AWS 发扬光大,把服务进行隔离。


爆炸半径 (Blast Radius)

金丝雀和单元化都是为了降低爆炸半径,减少故障的影响面。


值班 (On-call)

也叫 Carry the pager。以前带着的传呼机叫做 Pager。现在传呼机被手机/软件取代了,但 Pager 这个名字沿用了下来。


复盘 (Postmortem)

原义是尸检报告。在软件研发领域,指详细的故障分析报告。


惊群 (Thundering Herd)

打雷后,动物一下子被惊醒了,到处乱窜,造成混乱。在故障恢复阶段要小心的问题,很容易刚拉起一个服务,立马又被积压的请求打挂。


结语

船停在港口是最安全的,但那不是造船的目的。软件需要持续的变更迭代,变更就有风险。但研发团队可以通过引入工具,来降低风险,针对一开始变更的三种类型,市面上也有成熟的开源方案:
  • 代码变更 - 老牌的有 Jenkins,新兴的有 Drone CI 和 Zadig
  • 配置变更 - Apollo
  • 数据库变更 - Bytebase
🍀好运!


PostgreSQL Connection Poolers 🏊
对比国内主流开源 SQL 审核平台 Yearning vs Archery
Bytebase 2.11.0 - 支持 OceanBase Oracle 模式
来自电子制造行业视源电子 (CVTE) 的数据库变更管理实践

继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存