运维手册 阿里云新加坡香港cn2 日常监控与故障排查

1.

总体架构与部署要点

• 地域与网络：采用阿里云新加坡（ap-southeast-1）与香港（cn-hongkong）两地部署，优先走CN2国际骨干。
• 实例配置示例：ECS 型号 ecs.c6.large，2 vCPU / 4GB RAM，系统盘 40GB SSD，公网带宽包 100 Mbps，系统 Ubuntu 20.04。
• 网络安全：绑定安全组，放行 22/80/443，并启用云盾 Anti-DDoS Pro 为公网 IP 做防护。
• 负载与高可用：采用 SLB（负载均衡）+ 多可用区 ECS，跨域 DNS 采用阿里云 DNSPod，启用健康检查 10s 间隔。
• 日志与监控：接入云监控（CloudMonitor）、日志服务（Log Service）与 Cloud Assistant，用于告警与自动化脚本执行。

2.

日常监控项与阈值设置

• CPU：平均利用率阈值 80%，峰值 90%，连续 5 分钟触发告警。
• 内存：利用率阈值 85%，Swap 使用>10% 触发优化评估。
• 磁盘：磁盘使用率 85% 告警，iops/await 超过正常值触发 IO 警报。
• 网络：带宽利用率超过 80% 或突发丢包率 >1% 触发告警。
• 进程与服务：Nginx/Apache/数据库进程不存在或崩溃立即触发恢复脚本并通知值班。

3.

监控数据示例与告警表

• 以下表格展示常用阈值与对应自动化处理动作（以单台 ECS 为例）。
• 表格中示例为推荐值，可根据业务调整。
• 自动化动作包含：重启服务、扩容告警、提交工单、通知值班群。
• 表格居中并带细边框，便于打印与归档。

4.

日常巡检命令与数据采集

• CPU/内存/进程：top、htop、vmstat -s，示例：top 输出前 5 行用于定位高占用进程。
• 磁盘与 IO：df -h / iostat -x 1 3 / iotop，用 iostat 示例 1s 平均 await > 30ms 需重视。
• 网络与连通性：ss -tunapl、netstat -s、iftop、ip -s link，记录 1 分钟峰值。
• 路由与丢包：mtr -r -c 100 8.8.8.8 或 traceroute，用以识别 CN2 骨干跳点丢包。
• 抓包与分析：tcpdump -i eth0 -c 1000 port 80，保存为 pcap 并用 Wireshark 分析 RTT 与重传。

5.

故障排查流程（示例步骤）

• 确认范围：判定是单台 ECS、SLB 还是整个 CN2 线路异常，查看 CloudMonitor / 控制台全量告警。
• 快速定位：使用 mtr 确认外部链路丢包与延迟跳点，记录丢包率与延迟峰值。
• 服务层面：检查 Nginx 错误日志 /var/log/nginx/error.log 与应用日志，观察 5xx 错误率。
• 资源瓶颈：用 top/iostat/ss 确认 CPU、IO、连接数等是否达到上限，参考阈值表。
• 对外工单：若为 CN2 骨干或 BGP 对等问题，整理 traceroute、mtr、tcpdump 证据后提交阿里云网络工单并附上时间戳与示例 pcap。

6.

真实案例：香港 CN2 突发丢包故障

• 背景：某电商在香港 CN2 部署主站，突然用户报告 500ms+ 响应并间歇性请求超时。
• 初步排查：CloudMonitor 显示 20:10 起外网丢包率上升，mtr 到客户网关第 6 跳出现 15% 丢包。
• 数据举例：mtr 汇总 100 个样本，第 6 跳丢包 15/100，平均延迟由 30ms 升至 220ms。
• 处理流程：收集 traceroute/tcpdump（抓包显示 SYN 重传），提交阿里云工单并贴上 mtr 报告与时间窗口。
• 结果：阿里云在 45 分钟内确认骨干链路维护导致短时丢包，切换到冗余带宽并恢复，后续在 SLB 增加健康检查频率以降低影响。

7.

演练与自动化建议

• 定期演练：每月一次故障演练，包含主站切换、流量回退与日志恢复，记录 RTO/RPO。
• 自动化脚本：使用 Cloud Assistant 执行常见恢复脚本，如 nginx reload、服务重启、临时扩容命令。
• 告警联动：在 CloudMonitor 中配置告警通知到企业微信/钉钉与工单系统，关键阈值自动创建工单。
• 容量预案：按业务峰值 1.5 倍预留带宽与 ECS 规格，定期做压测验证。
• 文档与知识库：将排查步骤、常见命令与工单模板写入内部运维手册，便于值班人员快速响应。

来源：运维手册 阿里云新加坡香港cn2 日常监控与故障排查