Linux Cassandra多数据中心与跨区域复制运维

一、多数据中心架构原理

1.1 Cassandra 多DC 优势

• 原生支持：无额外组件（如MySQL的GTID）
• 灵活复制：每个DC独立RF，副本不跨DC强制放置
• 一致性调优：LOCAL_*级别避免跨DC延迟
• 灾备能力：单DC故障不影响其他DC服务

典型场景：

• 同城双活：低延迟高可用
• 异地灾备：跨省/跨国备份
• 全球分布：就近读写（Netflix经典案例）

1.2 关键组件

• Snitch：感知拓扑（DC/Rack）
• Replication Strategy：NetworkTopologyStrategy（NTS）
• 一致性级别：LOCAL_QUORUM / LOCAL_ONE

二、Snitch 配置与拓扑规划

2.1 推荐Snitch：GossipingPropertyFileSnitch

cassandra.yaml：

endpoint_snitch:GossipingPropertyFileSnitch

配套文件：/opt/cassandra/conf/cassandra-rackdc.properties

每个节点配置：

dc=DC1          # 数据中心名
rack=RACK1      # 机架名
prefer_local=true

• 动态生效（nodetool reloadsnitch）
• 多DC示例：
• 北京DC：dc=BJ, rack=RACK1
• 上海DC：dc=SH, rack=RACK1

云环境替代：

• Ec2MultiRegionSnitch（AWS）
• GoogleCloudSnitch（GCP）

2.2 种子节点规划

• 每个DC至少2-3个种子
• 种子列表包含所有DC种子
• 避免单DC种子依赖

示例：

seeds:"10.0.1.10,10.0.1.11,10.0.2.10,10.0.2.11"# BJ + SH

2.3 拓扑验证

nodetool status          # 显示Datacenter: DC1 / DC2
nodetool gossipinfo      # 查看每个节点DC/Rack

三、Keyspace 创建与复制策略

3.1 NetworkTopologyStrategy（NTS）

CREATE KEYSPACE multi_dc WITHreplication = {
'class': 'NetworkTopologyStrategy',
'DC1': 3,
'DC2': 3,
'DC3': 2
};

• 每个DC独立RF
• 副本优先本地机架感知

更改现有Keyspace：

ALTER KEYSPACE multi_dc WITHreplication = {'class': 'NetworkTopologyStrategy', 'DC1': 3, 'DC2': 3};
nodetool repair -full# 迁移数据

3.2 一致性级别选择

生产黄金组合：

• 写：LOCAL_QUORUM
• 读：LOCAL_QUORUM（强一致）或 LOCAL_ONE（高性能）

客户端驱动配置：DataStax Java Driver支持自动LOCAL_*。

3.3 一致性计算表（RF=3 per DC，双DC）

四、跨DC 数据同步与维护

4.1 Repair 在多DC

• 默认仅本DC
• 跨DC repair：加-dc参数，或每个DC独立调度
• 频率：本DC每周增量，跨DC每月full（带宽评估）

命令：

nodetool repair -pr -inc -dc DC2   # 修指定DC范围

Reaper工具：支持多DC并行。

4.2 备份在多DC

• 每个DC独立Snapshot
• 增量同步到中心存储（S3）
• 灾备恢复：从备份DC sstableloader到新DC

4.3 跨DC 流量评估

公式：

• 写流量：写QPS × 行大小 × (总RF - 本DC RF)
• Repair流量：数据量 / 修复周期 × 峰值系数
• Streaming：扩容时TB级

生产：万兆+专线，internode_compression: all压缩。

五、故障切换与流量路由

5.1 单DC故障处理

• 客户端驱动：token aware + 数据中心感知（prefer local DC）
• 切换：应用配置fallback DC，或DNS/LB切换
• 一致性降级：临时LOCAL_ONE

5.2 全球多DC路由

• 驱动：DataCenterAwarePolicy
• LB：HAProxy/Geolocation路由就近DC

5.3 扩容多DC

• 新节点指定DC/Rack（cassandra-rackdc.properties）
• bootstrap自动streaming跨DC数据

六、生产多DC 最佳实践

1. 拓扑规划：每个DC独立RF=3，种子分布均匀
2. 一致性：默认LOCAL_QUORUM，避免跨DC
3. 网络：专线+压缩+限速（stream_throughput）
4. 维护：每个DC独立repair/backup
5. 监控：Grafana分DC面板，跨DC延迟指标
6. 安全：节点间加密必开（跨公网）

常见坑：

• Snitch错 → 副本跨DC放置 → 高延迟
• 未用LOCAL_* → 跨洋延迟秒级
• Repair未分DC → 带宽风暴