MongoShake 配置
-
技术原理
- 读取MongoDB的Oplog（副本集）或Change Stream（集群）进行数据变更捕获。
- 支持多种同步方式（rpc, file, tcp, 直连）。
- 并行复制功能提高同步效率。
-
具体配置
副本集同步配置
# MongoShake 配置文件示例（YAML 格式） mongo_urls: "mongodb://username:password@10.1.1.1:1001,10.2.2.2:2002,10.3.3.3:3003/admin" sync_mode: "all" incr_sync: tunnel_address: "mongodb://username:password@10.5.5.5:5005,10.6.6.6:6006,10.7.7.7:7007/admin" mongo_fetch_method: "oplog" # checkpoint配置（可选） # checkpoint.storage.url: "" # 集合白名单（可选） filter: namespace_white: ["test.table1"]集群同步配置（使用Change Stream）
# MongoShake 配置文件示例（YAML 格式） mongo_s_url: "mongodb://username1:password1@10.1.1.1:1001,username1:password1@10.1.1.2:2002,username1:password1@10.1.1.3:3003/admin?connect=direct" sync_mode: "all" tunnel: address: "mongodb://username:password@20.1.1.1:2021,username:password@20.2.2.2:2022,username:password@20.3.3.3:3033/admin" incr_sync: mongo_fetch_method: "change_stream" # checkpoint配置（可选） # checkpoint.storage.url: "" # 集合白名单（可选） filter: namespace_white: ["test.table1"] -
具体启动命令
./collector.linux -conf=collector.conf ./mongoshark-stat --port=9100
