使用 mc (MiniIO Client) 命令行工具

# 配置源和目标MiniIO
mc config host add source http://source-minio:9000 <ACCESS_KEY> <SECRET_KEY>
mc config host add target http://target-minio:9000 <ACCESS_KEY> <SECRET_KEY>

# 迁移数据
mc cp --recursive source/bucket target/bucket

使用rclone工具

# 配置rclone.conf
[source]
type = s3
provider = Minio
access_key_id = <ACCESS_KEY>
secret_access_key = <SECRET_KEY>
endpoint = http://source-minio:9000

[target]
type = s3
provider = Minio
access_key_id = <ACCESS_KEY>
secret_access_key = <SECRET_KEY>
endpoint = http://target-minio:9000

# 执行同步
rclone sync source:bucket target:bucket

使用AWS CLI

bashCopyaws s3 sync \
    --endpoint-url http://source-minio:9000 \
    s3://source-bucket \
    s3://target-bucket \
    --endpoint-url http://target-minio:9000

安装方法

AWS CLI

使用 apt 安装（简单但可能不是最新版本）：

bashCopysudo apt update
sudo apt install awscli

rclone

sudo apt update
sudo apt install rclone

工具对比

MinIO 数据迁移工具对比

实际操作

选用 rclone进行数据迁移

# 运行配置向导
rclone config

按照向导选择下面的内容

# 按照提示输入：
# n) New remote
# name> minio-source  (输入名称)
# Storage> s3        (选择 s3)
# provider> Minio    (选择 Minio)
# env_auth> false    (选择 false)
# access_key_id>     (输入 access key)
# secret_access_key> (输入 secret key)
# endpoint>          (输入 MinIO 地址，如 http://localhost:9000)
# location_constraint> 
# acl>

配置文件

生成配置文件路径

~/.config/rclone/rclone.conf
大概样子这样，可以手动编辑

[prod-60-old]
type = s3
provider = Minio
env_auth = false
access_key_id = xxxxx
secret_access_key = xxxxxx
endpoint = http://xxxxx


[prod-60-new]
type = s3
provider = Minio
access_key_id = xxxx
secret_access_key = xxxx
endpoint = http://xxxx

我的目标是将 prod-60-old数据全部迁移到 prod-60-new

同步全部桶

#!/bin/bash

# 配置
SOURCE="prod-60-old"
DEST="prod-60-new"
LOG_FILE="sync_$(date +%Y%m%d_%H%M%S).log"


# 日志函数
log() {
    echo "[$(date '+%Y-%m-%d %H:%M:%S')] $1" | tee -a "$LOG_FILE"
}

# 开始同步
log "开始全量同步"

# 获取所有桶并检查命令是否成功
bucket_list=$(rclone lsd ${SOURCE}:)
if [ $? -ne 0 ]; then
    log "获取桶列表失败"
    exit 1
fi

# 从输出中提取桶名
echo "$bucket_list" | while read -r line; do
    bucket=$(echo "$line" | awk '{print $5}')
    
    log "开始同步桶: $bucket"
    
    # 修改后的同步命令
    rclone sync \
        ${SOURCE}:${bucket} \
        ${DEST}:${bucket} \
        -P \
        --transfers 8 \
        --checkers 16 \
        --stats 30s \
        --stats-one-line \
        --retries 3 \
        --low-level-retries 10 \
        --timeout 60s \
        --contimeout 60s \
        --buffer-size 64M \
        --max-backlog 10000 \
        --size-only \
        --ignore-times \
        --no-update-modtime \
        2>> "$LOG_FILE"
    
    # 检查同步结果
    if [ $? -eq 0 ]; then
        log "桶 $bucket 同步成功"
    else
        log "警告: 桶 $bucket 同步失败"
    fi
    
    log "------------------------"
done

log "全部同步完成"

慢慢等待吧。。。