本文介绍在数据迁移过程中参数使用说明。
阿里云OSS
- OSS EndpointOSS的Endpoint支持如下四种格式:
序号 格式 说明 1 http://oss-cn-hangzhou.aliyuncs.com 使用公网,以HTTP方式上传或下载数据。 2 http://oss-cn-hangzhou-internal.aliyuncs.com 使用内网,以HTTP方式上传或下载数据。 3 https://oss-cn-hangzhou.aliyuncs.com 使用公网,以HTTPS方式上传或下载数据。 4 https://oss-cn-hangzhou-internal.aliyuncs.com 使用内网,以HTTPS方式上传或下载数据。 - OSS Bucket
请填写正确的存储空间名称,前缀和后缀不带空格、换行、制表符等非法字符。
- OSS Prefix
迁移指定目录下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以正斜线(/)结尾,不要以正斜线(/)开头,例如
docs/
。 - AccessKey Id和AccessKey Secret
访问密钥,简称为AK和SK。迁移服务的AK和SK可以是主账号、RAM用户的密钥,不能是临时用户的密钥。更多信息,请参见访问控制。目前尚不支持服务费授权。
如果OSS作为迁移服务的数据源,RAM用户可以使用以下Policy授权:如果OSS作为迁移服务的目标,RAM用户可以使用以下Policy授权:您可以为迁移服务创建特定RAM用户,生成专用的AK和SK;迁移任务完成后删除相应的AK和SK。
- 迁移存储量和迁移文件个数
存储空间下的存储量和文件数可以通过OSS管理控制台查看。
AWS S3
- Endpoint迁移服务支持以下区域及Endpoint格式,其它的格式均不支持。协议支持HTTPS和HTTP的域名。
RegionName Region Endpoint US East(Ohio) us-east-2 http://s3.us-east-2.amazonaws.com http://s3-us-east-2.amazonaws.com
US East(N. Virginia) us-east-1 http://s3.us-east-1.amazonaws.com http://s3-us-east-1.amazonaws.com
US West(N.California) us-west-1 http://s3.us-west-1.amazonaws.com http://s3-us-west-1.amazonaws.com
US West(Oregon) us-west-2 http://s3.us-west-2.amazonaws.com http://s3-us-west-2.amazonaws.com
Canada(Central) ca-central-1 http://s3.ca-central-1.amazonaws.com http://s3-ca-central-1.amazonaws.com
Asia Pacific(SEOul) ap-northeast-2 http://s3.ca-central-1.amazonaws.com http://s3-ca-central-1.amazonaws.com
Asia Pacific(Osaka-Local) ap-northeast-3 http://s3.ap-northeast-2.amazonaws.com http://s3-ap-northeast-2.amazonaws.com
Asia Pacific(Singapore) ap-southeast-1 http://s3.ap-southeast-1.amazonaws.com http://s3-ap-southeast-1.amazonaws.com
Asia Pacific(Sydney) ap-southeast-2 http://s3.ap-southeast-2.amazonaws.com http://s3-ap-southeast-2.amazonaws.com
Asia Pacific(Tokyo) ap-northeast-1 http://s3.ap-northeast-1.amazonaws.com http://s3-ap-northeast-1.amazonaws.com
China(Beijing) cn-north-1 http://s3.cn-north-1.amazonaws.com.cn China(Ningxia) cn-northwest-1 http://s3.cn-northwest-1.amazonaws.com.cn EU(Frankfurt) eu-central-1 http://s3.eu-central-1.amazonaws.com http://s3-eu-central-1.amazonaws.com
EU(Ireland) eu-west-1 http://s3.eu-west-1.amazonaws.com http://s3-eu-west-1.amazonaws.com
EU(London) eu-west-2 http://s3.eu-west-2.amazonaws.com http://s3-eu-west-2.amazonaws.com
EU(Paris) eu-west-3 http://s3.eu-west-3.amazonaws.com http://s3-eu-west-3.amazonaws.com
South America(São Paulo) sa-east-1 http://s3.sa-east-1.amazonaws.com http://s3-sa-east-1.amazonaws.com
- Bucket
请填写正确的存储空间名称,前缀和后缀不带空格、换行、制表符等非法字符。
- OSS Prefix
迁移指定目录下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以正斜线(/)结尾,不要以正斜线(/)开头,例如
docs/
。 - AccessKeyId和SecretAccessKey
请在AWS控制台的IAM页面,创建用户并授予
AmazonS3ReadOnlyAccess
权限,然后再创建访问密钥。迁移完成后删除用户。 - 迁移存储量和迁移文件个数
请认真评估,确保与实际值相符。
Azure Blob
- 存储账户、密钥、连接字符串
- 容器
容器即Azure中的container。
- 前缀
迁移指定目录下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以正斜线(/)结尾,不要以正斜线(/)开头,例如
docs/
。 - 迁移存储量和迁移文件个数
腾讯云COS
- 所属地区V4版本的COS支持以下地域,所属地区请填写地域简称。更多信息,请参见地域列表。
地域 地域简称 北京一区(华北) tj 北京 bj 上海(华东) sh 广州(华南) gz 成都(西南) cd 新加坡 sgp 中国(香港) hk 多伦多 ca 法兰克福 ger - Bucket
COS Bucket(存储桶)名称由
自定义名称-APPID
构成。例如空间名称为tony-1234567890
。迁移服务的Bucket项为tony
。 - Prefix
迁移指定目录下的文件,即指定前缀的文件。请以正斜线(/)开头,以正斜线(/)结尾,例如
/docs/
。 - APPID请在腾讯云对象存储控制台账号信息页面查看,如下图所示。
- Secret Id和Secret Key
请在腾讯云对象存储控制台,选择 。在访问控制页面,查看或新建密钥。推荐您为迁移服务新建密钥,迁移完成后删除。
- 迁移存储量和迁移文件个数请在腾讯云对象存储控制台,选择 。在对象存储页面,选择 ,查看待迁移Bucket的存储量和对象数量,如下图所示。
七牛云
- Endpoint
Endpoint即
http://域名
,示例如下所示。http://oy4jki81y.bkt.clouddn.com http://78rets.com1.z0.glb.clouddn.com http://cartoon.u.qiniudn.com
说明 以上三种格式的Endpoint都是有效的,其它格式均无效。 - Bucket
即七牛云对象存储的存储空间。
- Prefix
迁移指定目录下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以正斜线(/)结尾,不要以正斜线(/)开头,如
docs/
。 - Access Key和Secret Key在七牛云管理控制台,选择 ,查看AK和SK,即Access Key和Secret Key。说明 请使用状态为使用中的有效AK和SK。
- 迁移存储量和迁移文件个数
百度云BOS
- Endpoint目前支持华北-北京、华南-广州和华东-苏州三个区域。迁移服务使用的Endpoint请参见下表。
区域 服务域名 访问协议 Endpoint 北京 bj.bcebos.com http或https http://bj.bcebos.com 广州 gz.bcebos.com http://gz.bcebos.com 苏州 su.bcebos.com http://su.bcebos.com 登录百度云对象存储BOS控制台,选择 ,查看Bucket的区域。
- Prefix
迁移指定目录下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以正斜线(/)结尾,不要以正斜线(/)开头,例如
docs/
。 - Access Key ID和Secret Access Key
登录百度云对象存储BOS控制台,选择 查看。
- 迁移存储量和迁移文件个数
登录百度云对象存储BOS控制台,选择 ,查看Bucket的存储量。文件个数请认真评估,尽量准确。
HTTP HTTPS
- 列表地址列表文件格式:列表文件有两列。
- 第一列是HTTP、HTTPS地址:地址中的特殊字符请进行URL编码。迁移服务用该链接的Get请求下载文件内容,Head请求获取文件元数据。
- 第二列是的文件名:迁移后的object name是prefix+文件名。两列用制表符
\t
分割。
\n
分割。格式如下所示。http://127.0.0.1/docs/my.doc docs/my.doc http://127.0.0.1/pics/my.jpg pics/my.jpg http://127.0.0.1/exes/my.exe exes/my.exe
列表地址格式:
迁移文件生成后,请上传到OSS。迁移服务会下载列表文件,并根据指定的地址迁移文件。列表地址的格式是oss://{bucket}/{列表文件},示例如下所示。oss://mybucket/httplist.txt
- 列表访问EndpointOSS的Endpoint支持如下四种格式:
序号 格式 说明 1 http://oss-cn-hangzhou.aliyuncs.com 使用公网,以HTTP方式上传或下载数据 2 http://oss-cn-hangzhou-internal.aliyuncs.com 使用内网,以HTTP方式上传或下载数据 3 https://oss-cn-hangzhou.aliyuncs.com 使用公网,以HTTP方式上传或下载数据 4 https://oss-cn-hangzhou-internal.aliyuncs.com 使用内网,以HTTP方式上传或下载数据 - 列表访问AK和列表访问SK
迁移服务需要使用该AK和SK下载列表文件。该AK和SK可以是主账号的AK和SDK,也可以是RAM用户的AK和SK,需要授予GetObject权限。
- 迁移存储量和迁移文件个数
请认真评估,确保与实际值相符。
又拍云USS
- 地址即对象存储SDK的接入点,REST API中的域名请参见下表。说明 如果您不能确定自己的网络类型,请使用http://v0.api.upyun.com。
网络类型 地址 说明 智能选路 http://v0.api.upyun.com 推荐使用 电信线路 http://v1.api.upyun.com 无 联通(网通)线路 http://v2.api.upyun.com 无 移动(铁通)线路 http://v3.api.upyun.com 无 - 服务名称
登录又拍云控制台,在云存储中查看。
- 迁移目录
迁移指定目录下的文件,请以正斜线(/)结尾,不要以正斜线(/)开头,例如docs/。
- 操作员名和操作员密码
在云存储页面,选择待迁移的服务名称,进入 页面,并授权操作员,如下图所示。
- 迁移存储量和迁移文件个数
登录又拍云控制台,在 页面,查看Bucket的存储量和文件个数。请认真评估,尽量准确。
金山云KS3
- EndpointRegion(区域)与Endpoint(域名)的对应关系请参见下表。
Region Endpoint 中国(北京) ks3-cn-beijing.ksyun.com 中国(上海) ks3-cn-shanghai.ksyun.com 中国(香港) ks3-cn-hk-1.ksyun.com 俄罗斯 ks3-rus.ksyun.com 新加坡 ks3-sgp.ksyun.com 说明 Bucket(存储空间)的Region,请在金山云管理控制台的 页面查看。 - Bucket
即金山云对象存储的空间。
- Prefix
迁移指定目录下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以正斜线(/)结尾,不要以正斜线(/)开头,例如
docs/
。 - Access Key ID和Secret Key
登录金山云管理控制台,在 页面,创建用户并授予
KS3FullAccess
权限,然后在用户页面新建密钥。在迁移完成后删除该用户。 - 迁移存储量和迁移文件个数
登录金山云管理控制台,在 页面,查看Bucket的存储量和文件个数。请认真评估,尽量准确。
华为云OBS
- Endpoint华为云存储支持的区域请参见下表。更多信息,请参见地区和终端结点。
区域名称 区域 Endpoint 协议类型 华北-北京四 cn-north-4 obs.cn-north-4.myhuaweicloud.com HTTPS、HTTP 华北-北京一 cn-north-1 obs.cn-north-1.myhuaweicloud.com 华东-上海二 cn-east-2 obs.cn-east-2.myhuaweicloud.com 华东-上海一 cn-east-3 obs.cn-east-3.myhuaweicloud.com 华南-广州 cn-south-1 obs.cn-south-1.myhuaweicloud.com 西南-贵阳一 cn-southwest-2 obs.cn-southwest-2.myhuaweicloud.com 亚太-曼谷 ap-southeast-2 obs.ap-southeast-2.myhuaweicloud.com 亚太-中国香港 ap-southeast-1 obs.ap-southeast-1.myhuaweicloud.com 亚太-新加坡 ap-southeast-3 obs.ap-southeast-3.myhuaweicloud.com 非洲-约翰内斯堡 af-south-1 obs.af-south-1.myhuaweicloud.com 说明 Bucket(存储空间)的Region,请在金山云管理控制台的 页面查看。 - Bucket
即华为云存储对象存储的桶。
- Prefix
迁移指定目录下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以正斜线(/)结尾,不要以正斜线(/)开头,例如
docs/
。 - Access Key ID和Secret Access Key
登录华为云控制台,在 页面,查看密钥。如果初次没有设置秘钥,则需要单击新增访问秘钥来新增秘钥。
- 迁移存储量和迁移文件个数登录华为云控制台,在 中,选择需要迁移的存储桶。在基础数据统计中,查看待迁移存储桶(Bucket)的存储量和对象(文件)数量,如下图所示。
UCloud UFile
- 所属地域即地域(Region),支持地域请参见下表。更多信息,请参见地区和可用区列表。
地域名称 地域 北京一 cn-bj1 北京二 cn-bj2 中国香港 hk 广州 cn-gd 上海二 cn-sh2 洛杉矶 us-ca 新加坡 sg 雅加达 idn-jakarta 拉各斯 afr-nigeria 圣保罗 bra-saopaulo 迪拜 uae-dubai 胡志明市 vn-sng 台北 tw-tp 孟买 ind-mumbai 华盛顿 us-ws 法兰克福 ge-fra - 存储空间
即对象存储空间(Bucket)。
- Prefix
迁移指定目录下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以正斜线(/)结尾,不要以正斜线(/)开头,例如
docs/
。 - 公钥和私钥
登录UCloud控制台,在API密钥页面中,查看PublicKey和PrivateKey。
- 迁移存储量和迁移文件个数
登录UCloud控制台,在对象存储UFile页面中的存储空间详情的概览页面查看存储量。文件个数请认真评估,尽量准确。
GCP
数据迁移服务中GCP的参数说明如下所示。
- Bucket
即Google Storage中的存储分区名。
- Prefix
迁移指定目录下的文件,即指定前缀的文件,不包括文件名称为前缀的文件。请以正斜线(/)结尾,不要以正斜线(/)开头,例如docs/。
- Key File
- 登录GCP控制台。
- 在左侧导航栏,单击服务账号。
- 在服务账号页面,创建服务账号或选择目标服务账号,单击目标账号后 。
- 在创建密钥页面中,选中JSON,单击确认。
- 浏览器会自动下载JSON密钥文件。请您在在线迁移服务的Key File中上传此JSON文件即可。
- 迁移存储量和迁移文件个数
请您根据实际迁移场景认真评估,确保与实际值相符,以免影响迁移效率。当指定Prefix迁移时,请填写此Prefix下的迁移存储量和迁移文件个数。