对象存储分段上传

自定义接口请求体大小限制 5MB，当上传的文件大小超过 5MB 时，需要通过分段上传的方式来实现文件的完整上传。

分段上传的能力是直接继承自对象存储服务的， 以 OBS 为例， 具体的实现流程可参考 OBS 官网文档

分段上传分为如下3个步骤：

1. 初始化分段上传任务（create-multipart-upload）
2. 逐个或并行上传分段 (upload-part)
3. 合并分段（complete）或者取消分段上传任务 （abort）

开发分段上传脚本及封装对应的自定义接口

1. 创建初始化分段上传任务脚本

使用分段上传方式传输数据前，必须先通知OBS初始化一个分段上传任务。该操作会返回一个OBS服务端创建的全局唯一标识（upload_id），用于标识本次分段上传任务。您可以根据这个唯一标识来发起相关的操作，如取消分段上传任务、列举分段上传任务、列举已上传的段等。

创建脚本 create_multipart_upload

/*
 * Copyright (c) Huawei Technologies Co., Ltd. 2012-2022. All rights reserved.
 * 
 */

import * as obs from 'objectstorage';

// 对象名作为入参
export class Input {
    @action.param({ type: "String", required: true, description: "对象名" })
    object: string;
}

export class Output {
    @action.param({ type: "String", required: true })
    uploadId: string;
}

export class Calculator {
    @action.method({ input: "Input", output: "Output", description: "do a operation" })
    run(input: Input): Output {
      	// 此处可添加文件名等限制， 这里仅作为样例，仅用于展示分段上传的主流程
        let cli = obs.newClient(obs.StoreType.PROXY, "sound__proxy_obs");
        let uploadId = cli.createMultipartUpload(input.object, { acl: "private", contentType: "video/quicktime" });
        let output = new Output();
        output.uploadId = uploadId
        return output;
    }
}

其中入参

• object： 对象名， 需要上传的文件名。

出参：

• uploadId: 上传任务id， 需要在后续上传分段和完成上传接口中使用

创建公共接口 createmultipartupload， 封装脚本。

请求示例

POST /service/sound__fight/1.0.0/fileupload/createmultipartupload
Content-Type: application/json
Access-Token: xxx

{
	"object":"对象的完整路径"
}

输入结果

{
    "uploadId":"xxxxx"
}

2. 创建上传分段脚本

初始化一个分段上传任务之后，可以根据指定的对象名和uploadId来分段上传数据。每一个上传的段都有一个标识它的号码——分段号（Part Number，范围是1 到 10000）。对于同一个uploadId，该分段号不但唯一标识这一段数据，也标识了这段数据在整个对象内的相对位置。如果您用同一个分段号上传了新的数据，那么OBS上已有的这个段号的数据将被覆盖。除了最后一段以外，其他段的大小范围是100KB 到 5GB；最后段大小范围是0~5GB。每个段不需要按顺序上传，甚至可以在不同进程、不同机器上上传，OBS会按照分段号排序组成最终对象。

/*
 * Copyright (c) Huawei Technologies Co., Ltd. 2012-2022. All rights reserved.
 * 
 */

import * as obs from 'objectstorage';

export class Input {
    @action.param({ type: "String", required: true, description: "对象名" })
    object: string;
    @action.param({ type: "String", required: true, description: "上传 id" })
    uploadId: string;
    @action.param({ type: "Number", required: true, description: "分片" })
    partNum: number;
    @action.param({ type: "Blob", required: true, description: "分片数据" })
    $data: any;
}

export class Output {
    @action.param({ type: "Any", required: true })
    part: obs.CompletedPart
}

export class Calculator {
    @action.method({ input: "Input", output: "Output", description: "do a operation" })
    run(input: Input): Output {
        let cli = obs.newClient(obs.StoreType.PROXY, "sound__proxy_obs");
        let cp = cli.uploadPart(input.object, input.uploadId, input.partNum, input.$data)
        let output = new Output();
        output.part = cp;
        return output;
    }
}

创建脚本 multipart_upload_part。

其中入参

• object： 对象名， 跟创建上传任务时传入的对象名保持一致
• uploadId： 上传任务ID， 由第一步生成
• partNum: 上传段的段号， 取值为从1到10000的整数。每个分段必须有不同的编码
• $data: 对象文件的分段内容， 从请求体中获取

出参是个结构体

• part
  • eTag: 上传分段的标签
  • partNumber: 分段的编码

说明：
1. 上传段接口要求除最后一段以外，其他的段大小都要大于100KB。但是上传段接口并不会立即校验上传段的大小（因为不知道是否为最后一块）；只有调用合并段接口时才会校验。
2. OBS会将服务端收到段数据的ETag值（段数据的MD5值）返回给用户。
3. 为了保证数据在网络传输过程中不出现错误，可以通过设置MD5值，并放到Content-MD5请求头中；OBS服务端会计算上传数据的MD5值与SDK计算的MD5值比较，保证数据完整性。
4. 可以通过put_properties.md5直接设置上传数据的MD5值，提供给OBS服务端用于校验数据完整性。
5. 分段号的范围是1~10000。如果超出这个范围，OBS将返回400 Bad Request错误。
6. OBS 3.0的桶支持最小段的大小为100KB，OBS 2.0的桶支持最小段的大小为5MB。请在OBS 3.0的桶上执行分段上传操作。

创建自定义接口封装上传脚本

请求示例

POST /service/sound__fight/1.0.0/fileupload/uploadpart?object={$object_name}&uploadId={$upload_id}&partNum={$partNum}
Access-Token: xxx

[binary-data]

需要注意的是， 自定义接口的方法需要定义成 POST ，且内容类型必须是 binary-data。 所以其他参数需要通过 query 参数来传入

3. 创建完成分段上传脚本

所有分段上传完成后，需要调用合并段接口来在OBS服务端生成最终对象。在执行该操作时，需要提供所有有效的分段列表（包括分段号和分段ETag值）；OBS收到提交的分段列表后，会逐一验证每个段的有效性。当所有段验证通过后，OBS将把这些分段组合成最终的对象。

创建脚本 compete_multipart_upload。

/*
 * Copyright (c) Huawei Technologies Co., Ltd. 2012-2022. All rights reserved.
 * 
 */

import * as obs from 'objectstorage';

export class Input {
    @action.param({ type: "String", required: true, description: "对象名" })
    object: string;
    @action.param({ type: "String", required: true, description: "上传 id" })
    uploadId: string;
    @action.param({ type: "Any", required: true, description: "分片数据" })
    completeParts: obs.CompletedPart[];
}

export class Output {
    @action.param({ type: "String", required: true, description: "访问地址" })
    endpoint: string;
}

export class Calculator {
    @action.method({ input: "Input", output: "Output", description: "do a operation" })
    run(input: Input): Output {
        let cli = obs.newClient(obs.StoreType.PROXY, "sound__proxy_obs");
        // 调用 completeUpload 完成最终文件的合并，成功调用则表示文件已经上传成功
        cli.completeUpload(input.object, input.uploadId, input.completeParts, { async: true });
        let output = new Output();
        output.endpoint = cli.getEndpoint() + input.object;
        return output;
    }
}

其中入参

• object： 对象名， 跟上述两步保持一致
• uploadId: 上传任务ID， 从步骤1中获取
• completeParts: 分段信息数组， 从步骤二中获取并合并成一个数组

出参可自定义。这里是把上传到 OBS 后的完整路径给打印出来。

创建自定义接口封装脚本

请求示例

POST /service/sound__fight/1.0.0/fileupload/completeupload
Access-Token: xxx
Content-Type: application/json

{
  "object":"xxx/xxx/xxx.jpg",
  "uploadId":"xxx",
	"completeParts": [
		{
			"etag": "xxx",
			"partNum": 1
		},
		{
			"etag": "xxx",
			"partNum": 2
		}
	]
}