首页>文档>技术文档>使用http的Accept-Ranges实现json报文分段传输

此组别内的文章

需要支持?

如果通过文档没办法解决您的问题,请提交工单获取我们的支持!

使用http的Accept-Ranges实现json报文分段传输

背景

因为公司业务需求,对接一款终端设备,需要下载黑名单。可是设备的性能较差,每次下载的报文大小有限制。所以需要采用报文分段下载来实现。

当然其实这种需求最好是用查询分页来达到分段下载是最好的,可是因为终端那边实现问题还有以及其他各种原因,不得已采用这种分段下载方式。

找了很多帖子比较少有关于这种分段返回报文的内容,可是有发现可以利用断点下载的思想,去实现这个分段报文返回。有断点下载经验的同学,应该很快能理解本文介绍的内容,其实都是很皮毛的东西。
正题

分段下载我们主要用到两个http头信息:

http 响应头 Accept-Ranges
http 请求头 Range

服务器使用 HTTP 响应头Accept-Ranges标识自身支持范围请求(partial requests)。字段的具体值用于定义范围请求的单位。当浏览器/客户端发现 Accept-Ranges 头时,可以尝试继续中断了的下载,而不是重新开始。用法:Accept-Ranges: bytes

Range用来标志本次请求,获取数据的范围。如:Range: bytes=100-200
步骤

客户端请求头都带上Range,第一个请求Range:bytes=0-99,第二个Range:bytes=100-199,以此类推。
服务端除了响应头带上Accept-Ranges: bytes,还需要根据请求中的Range来切割报文,返回Range范围内的数据。
http响应码设置为206
http响应头新增Content-Range,标识本次响应的内容的范围,和整个完整报文的长度
需要注意一点的是,Range单位是byte而不是字符数,所以计算长度的时候要要将字符串换算成byte计算。

接下来展示controller层部分代码:

    // 省略业务代码
    //rsp为黑名单的响应dto对象,全量的黑名单
    String returnJson = JsonUtil.Object2Json(rsp);
    httpResp.setContentType("application/json");
    //无缓存
    httpResp.setHeader("Cache-Control", "no-cache");
    //设置UTF-8编码
    httpResp.setCharacterEncoding(Constant.CHARACTER_ENCODING);
    //可以断点下载
    httpResp.setHeader("Accept-Ranges", "bytes");
    //设置http响应码为206
    httpResp.setStatus(HttpServletResponse.SC_PARTIAL_CONTENT);

    //获取头信息Range,并且去掉bytes=
    String range = httpReq.getHeader("Range").replaceAll("bytes=", "");
    String[] rangeSplit = range.split("-");

    //整段报文的总长度,要用utf-8的编码字节长度计算
    int returnJsonLength = returnJson.getBytes("UTF-8").length;
    //offset 第一次请求默认从0开始
    int offset = Integer.parseInt(rangeSplit[0]);
    // 初始化 length 和 endIndex
    // length:本次报文返回的长度;endIndex:本次报文结束的下标位置,默认是报文的总长度所以是returnJsonLength - 1
    int length = returnJsonLength - offset;
    int endIndex = returnJsonLength - 1;
    //设置 length 和 endIndex 值
    if (rangeSplit.length > 1) {
        //strSplit数组长度大于1,说明Range是一个范围,而不是一个固定值
        endIndex = Integer.parseInt(rangeSplit[1]);
        //endIndex不允许大于等于报文长度
        if (endIndex >= returnJsonLength) {
            endIndex = returnJsonLength - 1;
        }
        //因为endIndex最大值比报文长度小于1的,而length是报文返回长度,所以要+1
        length = endIndex - offset + 1;
    }

    httpResp.setHeader("Content-Length", Long.toString(returnJsonLength));
    //Content-Range:bytes[json的开始字节]-[json的结束字节]/[报文的总大小]
    httpResp.setHeader("Content-Range", "bytes " + offset + "-" + endIndex + "/" + returnJsonLength);

    // 获得写出流
    try {
        OutputStream outputStream = httpResp.getOutputStream();
        //重点来了,输出报文,只返回原完整报文的offset至offset + length的字节内容
        outputStream.write(returnJson.getBytes("utf-8"), offset, length);
        outputStream.flush();
        outputStream.close();
    } catch (Exception e) {
        LogUtil.addProclog(procid, "返回报文错误:" + CommonUtil.getTrace(e));
    }

缺点:

每次请求只返回部分的报文,可是每次都是获取全量的黑名单,数据库查询多次。可以用redis缓存黑名单,减少数据库查询。仅以记录本次的解决方案,如果有更好的思路不妨一起交流一下,不才献丑了。

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
搜索