记一次难忘的json反序列化问题排查经历
前言
最近我在做知识星球中的商品秒杀系统，昨天遇到了一个诡异的json反序列化问题，感觉挺有意思的，现在拿出来跟大家一起分享一下，希望对你会有所帮助。
案发现场
我最近在做知识星球中的商品秒杀系统，写了一个filter，获取用户请求的header中获取JWT的token信息。
然后根据token信息，获取到用户信息。
在转发到业务接口之前，将用户信息设置到用户上下文当中。
这样接口中的业务代码，就能通过用户上下文，获取到当前登录的用户信息了。
我们的token和用户信息，为了性能考虑都保存到了Redis当中。
用户信息是一个json字符串。
当时在用户登录接口中，将用户实体，使用fastjson工具，转换成了字符串：
JSON.toJSONString(userDetails);
保存到了Redis当中。
然后在filter中，通过一定的key，获取Redis中的字符串，反序列化成用户实体。
使用的同样是fastjson工具：
JSON.parseObject(json, UserEntity.class);
但在反序列化的过程中，filter抛异常了：com.alibaba.fastjson.JSONException: illegal identifier : \pos 1, line 1, column 2{"accountNonExpired":true,"accountNonLocked":true,"authorities":[{"authority":"admin"}],"credentialsNonExpired":true,"enabled":true,"id":13,"password":"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe","roles":["admin"],"username":"admin"}
2 分析问题
我刚开始以为是json数据格式有问题。
将json字符串复制到在线json工具：http://www.sojson.com，先去掉化之后，再格式数据，发现json格式没有问题：
然后写了一个专门的测试类，将日志中打印的json字符串复制到json变量那里，使用JSON.parseObject方法，将json字符串转换成Map对象：
public class Test {
public static void main(String[] args) {
String json = "{"accountNonExpired":true,"accountNonLocked":true,"authorities":[{"authority":"admin"}],"credentialsNonExpired":true,"enabled":true,"id":13,"password":"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe","roles":["admin"],"username":"admin"}";
Map map = JSON.parseObject(json, Map.class);
// 输出解析后的 JSON 对象
System.out.println(map);
}
}
执行结果：
{password=$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe, credentialsNonExpired=true, roles=["admin"], accountNonExpired=true, id=13, authorities=[{"authority":"admin"}], enabled=true, accountNonLocked=true, username=admin}
竟然转换成功了。
这就让我有点懵逼了。。。
为什么相同的json字符串，在Test类中能够正常解析，而在filter当中却不行？
当时怕搞错了，debug了一下filter，发现获取到的json数据，跟Test类中的一模一样：
带着一脸的疑惑，我做了下面的测试。
莫非是反序列化工具有bug？
3 改成gson工具
我尝试了一下将json的反序列化工具改成google的gson，代码如下：
Map map = new Gson().fromJson(userJson, Map.class);
运行之后，报了一个新的异常：com.google.gson.JsonSyntaxException: java.lang.IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column 2 path $
这里提示json字符串中包含了：$。
而$是特殊字符，password是做了加密处理的，里面包含$和.，这两种特殊字符。
为了快速解决问题，我先将这两个特字符替换成空字符串：
json = json.replace("$","").replace(".","");
日志中打印出的json中的password，已经不包含这两个特殊字符了：
2a10o3XfeGr0SHStAwLuJRW6ykE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe
但调整之后代码报了下面的异常：com.google.gson.JsonSyntaxException: com.google.gson.stream.MalformedJsonException: Expected name at line 1 column 2 path $.
跟刚刚有点区别，但还是有问题。
4 改成jackson工具
我又尝试了一下json的反序列化工具，改成Spring自带的的jackson工具，代码如下：
ObjectMapper objectMapper = new ObjectMapper();
try {
Map map = objectMapper.readValue(json, Map.class);
} catch (JsonProcessingException e) {
e.printStackTrace();
}
调整之后，反序列化还是报错：com.fasterxml.jackson.core.JsonParseException: Unexpected character ('' (code 92)): was expecting double-quote to start field name
3种反序列化工具都不行，说明应该不是fastjson的bug导致的当前json字符串，反序列化失败。
到底是什么问题呢？
5 转义
之前的数据，我在仔细看了看。
里面是对双引号，是使用了转义的，具体是这样做的："。
莫非还是这个转义的问题？
其实我之前已经注意到了转义的问题，但使用Test类测试过，没有问题。
当时的代码是这样的：
public class Test {
public static void main(String[] args) {
String json = "{"accountNonExpired":true,"accountNonLocked":true,"authorities":[{"authority":"admin"}],"credentialsNonExpired":true,"enabled":true,"id":13,"password":"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe","roles":["admin"],"username":"admin"}";
Map map = JSON.parseObject(json, Map.class);
// 输出解析后的 JSON 对象
System.out.println(map);
}
}
里面也包含了一些转义字符。
我带着试一试的心态，接下来，打算将转义字符去掉。
看看原始的json字符串，解析有没有问题。
怎么去掉转义字符呢？
手写工具类，感觉不太好，可能会写漏一些特殊字符的场景。
我想到了org.apache.commons包下的StringEscapeUtils类，它里面的unescapeJava方法，可以轻松去掉Java代码中的转义字符。
于是，我调整了一下代码：
json = StringEscapeUtils.unescapeJava(json);
JSON.parseObject(json, UserEntity.class);
这样处理之后，发现反序列化成功了。
总结
这个问题最终发现还是转义的问题。
那么，之前Test类中json字符串，也使用了转义，为什么没有问题？
当时的代码是这样的：
public class Test {
public static void main(String[] args) {
String json = "{"accountNonExpired":true,"accountNonLocked":true,"authorities":[{"authority":"admin"}],"credentialsNonExpired":true,"enabled":true,"id":13,"password":"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe","roles":["admin"],"username":"admin"}";
Map map = JSON.parseObject(json, Map.class);
System.out.println(map);
}
}
但在filter中的程序，在读取到这个json字符串之后，发现该字符串中包含了``转义符号，程序自动把它变成了\。
调整一下Test类的main方法，改成三个斜杠的json字符串：
public static void main(String[] args) {
String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";
Map map = JSON.parseObject(json, Map.class);
System.out.println(map);
}
执行结果：Exception in thread "main" com.alibaba.fastjson.JSONException: illegal identifier : \pos 1, line 1, column 2{"accountNonExpired":true,"accountNonLocked":true,"authorities":[{"authority":"admin"}],"credentialsNonExpired":true,"enabled":true,"id":13,"password":"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe","roles":["admin"],"username":"admin"}抛出了跟文章最开始一样的异常。
说明其实就是转义的问题。
之前，我将项目的日志中的json字符串，复制到idea的Test的json变量中，当时将最外层的双引号一起复制过来了，保存的是1个斜杠的数据。
这个操作把我误导了。
而后面从在线的json工具中，把相同的json字符串，复制到idea的Test的json变量中，在双引号当中粘贴数据，保存的却是3个斜杠的数据，它会自动转义。
让我意识到了问题。
好了，下次如果遇到类似的问题，可以直接使用org.apache.commons包下的StringEscapeUtils类，先去掉转义，再反序列化，这样可以快速解决问题。
此外，这次使用了3种不同的反序列化工具，也看到了其中的一些差异。
来源：juejin.cn/post/7385081262871003175
