项目打包后获取文件的问题

1.问题背景
题主遇到的这个问题主要是需要对API中录入富文本内容做xss攻击校验,采用的是AntiSamy的第三方依赖,需要引入一个策略.xml文件,在本地IDEA无论使用Resource类还是使用Classpathresource类获取文件均无问题,但是在打成jar发布到测试环境后 使用Resource类无法获取到文件,而使用Classpathresource则无问题。(以下问题的复现,是在工作期间使用公司的windows的小本本,本地打包复现的)
2.报错异常

org.owasp.validator.html.PolicyException: java.io.FileNotFoundException: D:\projects\demo\target\file:\D:\projects\demo\target\demo-0.0.1-SNAPSHOT.jar!\BOOT-INF\classes!\antisamy-anythinggoes.xml (文件名、目录名或卷标语法不正确。)

3.分析问题原因
一般来说, 程序运行所必须的资源文件我们会一起打包到 jar. 那么接下去我们就要读取这个资源文件.在集成环境和生产环境上, 我们的程序是一个jar包而不是exploded方式, 也就是说, 此时的new DefaultResourceLoader().getResource("classpath:antisamy-anythinggoes.xml") 将有不一样的行为.我们在 IDEA 调试的时候, 资源文件是存在于真实文件系统里的一个文件. 而在jar包中, 它不是一个真实文件系统的文件.为了能用统一的文件系统路径去表示jar内的文件, Java开创了 ! 这个符号.! 表示这个文件是一个压缩包(zip)(jar 本身就是一个 zip), 之后的路径则为压缩包内的路径(压缩包内的路径不分运行平台, 统一为 Unix 路径).正常情况下的 new DefaultResourceLoader().getResource("classpath:antisamy-anythinggoes.xml") 操作, 会得到一个 jar包路径后面加上一个!号然后再拼接上包内路径的一个路径.Spring Boot为了避免资源文件冲突(Java的打包规范忽略了资源文件的问题, 两个库的代码文件是可以合并的, 因为包名不同. 但是资源文件都从jar的根目录开始编排, 如果重名将互相覆盖而导致打包后资源文件的丢失)而采用 fat-jar 的方式来打包程序.fat-jar 就是一种 nested jar, 所有的依赖库不会合并到用户代码上, 而是以jar包的形式存放在jar包内,一个典型的springboot打完包的结构大概是这样的

META-INF
    MANIFEST.MF
org
    springframework
        boot
            loader
                (Launcher)
BOOT-INF
    classes
        (user code)
    lib
        dependence.jar

jar的入口类其实是Spring Boot Launcher,他会为每一个依赖创建一个ClassLoader, 这样就可以让每个依赖自己读取自己的资源文件而互不冲突.而用户自己的类是从/BOOT-INF/classes开始的, 用户自己的资源文件的根目录也在这里, 所以为了让用户能够正确读到自己的资源文件. 加载用户代码的那个 ClassLoader 的 classpath 从这里开始.fat-jar并不是 Java官方标准, 所以 Java 认为所有 classpath 都是从 jar 的根目录开始的.于是我们得到的文件路径, 将是 {用户代码根目录}!/{资源文件路径}而用户代码根目录本身就是在jar内的, 最终我们会得到这么一个路径jar:D:\projects\demo\target\file:\D:\projects\demo\target\demo-0.0.1-SNAPSHOT.jar!\BOOT-INF\classes!\antisamy-anythinggoes.xml(注意,有两个!号)没错, classes文件夹被认为是一个压缩包了.所以我们将找不到这个文件.如果读取资源文件的操作只在自己的代码发生, 那么只要不使用new DefaultResourceLoader().getResource("classpath:antisamy-anythinggoes.xml")而直接获取流就可以避免这个问题. 但是很多情况下, 并非自己要读文件, 而是第三方库要读文件.例如第三方库可能会要求在配置文件中配置key文件的路径, 而这个路径支持网络读取, 所以必须是URI. 然后第三方库的代码中就会使用new DefaultResourceLoader().getResource("classpath:antisamy-anythinggoes.xml")来获取文件路径,再去读它,这样以获取文件, 就抛出异常了.
4.解决方案
方案一:使用ClassPathResource替换Resource

package com.example.demo.controller;

import lombok.extern.slf4j.Slf4j;
import org.owasp.validator.html.AntiSamy;
import org.owasp.validator.html.CleanResults;
import org.owasp.validator.html.Policy;
import org.springframework.core.io.ClassPathResource;
import org.springframework.core.io.DefaultResourceLoader;
import org.springframework.core.io.Resource;
import org.springframework.core.io.ResourceLoader;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestMethod;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

import java.io.InputStream;

@RestController
@Slf4j
public class Test {
    private static ResourceLoader resourceLoader = new DefaultResourceLoader();


    /**
     * 使用 ClassPathResource 完美获取jar中的文件
     */
    @RequestMapping(value = "/clean-html-by-classpath-resource", method = RequestMethod.GET)
    public String cleanHtmlByClassPathResource(@RequestParam(value = "sourceStr",
            defaultValue = "<img onerror='alert(123)'>") String sourceStr) {
        log.info("start clean html by class path resource,the source str is:{}", sourceStr);
        String targetStr = "";
        try {
            ClassPathResource classPathResource = new ClassPathResource("antisamy-anythinggoes.xml");
            InputStream inputStream = classPathResource.getInputStream();
            Policy policy = Policy.getInstance(inputStream);
            AntiSamy as = new AntiSamy();
            CleanResults cr = as.scan(sourceStr, policy);
            targetStr = cr.getCleanHTML();
        } catch (Exception e) {
            log.error("clean html by class path resource,the error is:{}", e);
        }
        log.info("finish clean html by class path resource,the target str is:{}", targetStr);
        return targetStr;
    }

    /**
     * 使用 Resource 无法获取jar中的文件
     */
    @RequestMapping(value = "/clean-html-by-resource")
    public String cleanHtmlByResource(@RequestParam(value = "sourceStr",
            defaultValue = "<img onerror='alert(123)'>") String sourceStr) {
        log.info("start clean html by resource,the source str is:{}", sourceStr);
        Resource resource = resourceLoader.getResource("classpath:antisamy-anythinggoes.xml");
        String targetStr = "";
        String xmlPath;
        try {
            xmlPath = resource.getURL().getPath();
            Policy policy = Policy.getInstance(xmlPath);
            AntiSamy as = new AntiSamy();
            CleanResults cr = as.scan(sourceStr, policy);
            targetStr = cr.getCleanHTML();
        } catch (Exception e) {
            log.error("clean html by resource,the error is:{}", e);
        }
        log.info("finish clean html by resource,the target str is:{}", targetStr);
        return targetStr;
    }
}

方案二:https://github.com/ulisesbocchio/spring-boot-jar-resources

全部评论

相关推荐

昨天 07:38
已编辑
门头沟学院 Java
2.4&nbsp;一面2.6&nbsp;二面2.9&nbsp;三面(hr面)2.13&nbsp;oc1.15号收到面试电话那会就开始准备,因为一开始没底所以选择推迟一段时间面试,之后开始准备八股,准备实习可能会问的东西,这期间hot100过了有六七遍,真的是做吐了快,八股也是背了忘,忘了背,面经也看了很多,虽然最后用上的只有几道题,可是谁知道会问什么呢自从大二上开始学java以来,一路走来真的太痛了,一开始做外卖,点评,学微服务,大二下五六月时,开始投简历,哎,投了一千份了无音讯,开始怀疑自己(虽然能力确实很一般),后来去到一家小小厂,但是并不能学到什么东西,而且很多东西都很不规范,没待多久便离开,大二暑假基本上摆烂很怀疑自己,大三上因为某些原因开始继续学,期间也受到一俩个中小厂的offer,不过学校不知道为啥又不允许中小厂实习只允许大厂加上待遇不太好所以也没去,感觉自己后端能力很一般,于是便打算转战测开,学习了一些比较简单的测试理论(没有很深入的学),然后十二月又开始继续投,java和测开都投,不过好像并没有几个面试,有点打击不过并没有放弃心里还是想争一口气,一月初因为学校事比较多加上考试便有几天没有继续投,10号放假后便继续,想着放假应该很多人辞职可能机会大一点,直到接到字节的面试,心里挺激动的,总算有大厂面试了,虽然很开心,但同时压力也很大,心里真的很想很想很想进,一面前几天晚上都睡不好觉,基本上都是二三点睡六七点醒了,好在幸运终于眷顾我一次了(可能是之前太痛了),一面三十几分钟结束,问的都不太难,而且面试官人挺好但是有些问题问的很刁钻问到了测试的一些思想并不是理论,我不太了解这方面,但是也会给我讲一讲他的理解,但是面完很伤心觉得自己要挂了。但是幸运的是一面过了(感谢面试官),两天后二面,问的同样不算难,手撕也比较简单,但也有一两个没答出来,面试官人很好并没有追问,因为是周五进行的二面,没有立即出结果,等到周一才通知到过了,很煎熬的两天,根本睡不好,好在下周一终于通知二面过了(感谢面试官),然后约第二天三面,听别的字节同学说hr面基本上是谈薪资了,但是我的并不是,hr还问了业务相关的问题,不过问的比较浅,hr还问我好像比较紧张,而且hr明确说了还要比较一下,我说我有几家的面试都拒了就在等字节的面试(当然紧张,紧张到爆了要),三面完后就开始等结果,这几天干啥都没什么劲,等的好煎熬,终于13号下午接到了电话通知oc了,正式邮件也同时发了,接到以后真的不敢信,很激动但更重要的是可以松一口气了,可以安心的休息一下了终于可以带着个好消息过年了,找实习也可以稍微告一段落了,虽然本人很菜,但是感谢字节收留,成为忠诚的节孝子了因为问的比较简单,面经就挑几个记得的写一下一面:1.实习项目的难点说一下2.针对抖音评论设计一下测试用例3.手撕:合并两个有序数组二面:1.为什么转测开2.线程进程区别,什么场景适合用哪个3.发送一个朋友圈,从发出到别人看到,从数据流转的角度说一下会经历哪些过程4.针对抖音刷到广告视频设计测试用例5.手撕:无重复字符的最长字串
查看8道真题和解析
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务