下半年开始搞精准测试了，先搞一波代码覆盖率，因为公司绝大多数项目都是基于 Java 开发的，所以就先搞 Java 的了，主流的代码覆盖率工具是 Jacoco(其实我也只知道这一个)，所以就直接基于 springboot 搞一个吧。
代码覆盖率(Code Coverage)是软件测试中一种衡量测试质量的指标，用于评估测试用例对源代码的覆盖程度。它衡量了在执行测试用例时源代码中有多少行、分支、类、方法等被执行到。 无论是单元测试、API测试还是功能性测试，最终都是调用了产品的代码；如何评价这些测试的效率?这些测试是否真正全部或者大部分覆盖了产品的代码？这个时候，代码覆盖率就是一个比较有价值的参考指标了。 不同的代码覆盖率工具衡量指标可能不同。对于java语言，主流的代码覆盖率工具为Jacoco。当然，Jacoco其实是支持收集运行在JVM上的应用程序的覆盖率的。
Jacoco代码覆盖率生成主要由以下几个过程组成：
插桩分为编译期插桩和运行期插桩，两者区别如下：
编译期插桩的优点是不需要在运行时进行字节码的修改，可以更方便地与构建工具（如Maven或Ant）集成，并且不会对运行时性能产生显著的影响。缺点是需要重新编译代码，并且生成的插桩后的字节码会增加项目的大小。
运行期插桩的优点是可以对已经编译的字节码进行插桩，无需重新编译代码。缺点是在每次运行应用程序时都需要加载Jacoco Agent，可能会对应用程序的运行时性能产生一定的影响。
在On-the-fly模式下，覆盖率数据使用jacocoagent.jar来收集，此agent会伴随被测服务一起启动。
jacoco生成的覆盖率数据文件默认为exec格式，覆盖率数据输出方式有以下几种：
一般对于服务端覆盖率数据收集，我们使用tcpserver模式，即jacocoagent跟着被测服务启动时，同时启动一个tcp端口(默认是6300)，后续可以通过jacococli或者其他工具访问6300端口来下载覆盖率数据。
覆盖率数据报告生成需要借助jacococli.jar，先通过cli的dump命令获取覆盖率数据文件(即exec文件)，然后通过cli的report命令来生成覆盖率数据报告。
适用场景：
jacoco本身是不支持增量代码覆盖率的，但是可以通过二开或者使用其他的开源工具实现增量覆盖率报告生成。 适用场景：
业务架构图不方便贴，就说下基本流程：
代码覆盖率只是整个测试平台的一个服务，测试平台使用 SBA 架构(服务导向的架构)，整个平台架构图如下所示：
代码覆盖率量子中只包含一个代码覆盖率容器，配合插件层的 jacocoagent 插件来协同工作。
代码覆盖率收集服务，主要业务是：根据用户配置的代码库地址和GIT账密来收集 Java 应用服务在某个时间段内的代码覆盖情况。其中会涉及到用户在平台上填写以下数据：
同时生成的覆盖率报告会包含部分/所有的代码信息，因此需要对覆盖率报告也做数据权限的管控。 因为测试平台使用多租户模式，所以不同的租户下面数据是完全隔离的，不存在跨租户访问数据的情况，只需要解决水平越权和垂直越权的安全问题即可。
因为安全方案涉及到公司内部数据，所以只给出以下思路：
代码覆盖率收集过程基于 jacoco 的插桩来实现，jacoco 支持 2 中插桩方式：
插桩时机：在应用程序运行时，通过 Java 代理（Java Agent）将 JaCoCo 注入到 JVM 中。 数据收集方式：实时地收集代码覆盖率数据，即时生成运行时的覆盖率报告。
优点：
缺点：
插桩时机：在构建过程中对项目的字节码进行修改，通过构建工具（如 Maven 或 Gradle）进行插桩。 数据收集方式：在应用程序运行时，JaCoCo 会收集覆盖率数据并将其保存到执行文件中（通常是一个二进制格式的 .exec 文件）。
优点：
缺点：
exec 文件是 jacoco 默认的覆盖率数据文件类型，使用 on-the-fly 模式时，可以通过 Socket连接的方式，从远程服务器(即部署了 jacocoagent 的服务器) 上下载 exec 文件。JaCoCo 生成的 exec 文件是二进制文件，其中包含了代码覆盖率数据。它的结构如下：
Header（文件头部）：包含了 exec 文件的元数据信息，如版本号和会话标识符。 Sessions（会话信息）：存储了测试会话的信息，每个会话都有一个唯一的会话标识符。 Probes（探针信息）：存储了所有被覆盖的代码块的信息。每个代码块都有一个唯一的标识符，并且将内联代码的情况进行了处理。 Execution Data（执行数据）：实际的代码覆盖率数据。它记录了每个代码块是否被执行过。 具体来说，Header 部分包括以下信息：
Magic Number：一个特殊的标识符，用于识别文件类型。 Version：exec 文件的版本号。 Session Count：会话数量。 Session Infos：会话信息的起始位置。 Probe Count：探针数量。 Probe Infos：探针信息的起始位置。 Sessions 部分包括了每个会话的信息，例如会话标识符和会话名称。
Probes 部分包括了每个被覆盖的代码块的信息，例如代码块的标识符和分支相关的信息。
Execution Data 部分包括了实际的代码覆盖率数据，记录了每个代码块是否被执行过。
code-diff 阶段用于比对代码差异，进而分析出代码变更点。代码变更包括以下几种情况：
新增，修改，删除不会被统计在内，因为文件已经被删除，不会产生覆盖率数据。如果是全量覆盖率报告生成，则会跳过此阶段。code-diff 功能使用 jgit 库和 javaparser 库的 API 实现。code-diff 流程如下：
下载采集分支代码，即新分支，如 feature，develop 等。 下载基准分支代码，即需要与之比较的分支，一般是 master 或者 release 等稳定分支。 使用 jgit 获取变更过得文件，即 java 源文件。 使用 javaparser 获取变更的类和方法，并记录方法信息(方法名，包名，方法签名等)。 生成 code-diff文件，用于后面生成增量报告。
代码编译过程用于将 java 源代码编译成 class 文件，用于生成覆盖率报告，在生成 JaCoCo 报告时，需要使用 class 文件和源码文件主要是为了对覆盖率数据进行解析和展示。
Class 文件：JaCoCo 通过分析 class 文件来获取代码结构和字节码信息。它包含了类、方法和字段的定义、修饰符以及字节码指令等信息。通过分析 class 文件，JaCoCo 可以确定每个代码块（如行、分支等）的起始和结束位置。
源码文件：源码文件是编写程序的原始文件，其中包含了开发人员编写的代码。在生成覆盖率报告时，JaCoCo 将覆盖率数据与源码文件进行关联，并进行代码染色，以显示被执行和未执行的代码行。这样，开发人员可以清楚地看到哪些行被覆盖，哪些行未被覆盖。本服务支持 Gradle 项目和 maven 项目编译，编译工具版本如下：
支持增量报告和全量报告生成。增量报告用于比较不同版本之间代码差异和覆盖率情况，全量报告直接展示新版本代码覆盖率情况。两种报告使用场景如下：
增量报告：
全量报告：
直接使用 Jgit 即可 Maven 坐标如下:
<dependency>
<groupId>org.eclipse.jgit</groupId>
<artifactId>org.eclipse.jgit</artifactId>
<version>6.5.0.202303070854-r</version>
</dependency>
示例代码如下:
public String clone(String repoUrl, String branch, String localPath, String username, String password) {
log.info("开始克隆代码，代码库地址: {}", repoUrl);
long startTime = System.currentTimeMillis();
CredentialsProvider credentialsProvider = new UsernamePasswordCredentialsProvider(username, EncryptUtil.decryptByDes(password, desKey));
String savePath = CoverageConstant.GIT_CLONE_TEMP_PATH + localPath;
log.info("git clone repoUrl: {}, branch: {}, savePath: {}", repoUrl, branch, savePath);
try (Git ignored = Git.cloneRepository()
.setURI(repoUrl)
.setBranch(branch)
.setCredentialsProvider(credentialsProvider)
.setDirectory(new File(savePath))
.setDepth(1)
.setCloneAllBranches(false)
.call()) {
log.info("git clone success");
} catch (Exception e) {
log.error("Git clone 异常,异常详情: {}", ExceptionUtil.getErrorMessage(e));
throw new ServiceException("Git clone 异常");
}
log.info("代码克隆完成，耗时: {} s, 代码库地址: {}", (System.currentTimeMillis() - startTime) / 1000, repoUrl);
return savePath;
}
Maven 项目使用 Maven embedder 进行编译 Maven 坐标如下
<dependency>
<groupId>org.apache.maven</groupId>
<artifactId>maven-embedder</artifactId>
<version>3.6.3</version>
<exclusions>
<exclusion>
<groupId>javax.annotation</groupId>
<artifactId>jsr250-api</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.apache.maven</groupId>
<artifactId>maven-compat</artifactId>
<version>3.6.3</version>
</dependency>
<dependency>
<groupId>org.apache.maven.resolver</groupId>
<artifactId>maven-resolver-connector-basic</artifactId>
<version>1.6.3</version>
</dependency>
<dependency>
<groupId>org.apache.maven.resolver</groupId>
<artifactId>maven-resolver-transport-http</artifactId>
<version>1.6.3</version>
</dependency>
示例代码如下:
@Component
@Slf4j
public class MavenBuildManagerImpl implements MavenBuildManager {
@Override
public void compiler(String codePath, List<String> commands) {
log.info("开始编译Maven项目，代码路径: {}, 编译参数: {}", codePath, commands);
long startTime = System.currentTimeMillis();
File codeFile = new File(codePath);
if (!codeFile.exists()) {
throw new ServiceException("代码路径不存在");
}
MavenCli cli = new MavenCli();
System.getProperties().setProperty(MavenCli.MULTIMODULE_PROJECT_DIRECTORY, MavenCli.USER_MAVEN_CONFIGURATION_HOME.getAbsolutePath());
// 重定向标准错误输出流
ByteArrayOutputStream errorStream = new ByteArrayOutputStream();
PrintStream originalErrStream = System.err;
System.setErr(new PrintStream(errorStream));
int statusCode = cli.doMain(commands.toArray(new String[0]), codePath, System.out, System.err);
// 恢复标准错误输出流
System.setErr(originalErrStream);
if (statusCode != 0) {
log.error("代码: {} 编译失败, 异常详情: {}", codePath, errorStream);
throw new ServiceException("编译失败");
}
log.info("结束编译Maven项目，编译耗时: {} s", (System.currentTimeMillis() - startTime) / 1000);
}
/**
* 多模块代码扫描
* @param codePath 代码路径
* @return 模块列表
*/
@Override
public List<String> modules(String codePath) {
List<String> modules;
File pomFile = new File(codePath, "pom.xml");
try {
MavenXpp3Reader reader = new MavenXpp3Reader();
Model model = reader.read(new FileReader(pomFile));
modules = model.getModules();
} catch (Exception e) {
log.error("代码: {} 模块扫描失败, 异常详情: {}", codePath, ExceptionUtil.getErrorMessage(e));
throw new ServiceException("模块扫描失败");
}
return modules;
}
}
public class MavenCommand {
/**
* maven命令
*/
public static final String MVN = "mvn";
/**
* 清理构建产物
*/
public static final String CLEAN = "clean";
/**
* 编译 class 文件
*/
public static final String COMPILE = "compile";
/**
* 打包
*/
public static final String PACKAGE = "package";
/**
* 跳过测试
*/
public static final String SKIP_TEST = "-Dmaven.test.skip=true";
/**
* 批量模式
*/
public static final String BATCH_MODE = "--batch-mode";
/**
* 多核编译
*/
public static final String PARALLEL = "-T 1C";
/**
* 多线程编译
*/
public static final String FORK = "-Dmaven.compile.fork=true";
/**
* 通用编译命令
*/
public static final List<String> COMMAND = new ArrayList<>(){{
add(CLEAN);
add(COMPILE);
add(SKIP_TEST);
add(BATCH_MODE);
add(PARALLEL);
}};
}
Gradle 项目使用 gradle tooling api进行编译 Maven 坐标如下:
<dependency>
<groupId>org.netbeans.external</groupId>
<artifactId>gradle-tooling-api</artifactId>
<version>RELEASE170</version>
</dependency>
示例代码如下:
@Component
@Slf4j
public class GradleBuildManagerImpl implements GradleBuildManager {
@Override
public void compiler(String gradlePath, String codePath, List<String> commands) {
log.info("开始编译Gradle项目，编译工具路径: {}，代码路径: {}, 编译参数: {}", gradlePath, codePath, commands);
long startTime = System.currentTimeMillis();
// 重定向标准错误输出流
ByteArrayOutputStream errorStream = new ByteArrayOutputStream();
PrintStream originalErrStream = System.err;
// 重定向标准输出流
ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
PrintStream originalOutStream = System.out;
try (ProjectConnection connection = GradleConnector.newConnector()
.forProjectDirectory(new File(codePath))
.useGradleUserHomeDir(CoverageConstant.DEFAULT_GRADLE_USER_HOME)
.useInstallation(new File(gradlePath))
.connect()) {
BuildLauncher build = connection.newBuild();
System.setErr(new PrintStream(errorStream));
System.setOut(new PrintStream(outputStream));
build.forTasks(commands.toArray(new String[0]))
.setStandardOutput(System.out)
.setStandardError(System.err)
// 跳过单测，多线程编译
.withArguments(GradleCommand.EXCLUDE, GradleCommand.TEST)
// 不使用彩色日志，否则会导致日志中的颜色代码被打印出来，导致日志不易阅读
.setColorOutput(false)
// 限制 gradle 内存，防止编译过程中内存溢出
.setJvmArguments("-Xmx512m");
build.run();
log.info("编译日志:\n {}", outputStream);
System.setErr(originalErrStream);
System.setOut(originalOutStream);
} catch (Exception e) {
log.error("代码: {} 编译失败, 异常详情: {}", codePath, ExceptionUtil.getErrorMessage(e));
log.error("编译异常日志:\n {}", errorStream);
throw new ServiceException("编译失败");
}
log.info("结束编译Gradle项目，编译耗时: {} s", (System.currentTimeMillis() - startTime) / 1000);
}
@Override
public List<String> modules(String gradlePath, String codePath) {
log.info("开始扫描Gradle项目模块，编译工具路径: {}，代码路径: {}", gradlePath, codePath);
try (ProjectConnection connection = GradleConnector.newConnector()
.forProjectDirectory(new File(codePath))
.useInstallation(new File(gradlePath))
.connect()) {
GradleProject model = connection.getModel(GradleProject.class);
return model.getChildren().stream().map(GradleProject::getName).collect(Collectors.toList());
} catch (Exception e) {
log.error("代码: {} 模块扫描失败, 异常详情: {}", codePath, ExceptionUtil.getErrorMessage(e));
throw new ServiceException("模块扫描失败");
}
}
}
public class GradleCommand {
/**
* gradle命令
*/
public static final String GRADLE = "gradle";
/**
* 清理构建产物
*/
public static final String CLEAN = "clean";
/**
* 打包
*/
public static final String BUILD = "build";
/**
* 排除某个任务
*/
public static final String EXCLUDE = "-x";
/**
* 测试
*/
public static final String TEST = "test";
/**
* 多线程编译
*/
public static final String PARALLEL = "-Dorg.gradle.parallel=true";
/**
* 多进程编译
*/
public static final String FORK = "-Dorg.gradle.fork=true";
/**
* 编译class文件
*/
public static final String CLASSES = "classes";
/**
* 通用编译命令
*/
public static final List<String> COMMAND = new ArrayList<>(){{
add(CLEAN);
add(CLASSES);
}};
}
直接参考这个就好：https://gitee.com/Dray/code-diff/blob/master/src/main/java/com/dr/code/diff/service/impl/CodeDiffServiceImpl.java 原理就是直接通过jgit 分析出变更的文件，然后通过 javaparser 来分析代码
生成报告参考这个：https://gitee.com/Dray/code-diff/blob/master/src/main/java/com/dr/code/diff/jacoco/report/ReportAction.java 但是里面涉及到差异报告生成，就需要使用这个仓库提供的 jar 了
增量覆盖率报告与全量覆盖率报告大体一致，只有部分标记存在差异。
jacoco官方本身提供了FA&Q，绝大多数覆盖率相关的问题都可以在这边找到，只有以下比较特殊的场景需要注意： 7.1 反射导致的服务启动失败或者接口调用失败 jacoco不管是以何种方式运行，都会在class中插入static boolean[] $jacocoData 和 $jacocoInit() 来记录覆盖率数据。当我们使用反射来获取一个类的属性和方法时，很容易就获取到这两个特殊的Field，比如通过一个类来保存JDBC配置的时候，就会读到$jacocoData，导致jdbc连接失败。为了解决这个问题，需要在使用反射的地方通过如下方法处理：
public static void main(String[] args) {
ChromeDriver chromeDriver = new ChromeDriver();
Field[] declaredFields = chromeDriver.getClass().getDeclaredFields();
for (Field declaredField : declaredFields) {
if (declaredField.isSynthetic()) {
System.out.println("当前属性: "+ declaredField.getName() +"为合成属性，跳过...");
}
}
Method[] declaredMethods = chromeDriver.getClass().getDeclaredMethods();
for (Method declaredMethod : declaredMethods) {
if (declaredMethod.isSynthetic()) {
System.out.println("当前方法: "+ declaredMethod.getName() +"为合成方法，跳过...");
}
}
}
关于 isSynthetic() 的解释可以参考：Class.IsSynthetic 属性 (Java.Lang)
准备提桶了，没啥心情写了，就先写这么多吧，希望诸位都能找到合适的工作 PS：代码编译比较耗费资源，记得改成 mq，触发任务采集的时候通过 mq 来做任务排队