赞
踩
在 Android 性能优化的知识体系当中,包体积优化一直被排在优先级比较低的位置,从而导致很多开发同学对自身应用的大小并不重视。在项目发展的历程中,一般可划分为如下三个阶段:
初创期 => 成长期 => 成熟期
通常来说,当应用处于成长期的中后阶段时,才会考虑去做系统的包体积优化,因此,只有在这个阶段及之后,包体积优化带来的收益才是可观的。
那么,包体积优化能够给我们带来哪些 收益 呢?如何全面对应用的包体积进行 系统分析 及 针对性优化 呢?在这篇文章中,我们将一起进行深入地分析与探索。
下面,我们就先来了解下为什么要进行瘦身优化以及如何对 Apk 大小进行分析。
我们首先来介绍下,为什么我们需要做 APK 的瘦身优化?
主要有 三个方面 的原因:
APK 瘦身优化在实际的项目中优先级是比较低的,因为做了之后它的好处不是那么明显,尤其是那些还没有到 稳定期 的项目,我们都知道,App 的发展历程是从 项目初期 => 成长期 => 稳定期,对于处于 发展初期与成长期 的项目而言,可能会做 启动优化、卡顿优化,但是一般不会做 瘦身优化,瘦身优化 最主要的好处是对应用 下载转化率 的影响,它是 App 业务运营的重要指标之一,在项目精细化运营的阶段是非常重要的。因为如果你的 App 与其它同类型的 App 相比 Apk 体积要更小的话,那么你的 App 下载率就可能要高一些。而且,包体积越小,用户下载等待的时间也会越短,所以下载转换成功率也就越高。所以,安装包大小与下载转化率的关系 大致是成反比 的,即安装包越大,下载转换率就越小。一个 80MB 的应用,用户即使点了下载,也可能因为网络速度慢、突然反悔导致下载失败。而对于一个 20MB 的应用,用户点了下载之后,在犹豫要不要下的时候可能就已经下载完了。
而且,现在很多大型的 App 一般都会有一个 Lite 版本的 App,这个也是出于下载转化率方面的考虑。
Google Play 应用市场强制要求超过 100MB 的应用只能使用 APK 扩展文件方式 上传。当使用 APK 扩展文件方式 上传时,Google Play 会为我们的应用 托管 扩展文件,并将其 免费提供 给设备。扩展文件将保存到设备的共享存储位置(SD 卡或可安装 USB 的分区;也称为“外部”存储),应用可以在其中访问它们。在大多数设备上,Google Play 会在下载 APK 的同时下载扩展文件,因此应用在用户首次打开时便拥有了所需的一切。但是,在某些情况下,我们的应用必须在应用启动时从 Google Play 下载文件。如果您想避免使用扩展文件,并且想要应用程序的下载大小大于100 MB,则应该使用 Android App Bundles 上传应用程序,此时应用程序最多可提供150 MB的压缩下载大小。Android App Bundles 就是 Android 应用程序捆绑包,它能够让 App 以 添加动态功能模块的方式 去解决 APK 大小较大的问题。如下,就是由一个基本模块和两个动态功能模块组成的 Android App Bundle APK 的组成结构图:
此外,还有一个原因,当我们的 App 做大之后,可能需要跟各个手机厂商合作预装,这些 渠道合作商会对你的 App 做详细的要求,只有达到相应的要求后才允许你的 App 预装到手机上。而且,越大的 App 其单价成本也会越高。所以,瘦身也是我们项目做大之后一定会遇到的一个问题。
此外,包体积除了会影响 应用的下载转化率 之外,主要还会对 App 三个方面 的性能有一定的影响,如下所示:
我们都知道,Android 项目最终会编译成一个 .apk 后缀的文件,实际上它就是一个 压缩包。因此,它内部还有很多不同类型的文件,这些文件,按照大小,共分为如下几类:
此外,还有 META-INF,它存放了应用的 签名信息,其中主要有 3个文件,如下所示:
下面,我们就来学习 APK 分析的 四种常用方式。
第一种方式,就是使用 ApkTool 这个反编译工具,它的官网地址如下:
其具体的 反编译命令 如下所示:
apktool d xxx.apk
下面,我们就来使用 ApkTool 来对应用进行反编译。
我这里仅介绍 Mac OS X 平台上的下载配置,其它平台请点击上方链接查看。
// 1、使用vim命令在命令行打开.bash_profile文件,并可以在命令行
// 上编辑,当然,你也可以直接打开.bash_profile文件
vim ~/.bash_profile
// 2、在.bash_profile最后加上这一行即可
export PATH=前面路径/apktool:$PATH
// 3、使编辑后的配置生效
source ~/.bash_profile
5)、最后,使用以下命令将两个文件权限设置为 可执行 即可:
sudo chmod a+x file
我们在命令行下输入以下命令对 APK 进行反编译,如下所示:
java -jar apktool_2.3.4.jar apktool d app-release.apk
反编译完成之后,它就会在当前的文件夹下面生成 app-release 的目录,目录结构如下所示:
这样我们就可以看到当前 App的具体组成 了。下面,我们介绍下第二种 APK 分析 的方式。
Analyze APK 具有如下功能:
下面,我们就来具体实战一下,需要注意的是,我们可以 直接将电脑上的 apk 拖进 AS 中就可以自动使用 Analyze APK 打开 apk。然后,我们就可以看到 APK 文件的绝对大小以及各组成文件的百分占比,如下图所示:
可以看到,Awesome-WanAndroid 应用的 classes.dex 的大小为 3.3MB,总占比为 42.2%。并且,lib 和 res 目录也有 1.9MB,总占比大概为 25%,因此,对于 Awesome-WanAndroid App的优化方向就应该是 dex 为主、so 和 res 为辅 了。此外,我们还可以查看 classes.dex 中还包含有哪些类,如下图所示:
我们平时在做 竞品分析 的时候,就能够很方便地来 看一下我们 App 的竞品用到了哪些第三方 SDK。同时,我们也可以从清单文件中很方便地查看 APK 文件的最终版本,因为 Analyze APK 能够直接对清单文件进行解析。
此外,在应用右上角还有一个 Compare with previos APK 的按钮,我们点击它之后,就可以 将当前的 APK 与别的版本的 APK 进行对比,这样就可以对新旧两个版本的 APK 文件大小进行对比。
接下来,我们再介绍下第三种 APK 分析的方式。
nibledroid 是美国哥伦比亚大学的博士创业团队研发出来的分析 Android App 性能指标的系统,分析的方式有静态和动态两种方式,如下所示:
它的使用方式其实非常简单,只需要直接上传APK 即可。然后,nimbledroid 网站的后台就会自动对 APK 进行分析,并最终给出一份 全面的 APK 分析报告。
下面,我们再来介绍最后一种 APK 分析工具,即二进制检查工具 android-classshark。
android-classshark 是一个 面向 Android 开发人员的独立二进制检查工具,它可以 浏览任何的 Android 可执行文件,并且检查出信息,比如类的接口、成员变量等等,此外,它还可以支持多种格式,比如说 APK、Jar、Class、So 以及所有的 Android 二进制文件如清单文件等等。下面,我们就来使用 android-classshark 来进行一下实战。
首先,我们从它的 Github 地址上下载对应的 ClassyShark.jar,地址如下所示:
然后,我们双击打开 ClassShark.jar,拖动我们的 APK 到它的工作空间即可。接下来,我们就可以看到 Apk 的分析界面了,这里我们点击 classes 下的 classes.dex,在分析界面 左边 可以看到该 dex 的方法数和文件大小,并且,最下面还显示出了该 dex 中包含有 Native Call 的类。如下图所示:
此外,我们点击左上角的 Methods count 还可以切换到 方法数环形图标统计界面,我们不仅可以 直观地看到各个包下的方法数和相对大小,还可以看到各个子包下的方法数和相对大小。如下图所示:
在讲解如何对 Dex 进行优化之前,可能有很多同学对 Dex 还没有足够的了解,这里我们就先详细地了解下 Dex。
Dex 是 Android 系统的可执行文件,包含 应用程序的全部操作指令以及运行时数据。因为 Dalvik 是一种针对嵌入式设备而特殊设计的 Java 虚拟机,所以 Dex 文件与标准的 Class 文件在结构设计上有着本质的区别。当 Java 程序被编译成 class 文件之后,还需要使用 dx 工具将所有的 class 文件整合到一个 dex 文件中,这样 dex 文件就将原来每个 class 文件中都有的共有信息合成了一体,这样做的目的是 保证其中的每个类都能够共享数据,这在一定程度上 降低了信息冗余,同时也使得 文件结构更加紧凑。与传统 jar 文件相比,Dex 文件的大小能够缩减 50% 左右。关于 Class 文件与 Dex 文件的结果对比图如下所示:
如果想深入地了解 Dex 文件格式,可以参见Google 官方教程 - Dex格式。
Dex 一般在应用包体积中占据了不少比重,并且,Dex 数量越多,App 的安装时间也会越长。所以,优化它们可以说是 重中之重。下面,我们就来看看有哪些方式可以优化 Dex 这部分的体积。
Java 是一种跨平台的、解释型语言,而 Java 源代码被编译成 中间 ”字节码” 存储于 Class 文件之中。
由于跨平台的需要,Java 字节码 中包括了很多源代码信息,如变量名、方法名,并且通过这些名称来访问变量和方法,这些 符号带有许多语义信息,很 容易被反编译成 Java 源代码。为了防止这种现象,我们可以使用 Java 混淆器对 Java 字节码进行混淆。
代码混淆也被称为 花指令,它 将计算机程序的代码转换成一种功能上等价,但是难以阅读和直接理解的形式。混淆就是对发布出去的程序进行重新组织和处理,使得处理后的代码与处理前代码完成相同的功能,而混淆后的代码很难被反编译,即使反编译成功也很难得出程序的真正语义。混淆器的 作用 不仅仅是 保护代码,它也有 精简编译后程序大小 的作用,其 通过缩短变量和函数名以及丢失部分无用信息等方式,能使得应用包体积减小。
目前,代码混淆的形式主要有 三种,如下所示:
在 Android SDK 里面集成了一个工具 — Proguard,它是一个免费的 Java 类文件 压缩、优化、混淆、预先校验 的工具。它的 主要作用 大概可以概括为 两点,如下所示:
所以说,混淆不仅是保障 Android 程序源码安全 的 第一道门槛,而且在一定程度上,使用它能够减小 优化字节码 的大小。优化字节码 的处理流程如下图所示:
而它的作用具体可以细分三点,如下所示:
默认开启,以减小应用体积,移除未被使用的类和成员,并且 会在优化动作执行之后再次执行,因为优化后可能会再次暴露一些未被使用的类和成员。我们可以使用如下规则来关闭压缩:
-dontshrink 关闭压缩
默认开启,在 字节码级别执行优化,让应用 运行的更快。使用如下规则可进行优化相关操作:
-dontoptimize 关闭优化
-optimizationpasses n 表示proguard对代码进行迭代优化的次数,Android一般为5
默认开启,增大反编译难度,类和类成员会被随机命名,除非用 优化字节码 等规则进行保护。使用如下规则可以关闭混淆:
-dontobfuscate 关闭混淆
Proguard 中所做的优化包括 内联、修饰符、合并类和方法等 30 多种优化项,在特定的情况下,它尽可能地做了相应的优化,下面列出了部分的 优化细节:
混淆之后,默认会在工程目录 app/build/outputs/mapping/release 下生成一个 mapping.txt 文件,这就是 混淆规则,所以我们可以根据这个文件把混淆后的代码反推回原本的代码。要使用混淆,我们只需配置如下代码即可:
buildTypes { release { // 1、是否进行混淆 minifyEnabled true // 2、开启zipAlign可以让安装包中的资源按4字节对齐,这样可以减少应用在运行时的内存消耗 zipAlignEnabled true // 3、移除无用的resource文件:当ProGuard 把部分无用代码移除的时候, // 这些代码所引用的资源也会被标记为无用资源,然后 // 系统通过资源压缩功能将它们移除。 // 需要注意的是目前资源压缩器目前不会移除values/文件夹中 // 定义的资源(例如字符串、尺寸、样式和颜色) // 开启后,Android构建工具会通过ResourceUsageAnalyzer来检查 // 哪些资源是无用的,当检查到无用的资源时会把该资源替换 // 成预定义的版本。主要是针对.png、.9.png、.xml提供了 // TINY_PNG、TINY_9PNG、TINY_XML这3个byte数组的预定义版本。 // 资源压缩工具默认是采用安全压缩模式来运行,可以通过开启严格压缩模式来达到更好的瘦身效果。 shrinkResources true // 4、混淆文件的位置,其中 proguard-android.txt 为sdk默认的混淆配置, // 它的位置位于android-sdk/tools/proguard/proguard-android.txt, // 此外,proguard-android-optimize.txt 也为sdk默认的混淆配置, // 但是它默认打开了优化开关。并且,我们可在配置混淆文件将android.util.Log置为无效代码, // 以去除apk中打印日志的代码。而 proguard-rules.pro 是该模块下的混淆配置。 proguardFiles getDefaultProguardFile('proguard-android-optimize.txt'), 'proguard-rules.pro' signingConfig signingConfigs.release } }
首先,在注释1处,我们可以通过配置 minifyEnabled 来决定是否进行混淆。
然后,在注释2处,通过 配置 zipAlignEnabled 为 true 可以让安装包中的资源按 4 字节对齐,这样可以减少应用在运行时的内存消耗。
接着,在注释3处,配置 shrinkResources 为 true 可以移除无用的 resource 文件:当 ProGuard 把部分无用代码移除的时候,这些代码所引用的资源也会被标记为无用资源,然后,系统会通过资源压缩功能将它们移除。需要注意的是 目前资源压缩器目前不会移除 values / 文件夹中定义的资源(例如字符串、尺寸、样式和颜色)。开启后,Android 构建工具会通过 ResourceUsageAnalyzer 来检查哪些资源是无用的,当检查到无用的资源时会把该资源替换成预定义的版本。主要是针对 .png、.9.png、.xml 提供了 TINY_PNG、TINY_9PNG、TINY_XML 这 3 个 byte 数组的预定义版本。资源压缩工具默认是采用 安全压缩模式 来运行,可以通过开启 严格压缩模式 来达到 更好的瘦身效果。
最后,在注释
4处,我们可以配置混淆文件的位置,其中 proguard-android.txt 为 sdk 默认的混淆配置,它的位置位于 android-sdk/tools/proguard/proguard-android.txt,此外,proguard-android-optimize.txt 也是 sdk 默认的混淆配置,但是它 默认打开了优化开关。此外,我们也可以在配置混淆文件将 android.util.Log 置为无效代码,以去除 apk 中打印日志的代码。而 proguard-rules.pro 是该模块下的混淆配置。
在执行完 ProGuard 之后,ProGuard 都会在 ${project.buildDir}/outputs/mapping/${flavorDir}/
生成以下文件:
文件名 | 描述 |
---|---|
dump.txt | APK中所有类文件的内部结构 |
mapping.txt | 提供原始与混淆过的类、方法和字段名称之间的转换,可以通过proguard.obfuscate.MappingReader来解析 |
seeds.txt | 列出未进行混淆的类和成员 |
usage.txt | 列出从APK移除的代码 |
下面,我们再回顾混淆的基本规则。
# * 表示仅保持该包下的类名,而子包下的类名还是会被混淆 -keep class com.json.chao.wanandroid.* # ** 表示把本包和所含子包下的类名都保持 -keep class com.json.chao.wanandroid.** # 既保持类名,又保持里面的内容不被混淆 -keep class com.json.chao.wanandroid.* {*;} # 也可以使用Java的基本规则来保护特定类不被混淆,比如extend,implement等这些Java规则 -keep public class * extends android.app.Activity # 保留MainPagerFragment内部类JavaScriptInterface中的所有public内容不被混淆 -keepclassmembers class com.json.chao.wanandroid.ui.fragment.MainPagerFragment$JavaScriptInterface { public *; } # 仅希望保护类下的特定内容时需使用匹配符 <init>; //匹配所有构造器 <fields>; //匹配所有字段 <methods>; //匹配所有方法 # 还可以在上述匹配符前面加上private 、public、native等来进一步指定不被混淆的内 容 -keep class com.json.chao.wanandroid.app.WanAndroidApp { public <fields>; } # 也可以加入参数,以下表示用java.lang.String作为入参的构造函数不会被混淆 -keep class com.json.chao.wanandroid.app.WanAndroidApp { public <init>(java.lang.String); } # 不需要保持类名,仅需要把该类下的特定成员保持不被混淆时使用keepclassmembers # 如果拥有某成员,要保留类和类成员使用-keepclasseswithmembers
了解完上面的这些混淆规则之后,相信我们已经能够根据我们当前的应用写出相应的混淆规则了。需要注意的是,在 AndroidMainfest 中的类默认不会被混淆,所以四大组件和 Application 的子类和 Framework 层下所有的类默认不会进行混淆,并且自定义的 View 默认也不会被混淆。因此,我们不需要手动在 proguard-rules.pro 中去添加如下代码:
-keep public class * extends android.app.Activity
-keep public class * extends android.app.Appliction
-keep public class * extends android.app.Service
-keep public class * extends android.content.BroadcastReceiver
-keep public class * extends android.content.ContentProvider
-keep public class * extends android.app.backup.BackupAgentHelper
-keep public class * extends android.preference.Preference
-keep public class * extends android.view.View
-keep public class com.android.vending.licensing.ILicensingService
而 Application 和四大组件是必须在 AndroidMainfest 中进行注册的,所以如果想要通过 混淆四大组件和 Application、自定义 View 的方式去减小APK的体积是行不通的,因为没有规则去配置如何混淆四大组件和 Application。因此,对于混淆的优化,我们能做的只能是
尽量保证 keep 范围的最小化,以此实现应用混淆程度的最大化。在混淆配置中添加下列规则还可以在混淆之后输出最终的混淆配置:
# 输出 ProGuard 的最终配置
-printconfiguration configuration.txt
这里,我们就对 Awesome-WanAndroid 应用进行混淆,看看该应用混淆前后 APK 的体积变化。
下面这张图是 Awesome-WanAndroid 混淆前的 APK 组成结构图,可以看到占用了大概 8.3MB 的体积,其中 dex 部分占用了 3.6MB。
混淆之后,APK 的体积会如何变化呢?我们看看 混淆后的 APK 组成结构图,如下所示:
可以看到,原先两个 dex 文件变为了一个,而且 dex 的大小也缩减到了 2.2MB,大小整整缩减了 1.4MB,dex 部分的压缩效果将近 40%。APK 整体的压缩效果也有 17%。所以,混淆的确是 APK 瘦身的首选手段。此外,在 Android Studio 3.1 或之后的版本都会默认采用 D8 作为 Dex 的编译器,并且,在2019年10月,被认作为混淆的替代品的 R8 就已经默认集成进 Android Gradle plugin 中了。下面,我们就看看 D8 与 R8 到底是如何优化 APK 的 dex 部分的。
D8 的 优化效果 总的来说可以归结为如下 四点:
在 Android Studio 3.0
需要主动在 gradle.properties 文件中新增:
android.enableD8 = true
Android Studio 3.1 或之后的版本 D8 将会被作为默认的 Dex 编译器。
R8 是 Proguard 压缩与优化部分的替代品,并且它仍然使用与 Proguard 一样的 keep 规则。目前已经开源,如果我们仅仅想在 Android Studio 中使用 R8,当我们在 build.gradle 中打开混淆的时候,R8 就已经默认集成进 Android Gradle plugin 中了,我们 只需要在 gradle.properties 中配置如下代码让 App 的混淆去支持 R8,如下所示:
android.enableR8=true
android.enableR8.libraries=true
ProGuard 和 R8 都应用了基本名称混淆:它们 都使用简短,无意义的名称重命名类,字段和方法。他们还可以 删除调试属性。但是,R8 在 inline 内联容器类中更有效,并且在删除未使用的类,字段和方法上则更具侵略性。例如,R8 本身集成在 ProGuard V6.1.1 版本中,在压缩 apk 的大小方面,与 ProGuard 的 8.5% 相比,使用 R8 apk 尺寸减小了约 10%。并且,随着 Kotlin 现在成为 Android 的第一语言,R8 进行了 ProGuard 尚未提供的一些 Kotlin 的特定的优化。
从表面上看,ProGuard 和 R8 非常相似。它们都使用相同的配置,因此在它们之间进行切换很容易。放大来看的话,它们之间也存在一些差异。R8 能更好地内联容器类,从而避免了对象分配。但是 ProGuard 也有其自身的优势,具体有如下几点:
接下来,我们就来看看 Awesome-WanAndroid 使用 R8 后,APK 体积的变化,如下图所示:
可以看到,相较于仅使用混淆后的 APK 而言,大小减少了 0.1MB,Dex 部分的优化效果大概为 5%,APK 整体的压缩效果也有 1.5% 左右。虽然从减少的 APK 大小来看,0.1MB 很少,但是比例并不小,如果你负责的是一个像微信、淘宝等规模的 App,它们的体积一般都将近 100MB,使用 R8 后也能减小 1.5MB 的大小。
此外,如果想单独对 Dex 或 jar 包 使用 R8,可以根据最上面的官方文档可以很快的在 python 环境下运行起来,其具体步骤如下所示:
1)、获取 depot_tools
git clone https://chromium.googlesource.com/chromium/tools/depot_tools.git
2)、获取 depot_tools 当前目录
pwd
3)、添加环境变量
4)、生效环境变量
source ~/.bash_profile
git clone https://r8.googlesource.com/r8
cd r8
tools/gradle.py d8 r8
java -jar build/libs/r8.jar --release --output out --pg-conf proguard.cfg input.jar
D8 与 R8 的作用非常强大,而 Jake Wharton 大神最近一年多也在研究 D8 与 R8 的知识,如果想对 D8 与 R8 的实现细节有更多地了解,可以看看他的 个人博客。
在讲解什么是 deubg 信息与行号信息之前,我们需要先了解 Dex 的一些知识。
我们都知道,JVM 运行时加载的是 .class 文件,而 Android 为了使包大小更加紧凑、运行时更加高效就发明了 Dalvik 和 ART 虚拟机,两种虚拟机运行的都是 .dex 文件,当然 ART 虚拟机还可以同时运行 oat 文件。
所以 Dex 文件里的信息内容和 Class 文件包含的信息是一样的,不同的是 Dex 文件对 Class 中的信息做了去重,一个 Dex 包含了很多的 Class 文件,并且在结构上有比较大的差异,Class 是流式的结构,Dex 是分区结构,Dex 内部的各个区块间通过 offset 来进行索引。
为了在应用出现问题时,我们能在调试的时候去显示相应的调试信息或者上报 crash 或者主动获取调用堆栈的时候能通过 debugItem 来获取对应的行号,我们都会在混淆配置中加上下面的规则:
-keepattributes SourceFile, LineNumberTable
这样就会保留 Dex 中的 debug 与行号信息,此时的 Dex 结构图 如下所示:
从图中可以看到,Dex 文件的结构主要分为 四大块:header 区,索引区,data 区,map 区。而我们的 debug 与行号信息就保存在 data 区中的 debugItems 区域。而 debug_items 里面主要包含了 两种信息,如下所示:
根据 Google 官方的数据,debugItem 一般占 Dex 的比例有 5% 左右,如果我们能去除 debug 与行号信息,就能更进一步对 Dex 进行瘦身,但是会失去调试信息的功能,那么,有什么方式可以去掉 debugItem,同时又能让 crash 上报的时候能拿到正确的行号呢?
我们可以尝试直接修改 Dex 文件,保留一小块 debugItem,让系统查找行号的时候指令集行号和源文件行号保持一致,这样任何监控上报的行号都直接变成了指令集行号。
每一个方法都会有一个 debugInfoItem,每一个 debuginfoItem 里面都有一个指令集行号和源文件行号的映射关系,这了我们直接把多余的 debugInfoItem 全部删掉,只保留了一个 debugInfoItem,这样所有的方法都会指向同一个 debugInfoItem,并且这个 debugInfoItem 中的指令集行号和源文件行号保持一致,这样不管用什么方式来查找行号,拿到的都是指令集行号。需要注意的是,采用这种方案 需要兼容所有虚拟机的查找方式,因此 仅仅保留一个 debugInfoItem 是不够的,需要对 debugInfoItem 进行分区,并且 debugInfoItem 表不能太大。
关于如何去除 Dex 中的 Debug 信息是通过 ReDex 的 StripDebugInfoPass 来完成的,其配置如下所示:
{ "redex" : { "passes" : [ "StripDebugInfoPass", "RegAllocPass" ] }, "StripDebugInfoPass" : { "drop_all_dbg_info" : false, "drop_local_variables" : true, "drop_line_numbers" : false, "drop_src_files" : false, "use_whitelist" : false, "cls_whitelist" : [], "method_whitelist" : [], "drop_prologue_end" : true, "drop_epilogue_begin" : true, "drop_all_dbg_info_if_empty" : true }, "RegAllocPass" : { "live_range_splitting": false } }
关于 debuginfo 的实战我们下面马上会开始,在此之前,我们先讲讲 Dex 分包中的另一个优化点。
当我们的 APK 过大时,Dex 的方法数就会超过65536个,因此,必须采用 mutildex 进行分包,但是此时每一个 Dex 可能会调用到其它 Dex 中的方法,这种 跨 Dex 调用的方式会造成许多冗余信息,具体有如下两点:
为了减少跨 Dex 调用的情况,我们必须 尽量将有调用关系的类和方法分配到同一个 Dex 中。但是各个类相互之间的调用关系是非常复杂的,所以很难做到最优的情况。所幸的是,ReDex 的 CrossDexDefMinimizer 类分析了类之间的调用关系,并 使用了贪心算法去计算局部的最优解(编译效果和dex优化效果之间的某一个平衡点)。使用 “InterDexPass” 配置项可以把互相引用的类尽量放在同个 Dex,增加类的 pre-verify,以此提升应用的冷启动速度。
在 ReDex 中使用 Dex 分包优化跨 dex 调用造成的信息冗余的配置代码如下所示:
{ "redex" : { "passes" : [ "InterDexPass", "RegAllocPass" ] }, "InterDexPass" : { "minimize_cross_dex_refs": true, "minimize_cross_dex_refs_method_ref_weight": 100, "minimize_cross_dex_refs_field_ref_weight": 90, "minimize_cross_dex_refs_type_ref_weight": 100, "minimize_cross_dex_refs_string_ref_weight": 90 }, "RegAllocPass" : { "live_range_splitting": false }, "string_sort_mode" : "class_order", "bytecode_sort_mode" : "class_order" }
为了衡量优化效果,我们可以使用 Dex 信息有效率 这个指标,公式如下所示:
Dex 信息有效率 = define methods数量 / reference methods 数量
如果 Dex 有效率在 80% 以上,就说明基本合格了。
下面,我们就使用 Redex 来对上一步生成的 app-release-proguardwithr8.apk 进行进一步的优化。(macOS 环境下)
xcode-select --install
brew install autoconf automake libtool python3
brew install boost jsoncpp
需要注意的是吗,2020年2月10号版本源码的 redex 需要的 boost 版本为 V1.71 及以上,当你使用 brew install boost 安装 boost 时可能获取到的 boost 版本会低于 V1.71,此时可能是 brew 版本需要更新,使用 brew upgrade 去更新 brew 仓库的版本 或者可以直接从 boost 官网下载最新的 boost 源码 至 /usr/local/Cellar/ 目录下,我当前使用的是 boost V1.7.2源码下载地址 中的 boost_1_72_0.zip。从 深入探索 Android 启动优化 时就提及到了 Redex 的类重排优化,当时卡在这一步,所以一直没法真正完成类的重排优化。
git clone https://github.com/facebook/redex.git
cd redex
# 如果你使用的是 gcc, 请使用 gcc-5
autoreconf -ivf && ./configure && make -j4
sudo make install
在 Redex 在运行的时候,它是根据 redex/config/default.config 这个配置文件中的通道 passes 中添加不同的优化项来对 APK 的 Dex 进行处理的,我们可以参考 redex/config/default.config 这个默认的配置,里面的 passes 中不同的配置项都有特定的优化。为了优化 App 的包体积,我们再加上 interdex_stripdebuginfo.config 中的配置项去删除 debugInfo 和减少跨 Dex 调用的情况,最终的 interdex_stripdebuginfo.config 配置代码 如下所示:
{ "redex" : { "passes" : [ "StripDebugInfoPass", "InterDexPass", "RegAllocPass" ] }, "StripDebugInfoPass" : { "drop_all_dbg_info" : false, "drop_local_variables" : true, "drop_line_numbers" : false, "drop_src_files" : false, "use_whitelist" : false, "cls_whitelist" : [], "method_whitelist" : [], "drop_prologue_end" : true, "drop_epilogue_begin" : true, "drop_all_dbg_info_if_empty" : true }, "InterDexPass" : { "minimize_cross_dex_refs": true, "minimize_cross_dex_refs_method_ref_weight": 100, "minimize_cross_dex_refs_field_ref_weight": 90, "minimize_cross_dex_refs_type_ref_weight": 100, "minimize_cross_dex_refs_string_ref_weight": 90 }, "RegAllocPass" : { "live_range_splitting": false }, "string_sort_mode" : "class_order", "bytecode_sort_mode" : "class_order" }
这里我们使用 Redex 命令对上一 Dex 优化中得到的 app_release-proguardwithr8.apk 进行 Dex 分包优化和去除 debugInfo,它使用了贪心这种局部最优解的方式去减少跨 Dex 调用造成的信息冗余,命令如下所示(注意,在 redex 的前面可能需要加上 Android sdk 的路径,因为 redex 中使用到了sdk下的zipalign工具):
ANDROID_SDK=/Users/quchao/Library/Android/sdk redex --sign -s wan-android-key.jks -a wanandroid -p wanandroid -c ~/Desktop/interdex_stripdebuginfo.config -P app/proguard-rules.pro -o ~/Desktop/app-release-proguardwithr8-stripdebuginfo-interdex.apk ~/Desktop/app-release-proguardwithr8.apk
上述 redex 命令的 关键参数含义 如下所示:
使用上面的 redex 命令我们就可以对优化后的 APK 进行 再签名和混淆,等待一会后(如果你的 APK 的 Dex 数量和体积很大,可能会比较久),就会生成 优化后的 APK:app-release-proguardwithr8-stripdebuginfo-interdex.apk,如下图所示:
可以看到,我们的 APK 大小几乎没有变化,这是因为当前的 APK 只有一个 Dex,并且 第一个 Dex 默认不会优化。为了能实际看到 redex 的优化效果,我们采用了一个新项目来进行实验,项目地址如下所示:
首先,引入一大堆开源库,尝试把 Dex 数量变多一些。然后直接通过 assembleDebug 编译即可。此外,为了可以更加清楚流程,我们可以在 命令行输入 export TRACE=2 以便可以输出 redex 的日志。最后,我们输入下面的 redex 命令删除 dex 中的 debugInfo 和减少跨 dex 调用的情况,如下所示:
redex --sign -s ReDexSample/keystore/debug.keystore -a androiddebugkey -p android -c redex-test/interdex_stripdebuginfo.config -P ReDexSample/proguard-rules.pro -o redex-test/strip_output.apk ReDexSample/build/outputs/apk/debug/ReDexSample-debug.apk
最终,我们看到前后的 APK 体积对比图如下所示:
可以看到,APK 的大小从 14.2MB 减少到了 12.8MB,优化效果大概有10%,效果还是比较明显的。此外,如果你的 App 的 Dex 数量越多,那么优化的效果就会越大。
XZ Utils 是具有高压缩率的免费通用数据压缩软件,它同 7-Zip 一样,都是 LZMA Utils 的后继产品,内部使用了 LZMA/LZMA2 算法。LZMA 提供了高压缩比和快速解压缩,因此非常适合嵌入式应用。LZMA 的 主要功能 如下:
相对于典型的压缩文件而言,XZ Utils 的输出比 gzip 小 30%,比 bzip2 小 15%。在 FaceBook 的 App 中就使用了 Dex 压缩 的方式,而且它 将 Dex 压缩后的文件都放在了 assets 目录中,如下图所示:
我们先看到上图中的 classes.dex,其中仅包含了启动时要用到的类,这样可以为 Dex 压缩文件 secondary.dex.jar.xzs 的解压争取时间。
此外,在 secondary.dex.jar.xzs 文件的下面,我们注意到,有一系列的 secondary-x.dex.jar.xzs.tmp~.meta 文件,它保存了压缩前每一个 Dex 文件的映射元数据信息,在应用首次启动解压的时候我们还需要用到它。
尽管 classes.dex 为首次启动解压 Dex 压缩文件争取了时间,但是由于文件太大,在低端机上的解压时间可能会有 3~5s。
而且,当 Dex 非常多的时候会增加应用的安装时间,如果还使用了压缩 Dex 的方式,那么首次生成 ODEX 的时间可能就会超过1分钟。为了解决这个问题,Facebook 使用了 oatmeal 这套工具去 根据 ODEX 文件的格式,自己生成了一个 ODEX 文件。而在 正常的流程 下,系统会使用 fork 子进程的方式去处理 dex2oat 的过程。
但是,oatmeal 采用了 代理 dex2oat 省去 fork 进程所带来耗时 的这种方式,如果在1个 10MB 的 Dex,可以将 dex2oat 的耗时降至 100ms,而在 Android 5.0 上生成一个 ODEX 的耗时大约在 10 秒以上,在 Android 8.0 使用 speed 模式也需要 1 秒左右的时间。但是由于 每个 Android 系统版本的 ODEX 格式都有一些差异,oatmeal 需要分版本适配,因此 Dex 压缩的方案我们可以先压压箱底。
实际的开发过程中,我们会用到各种各样的三方库。尤其当项目变大之后,开发人员众多,因此引入的三方库也会非常多,比如说,有人引入了一个 Fresco 图片库,然后这个库你可能不熟悉,你会引入一个 Glide,并且另一个人它可能又会引入他熟悉的图片库 Picasso,所以项目中可能会存在多个相同功能的三方 SDK,这一点,在大型项目当中一定会存在。因此,我们在做代码瘦身的时候,需要将三方库进行统一,比如说 将图片加载库、网络库、数据库以及其他基础库进行统一,去掉冗余的库。
同时,在选择第三方 SDK 的时候,我们可以将包大小作为选择的指标之一,我们应该 尽可能地选择那些比较小的库来实现相同的功能。例如,对于图片加载功能来说,Picasso、Glide、Fresco 它们都可以实现,但是你引入 Fresco 之后会导致包大小增加很多,而 Picasso 却只增加了不到 100kb,所以引入不同的三方 SDK 对包大小的影响是不一样的。这里,我们可以使用 AS 插件 Android Methods Count,安装之后,它会自动在 build.gradle 文件中显示你引入的三方库的方法数。
最后,如果我们引入三方库的时候,可以 只引入部分需要的代码,而不是将整个包的代码都引入进来。很多库的代码结构都设计的比较好,比如 Fresco,它将图片加载的各个功能,如** webp、gif 功能进行了剥离,它们都处于单个的库当中**。如果我们只需要 Fresco 的 webp 功能,那我们可以将除 webp 之外的别的库都给删掉,这样你引入的三方库就很小了,包大小就降下来了。如下所图所示,我们可以仅仅保留 Fresco 的 webp 功能,其它依赖都可以去掉。
如果你引入的三方库 没有进行过结构剥离,就需要 修改源码,只提取出来你需要的功能即可。
移除无用代码时我们经常会碰到下面两个问题:
这里,有一个很好的方法可以 准确地判断哪些类在线上环境下用户肯定不会用到了。我们可以通过 AOP 的方式来做,对于 Activity 来说,其实非常简单,我们只需要 在每个 Activity 的 onCreate 当中加上统计 即可,然后到了线上之后,如果这个 Activity 被统计了,就说明它还在被使用。而对于那些 不是 Activity 的类,我们可以 利用 AOP 来切它们的构造函数,一个类如果它被使用,那它的构造函数肯定会被调用到。例如,下面就是 使用 AspectJ 对某个包下的类进行构造函数切面 的代码:
@After("execution(org.jay.launchstarter.Task.new(..)")
public void newObject(JoinPoint point) {
LogHelper.i(" new " + point.getTarget().getClass().getSimpleName());
}
其中,new 表示是 切的构造函数,括号中的 … 表示的是 匹配所有构造参数。此外,我们也可以直接使用 coverage 插件 来做 线上无用代码分析,需要注意的是,在注册上报数据的时候记得把服务器名改为自己的。
最后,我们也可以在线下使用 Simian工具 来 扫描出重复的代码。
为了能提供内部类和其外部类直接访问对方的私有成员的能力,又不违反封装性要求,Java 编译器在编译过程中自动生成 package 可见性的静态 access$xxx 方法,并且在需要访问对方私有成员的地方改为调用对应的 access 方法。
主要有 两种方式 避免产生 access 方法:
因为优化效果不是很明显,这里就不多介绍了,具体的实现细节可参见 西瓜视频 apk 瘦身之 Java access 方法删除,此外,在 ReDex 中也提供了 access-marking 这个功能去除代码中的 Access 方法,并且,在 ReDex 还有 type-erasure 的功能,它 与 access-marking 的优化效果一样,不仅能减少包大小,也能提升 App 的启动速度。
如果你想在项目的编译阶段去除 access 方法,这里我更加建议直接使用 ByteX 的 access_inline 插件。除了 access_inlie 之外,在 ByteX 中还有 四个 很实用的代码优化 Gradle 插件可以帮助我们有效减小 Dex 文件的大小,如下所示:
回顾下我们上述使用的各种 Dex 优化方式,其中,不少优化项都使用到了 ReDex。对于 ReDex 来说,目前它提供的比较强大的功能有 五种,分别如下所示:
可以看到,ReDex 的功能非常强大,如果能够深入了解 ReDex 源码中的各个功能模块的实现,你将具有非常强硬的技术资本。
最近,抖音 Android 团队 已经将上述部分模块的实现以 Gradle Transform + ASM 的形式集成进了 ByteX,建议掌握其实现原理后,大家可以直接在这个字节码插件开发平台上开发自己的 Gradle 插件。
最后,还有一些 代码编写方面的优化,如可以在开发过程 尽量减少 enum 的使用,每减少一个 enum 可以减少大约 1.0 到 1.4 KB 的大小。
众所周知,Android 构建工具链中使用了 AAPT 工具来对资源进行处理,Manifest、Resources、Assets 的资源经过相应的 ManifesMerger、ResourcesMerger、AssetsMerger 资源合并器将多个不同 moudule 的资源合并为了 MergedManifest、MergedResources、MergedAssets。然后,它们被 AAPT 处理后生成了 R.java、Proguard Configuration、Compiled Resources。如下图左上方所示:
其中 Proguard Configuration、Compiled Resources 的 作用 如下所示:
${project.buildDir}/${AndroidProject.FD_INTERMEDIATES}/proguard-rules/${flavorName}/${buildType}/aapt_rules.txt
。${project.buildDir}/${AndroidProject.FD_INTERMEDIATES}/res/resources-${flavorName}-${buildType}-stripped.ap_
。在经过 zip 解压之后,可以发现它 包含了res、AndroidManifest.xml和resources.arsc 这三部分。并且,从上面的 APK 构建流程中可以得知,Compiled Resources 会被 apkbuilder 打包到 APK 包中,它其实就是 APK 的资源包。因此,我们可以 通过 Compiled Resources 文件来修改不同后缀文件资源的压缩方式来达到瘦身效果的。但是需要注意的是,resources.arsc 文件最好不要压缩存储,如果压缩会影响一定的性能,尤其是在冷启动时间方面造成的影响。并且,如果在 Android 6.0 上开启了 android:extractNativeLibs=”false” 的话,So 文件也不能被压缩。APK 的资源主要包括图片、XML,与冗余代码一样,它也可能遗留了很多旧版本当中使用而新版本中不使用的资源,这点在快速开发的 App 中更可能出现。我们可以通过点击右键,选中 Refactor,然后点击 Remove Unused Resource => preview 可以预览找到的无用资源,点击 Do Refactor 可以去除冗余资源。如下图所示:
需要注意的,Android Lint 不会分析 assets 文件夹下的资源,因为 assets 文件可以通过文件名直接访问,不需要通过具体的引用,Lint 无法判断资源是否被用到。
resources.arsc 中可能会存在很多 无用的资源映射,我们可以使用 android-arscblamer,它是一个命令行工具,能够 解析 resources.arsc 文件并检查出可以优化的部分,比如一些空的引用。
此外,当我们通过 shrinkResources true 来 开启资源压缩,资源压缩工具只会把无用的资源替换成预定义的版本而不是移除。那么,如何高效地对无用资源自动进行去除呢?
我们可以 在 Android 构建工具执行 package${flavorName}Task 之前通过修改 Compiled Resources 来实现自动去除无用资源,具体的实现原理如下:
通过查看 Zip 格式资源包中每个 ZipEntry 的 CRC-32 checksum 来寻找被替换的预定义资源,预定义资源的 CRC-32 定义在 ResourceUsageAnalyze 中,如下所示:
// A 1x1 pixel PNG of type BufferedImage.TYPE_BYTE_GRAY
public static final long TINY_PNG_CRC = 0x88b2a3b0L;
// A 3x3 pixel PNG of type BufferedImage.TYPE_INT_ARGB with 9-patch markers
public static final long TINY_9PNG_CRC = 0x1148f987L;
// The XML document <x/> as binary-packed with AAPT
public static final long TINY_XML_CRC = 0xd7e65643L;
在大型 App 项目的开发中,一个 App 一般会有多个业务团队进行开发,其中每个业务团队在资源提交时的资源名称可能会有重复的,这将会 引发资源覆盖的问题,因此,每个业务团队都会为自己的 资源文件名添加前缀。这样就导致了这些资源文件虽然 内容相同,但因为 名称的不同而不能被覆盖,最终都会被集成到 APK 包中。这里,我们还是可以 在 Android 构建工具执行 package${flavorName}Task 之前通过修改 Compiled Resources 来实现重复资源的去除,具体放入实现原理可细分为如下三个步骤:
具体的实现代码如下所示:
variantData.outputs.each { def apFile = it.packageAndroidArtifactTask.getResourceFile(); it.packageAndroidArtifactTask.doFirst { def arscFile = new File(apFile.parentFile, "resources.arsc"); JarUtil.extractZipEntry(apFile, "resources.arsc", arscFile); def HashMap<String, ArrayList<DuplicatedEntry>> duplicatedResources = findDuplicatedResources(apFile); removeZipEntry(apFile, "resources.arsc"); if (arscFile.exists()) { FileInputStream arscStream = null; ResourceFile resourceFile = null; try { arscStream = new FileInputStream(arscFile); resourceFile = ResourceFile.fromInputStream(arscStream); List<Chunk> chunks = resourceFile.getChunks(); HashMap<String, String> toBeReplacedResourceMap = new HashMap<String, String>(1024); // 处理arsc并删除重复资源 Iterator<Map.Entry<String, ArrayList<DuplicatedEntry>>> iterator = duplicatedResources.entrySet().iterator(); while (iterator.hasNext()) { Map.Entry<String, ArrayList<DuplicatedEntry>> duplicatedEntry = iterator.next(); // 保留第一个资源,其他资源删除掉 for (def index = 1; index < duplicatedEntry.value.size(); ++index) { removeZipEntry(apFile, duplicatedEntry.value.get(index).name); toBeReplacedResourceMap.put(duplicatedEntry.value.get(index).name, duplicatedEntry.value.get(0).name); } } for (def index = 0; index < chunks.size(); ++index) { Chunk chunk = chunks.get(index); if (chunk instanceof ResourceTableChunk) { ResourceTableChunk resourceTableChunk = (ResourceTableChunk) chunk; StringPoolChunk stringPoolChunk = resourceTableChunk.getStringPool(); for (def i = 0; i < stringPoolChunk.stringCount; ++i) { def key = stringPoolChunk.getString(i); if (toBeReplacedResourceMap.containsKey(key)) { stringPoolChunk.setString(i, toBeReplacedResourceMap.get(key)); } } } } } catch (IOException ignore) { } catch (FileNotFoundException ignore) { } finally { if (arscStream != null) { IOUtils.closeQuietly(arscStream); } arscFile.delete(); arscFile << resourceFile.toByteArray(); addZipEntry(apFile, arscFile); } } } }
然后,我们再看看图片压缩这一项。
一般来说,1000行代码在APK中才会占用 5kb 的空间,而图片呢,一般都有 100kb 左右,所以说,对图片做压缩,它的收益明显是更大的,而往往处于快速开发的 App 没有相关的开发规范,UI 设计师或开发同学如果忘记了添加图片时进行压缩,添加的就是原图,那么包体积肯定会增大很多。对于图片压缩,我们可以在 tinypng 这个网站进行图片压缩,但是如果 App 的图片过多,一个个压缩也是很麻烦的。因此,我们可以 使用 TinyPngPlugin 或 TinyPIC_Gradle_Plugin 来对图片进行自动化批量压缩。但是,需要注意的是,在 Android 的构建流程中,AAPT 会使用内置的压缩算法来优化 res/drawable/ 目录下的 PNG 图片,但这可能会导致本来已经优化过的图片体积变大,因此,可以通过在 build.gradle 中 设置 cruncherEnabled 来禁止 AAPT 来优化 PNG 图片,代码如下所示:
aaptOptions {
cruncherEnabled = false
}
此外,我们还要注意对图片格式的选择,对于我们普遍使用更多的 png 或者是 jpg 格式来说,相同的图片转换为 webp 格式之后会有大幅度的压缩。对于 png 来说,它是一个无损格式,而 jpg 是有损格式。jpg 在处理颜色图片很多时候根据压缩率的不同,它有时候会去掉我们肉眼识别差距比较小的颜色,但是 png 会严格地保留所有的色彩。所以说,在图片尺寸大,或者是色彩鲜艳的时候,png 的体积会明显地大于 jpg。
下面,我们就着重讲解下如何针对性地选择图片格式。
在** Google I/O 2016** 中,讲到了如何选择相应的图片格式。首先,如果能用 VectorDrawable 来表示的话,则优先使用 VectorDrawable;否则,看是否支持 WebP,支持则优先用 WebP;如果也不能使用 WebP,则优先使用 PNG,而 PNG 主要用在展示透明或者简单的图片,对于其它场景可以使用 JPG 格式。简单来说可以归结为如下套路:
VD(纯色icon)->WebP(非纯色icon)->Png(更好效果) ->jpg(若无alpha通道)
用 图形化 的形式如下所示:
使用矢量图片之后,它能够有效的减少应用中图片所占用的大小,矢量图形在 Android 中表示为 VectorDrawable 对象。它 仅仅需100字节的文件即可以生成屏幕大小的清晰图像,但是,Android 系统渲染每个 VectorDrawable 对象需要大量的时间,而较大的图像需要更长的时间。 因此,建议 只有在显示纯色小 icon 时才考虑使用矢量图形。(我们可以利用这个 在线工具 将矢量图转换成 VectorDrawable)。
最后,如果要在项目中使用 VD,则以下几点需要着重注意:
1)、必须通过 app:arcCompat 属性来使用 svg,如果通过 src,则在低版本手机上会出现不兼容的问题。
2)、可能会不兼容selector,在 Activity 中手动兼容即可,兼容代码如下所示:
static { AppCompatDelegate.setCompatVectorFromResourcesEnabled(true) }
3)、不兼容第三方库。
4)、性能问题:当Vector比较简单时,效率肯定比Bitmap高,复杂则效率会不如Bitmap。
5)、不便于管理:建议原则为同目录多类型文件,以前缀区别,不同目录相同类型文件,以意义区分。
与 VD 类似,还有一种矢量图标 iconFont,即 字体图标,图标就在字体文件里面,它看着是个图标,其实却是个文字。它的 优势 有如下三个方面:
它的 缺点 也很明显,大致有如下三个方面:
如果你想要使用 iconfont,可以在阿里的 iconfont 上寻找资源。此外,使用 Android-Iconics 可以在你的应用中便于使用任何的 iconfont 或 .svg 图片作为 drawable。最后,如果我们 仅仅想提取仅需要的美化文字,以压缩 assets 下的字体文件大小,可以使用 FontZip 字体提取工具。
如果不是纯色小 icon 类型的图片,则建议使用 WebP。只要你的 App 的 minSdkVersion 高于 14(Android 4.0+) 即可。WebP 不仅支持透明度,而且压缩率比 JPEG 更高,在相同画质下体积更小。但是,只有 Android 4.2.1+ 才支持显示含透明度的 WebP,此外,它的 兼容性不好,并且不便于预览,需使用浏览器打开。
对于应用之前就存在的图片,我们可以使用 PNG转换WebP 的转换工具来进行转换。但是,一个一个转换开发效率太低,因此我们可以 使用WebpConvert_Gradle_Plugin 这个 gradle 插件去批量进行转换,它的实现原理是 在 mergeXXXResource Task 和 processXXXResource Task 之间插入了一个 WebpConvertPlugin task 去将 png、jpg 图片批量替换成了 webp 图片。
此外,在 Gradle 构建 APK 的过程中,我们可以判断当前 App 的 minSdkVersion 以及图片文件的类型来选用是否能使用 WebP,代码如下所示:
boolean isPNGWebpConvertSupported() { if (!isWebpConvertEnable()) { return false } // Android 4.0+ return GradleUtils.getAndroidExtension(project).defaultConfig.minSdkVersion.apiLevel >= 14 // 4.0 } boolean isTransparencyPNGWebpConvertSupported() { if (!isWebpConvertEnable()) { return false } // Lossless, Transparency, Android 4.2.1+ return GradleUtils.getAndroidExtension(project).defaultConfig.minSdkVersion.apiLevel >= 18 // 4.3 } def convert() { String resPath = "${project.buildDir}/${AndroidProject.FD_INTERMEDIATES}/res/merged/${variant.dirName}" def resDir = new File("${resPath}") resDir.eachDirMatch(~/drawable[a-z0-9-]*/) { dir -> FileTree tree = project.fileTree(dir: dir) tree.filter { File file -> return (isJPGWebpConvertSupported() && (file.name.endsWith(SdkConstants.DOT_JPG) || file.name.endsWith(SdkConstants.DOT_JPEG))) || (isPNGWebpConvertSupported() && file.name.endsWith(SdkConstants.DOT_PNG) && !file.name.endsWith(SdkConstants.DOT_9PNG)) }.each { File file -> def shouldConvert = true if (file.name.endsWith(SdkConstants.DOT_PNG)) { if (!isTransparencyPNGWebpConvertSupported()) { shouldConvert = !Imaging.getImageInfo(file).isTransparent() } } if (shouldConvert) { WebpUtils.encode(project, webpFactorQuality, file.absolutePath, webp) } } } }
最后,这里再补充下在平时项目开发中对 图片放置优化的大概思路,如下所示:
然后,我们来讲解下资源如何进行混淆。
同代码混淆类似,资源混淆将 资源路径混淆成单个资源的路径,这里我们可以使用 AndroidResGuard,它可以使冗余的资源路径变短,例如将 res/drawable/wechat 变为 r/d/a。
下面,我们就使用 AndroidResGuard 来对资源进行混淆。
classpath 'com.tencent.mm:AndResGuard-gradle-plugin:1.2.17'
apply plugin: 'AndResGuard'
andResGuard { // mappingFile = file("./resource_mapping.txt") mappingFile = null use7zip = true useSign = true // 打开这个开关,会keep住所有资源的原始路径,只混淆资源的名字 keepRoot = false // 设置这个值,会把arsc name列混淆成相同的名字,减少string常量池的大小 fixedResName = "arg" // 打开这个开关会合并所有哈希值相同的资源,但请不要过度依赖这个功能去除去冗余资源 mergeDuplicatedRes = true whiteList = [ // for your icon "R.drawable.icon", // for fabric "R.string.com.crashlytics.*", // for google-services "R.string.google_app_id", "R.string.gcm_defaultSenderId", "R.string.default_web_client_id", "R.string.ga_trackingId", "R.string.firebase_database_url", "R.string.google_api_key", "R.string.google_crash_reporting_api_key" ] compressFilePattern = [ "*.png", "*.jpg", "*.jpeg", "*.gif", ] sevenzip { artifact = 'com.tencent.mm:SevenZip:1.2.17' //path = "/usr/local/bin/7za" } /** * 可选: 如果不设置则会默认覆盖assemble输出的apk **/ // finalApkBackupPath = "${project.rootDir}/final.apk" /** * 可选: 指定v1签名时生成jar文件的摘要算法 * 默认值为“SHA-1” **/ // digestalg = "SHA-256" }
APK 生成目录如下:
对于 AndResGuard 工具,主要有 两个功能,一个是 资源混淆,一个是* 资源的极限压缩*。下面,我们就来分别了解下它们的实现原理。
资源混淆工具主要是通过 短路径的优化,以达到 减少 resources.arsc、metadata 签名文件以及 ZIP 文件大小 的效果,其效果分别如下所示:
AndResGuard 使用了 7-Zip 的大字典优化,APK 的 整体压缩率可以提升 3% 左右,并且,它还支持针对 resources.arsc、PNG、JPG 以及 GIF 等文件进行强制压缩(在编译过程中,这些文件默认不会被压缩)。那么,为什么 Android 系统不会去压缩这些文件呢?主要基于以下 两点原因:
然后,我们再看看资源瘦身的其它方案。
我们可以通过内联 R Field 来进一步对代码进行瘦身,此外,它也解决了 R Field 过多导致 MultiDex 65536 的问题。要想实现内联 R Field,我们需要 通过 Javassist 或者 ASM 字节码工具在构建流程中内联 R Field,其代码如下所示:
ctBehaviors.each { CtBehavior ctBehavior -> if (!ctBehavior.isEmpty()) { try { ctBehavior.instrument(new ExprEditor() { @Override public void edit(FieldAccess f) { try { def fieldClassName = JavassistUtils.getClassNameFromCtClass(f.getCtClass()) if (shouldInlineRField(className, fieldClassName) && f.isReader()) { def temp = fieldClassName.substring(fieldClassName.indexOf(ANDROID_RESOURCE_R_FLAG) + ANDROID_RESOURCE_R_FLAG.length()) def fieldName = f.fieldName def key = "${temp}.${fieldName}" if (resourceSymbols.containsKey(key)) { Object obj = resourceSymbols.get(key) try { if (obj instanceof Integer) { int value = ((Integer) obj).intValue() f.replace("\$_=${value};") } else if (obj instanceof Integer[]) { def obj2 = ((Integer[]) obj) StringBuilder stringBuilder = new StringBuilder() for (int index = 0; index < obj2.length; ++index) { stringBuilder.append(obj2[index].intValue()) if (index != obj2.length - 1) { stringBuilder.append(",") } } f.replace("\$_ = new int[]{${stringBuilder.toString()}};") } else { throw new GradleException("Unknown ResourceSymbols Type!") } } catch (NotFoundException e) { throw new GradleException(e.message) } catch (CannotCompileException e) { throw new GradleException(e.message) } } else { throw new GradleException("******** InlineRFieldTask unprocessed ${className}, ${fieldClassName}, ${f.fieldName}, ${key}") } } } catch (NotFoundException e) { } } }) } catch (CannotCompileException e) { } } }
这里,我们可以 直接使用蘑菇街的 ThinRPlugin。它的实现原理为:android 中的 R 文件,除了 styleable 类型外,所有字段都是 int 型变量/常量,且在运行期间都不会改变。所以可以在编译时,记录 R 中所有字段名称及对应值,然后利用 ASM 工具遍历所有 Class,将除 R$styleable.class 以外的所有 R.class 删除掉,并且在引用的地方替换成对应的常量,从而达到缩减包大小和减少 Dex 个数的效果。此外,最近 ByteX 也增加了 shrink_r_class 的 gradle 插件,它不仅可以在编译阶段对 R 文件常量进行内联,而且还可以 针对 App 中无用 Resource 和无用 assets 的资源进行检查。
我们可以把所有的资源文件合并成一个大文件,而 一个大资源文件就相当于换肤方案中的一套皮肤。它的效果 比资源混淆的效果会更好,但是,在此之前,必须要解决 解析资源 与 管理资源 的问题。其相应的解决方案如下所示:
我们需要 根据 App 目前所支持的语言版本去选用合适的语言资源,例如使用了 AppCompat,如果不做任何配置的话,最终 APK 包中会包含 AppCompat 中所有已翻译语言字符串,无论应用的其余部分是否翻译为同一语言。对此,我们可以 通过 resConfig 来配置使用哪些语言,从而让构建工具移除指定语言之外的所有资源。同理,也可以使用 resConfigs 去配置你应用需要的图片资源文件类,如 “xhdpi”、“xxhdpi” 等等,代码如下所示:
android {
...
defaultConfig {
...
resConfigs "zh", "zh-rCN"
resConfigs "nodpi", "hdpi", "xhdpi", "xxhdpi", "xxxhdpi"
}
...
}
此外,我们还以 利用 Density Splits 来选择应用应兼容的屏幕尺寸大小,代码如下所示:
android {
...
splits {
density {
enable true
exclude "ldpi", "tvdpi", "xxxhdpi"
compatibleScreens 'small', 'normal', 'large', 'xlarge'
}
}
...
}
比如说,我们统一只把图片放到 xhdpi 这个目录下,那么 在不同的分辨率下它会做自动的适配,即 等比例地拉伸或者是缩小。
我们可以 将一些图片资源放在服务器,然后 结合图片预加载 的技术手段,这些 既可以满足产品的需要,同时可以减小包大小。
如设定统一的 字体、尺寸、颜色和按钮按压效果、分割线 shape、selector 背景 等等。
对于主要由 C/C++ 实现的 Native Library 而言,常规的优化方式就是 去除 Debug 信息,使用 C++_shared 等等。下面,对于 So 瘦身,我们看看还有哪些方案。
So 是 Android 上的动态链接库,在我们 Android 应用开发过程中,有时候 Java 代码不能满足需求,比如一些 加解密算法或者音视频编解码功能,这个时候就必须要通过 C 或者是 C++ 来实现,之后生成 So 文件提供给 Java 层来调用,在生成 So 文件的时候就需要考虑生成市面上不同手机 CPU 架构的文件。目前,Android 一共 支持7种不同类型的 CPU 架构,比如常见的 armeabi、armeabi-v7a、X86 等等。理论上来说,对应架构的 CPU 它的执行效率是最高的,但是这样会导致 在 lib 目录下会多存放了各个平台架构的 So 文件,所以 App 的体积自然也就更大了。
因此,我们就需要对 lib 目录进行缩减,我们 在 build.gradle 中配置这个 abiFiliters 去设置 App 支持的 So 架构,其配置代码如下所示:
defaultConfig {
ndk {
abiFilters "armeabi"
}
}
一般情况下,应用都不需要用到 neon 指令集,我们只需留下 armeabi 目录就可以了。因为 armeabi 目录下的 So 可以兼容别的平台上的 So,相当于是一个万金油,都可以使用。但是,这样 别的平台使用时性能上就会有所损耗,失去了对特定平台的优化。
上面我们说到了想要完美支持所有类型的设备代价太大,那么,我们能不能采取一个 折中的方案,就是 对于性能敏感的模块,它使用到的 So,我们都放在 armeabi 目录当中随着 Apk 发出去,然后我们在代码中来判断一下当前设备所属的 CPU 类型,根据不同设备 CPU 类型来加载对应架构的 So 文件。这里我们举一个小栗子,比如说我们 armeabi 目录下也加上了 armeabi-v7 对应的 So,然后我们就可以在代码当中做判断,如果你是 armeabi-v7 架构的手机,那我们就直接加载这个 So,以此达到最佳的性能,这样包体积其实也没有增加多少,同时也实现了高性能的目的,比如 微信和腾讯视频 App 里面就使用了这种方式,如下图所示:
看到上图中的 libimagepipeline_x86.so,下面我们就以这个 so 为例来写写加载它的伪代码,如下所示:
String abi = "";
// 获取当前手机的CPU架构类型
if (Build.VERSION.SDK_INT < Build.VERSION_CODES.LOLLIPOP) {
abi = Buildl.CPU_ABI;
} else {
abi = Build.SUPPORTED_ABIS[0];
}
if (TextUtils.equals(abi, "x86")) {
// 加载特定平台的So
} else {
// 正常加载
}
接下来,我们再了解下 So 优化当中别的优化方式。
Native Library 同 Dex 一样,也可以使用 XZ Utils 进行压缩,对于 Native Library 的压缩,我们 只需要去加载启动过程相关的 Library,而其它的都可以在应用首次启动时进行解压,并且,压缩效果与 Dex 压缩的效果是相似的。
此外,关于 Nativie Library 压缩之后的解压,我们也可以使用 Facebook 的 so 加载库 SoLoader,它 能够解压应用的 Native Library 并能递归地加载在 Android 平台上不支持的依赖项。由于这套方案对启动时间的影响比较大,所以先把它压箱底下吧。
在 Android 4.3(API 17) 之前,单个进程加载的 SO 数量是有限制的,在 Google 的 linker.cpp 源码中有很明显的定义,如下图所示:
为了解决这个问题,FaceBook 写了一个 合并Native Library的demo,我们可以 按照自身 App 的 so 情况来配置需要合并哪些对象。由于合并共享对象(即 .so 文件)在原先的构建流程中是无法实现的,因此 FaceBook 更改了链接库的方式,并把它集成到了构建系统 Buck 中。该功能允许每个应用程序指定应合并的 .so 库,从而避免意外引入不必要的依赖关系。然后,Buck 负责为每个合并的 .so 库收集所有对象(文件),并将它们与适当的依赖项链接在一起。
我们可以去 分析代码中的 JNI 方法以及不同 Library 库的方法调用,然后找出无用的 symbol 并删除,这样 Linker 在编译的时候也会把 symbol 对应的无用代码给删除。在 Buck 有 NativeRelinker 这个类,它就实现了这个功能,其 类似于 Native Library 的 ProGuard Shrinking 功能。
至此,可以看到,FaceBook 出品的 Buck 同 ReDex 一样,里面的功能都十分强大,Buck 除了实现 Library Merge 和 Relinker 功能之外,还实现了三大功能,如下所示:
如果有相应需求或对 Buck 感兴趣的同学可以去看看它们的实现源码。
我们可以 将部分 So 文件使用动态下发的形式进行加载。也就是在业务代码操作之前,我们可以先从服务器下载下来 So,接下来再使用,这样包体积肯定会减少不小。但是,如果要把这项技术 稳定落地到实际生产项目中需要解决一些问题,具体的 so 动态化关键技术点和需要避免的坑可以参见 动态下发 so 库在 Android APK 安装包瘦身方面的应用
,这里就不多赘述了。
我们可以使用插件化的手段 对代码结构进行调整,如果我们 App 当中的每一个功能都是一个插件,并且都是可以从服务器下发下来的,那 App 的包体积肯定会小很多。插件化相关的知识非常多而且不属于我们的重点,并且,插件化严格来说属于 基础架构研发 这块的知识,掌握它是成为 Android 架构师的必经之路,关于 Android 架构师的学习路线 可以参考 Awesome-Android-Architecture,预计今年会完成部分学习内容,尽情期待。
我们需要 回顾过去的业务,合理地去 评估并删除无用或者低价值的业务。
如果所有的功能都不能移除,那就可能需要去转变开发模式,比如可以更多地 采用 H5、小程序 这样开发模式。
对于应用包体积的监控,也应该和内存监控一样,去作为正式版本的发布流程中的一环,并且应该 尽量地去实现自动化与平台化。(这里建议 任何大于 100kb 的功能都需要审批,特别是需要引入第三方库时,更应该慎重)
包体积的监控,主要可以从如下 三个纬度 来进行:
包体积的 大小监控 和 依赖监控 都很容易实现,而要实现 规则监控 却得花不少功夫,幸运的是 Matrix 中的 ApkChecker 就实现了包体积的规则监控,其 使用文档与实现原理 微信团队已经写得很清楚了,这里就不再一一赘述,有兴趣的同学可以去研究下。
瘦身优化是性能优化当中不那么重要的一个分支,不过对于处于稳定运营期的产品会比较有帮助。下面我们就来看看对于瘦身优化有哪些常见问题。
我们在回答的时候要注意一些 可操作的干货,同时注意结合你的 项目周期。主要可以从以下 三点 来回答:
在项目初期,我们一直在不断地加功能,加入了很多的代码、资源,同时呢,也没有相应的规范,所以说,UI 同学给我们很多 UI 图的时候,都是没有经过压缩的图片,长期累积就会导致我们的包体积越来越大。到了项目稳定期的时候,我们对各种运营数据进行考核,发现 APK 的包大小影响了用户下载的意愿,于是我们就着手做包体积的优化,我们采用的是 Android Studio 自带的 Analyze APK 来做的包体积分析,主要就是做了代码、资源、So 等三个方面的重点优化。
首先,针对于代码瘦身,第一点,我们首先 使用 Proguard 工具进行了混淆,它将程序代码转换为功能相同,但是不容易理解的形式。比如说将一个很长的类转换为字母 a,同时,这样做还有一个好处,就是让代码更加安全了。第二点呢,我们将项目中使用到的一些 第三方库进行了统一,比如说图片库、网络库、数据库等,不允许项目中出现功能相同,但是却实现不一样的库。同时也做了 规范,之后引入的三方库,需要去考量它的大小、方法数等,而且呢,如果只是需要一个很大库的一个小功能,那我们就修改源码,只引入部分代码即可。第三点,我们将项目中的 无用代码进行了删减,我们使用了 AOP 的方式统计到了哪些 Activity 以及 fragment 在真实的场景下没有用户使用,这样你就可以删除掉了。对于那些不是 Activity 或者是 Fragment 的类,我们切了很多类的构造函数,这样你就可以统计出来这些类在线上有没有真正被调用到。但是,对于代码的瘦身效果,实际上不是很明显。
接下来,我们做了资源的瘦身。首先,我们 移除了项目当中冗余的资源文件,这一点在项目当中一定会遇到。然后,我们做了 资源图片的压缩,UI 同学给我们资源图片的时候,需要确认已经是压缩过的图片,同时,我们还会做一个 兜底策略,在打包的时候,如果图片没有被压缩过,那我们就会再来压缩一遍,这个效果就非常的明显。对于资源,我们还做了 资源的混淆,也就是将冗余的资源名称换成简短的名字,资源压缩的效果要比代码瘦身的效果要好的多。
最后,我们做了 So 的瘦身。首先,我们只保留了 armeabi 这个目录,它可以 兼容别的 CPU 架构,这点的优化效果非常的明显。移除了对别的架构适配 So 之后,我们还做了另外一个处理,对于项目当中使用到的视频模块的 So,它对性能要求非常高,所以我们采用了另外一种方式,我们将所有这个模块下的 So 都放到了 armeabi 这个目录下,然后在代码中做判断,如果是别的 CPU 架构,那我们就加载对应 CPU 架构的 So 文件即可。这样即减少了包体积,同时又达到了性能最佳。最后,通过实践可以看出 So瘦身的效果一般是最好的。
主要可以从以下 两个方面 来进行回答:
在大型项目中,最好的方式就是 结合 CI,每个开发同学 在往主干合入代码的时候需要经过一次预编译,这个预编译出来的包对比主干打出来的包大小,如果超过阈值则不允许合入,需要提交代码的同学自己去优化去提交的代码。此外,针对项目的 架构,我们可以做 插件化的改造,将每一个功能模块都改造成插件,以插件的形式来支持动态下发,这样应用的包体积就可以从根本上变小了。
在本篇文章中,我们主要从以下 七个方面 讲解了 Android 包体积优化相关的知识:
如果要想对包体积做更深入的优化,我们就必须对 APK 组成,Dex、So 动态库以及 Resource 文件格式,还有 APK 的编译流程 有深入地了解,这样我们才能有 足够的内功素养 去实现包体积的深度优化。此外,在做性能优化过程中,为了提升研发效率,降低研发成本,我渐渐发现 AOP 编译插桩、Gradle 自动化构建 的知识越来越重要;并且,一旦涉及 Native 层甚至 Android 内核层的深度优化时,就越发感觉到功力不足。因此,为了 补充深度优化所需的养分,从下篇开始,笔者将暂停更新 深入探索 Android 性能优化系列文章。下篇文章,笔者的分享将会从先从 编译插桩 相关的知识开始,敬请期待~
1、Top团队大牛带你玩转Android性能分析与优化 第10章 App瘦身优化
3、《Android性能优化最佳实践》第七章 安装包大小优化
5、Android SVG to VectorDrawable
8、FontZip
10、iconfont
13、我是如何通过 nimbledroid 做android app性能优化的
14、Apktool Install Instructions
15、nimbledroid
19、写入放大
22、Comparison of ProGuard vs. R8: October 2019 edition
23、支付宝 App 构建优化解析:Android 包大小极致压缩
24、Redex
25、Redex 初探与 Interdex:Andorid 冷启动优化
28、CrossDexRefMinimizer.cpp 跨dex调用优化
29、我是如何通过 nimbledroid 做android app性能优化的
30、XZ Embedded
31、oatmeal
32、SoLoader
33、buck
34、android-native-library-merging-demo
35、Redex优化demo
40、AndResGuard
42、西瓜视频apk瘦身之 Java access 方法删除
43、动态下发 so 库在 Android APK 安装包瘦身方面的应用
现如今,Android 行业人才已逐渐饱和化,但高级人才依旧很稀缺,我们经常遇到的情况是,100份简历里只有2、3个比较合适的候选人,大部分的人都是疲于业务,没有花时间来好好学习,或是完全不知道学什么来提高自己的技术。对于 Android 开发者来说,尽早建立起一个完整的 Android 知识框架,了解目前大厂高频出现的常考知识点,掌握面试技巧,是一件非常需要重视的事情。
去年,为了进入一线大厂去做更有挑战的事情,拿到更高的薪资,我提前准备了半年的时间,沉淀了一份 「两年磨一剑」 的体系化精品面试题,而后的半年,我都在不断地进行面试,总共面试了二三十家公司,每一场面试完之后,我都将对应的面试题和详细的答案进行了系统化的总结,并更新到了我的面试项目里,现在,在每一个模块之下,我都已经精心整理出了 超高频和高频的常考 知识点。
在我近一年的大厂实战面试复盘中逐渐对原本的内容进行了大幅度的优化,并且新增了很多新的内容。它可以说是一线互联网大厂的面试精华总结,同时后续还会包含如何写简历和面试技巧的内容,能够帮你省时省力地准备面试,大大降低找到一个好工作的难度。
这份面试项目不同于我 Github 上的 Awesome-Android-Interview 面试项目:https://github.com/JsonChao/Awesome-Android-Interview,Awesome-Android-Interview 已经在 2 年前(2020年 10 月停止更新),内容稍显陈旧,里面也有不少点表述不严谨,总体含金量较低。而我今天要分享的这份面试题库,是我在这两年持续总结、细化、沉淀出来的体系化精品面试题,里面很多的核心题答案在面试的压力下,经过了反复的校正与升华,含金量极高。
在分享之前,有一点要注意的是,一定不要将资料泄露出去!细想一下就明白了:
1、如果暴露出去,拿到手的人比你更快掌握,更早进入大厂,拿到高薪,你进大厂的机会就会变小,毕竟现在好公司就那么多,一个萝卜一个坑。
2、两年前我公开分享的简陋版 Awesome-Android-Interview 面试题库现在还在被各个培训机构当做引流资料,加大了现在 Android 内卷。。
所以,这一点一定要切记。
现在,我已经在我的成长社群里修订好了 《体系化高频核心 Android 面试题库》 中的 ”计算机基础高频核心面试题“ 和 ”Java 和 kotlin 高频核心面试题“ 部分,后续还会为你带来我核心题库中的:
获取方法:扫描下方的二维码。
出 身 普 通 的 人 , 如 何 真 正 改 变 命 运 ? \color{#FF0000}{出身普通的人,如何真正改变命运?} 出身普通的人,如何真正改变命运?
这是我过去五、六年一直研究的命题。首先,是为自己研究,因为我是从小城镇出来的,通过持续不断地逆袭立足深圳。越是出身普通的人,就越需要有耐心,去进行系统性地全面提升,这方面,我有非常丰富的实践经验和方法论。因此,我开启了 “JsonChao” 的成长社群,希望和你一起完成系统性地蜕变。
365元每年
每天一元,给自己的成长持续加油
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。