Android逆向- DEX文件格式

2019-09-26

之前的笔记搬运

Dex文件格式

格式总览

Dex、Class文件格式区别：
    一个Class文件对应一个Java源码文件，一个Dex文件对应多个Java源码文件；
    字节序不一样-- Class文件采用 Big Endian（Java）、Dex文件采用 Little Endian（Android）；
    Dex新增 LEB128数据类型（Little Endian Based 128），唯一功能是表示32比特位长度的数据（可减少空间）；
    Dex的使用信息描述规则和Class的使用规则大体类似，只在某些具体细节上略有不同        

数据类型描述（Type Descriptor）：
    用字符串表示不同的数据类型，格式同Class文件

简短描述（Shorty Descriptor）：
    Dex中用来描述函数的参数和返回值信息，类似Class文件的 MethodDescriptor

    ShortyDescriptor的描述规则：（()表示一个Group，*  表示Group可有 0 到多个）
        ShortyDescriptor -> ShortyReturnType (ShortyFieldType)*
    ShortyReturnType的描述规则：
        ShortyReturnType -> 'V' | ShortyFieldType
    ShortyFieldType的描述规则：（引用类型统一用 L 表示）
        ShortyFieldType -> Z | B | S | C | I | J | F | D | L

Dex格式概貌

如下图：

header：Dex文件头，类型为 header_item
string_ids：数组，元素类型为 string_id_item，存储字符串相关信息
type_ids：数组，元素类型为 type_id_item，存储类型相关信息（TypeDescriptor）
proto_ids：数组，元素类型为 proto_id_item，描述成员函数的参数、返回值类型（包含ShortyDescriptor信息）
field_ids：数组，元素类型为 field_id_item，存储成员变量信息，变量名、类型等
method_ids：数组，元素类型为 method_id_item，存储成员函数信息，函数名、参数、返回值类型等
class_defs：数组，元素类型为 class_def_item，存储类信息
data：Dex文件重要的数据内容都在data 区域里，一些数据结构等
link_data：预留区域，无特别作用

文件头 header对解析Dex文件至关重要
data 区域存储了绝大部分内容，data 的解析依赖于 header和相关数据项

header_item

伪代码：

struct header_item {
    ubyte[] magic = new ubyte[8]; //取值必须是字符串“dex\n035\0”，或者byte数组{0x64 0x65 0x78 0x0a 0x30 0x33 0x35 0x00}
    uint checksum; //文件内容校验和，不包括 magic 和 checksum，检查文件是否损坏
    ubyte[] signature = new ubyte[20]; //签名信息，不包括 magic、checksum、signature，检查文件是否被篡改
    uint file_size; //整个文件长度，字节，包括所有内容
    uint header_size; //默认是 0x70字节
    uint endian_tag; //文件内容的字节序，默认为 0x12345678（Little Endian），Big Endian：0x78563412
    uint link_size;     uint link_off;
    ...
}

xxx_id_item

1	id 区存储着字符串，type，prototype，field， method 资源的真正数据在文件中的偏移量，我们可以根据 id 区的偏移量去找到该 id 对应的真实数据。

string_id_item

名称	格式	说明
string_data_off	uint	从文件开头到此项的字符串数据的偏移量。该偏移量应该是到 `data` 区段中某个位置的偏移量，而数据应采用下文中“`string_data_item`”指定的格式。没有偏移量对齐要求。

string_data_item

名称	格式	说明
utf16_size	uleb128	此字符串的大小；以 UTF-16 代码单元（在许多系统中为“字符串长度”）为单位。也就是说，这是该字符串的解码长度（编码长度隐含在 `0` 字节的位置）。
data	ubyte[]	一系列 MUTF-8 代码单元（又称八位字节），后跟一个值为 `0` 的字节。请参阅上文中的“MUTF-8（修改后的 UTF-8）编码”，了解有关该数据格式的详情和讨论。注意：将 Unicode 常规地编码为 UTF-16 时，字符串可以包含（编码形式的）UTF-16 代理代码单元（即 `U+d800`…`U+dfff`），这些代码单元既可以单独出现，也可以乱序显示。在适用的情况下，可以进阶使用字符串来拒绝这类无效编码。

type_id_item

名称	格式	说明
descriptor_idx	uint	此类描述符字符串的 `string_ids` 列表中的索引。该字符串必须符合上文定义的 TypeDescriptor 的语法。

proto_id_item

名称	格式	说明
shorty_idx	uint	此原型的简短式描述符字符串的 `string_ids` 列表中的索引。该字符串必须符合上文定义的 ShortyDescriptor 的语法，而且必须与该项的返回类型和参数相对应。
return_type_idx	uint	此原型的返回类型的 `type_ids` 列表中的索引。
parameters_off	uint	从文件开头到此原型的参数类型列表的偏移量；如果此原型没有参数，则该值为 `0`。该偏移量（如果为非零值）应该位于 `data` 区段中，且其中的数据应采用下文中“`"type_list"`”指定的格式。此外，不得对列表中的类型 `void` 进行任何引用。

field_id_item

名称	格式	说明
class_idx	ushort	此字段的定义符的 `type_ids` 列表中的索引。此项必须是“类”类型，而不能是“数组”或“基元”类型。
type_idx	ushort	此字段的类型的 `type_ids` 列表中的索引。
name_idx	uint	此字段的名称的 `string_ids` 列表中的索引。该字符串必须符合上文定义的 MemberName 的语法。

method_id_item

名称	格式	说明
class_idx	ushort	此方法的定义符的 `type_ids` 列表中的索引。此项必须是“类”或“数组”类型，而不能是“基元”类型。
proto_idx	ushort	此方法的原型的 `proto_ids` 列表中的索引。
name_idx	uint	此方法名称的 `string_ids` 列表中的索引。该字符串必须符合上文定义的 MemberName 的语法。

class_def

类信息的伪代码：

struct class_def {
    uint class_idx;     //指向 type_ids，代表本类的类型，通过它可找到代表类类名的字符串，也叫符号引用（Symbol Reference）
    uint access_flags;  //访问标志，如：private等
    uint superclass_idx;//指向 type_ids，代表基类类型，若无基类则值为 NO_INDEX -1，父类类名
    uint interfaces_off;//指向文件对应位置，那里存储一个 type_list，该数组元素（type_item）存储了每个接口的type_idx索引，通过type_item的type_idx可找到接口类名
    uint source_file_idx;//指向 string_ids，源文件名
    uint annotations_off;//注解有关的信息
    uint class_data_off;    //指向文件对应位置， 存储细节信息，class_data_item类型，包含这个类的成员变量和成员函数信息
    uint static_values_off; //存储初始化类的静态变量的值，默认为0或null， encoded_array_item
}

类的成员变量、成员函数等信息通过 class_data_off 域指向 class_data_item结构体描述
class_data_item结构体：
    direct_methods数组和virtual_methods数组代表该类定义的方法以及它继承或实现的方法
    direct_methods包含该类中所有 static、private函数以及构造函数
    virtual_methods包含该类中除static、final以及构造函数之外的函数，不包括从父类继承的函数（若类中未重载）
    static_fields和instance_fields代表静态成员以及非静态成员
    encoded_field结构体：
        field_idx_diff 索引值的偏移量，通过它能找到成员变量的变量名、数据类型、所在类的类名
    encoded_method结构体：
        method_idx_diff 索引值的偏移量，通过它能找到成员函数的函数名、函数签名、所在类的类名
        code_off 指向该成员方法对应的dex指令码内容

code_item

数据结构伪代码：

    struct code_item {
        ushort registers_size;  //此函数需要用到的寄存器个数
        ushort ins_size;        //输入参数所占空间，以双字节为单位
        ushort outs_size;       //函数内部调用其他函数时，所需参数占用的空间，以双字节为单位
        ushort tries_size;      //try语句相关，为0时 不包含tries数组
        uint    debug_info_off;
        uint    insns_size;     //指令码数组长度，ushort 2个字节长度
        ushort[] insns;         //指令码内容，Dex中指令码2个字节，class中1个字节
        ushort   padding;       //将tries数组4字节对齐（前提：insns_size为奇数）
        try_item[] tries;       //描述try语句相关信息
        encoded_catch_handler_list handlers;//catch语句对应的内容
    }

//code_item 和 Class文件中的 Code 属性类似