CRC校验算法及逆向方法初探
本帖最后由 kabeo 于 2018-8-23 10:03 编辑这里说的逆向是CTF逆向，这篇文章是我对CRC逆向算法的一个浅显的总结，如有不足，请多担待。
**竟然加精了，鸡冻，感谢各位大佬支持**
# 如有转载，请注明出处，博客地址： https://kabeor.cn
## 循环冗余校验（Cyclic redundancy check）介绍
> 循环冗余校验（英语：Cyclic redundancy check，通称“CRC”）是一种根据网络数据包或计算机文件等数据产生简短固定位数校验码的一种散列函数，主要用来检测或校验数据传输或者保存后可能出现的错误。生成的数字在传输或者存储之前计算出来并且附加到数据后面，然后接收方进行检验确定数据是否发生变化。 --维基百科(https://zh.wikipedia.org/wiki/%E5%BE%AA%E7%92%B0%E5%86%97%E9%A4%98%E6%A0%A1%E9%A9%97)
## **CRC校验计算步骤**
1. 选择一个生成多项式G(x)。
2. 假设该生成多项式G(x)的二进制数有k位，在发送的数据帧B(x)(设为m位)后加k-1个0，得到新二进制串H(x)，H(x)位数应该为m+k-1。
3. H(x)“模2除法”除以G(x)，所得到的余数(记为F(x))就是原数据帧的CRC校验码，又称FCS(帧校验序列)。注意，F(x)的位数只能比G(x)少一位，0不能省略。
4. 将F(x)附加到B(x)后面，组成新帧N(x),然后发送到接收端。
5. 接收端将N(x)以“模2除法”除以G(x)，如果没有余数，则表明没有出错(因为在发送端发送数据帧之前就已附加了一个数,做了去余处理(也就已经能整除了),所以结果应该没有余数。如果有余数,则表明该帧在传输过程中出现了差错)。
来看一些关键点
> 1. **生成多项式**
当进行CRC检验时，发送方与接收方需要事先约定一个除数，即生成多项式，一般记作G(x)。生成多项式的最高位与最低位必须是1。
常见CRC标准如下
逆向中常见的是
CRC16：
CRC32：
生成多项式中幂代表在二进制串中该位为1，注意1是x的0次方，二进制串第一位的幂是0
因此CRC16的二进制串转换为HEX为 `0x1 1021` ，
CRC32 HEX为 `0x1 04C11DB7`(另一个CRC32: `1 1110 1101 1011 1000 1000 0011 0010 0000 = 0x1 EDB8 8320`)。**计算CRC X，就取后X位，如CRC16取后16位，则0x1 1021变为0x1021**。
这些数值也可以在逆向过程中作为特征，让我们快速识别算法，至于魔改大多数也是从这些数值下手，后面会详细说。
>2. **模2除法**
模2除法与算术除法类似,但它既不向上位借位也不比较除数和被除数的相同位数值的大小,只以相同位数进行相除。
模2加法运算为:1+1=0,0+1=1,0+0=0,无进位,也无借位。
模2减法运算为:1-1=0,0-1=1,1-0=1,0-0=0,也无进位,无借位。
> 过程图示
## CRC16校验C++实现
```
int main()
{
unsigned int crc = 'a';//计算字符a的crc16校验码
//右移8位，和手动计算一样，左移相当于补0，这里相当于直接补了8个0，开始计算。
crc <<= 8; //<<= 相当余 crc=crc<<8;
//计算8次。
for (int i = 0; i < 8; i++)
{
//如果最高位是1的话需要计算，如果不是直接左移。（左移的操作可以想象成补0)
if ((crc & 0x8000) != 0)
{
crc <<= 1;
crc = crc ^ 0x1021;//这个说明用的是 CRC16 x16+x12+x5+1.
}
else
{
crc <<= 1;
}
}
//取后16位，如果用的是crc使用的是unsigned short 就不需要这一步了。
crc = crc & 0xffff;
//输出。
std::cout << crc << std::endl;
}
```
## CRC32生成表算法C实现
```
#include <stdio.h>
#include <stdlib.h>
#include <stdint.h>
static uint32_t table;
//位逆转
static uint32_t bitrev(uint32_t input, int bw)
{
int i;
uint32_t var;
var = 0;
for(i=0; i<bw; i++)
{
if(input & 0x01)
{
var |= 1<<(bw - 1 - i);
}
input >>= 1;
}
return var;
}
//码表生成
void crc32_init(uint32_t poly)
{
int i;
int j;
uint32_t c;
poly = bitrev(poly, 32);
for(i=0; i<256; i++)
{
c = i;
for (j=0; j<8; j++)
{
c = (c & 1) ? (poly ^ (c >> 1)) : (c >> 1);
}
table = c;
}
}
//计算CRC
uint32_t crc32(uint32_t crc, void* input, int len)
{
int i;
uint8_t index;
uint8_t *p;
p = (uint8_t*)input;
for(i=0; i<len; i++)
{
index = (*p ^ crc);
crc = (crc >> 8) ^ table;
p++;
}
return crc;
}
//测试用例
void main(void)
{
uint32_t crc;
crc32_init(0x4C11DB7);
crc = crc32(0xFFFFFFFF, "1234567890", 10);
printf("CRC32 = 0x%08X\n", crc ^ 0xFFFFFFFF);
system("pause");
```
## CRC查表法
查表法是将移位异或的计算结果做成了一个表，就是将0~256放入一个长度为16位的寄存器中的低八位，高八位填充0，然后将该寄存器与生成多项式按照把CRC寄存器的内容右移一位（朝低位）用0填补最高位，并检查右移后的移出位；如果移出位为0：再次右移一位；如果移出位为1，CRC寄存器与多项式进行异或，直到八位全部移出，最后寄存器中的值就是表格中的数据，高八位、低八位分别单独一个表。
CRC32数据表生成
```
int make_crc32_table()
{
unsigned c;
int i = 0;
int bit = 0;
for(i = 0; i < 256; i++)
{
c= (unsigned)i;
for(bit = 0; bit < 8; bit++)
{
if(c&1)
{
c = (c >> 1)^(0xEDB88320);//生成多项式，如果动态生成这张CRC32表，则必定会有这个数
}
else
{
c =c >> 1;
}
}
crc32_table = c;
}
}//这个算法，会产生包含有256个元素的CRC32表
```
逆向时若是动态生成表，则应留意生成多项式，若是静态表，则会在数据段留下整个表
常用表如下
```
CRC-16 Table
00h 0000 C0C1 C181 0140 C301 03C0 0280 C241
08h C601 06C0 0780 C741 0500 C5C1 C481 0440
10h CC01 0CC0 0D80 CD41 0F00 CFC1 CE81 0E40
18h 0A00 CAC1 CB81 0B40 C901 09C0 0880 C841
20h D801 18C0 1980 D941 1B00 DBC1 DA81 1A40
28h 1E00 DEC1 DF81 1F40 DD01 1DC0 1C80 DC41
30h 1400 D4C1 D581 1540 D701 17C0 1680 D641
38h D201 12C0 1380 D341 1100 D1C1 D081 1040
40h F001 30C0 3180 F141 3300 F3C1 F281 3240
48h 3600 F6C1 F781 3740 F501 35C0 3480 F441
50h 3C00 FCC1 FD81 3D40 FF01 3FC0 3E80 FE41
58h FA01 3AC0 3B80 FB41 3900 F9C1 F881 3840
60h 2800 E8C1 E981 2940 EB01 2BC0 2A80 EA41
68h EE01 2EC0 2F80 EF41 2D00 EDC1 EC81 2C40
70h E401 24C0 2580 E541 2700 E7C1 E681 2640
78h 2200 E2C1 E381 2340 E101 21C0 2080 E041
80h A001 60C0 6180 A141 6300 A3C1 A281 6240
88h 6600 A6C1 A781 6740 A501 65C0 6480 A441
90h 6C00 ACC1 AD81 6D40 AF01 6FC0 6E80 AE41
98h AA01 6AC0 6B80 AB41 6900 A9C1 A881 6840
A0h 7800 B8C1 B981 7940 BB01 7BC0 7A80 BA41
A8h BE01 7EC0 7F80 BF41 7D00 BDC1 BC81 7C40
B0h B401 74C0 7580 B541 7700 B7C1 B681 7640
B8h 7200 B2C1 B381 7340 B101 71C0 7080 B041
C0h 5000 90C1 9181 5140 9301 53C0 5280 9241
C8h 9601 56C0 5780 9741 5500 95C1 9481 5440
D0h 9C01 5CC0 5D80 9D41 5F00 9FC1 9E81 5E40
D8h 5A00 9AC1 9B81 5B40 9901 59C0 5880 9841
E0h 8801 48C0 4980 8941 4B00 8BC1 8A81 4A40
E8h 4E00 8EC1 8F81 4F40 8D01 4DC0 4C80 8C41
F0h 4400 84C1 8581 4540 8701 47C0 4680 8641
F8h 8201 42C0 4380 8341 4100 81C1 8081 4040
```
```
CRC-32 Table
00h 00000000 77073096 EE0E612C 990951BA
04h 076DC419 706AF48F E963A535 9E6495A3
08h 0EDB8832 79DCB8A4 E0D5E91E 97D2D988
0Ch 09B64C2B 7EB17CBD E7B82D07 90BF1D91
10h 1DB71064 6AB020F2 F3B97148 84BE41DE
14h 1ADAD47D 6DDDE4EB F4D4B551 83D385C7
18h 136C9856 646BA8C0 FD62F97A 8A65C9EC
1Ch 14015C4F 63066CD9 FA0F3D63 8D080DF5
20h 3B6E20C8 4C69105E D56041E4 A2677172
24h 3C03E4D1 4B04D447 D20D85FD A50AB56B
28h 35B5A8FA 42B2986C DBBBC9D6 ACBCF940
2Ch 32D86CE3 45DF5C75 DCD60DCF ABD13D59
30h 26D930AC 51DE003A C8D75180 BFD06116
34h 21B4F4B5 56B3C423 CFBA9599 B8BDA50F
38h 2802B89E 5F058808 C60CD9B2 B10BE924
3Ch 2F6F7C87 58684C11 C1611DAB B6662D3D
40h 76DC4190 01DB7106 98D220BC EFD5102A
44h 71B18589 06B6B51F 9FBFE4A5 E8B8D433
48h 7807C9A2 0F00F934 9609A88E E10E9818
4Ch 7F6A0DBB 086D3D2D 91646C97 E6635C01
50h 6B6B51F4 1C6C6162 856530D8 F262004E
54h 6C0695ED 1B01A57B 8208F4C1 F50FC457
58h 65B0D9C6 12B7E950 8BBEB8EA FCB9887C
5Ch 62DD1DDF 15DA2D49 8CD37CF3 FBD44C65
60h 4DB26158 3AB551CE A3BC0074 D4BB30E2
64h 4ADFA541 3DD895D7 A4D1C46D D3D6F4FB
68h 4369E96A 346ED9FC AD678846 DA60B8D0
6Ch 44042D73 33031DE5 AA0A4C5F DD0D7CC9
70h 5005713C 270241AA BE0B1010 C90C2086
74h 5768B525 206F85B3 B966D409 CE61E49F
78h 5EDEF90E 29D9C998 B0D09822 C7D7A8B4
7Ch 59B33D17 2EB40D81 B7BD5C3B C0BA6CAD
80h EDB88320 9ABFB3B6 03B6E20C 74B1D29A
84h EAD54739 9DD277AF 04DB2615 73DC1683
88h E3630B12 94643B84 0D6D6A3E 7A6A5AA8
8Ch E40ECF0B 9309FF9D 0A00AE27 7D079EB1
90h F00F9344 8708A3D2 1E01F268 6906C2FE
94h F762575D 806567CB 196C3671 6E6B06E7
98h FED41B76 89D32BE0 10DA7A5A 67DD4ACC
9Ch F9B9DF6F 8EBEEFF9 17B7BE43 60B08ED5
A0h D6D6A3E8 A1D1937E 38D8C2C4 4FDFF252
A4h D1BB67F1 A6BC5767 3FB506DD 48B2364B
A8h D80D2BDA AF0A1B4C 36034AF6 41047A60
ACh DF60EFC3 A867DF55 316E8EEF 4669BE79
B0h CB61B38C BC66831A 256FD2A0 5268E236
B4h CC0C7795 BB0B4703 220216B9 5505262F
B8h C5BA3BBE B2BD0B28 2BB45A92 5CB36A04
BCh C2D7FFA7 B5D0CF31 2CD99E8B 5BDEAE1D
C0h 9B64C2B0 EC63F226 756AA39C 026D930A
C4h 9C0906A9 EB0E363F 72076785 05005713
C8h 95BF4A82 E2B87A14 7BB12BAE 0CB61B38
CCh 92D28E9B E5D5BE0D 7CDCEFB7 0BDBDF21
D0h 86D3D2D4 F1D4E242 68DDB3F8 1FDA836E
D4h 81BE16CD F6B9265B 6FB077E1 18B74777
D8h 88085AE6 FF0F6A70 66063BCA 11010B5C
DCh 8F659EFF F862AE69 616BFFD3 166CCF45
E0h A00AE278 D70DD2EE 4E048354 3903B3C2
E4h A7672661 D06016F7 4969474D 3E6E77DB
E8h AED16A4A D9D65ADC 40DF0B66 37D83BF0
ECh A9BCAE53 DEBB9EC5 47B2CF7F 30B5FFE9
F0h BDBDF21C CABAC28A 53B39330 24B4A3A6
F4h BAD03605 CDD70693 54DE5729 23D967BF
F8h B3667A2E C4614AB8 5D681B02 2A6F2B94
FCh B40BBE37 C30C8EA1 5A05DF1B 2D02EF8D
```
## CRC32逆向实例分析
要求输入name和code，拖入IDA查看
查找字符串，来到算法位置
name存放到v3，code存放到v8
首先要求name字符数大于等于5
sub_402F1C将DiKeN附加到输入的name前
sub_402ED0计算拼接后字符串长度
sub_403DF0是CRC32计算部分
table如下
可以看到与CRC32相同，由此确定为CRC32加密
code部分则是将字符0加到code前，然后将其每个字符-30h，转换为数字，最后name与code异或校验。
这里着重谈逆向时的要点，具体分析请参考这篇文章 https://bbs.ichunqiu.com/thread-30717-1-1.html
## 魔改CRC分析方法
首先还是要对标准CRC算法有一些了解。
能够修改的部分其实很少，感觉一般会修改生成多项式或修改数据表
1. 对于修改生成多项式，我们需要自己生成数据表，参照脚本如下
```
int make_crc32_table()
{
unsigned c;
int i = 0;
int bit = 0;
for(i = 0; i < 256; i++)
{
c= (unsigned)i;
for(bit = 0; bit < 8; bit++)
{
if(c&1)
{
c = (c >> 1)^(0xEDB88320);//生成多项式自行修改
}
else
{
c =c >> 1;
}
}
crc32_table = c;
}
}
```
2. 对于修改数据表，应该只能通过与常用表进行对照了
## CRC32发送端接收端完整校验验证性程序
发送端发送数据后显示CRC32加密密文，接收端解码返回0证明校验成功
```
#include "stdafx.h"
#include <iostream>
#include <stdio.h>
using namespace std;
#define POLY 0x04C11DB7L // CRC32生成多项式
unsigned int CRC32INV(char * data, int length) //接收端
{
unsigned char* p = new unsigned char;
memcpy(p, data, length);
unsigned int reg = 0, sum_poly = 0;
for (int i = 0; i < length; i++)
{
sum_poly = reg & 0xFF000000;
for (int j = 0; j < 8; j++)
{
int hi = sum_poly & 0x80000000;
sum_poly <<= 1;
if (hi) sum_poly = sum_poly ^ POLY;
}
reg = (reg << 8) | p;
reg = reg ^ sum_poly;
}
return reg;
}
unsigned int CRC32(char * data, int length) //发送端
{
unsigned char* p = new unsigned char;
memset(p, 0, length + 4);
memcpy(p, data, length);
unsigned int reg = 0, sum_poly = 0;
for (int i = 0; i < length + 4; i++)
{
sum_poly = reg & 0xFF000000;
for (int j = 0; j < 8; j++)
{
int hi = sum_poly & 0x80000000;
sum_poly <<= 1;
if (hi) sum_poly = sum_poly ^ POLY;
}
reg = (reg << 8) | p;
reg = reg ^ sum_poly;
}
return reg;
}
int main()
{
char *crcin = new char;
crcin = '1';
crcin = '2';
crcin = '3';
crcin = '4';
crcin = '\0';
unsigned int crcout = CRC32(crcin, 4);
char *crcinvin = new char;
memcpy(crcinvin, crcin, 4);
delete[] crcin;
for (int i = 0; i<4; i++)
memcpy(crcinvin + i + 4, (char*)&crcout + 3 - i, 1);
crcinvin = '\0';
unsigned int crcinvout = CRC32INV(crcinvin, 8);
cout << "crc" << crcout << endl;
cout << "crc" << crcinvout << endl;
getchar();
return 0;
}
```
---
目前想到的就先这些，只是一些自己的想法，如有差错，还请指出
参考链接：
https://www.cnblogs.com/dacainiao/p/5565046.html
http://wdhdmx.iteye.com/blog/1464269
https://blog.csdn.net/qq446252221/article/details/51426434
https://blog.csdn.net/wave_1102/article/details/2184901
https://bbs.ichunqiu.com/thread-30717-1-1.html
https://blog.csdn.net/android_lover2014/article/details/78260884
https://bbs.pediy.com/thread-30975.htm 这还是浅析......这位就很尴尬了 不苦小和尚 发表于 2018-8-17 13:47
我反编译出来的代码和那个crackme一样，能否写个crc32完整的算法
下面这个经我验证可以在VS2017运行，CRC32为加密，也就是发送端，CRC32INV是接收端，若接收端返回0则证明校验完整，也能说明算法的正确性。这段代码我也补充到一楼
#include "stdafx.h"
#include <iostream>
#include <stdio.h>
using namespace std;
#define POLY 0x04C11DB7L // CRC32生成多项式
unsigned int CRC32INV(char * data, int length)
{
unsigned char* p = new unsigned char;
memcpy(p, data, length);
unsigned int reg = 0, sum_poly = 0;
for (int i = 0; i < length; i++)
{
sum_poly = reg & 0xFF000000;
for (int j = 0; j < 8; j++)
{
int hi = sum_poly & 0x80000000;
sum_poly <<= 1;
if (hi) sum_poly = sum_poly ^ POLY;
}
reg = (reg << 8) | p;
reg = reg ^ sum_poly;
}
return reg;
}
unsigned int CRC32(char * data, int length)
{
unsigned char* p = new unsigned char;
memset(p, 0, length + 4);
memcpy(p, data, length);
unsigned int reg = 0, sum_poly = 0;
for (int i = 0; i < length + 4; i++)
{
sum_poly = reg & 0xFF000000;
for (int j = 0; j < 8; j++)
{
int hi = sum_poly & 0x80000000;
sum_poly <<= 1;
if (hi) sum_poly = sum_poly ^ POLY;
}
reg = (reg << 8) | p;
reg = reg ^ sum_poly;
}
return reg;
}
int main()
{
char *crcin = new char;
crcin = '1';
crcin = '2';
crcin = '3';
crcin = '4';
crcin = '\0';
unsigned int crcout = CRC32(crcin, 4);
char *crcinvin = new char;
memcpy(crcinvin, crcin, 4);
delete[] crcin;
for (int i = 0; i<4; i++)
memcpy(crcinvin + i + 4, (char*)&crcout + 3 - i, 1);
crcinvin = '\0';
unsigned int crcinvout = CRC32INV(crcinvin, 8);
cout << "crc" << crcout << endl;
cout << "crc" << crcinvout << endl;
getchar();
return 0;
} 有点看不懂，但是支持。辛苦了。 感谢分享 为什么我自己用查表法计算的值和软件里的不一样 不苦小和尚 发表于 2018-8-17 10:31
为什么我自己用查表法计算的值和软件里的不一样
应该是一样的，表里第一列是一个序号，不用看。在IDA里按d把表转换data，然后和表比较，看图吧，感觉说不清楚2333图里写的是依次，没有写完整
https://i.loli.net/2018/08/17/5b7638772ecf6.pnghttps://i.loli.net/2018/08/17/5b7638772c434.png zhanglongfu 发表于 2018-8-17 10:09
有点看不懂，但是支持。辛苦了。
可能还是我写的不清楚:lol kabeo 发表于 2018-8-17 10:54
可能还是我写的不清楚
unsigned int __stdcall Crc32Check(_BYTE *szData, int iLen)
{
unsigned int result; //
result = -1;
while ( iLen > 0 )
{
result = dword_56EBA0[(unsigned __int8)(result ^ *szData)] ^ (result >> 8);
--iLen;
++szData;
}
return ~result;
}
IDA反汇编是这样的，我根据它写的，但是得不到正确的值
static u_int32 calculate_CRC32 (wchar_t *pStart, u_int32 uSize)
{
#define INIT0xffffffff
#define XOROT 0xffffffff
u_int32 uCRCValue;
wchar_t *pData;
/* init the start value */
uCRCValue = INIT;
pData = pStart;
/* calculate CRC */
while (uSize --)
{
uCRCValue = CRC32_Table[(u_int8)(uCRCValue ^ *pData++)] ^ (uCRCValue >> 8);
printf("%X",uCRCValue);
}
/* XOR the output value */
/* XOR the output value */
return ~uCRCValue;
}
帮忙看下哪里的问题吧{:1_923:} 不苦小和尚 发表于 2018-8-17 11:41
unsigned int __stdcall Crc32Check(_BYTE *szData, int iLen)
{
unsigned in ...
额。。不要根据f5写啊。。f5的有时候丢指针，有时候丢赋值。不如看看我上面c++实现? 不苦小和尚 发表于 2018-8-17 11:41
unsigned int __stdcall Crc32Check(_BYTE *szData, int iLen)
{
unsigned in ...
得不到正确值有可能是需要位逆转，位逆转代码请看上面crc32生成表算法c实现的bitrev函数