堆排序之“TOP-K”问题_top k

目录

一、什么是TOP-K问题

二、解决思路 

一般的正常思路：

最优的解决思路：

三、文件流中实践TOP-K方法 

创建包含足够多整数的文件：

向下调整算法

找出最大的K个数

完整版代码：

---

前面我已经学习过使用“堆排序”对数组排降序了，接下来再来看一个堆排序的应用场景。

一、什么是TOP-K问题

TOP-K问题：即求数据结合中前K个最大的元素或者最小的元素，一般情况下数据量都比较大，即：N个数找最大的前K个。

二、解决思路 

一般的正常思路：

把这N个数建成大堆，Pop弹出K次堆顶，即可找出最大的前K个数，但是有些场景这种思路解决不了，例如N非常大时，假设N是10亿，10亿个数建堆所需的空间我们来计算一下：

一个整型变量需要四个字节空间，10亿个整型数据需要40亿个字节，1G可以放10亿字节，所以我们需要 4G 空间为10亿个整型数据建堆。 

4G感觉不多的话，如果一百亿数据呢？一千亿呢？

内存无法承载这么大的空间时，数据会存储到磁盘上，磁盘的效率比内存慢很多，所以这种方法如果数据过多，就无法再内存上快速找到TOP-K。

最优的解决思路：

1. 前K个数建小堆。
2. 后面N-K个数，依次比较，如果比堆顶的数据大，就替换它进堆，进堆后向下调整。
3. 最后这个小堆的值就是最大的前K个。

三、文件流中实践TOP-K方法 

我们来在文件中实践一下这个方法：

创建包含足够多整数的文件：

void CreateNData()
{
	int n = 100000;
	srand(time(0));
	const char* file = "data.txt";
	FILE* fin = fopen(file, "w");
	if (fin == NULL)
	{
		perror("fopen error");
		return;
	}
	for (size_t i = 0; i < n; i++) {
		int x = rand() % 10000000;
		fprintf(fin, "%d\n", x);
	}
	fclose(fin);
}

• 定义一个变量n，表示要生成的随机整数的数量为十万个。
• 使用srand函数设置随机数种子，time(0)返回当前时间的秒数，确保每次运行程序生成的随机数序列都不同。
• 定义一个文件名file，表示要生成的文件名。
• 使用fopen函数打开文件，以写入模式打开，如果没有文件，则创建一个，如果文件打开失败，输出一个错误信息并返回。
• 使用for循环生成n个随机整数，并使用fprintf函数将它们写入文件中。
• 使用fclose函数关闭文件。

如果建小堆的方法—向下调整忘记了，我们来复习一下·

向下调整算法

void AdjustDown(HPDataType* a, int size, int parent)
{
    int child = parent * 2 + 1;
    while (child < size) {
        if (child + 1 < size && a[child + 1] < a[child]) {
            child++;
        }
        if (a[child] < a[parent]) {
            Swap(&a[child], &a[parent]);
            parent = child;
            child = parent * 2 - 1;
        }
        else {
            break;
        }
    }
}

• 通过传入参数获取到当前的左子节点的位置。
• 当child位置小于数组元素个数时进行判断。
• 进入循环，首先判断检查右子节点是否存在并且比左子节点的值小，如果是，将 child 更新为右子节点的索引，以确保选择更小的子节点进行比较。
• 比较选定的子节点的值与父节点的值，如果子节点的值小于父节点的值，就交换它们。
• 更新parent为新的子节点位置，更新child为新的左子节点位置，然后继续比较和交换，直到不再需要交换为止。
• 如果当前子节点不小于当前父节点则停止循环。

 找出最大的K个数

void PrintTopK(int k)
{
	const char* file = "data.txt";
	FILE* fout = fopen(file, "r");
	if (fout == NULL)
	{
		perror("fopen error");
		return;
	}
	int* kminheap = (int*)malloc(sizeof(int) * k);
	if (kminheap == NULL)
	{
		perror("malloc error");
		return;
	}
 
	for (int i = 0; i < k; i++)
	{
		fscanf(fout, "%d", &kminheap[i]);
	}
	
	for (int i = (k - 1 - 1) / 2; i >= 0; i--)
	{
		AdjustDown(kminheap, k, i);
	}
 
	int val = 0;
	while (!feof(fout))
	{
		fscanf(fout, "%d", &val);
		if (val > kminheap[0])
		{
			kminheap[0] = val;
			AdjustDown(kminheap, k, 0);
		}
	}
 
	for (int i = 0; i < k; i++)
	{
		printf("%d ", kminheap[i]);
	}
	printf("\n");
}

代码较长进行分段讲解： 

    const char* file = "data.txt";
	FILE* fout = fopen(file, "r");
	if (fout == NULL)
	{
		perror("fopen error");
		return;
	}
	int* kminheap = (int*)malloc(sizeof(int) * k);
	if (kminheap == NULL)
	{
		perror("malloc error");
		return;
	}
    for (int i = 0; i < k; i++)
	{
		fscanf(fout, "%d", &kminheap[i]);
	}

• 定义一个文件名file，表示要读取的文件名。
• 使用fopen函数打开文件，以读取模式打开，如果文件打开失败，输出一个错误信息并返回。
• 使用malloc函数动态分配一个大小为k的整数数组 kminheap，用于存储最大的 k 个数，如果内存分配失败，输出一个错误信息并返回。
• 使用for循环从文件中读取前k个整数，并将它们存储到kminheap数组中。

    for (int i = (k - 1 - 1) / 2; i >= 0; i--)
	{
		AdjustDown(kminheap, k, i);
	}
 
	int val = 0;
	while (!feof(fout))
	{
		fscanf(fout, "%d", &val);
		if (val > kminheap[0])
		{
			kminheap[0] = val;
			AdjustDown(kminheap, k, 0);
		}
	}
 
	for (int i = 0; i < k; i++)
	{
		printf("%d ", kminheap[i]);
	}
	printf("\n");

• 使用向下调整函数将kminheap数组构建成一个小堆（从小到大）。
•  feof(fout)是一个C标准库函数，用于判断文件指针fout所指向的文件是否已经到达文件末尾。该函数的返回值为非零值表示已经到达文件末尾，返回值为0表示文件还没有到达末尾。
• 使用while循环从文件中读取剩余的N-K整数，如果某个整数比堆顶元素大，就将它替换堆顶元素，并使用AdjustDown函数将堆重新调整为小堆，
• 因为我们需要前K个最大的数，而建的小堆也是K个元素，所以这种操作可以得到由最大前K个元素构成的小堆。
• 使用for循环输出堆中的所有元素。
• 使用fclose函数关闭文件。

 我们来测试一下，首先我在主函数调用CreateNData函数对文件data.txt写入文件。

int main()
{
	CreateNData();
	return 0;
}

然后在文件中对五个数添加几位使其成为最大的五个数。

这是屏蔽掉 CreateNData 函数，防止重新生成数字覆盖我修改的数字，调用PrintTopK函数输出5个最大的数。

int main()
{
	//CreateNData();
	PrintTopK(5);
	return 0;
}

输出结果为： 

完整版代码：

#include <stdio.h>
#include <stdlib.h>
#include <time.h>
 
void Swap(HPDataType* p1, HPDataType* p2)
{
	HPDataType tmp = *p1;
	*p1 = *p2;
	*p2 = tmp;
}
 
void AdjustDown(HPDataType* a, int size, int parent)
{
	int child = parent * 2 + 1;
	while (child < size) {
		if (child + 1 < size && a[child + 1] < a[child]) {
			child++;
		}
		if (a[child] < a[parent]) {
			Swap(&a[child], &a[parent]);
			parent = child;
			child = parent * 2 - 1;
		}
		else {
			break;
		}
	}
}	
 
 
void CreateNData()
{
	int n = 100000;
	srand(time(0));
	const char* file = "data.txt";
	FILE* fin = fopen(file, "w");
	if (fin == NULL)
	{
		perror("fopen error");
		return;
	}
	for (size_t i = 0; i < n; i++) {
		int x = rand() % 10000000;
		fprintf(fin, "%d\n", x);
	}
	fclose(fin);
}
 
void PrintTopK(int k)
{
	const char* file = "data.txt";
	FILE* fout = fopen(file, "r");
	if (fout == NULL)
	{
		perror("fopen error");
		return;
	}
	int* kminheap = (int*)malloc(sizeof(int) * k);
	if (kminheap == NULL)
	{
		perror("malloc error");
		return;
	}
 
	for (int i = 0; i < k; i++)
	{
		fscanf(fout, "%d", &kminheap[i]);
	}
	// 建小堆
	for (int i = (k - 1 - 1) / 2; i >= 0; i--)
	{
		AdjustDown(kminheap, k, i);
	}
 
	int val = 0;
	while (!feof(fout))
	{
		fscanf(fout, "%d", &val);
		if (val > kminheap[0])
		{
			kminheap[0] = val;
			AdjustDown(kminheap, k, 0);
		}
	}
 
	for (int i = 0; i < k; i++)
	{
		printf("%d ", kminheap[i]);
	}
	printf("\n");
	fclose(fout);
}
 
int main()
{
	CreateNData();
	PrintTopK(5);
	return 0;
}