在内存当中处理大数据计算的策略_将1000条数据放在内存中计算不科学

作者：菜鸟追梦旅行 | 2024-04-11 00:09:53

踩

将1000条数据放在内存中计算不科学

我读取了大批量的论文到内存当中，然后又按照同名作者进行了分类，然后再对每一块论文根据相似度进行分块。最后再200w+的数据集上跑总是出现java heap space的错误，堆内存溢出。还出现过gc错误

内存溢出错误截图

java heap space 的错误原因：

在JVM中如果98％的时间是用于GC且可用的 Heap size 不足2％的时候将抛出此异常信息。

最后的解决办法是把之前分类的结果保存到本地文件当中，其中每一块的分类，使用json数据格式来存储。（使用jackson框架进行转换json）

针对每一块进行排歧的时候，再单独读取每一块。java读写本地文件还是蛮快的，并没有受太大的影响。

关于java内存泄露的介绍：https://www.ibm.com/developerworks/cn/java/l-JavaMemoryLeak/

此文提出，java对内存的回收，主要是通过有向图的方式。如果有对象在main根部不可达，那么就会在下次回收当中被回收掉。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/401783