当前位置: article > 正文

单机大数据文件计算_单机如何计算几百个g的数据

作者：知新_RL | 2024-04-11 00:13:56

踩

单机如何计算几百个g的数据

将数据读取，
每读到一行，取hashcode
然后对hashcode取模，存储到不同的小文件中，
让相同的行，在同一个小文件里相遇，
相同的字符串，则hashcode相同，则取模后的数值也相同，
现在所有的小文件都具有一个特征，相同的数据，肯定在同一个小文件里，
再对所有的小文件进行查询比较，找出相同的行

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/401797