热门标签
热门文章
- 1one piece_娜美_01_one piece hentai
- 2CrossOver软件2023破解激活码_crossover-wine注册
- 3Spring Boot(四)：Thymeleaf 使用详解_spring thymeleaf
- 4NX+Ubuntu18.04+ROS Realsense(RealSenseD435i )的安装与使用_realsense安装
- 5记录：rosdep update
- 6js通过a标签的方式下载文件并对其重命名的完整方案_a标签下载文件重命名
- 7JavaScript中的Array.prototype.forEach()方法(简介+重写)_js array.prototype.foreach
- 8leetcode 94 二叉树的中序遍历（java）_lecode中树的输入root = [1,null,3,2,4,null,5,6]是怎么转化成节点的
- 9R语言入门笔记2.1
- 10c#--正则表达式（项目常用）_c# 正则表达式 数字
当前位置: article > 正文
python 扩大spark.driver.maxResultSize参数_tasksetmanager: total size of serialized results o
作者：凡人多烦事01 | 2024-02-07 16:37:54
赞
踩
tasksetmanager: total size of serialized results of 6162 tasks (1048.3 mb) i
spark默认的spark.driver.maxResultSize为1g，所以在运行spark程序的时候有时候会报错：
ERROR TaskSetManager: Total size of serialized results of 8113 tasks (1131.0 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)解决方案是：
from pyspark import SparkConf, SparkContext
SparkContext.setSystemProperty('spark.driver.maxResultSize', '10g')
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/66426
推荐阅读
相关标签
