热门标签
热门文章
- 1MySQL（二）高性能优化及规范_优化mysql5.7数据库
- 2ubuntu环境下让应用程序开机自启动的几种方法_ubuntu程序自启动设置
- 3php调用dll经验小结
- 4实践笔记分享：高并发项目Java8多线程几种场景实现
- 5服务器常遇的响应状态码
- 6ubuntu-Pytorch环境配置_ubuntu下pytorch环境的搭建
- 7Linux命令大全(超详细版)_linux命令行大全
- 8Docker：（七）dockerfile优化小技巧_dockerfile env 多个
- 9MySQL相关参数配置及性能优化_mysql 事务 相关 参数
- 10Docker镜像大小是否影响启动速度的试验_docker镜像大小会影响速度嘛
当前位置: article > 正文
python 扩大spark.driver.maxResultSize参数_tasksetmanager: total size of serialized results o
作者：凡人多烦事01 | 2024-02-07 16:37:54
赞
踩
tasksetmanager: total size of serialized results of 6162 tasks (1048.3 mb) i
spark默认的spark.driver.maxResultSize为1g，所以在运行spark程序的时候有时候会报错：
ERROR TaskSetManager: Total size of serialized results of 8113 tasks (1131.0 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)解决方案是：
from pyspark import SparkConf, SparkContext
SparkContext.setSystemProperty('spark.driver.maxResultSize', '10g')
本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/66426
推荐阅读
相关标签
