如何优雅地在jupyter notebook中解决内存不够导致服务器蹦了的情况_jupyter 爬虫显示内存不足

        嗨喽! 大家好，我是“流水不争先，争的是滔滔不绝”的翀，欢迎大家来交流学习，一起入坑数据分析，希望我们一起好好学习，天天向上，目前在社会毒打中~~

文章目录

• 前言
• 问题来源
• 解决过程
• 总结
• 总结

前言

       记录一下自己实习中遇到一个需求问题,内存不足,概括解决方法的核心就是: 以时间换空间

问题来源

       写这篇文章的目的是因为这两天遇到一个需求: 取数,其中到一步因为运行内存的问题一直卡住, 大概是这样

       我想将其拉成一张大表user_id, fan_id 去匹配连接fan的信息, 但是因为内存原因我无法拉出一个几千万行的数据表, 这个好像可以上spark 解决这个,但是spark上面用python我不太熟悉,

1. 我听leader说也会复杂一点, 我瞬间产生点怯意,因为这个要得急,我又不确定要花多少时间, 所以在我还比较熟悉的SQL spark上将自己的python写逻辑转换成sql逻辑,
2. 但是 遇到一个问题, sql语句怎么显示一行变多行的操作,多行变一行用groupby这个我会,但是反过来我就不清楚了

解决过程

3. 所以我一边百度一边在hue上进行验证, 找到了这个函数
   LATERAL VIEW