devbox
2023面试高手
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

php使用yield处理大数据文件_php yield 处理大数据

作者：2023面试高手 | 2024-03-08 04:53:26

赞

踩

php yield 处理大数据

1.概述

yield和return有点像，它是一个生成器，对PHP应用的性能有非常大的影响， 只有在调用的时候才会执行，并不产生多余的值，比如读取一个很大的文件或者计算大量的数据时，如果直接读取很有可能内存就爆了，而yield就可以做到把数据一行行读取到php运行内存，并非一次性读取到php运行内存，这样在运行时就会节省大量的内存;还有就像在循环数据库的所有记录的时候，这个记录可能会很大，例如100万行，那么通过传统的办法就行不通了，首先通过web访问，php有超时时间，默认是30秒，那么就只能通过php cli的方式来执行，这样就没有超时时间了，但由于数据量太大，php循环时需要将数据全部载入内存中执行，由于数据量太大，php会报Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 4096 bytes)的错误，php默认的内存限制为128M，虽然可以通过修改php.ini中memory_limit的选项的值来提高内存限制，但始终不是最优的解决办法，这时通过生成器函数就可以极大节省内存开销

2.案例引入

先看一个简单的函数

  1. <?php
  2. function createRange($number){
  3.   $data = [];
  4.   for($i=0;$i<$number;$i++){
  5.       $data[] = time();
  6.   }
  7.   return $data;
  8. }
  9. ?>

这是一个非常常见的PHP函数，我们在处理一些数组的时候经常会使用。这里的代码也非常简单：

创建一个函数， 函数内包含一个for循环，循环的把当前时间放到data里面for循环执行完毕，把data返回出去。

再写一个函数，把这个函数的返回值循环打印出来：

  1. <?php
  2. $result = createRange(10); // 这里调用上面我们创建的函数
  3. foreach($result as $value){
  4.   sleep(1);//这里停顿1秒，后续有用
  5.   echo $value.'<br />';
  6. }

在浏览器里面看一下运行结果，非常赖斯，没有任何问题，这时需要思考一个问题：

        在调用函数createRange的时候给$number的传值是10，一个很小的数字，如果现在传递一个值10000000（1000万），那么，在函数createRange里面，for循环就需要执行1000万次，且有1000万个值被放到$data里面，而$data数组在是被放在内存里的，所以，在调用函数时候会占用大量内存，非常的不友好，这时生成器(yield)就闪亮登场了，修改一下代码，创建生成器：

  1. <?php
  2. function createRange($number){
  3.   for($i=0;$i <= $number;$i++){
  4.       yield time();
  5.   }
  6. }
  7. ?>

这段代码，删除了数组$data，也没有返回任何内容，而是在time()之前使用了一个关键字yield

使用生成器

  1. <?php
  2. $result = createRange(10); // 这里调用上面我们创建的函数
  3. foreach($result as $value){
  4.   sleep(1);
  5.   echo $value.'<br />';
  6. }
  7. ?>

运行上面的代码，可以发现：

        输出的值和第一次没有使用生成器的不一样，这里的值（时间戳）中间间隔了1秒，这里的间隔一秒其实就是sleep(1)造成的，但是为什么第一次没有间隔呢，那是因为：未使用生成器时，createRange函数内的for循环结果被很快放到$data中，并且立即返回，所以，foreach循环的是一个固定的数组； 使用生成器时，createRange的值不是一次性快速生成，而是依赖于foreach循环，foreach循环一次，for执行一次

3.上述代码的执行过程

  1. <?php
  2. function createRange($number){
  3.   for($i=0;$i <= $number;$i++){
  4.       yield time();
  5.   }
  6. }
  7.  
  8. $result = createRange(10); // 这里调用上面创建的函数
  9. foreach($result as $value){
  10.   sleep(1);
  11.   echo $value.'<br />';
  12. }
  13. ?>

(1).首先调用createRange函数，传入参数10，但是for值执行了一次然后停止了，并且告诉foreach第一次循环可以用的值

(2).foreach开始对$result循环，进来首先sleep(1)，然后开始使用for给的一个值执行输出

(3).foreach准备第二次循环，开始第二次循环之前，它向for循环又请求了一次

(4).for循环于是又执行了一次，将生成的时间戳告诉foreach

(5).foreach拿到第二个值，并且输出。由于foreach中sleep(1)，所以，for循环延迟了1秒生成当前时间,所以，整个代码执行中，始终只有一个记录值参与循环，内存中也只有一条信息

结果：

        所以无论开始传入的$number有多大，由于并不会立即生成所有结果集，所以内存始终是一条循环的值

4.生成器的原理：

生成器yield关键字不是返回值，他的专业术语叫产出值，只是生成一个值，代码中foreach循环其实是PHP在使用生成器的时候，会返回一个Generator类的对象，foreach可以对该对象进行迭代，每一次迭代，PHP会通过Generator实例计算出下一次需要迭代的值，这样foreach就知道下一次需要迭代的值了，而且，在运行中for循环执行后，会立即停止。等待foreach下次循环时候再次和for索要下次的值的时候，for循环才会再执行一次，然后立即再次停止，直到不满足条件不执行结束

5.案例演示

5.1 读取text文件  我们创建一个text文本文档，并在其中输入几行文字，示范读取

  1. <?php
  2. header("content-type:text/html;charset=utf-8");
  3. function readTxt()
  4.  
  5. {
  6.   # code...
  7.   $handle = fopen("./test.txt", 'rb');
  8.  
  9.   while (feof($handle)===false) {
  10.       # code...
  11.       yield fgets($handle);
  12.   }
  13.  
  14.   fclose($handle);
  15. }
  16.  
  17.  
  18. foreach (readTxt() as $key => $value) {
  19.   # code...
  20.   echo $value.'<br/>';
  21. }

通过上图的输出结果我们可以看出代码完全正常，但是，背后的代码执行规则却一点儿也不一样，使用生成器读取文件，第一次读取了第一行，第二次读取了第二行，以此类推，每次被加载到内存中的文字只有一行，大大的减小了内存的使用。这样，即使读取上G的文本也不用担心，完全可以像读取很小文件一样编写代码

5.2 读取数据库用户数据，处理相关逻辑

参考：redis实现统计活跃用户  功能

  1. <?php
  2.  
  3. class UserController {
  4.  
  5.     public function actionGetUserIds()
  6.     {
  7.         //查询到的用户id组成一个数组(该数组可能会很大)
  8.         $userIds = $this->get_bitmap_all($key);
  9.         if ($userIds) {
  10.             //循环查询（使用yield生成器）用户表,处理用户逻辑相关功能
  11.             $i_userIds = $this->YieldUser($userIds);
  12.             foreach ($i_userIds as $userId) {
  13.                  //获取通过生成器处理的用户id，处理用户相关功能
  14.                  ...
  15.             }
  16.         }
  17.         
  18.     }
  19.     
  20.    /**
  21.      * 获取bitmap
  22.      * @date 2021/11/12
  23.      * @param $key
  24.      * @return array
  25.      */
  26.     public function get_bitmap_all($key)
  27.     {
  28.         //服务端redis
  29.         $redis = Yii::$app->redis;
  30.  
  31.         $result = [];
  32.         $value = $redis->get($key);
  33.         if ($value) {
  34.             /**
  35.              * 解包(redis返回来的是二进制字符串，我们需要把它解成对应的数字)
  36.              */
  37.             $bitmap = unpack('C*', $value);
  38.             if ($bitmap) {
  39.                 foreach ($bitmap as $key => $number) {
  40.                     // 下标是从1开始的; 1个字节8位
  41.                     $offset = ($key - 1) * 8;
  42.                     // 过滤没有标记的字节段
  43.                     if ($number) {
  44.                         for ($i = 0; $i < 8; $i++) {
  45.                             // 遍历这个字节的每一位，是否有为1的值，如果有，那就记录这个位置的偏移量，就是用户id
  46.                             if (($number >> $i & 1) == 1) {
  47.                                 // 8位范围是0~7,因为redis是高位到低位存储，所以要反过来计算偏移量
  48.                                 $result[] = $offset + (7 - $i);
  49.                             }
  50.                         }
  51.                     }
  52.                 }
  53.             }
  54.         }
  55.         return $result;
  56.     }
  57.  
  58.  
  59.     /**
  60.      * yield生成器
  61.      * @param $userIds
  62.      * @return \Generator
  63.      */
  64.     public function YieldUser($userIds) {
  65.         //使用yield生成器
  66.         foreach ($userIds as $userId) {
  67.             yield $userId;
  68.         }
  69.     }
  70. }

到这里，php使用yield处理大数据文件基本功能就完成了

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号