这不是一篇教程,这是一篇笔记,所以我不会很系统地论述原理和实现,只简单说明和举例。
前言
我写这篇笔记的原因是现在网络上关于 PHP 遍历目录文件和 PHP 读取文本文件的教程和示例代码都是极其低效的,低效就算了,有的甚至好意思说是高效,实在辣眼睛。
这篇笔记主要解决这么几个问题:
PHP 如何使用超低内存快速遍历数以万计的目录文件?
PHP 如何使用超低内存快速读取几百MB甚至是GB级文件?
顺便解决哪天我忘了可以通过搜索引擎搜到我自己写的笔记来看看。(因为需要 PHP 写这两个功能的情况真的很少,我记性不好,免得忘了又重走一遍弯路)
遍历目录文件
网上关于这个方法的实现大多示例代码是 glob 或者 opendir + readdir 组合,在目录文件不多的情况下是没问题的,但文件一多就有问题了(这里是指封装成函数统一返回一个数组的时候),过大的数组会要求使用超大内存,不仅导致速度慢,而且内存不足的时候直接就崩溃了。
这时候正确的实现方法是使用 yield 关键字返回,下面是我最近使用的代码:
<"{$path}/{$file}"; if (is_dir($rfile)) { $sub = glob2foreach($rfile, $include_dirs); while ($sub->valid()) { yield $sub->current(); $sub->next(); } if ($include_dirs) yield $rfile; } else { yield $rfile; } } closedir($dh); } } // 使用 $glob = glob2foreach('/var/www'); while ($glob->valid()) { // 当前文件 $filename = $glob->current(); // 这个就是包括路径在内的完整文件名了 // echo $filename; // 指向下一个,不能少 $glob->next(); }
yield 返回的是生成器对象(不了解的可以先去了解一下 PHP 生成器),并没有立即生成数组,所以目录下文件再多也不会出现巨无霸数组的情况,内存消耗是低到可以忽略不计的几十 kb 级别,时间消耗也几乎只有循环消耗。
读取文本文件
读取文本文件的情况跟遍历目录文件其实类似,网上教程基本上都是使用 file_get_contents 读到内存里或者 fopen + feof + fgetc 组合即读即用,处理小文件的时候没问题,但是处理大文件就有内存不足等问题了,用 file_get_contents 去读几百MB的文件几乎就是自杀。
这个问题的正确处理方法同样和 yield 关键字有关,通过 yield 逐行处理,或者 SplFileObject 从指定位置读取。
逐行读取整个文件:
<"htmlcode"><"color: #ff0000">复制大文件
顺便说下 PHP 复制文件,复制小文件用 copy 函数是没问题的,复制大文件的话还是用数据流好,例子如下:
<"color: #ff0000">最后
我这只说结论,没有展示测试数据,可能难以服众,如果你持怀疑态度想求证,可以用 memory_get_peak_usage 和 microtime 去测一下代码的占用内存和运行时间。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
稳了!魔兽国服回归的3条重磅消息!官宣时间再确认!
昨天有一位朋友在大神群里分享,自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址,com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后,确实是网易的网址,也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情,因为以前都没有出现这样的情况,现在突然提示跳转到国服战网的网址,是不是说明了简体中文客户端已经开始进行更新了呢?