INSIGHTS & SHARING / 观点与分享

PHP查询MySQL海量数据内存占用分析

网站建设 阅读 1238

PHP查询MySQL大量数据的内存占用分析

本文主要从原理、手册和源码分析PHP查询MySQL时返回大量结果的内存占用问题,同时也涉及到MySQL C API的使用。

昨天有同事在PHP讨论组提到,他在做的一个项目,MySQL查询返回的结果太多(最多10万条),导致PHP内存不足。于是,他问,执行完下面的代码遍历返回MySQL结果之前,数据是否已经在内存中了? -

while($row=mysql_fetch_assoc($result)){

//.

}

当然,针对这类问题的优化方法有很多。不过,就这个问题,我首先想到的是MySQL是经典的C/S(Client/Server,客户端/服务器)模型。在遍历结果集之前,底层实现可能已经通过网络(假设使用TCP/IP)将所有数据读到客户端缓冲区,还有一种可能是数据还在服务端的发送缓冲区中,并且已经没有传送给客户端。

之前看PHP和MySQL的源码,注意到PHP手册:中有两个功能相似的函数

mysql_查询()

mysql_unbuffered_query()

这两个函数的字面意思和描述证实了我的想法。执行前一个函数时,会将服务器端的所有结果集读取到客户端缓冲区,而后一个函数则不会。这就是“无缓冲(unbuffered)”的意思。

也就是说,如果使用mysql_unbuffered_query()执行一个返回大结果集的SQL语句,在遍历结果之前,PHP的内存是不会被结果集占用的。如果用mysql_query()执行同样的语句,函数返回,PHP的内存占用会急剧增加,内存会马上被耗尽。

如果你看过PHP的相关代码,就可以看出这两个函数实现的异同:

/*{{{protoresourcemysql_query(stringquery[,intlink_identifier])

向MySQL 发送SQL 查询*/

PHP_FUNCTION(mysql_query)

{

php_mysql_do_query(INTERNAL_FUNCTION_PARAM_PASSTHRU,MYSQL_STORE_RESULT);

}

/*}}}*/

/*{{{protoresourcemysql_unbuffered_query(stringquery[,intlink_identifier])

向MySQL 发送SQL 查询,不获取和缓冲结果行*/

PHP_FUNCTION(mysql_unbuffered_query)

{

php_mysql_do_query(INTERNAL_FUNCTION_PARAM_PASSTHRU,MYSQL_USE_RESULT);

}

/*}}}*/

两个函数都调用了php_mysql_do_query(),只是第二个参数不同,MYSQL_STORE_RESULT和MYSQL_USE_RESULT。查看php_mysql_do_query()的实现:

如果(使用存储==MYSQL_USE_RESULT){

mysql_result=mysql_use_result(mysql-conn);

}别的{

mysql_result=mysql_store_result(mysql-conn);

}

mysql_use_result() 和mysql_store_result() 是MySQL C API 函数。这两个C API函数的区别在于,后者是从MySQL Server读取所有的结果集到Client,而前者只读取结果集的元信息。

回到PHP,使用mysql_unbuffered_query() 来避免直接内存占用。如果在遍历过程中结果没有被“PHP缓存”(比如放在一个数组中),虽然整个执行过程操作了10万条或者百万条或者更多的数据,但是PHP占用的内存总是很小的。

标签: 北京网站制作高端网站建设

本文来自推来客官网,转载请注明原文地址:
https://www.99hyw.cn/web/13828.html

NINE REASONS TO CHOOSE US

选择推来客,九大优势

从开发效果到后续服务,
把每一份信任,落到实处。

01 / 效果

效果做到满意为止

认真打磨每一个细节,用实际效果回应您的期待。

02 / 价值

高性价比

让投入回到业务价值,兼顾品质、功能与开发成本。

03 / 技术

专业技术团队

理解业务需求,以专业技术推进项目落地。

04 / 经验

10年+运营经验

长期深耕开发与运营,让经验成为项目的底气。

05 / 积累

成品项目多

丰富的项目积累,为不同场景提供更多成熟参考。

06 / 费用

无任何增加费用

费用明晰透明,合作过程清楚放心。

07 / 口碑

行业良好的口碑

用交付与服务积累认可,珍惜每一次客户推荐。

08 / 售后

完善的售后机制

项目交付后持续提供服务,让系统使用更安心。

09 / 交付

源码交付,自主掌握

项目源码完整交付,后续维护与迭代自主掌握。

我们的服务

软件系统开发

围绕业务流程,提供软件系统设计与开发服务。

小程序开发

结合使用场景,提供小程序设计与功能开发服务。

高端网站建设

结合品牌展示与业务需求,提供网站设计与建设服务。

物联网 / API 对接

连接设备与业务系统,提供接口集成与数据对接服务。

SELECTED WORK

推荐案例,让想法落地

更多项目案例

在线客服

扫码联系客服

3985758

回到顶部