php数据太大无法返回 php数据太大无法返回怎么解决
php数据多影响返回速度吗
框架用的是ci,数据库是sqlsrv(sql server 2008),sql查询返回的结果集有2万条数据,我在ci框架里面执行这个sql语句,网页一直在转圈,2万条数据要转30秒左右,但是我的sql语句在sql server 2008 R2 里面执行 是秒查,在ci里面用自带查询sql执行时间是200毫秒,,说明我的语句并不慢。个人觉得应该是返回数据太多导致慢的,返回的是2万条数据,20个字段左右,,因为我做的是统计 ,要把数据导出成csv文件,所以数据比较多,这个该怎么处理?
成都创新互联专注于企业全网整合营销推广、网站重做改版、宜宾网站定制设计、自适应品牌网站建设、H5技术、商城开发、集团公司官网建设、成都外贸网站制作、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为宜宾等各大城市提供网站开发制作服务。
我的sql 语句是select * from table where create_time between 'xxxx-xx-xx 00:00:00' and 'xxxx-xx-xx 23:59:59'; 是根据时间段来的 如果用户选择的时间范围小 那数据就少 如果范围大 那数据就大 数据大的时候就很慢
public function aa(){
$sql ="select * from table where create_time between 'xxxx-xx-xx 00:00:00' and 'xxxx-xx-xx 23:59:59'";
$result=$this-db-query($sql)-result_array();
}
这已经是最简单的查询了,sql语句秒查,但是用浏览器执行就很慢,
我在浏览器里面执行 , 如果查询结果几万条的话 浏览器就一直转圈,要等四十多秒,500条足有数据是3、4秒
我在想是不是result_array()这一步 需要循环需要花费太多的时间,本身记录就有几万条,然后还有二十个字段
==============2017-05-16 16:01更新===============
我没有用ci框架自带的result_array() ,查看ci框架文档的时候看到一段话:
经常的,你会需要提供一个数据库的 connection ID 或是一个 result ID, connection ID 可以这样来
$this-db-conn_id;
result ID 可以从查询返回的结果对象获取,像这样:
$query = $this-db-query("SOME QUERY");
$query-result_id;
于是我修改了我的代码 拿 result_id 去循环读取每条记录
$sql ="select xxx";
$query=$this-db-query($sql);
//这里因为我用的是sqlsrv 所以使用的是sqlsrv_fetch_array 来循环读取每一行
//然后每读一行 就写如csv文件
while($row=sqlsrv_fetch_array($query-result_id,SQLSRV_FETCH_ASSOC)){
//这里是把row 写入csv文件的代码
}
具体的代码就是下面了
$sql="xxx";
$query=$this-db-query($sql);
$filename= "CostDetail.csv";//导出的文件名
header('Content-Type: application/vnd.ms-excel');
header('Content-Disposition: attachment;filename="'.$filename.'"');
header('Cache-Control: max-age=0');
// 打开PHP文件句柄,php://output 表示直接输出到浏览器
$fp = fopen('php://output', 'a');
// 输出Excel列名信息
$head = array(xxx);
foreach ($head as $i = $v) {
// CSV的Excel支持GBK编码,一定要转换,否则乱码
$head[$i] = iconv('utf-8', 'gbk', $v);
}
// 将数据通过fputcsv写到文件句柄
fputcsv($fp, $head);
// 计数器
$cnt = 0;
// 从数据库中获取数据,为了节省内存,不要把数据一次性读到内存,从句柄中一行一行读即可
$limit = 5000;
while ($row=sqlsrv_fetch_array($query-result_id,SQLSRV_FETCH_ASSOC)){
$cnt ++;
if ($limit == $cnt) { //刷新一下输出buffer,防止由于数据过多造成问题
ob_flush();
flush();
$cnt = 0;
}
//这里是把每个字段的编码转成gbk
$newRow[] = $this-_mb_convert_encoding($row['edis_orgsoid']);
....
unset($row);
fputcsv($fp, $newRow);
unset($newRow);
}
exit;
这样能导出文件 但是我看了一下 19204行的,16列 的csv文件 3M左右 , 需要40-45秒的时间才能导出好,,我想问这时间还能优化的再快点吗
php能连上数据库但是就是不能返回数据,实测sql语句没有问题,之前都能查询成功,大神帮帮忙
你的数据库连接是正常的话,我建议你把你的查询语句换成单引号包括的
$sql='select count(*) where id="'.$userid.'" and pwd="'.$pwd.'"';
你出现这个问题很有可能是因为你的数据库在查询的时候获取的查询语句有问题
另外,count方法在查询的时候,最好设置一个字段,不然会查询每一个字段出来,浪费资源
php 想用echo返回比较大的数据 请问怎么用?
文件太大了,考虑使用分段处理,每次返回一小段。如果执行时间无限长的话服务负载大,极有可能使用。
本文标题:php数据太大无法返回 php数据太大无法返回怎么解决
转载来源:http://myzitong.com/article/ddsoogc.html