php百万级别数据怎么写入csv
需求:
百万数据写入 csv。
框架:
N 多年前老框架,百度都搜不到了,所以写法趋近原生
分析:
数据量过大,不能用浏览器请求写入 csv 下载,所以写个脚本调取
伪代码:
//xxx - 根据自己项目替换
//调取脚本文件
exec(xxx);
//脚本文件
//设置执行时间和内存
set_time_limit(0);
ini_set('memory_limit', '128M');
//循环获取
$id = 0;
$data = 'xxx'.'\n';//表头
while(true){
//SQL
$list = xxx WHERE id > $id ORDER BY id ASC LIMIT 10000; //每次取1w防止数据库压力大,根据sql来,我这个有联表,
if(empty($list)){
break;
}
foreach($list as $row){
$data .= '"' . $row['xxx'] . '",';
$data .= "\n";
$id = $row['id'];//更新最大id
}
//追加写入csv
file_put_contents('xxx', mb_convert_encoding($data, 'gbk'),FILE_APPEND);
unset($data);//基础不好不确定初始化能不能清内存就先unset了
$data = '';//初始化
}
本质上就是分批写入,刚开始试验的时候是打算不把 file_put_contents 写在循环里的,后来发现数据量大的时候,几十万数据 $data 内存就超了另外如果超百万数据的话需要做分文件导出,excel 不支持打开超过 1048576 行,理论上就是加个 $all_count 参数计当前查询的总数,超过百万再加新文件。
如果有更好的方法,或者代码优化部分欢迎讨论。
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanfcagi
系列文章
更多
同类精品
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01