不言不语

您现在的位置是: 首页 >  PHP

PHP

PHP批量插入百万数据,php mysql pdo插入百万数据

2022-05-31PHP
最近做项目遇到一个小问题,php批量插入大量数据,如果使用for循环来进行插入无疑是很sb的形为,拼接成一条Sql语句,将很好的解决问题

最近做项目遇到一个小问题,php批量插入大量数据,如果使用for循环来进行插入无疑是很sb的形为,拼接成一条Sql语句,将很好的解决问题


一、使用pdo进行数据插入


<?php

set_time_limit(0);

$dbms='mysql';     //数据库类型
$host='localhost'; //数据库主机名
$dbName='test';    //使用的数据库
$user='root';      //数据库连接用户名
$pass='';          //对应的密码
$dsn="$dbms:host=$host;dbname=$dbName";

try {

    $pdo = new PDO($dsn, $user, $pass); //初始化一个PDO对象
    echo "连接成功<br/>";

    $sql = "INSERT INTO goods (title, price) VALUES ";
    for ($i=0; $i <1000000; $i++) {
        $rand_num = mt_rand(1,9999);
        $rand_price = mt_rand(1,9999);
        $sql.="('商品$rand_num',$rand_price),";
    }

    $sql = substr($sql,0,strlen($sql)-1);

    //echo $sql;exit;

    $pdo->query("SET NAMES utf8");  // $_pdo->exec('SET NAMES utf8');  // 设置数据库编码,两种方法都可
    $pdo->query($sql);
    $pdo = null;

    // 计算执行时长
    $runtime=time()-$_SERVER['REQUEST_TIME'];
    echo $runtime;   //运行时间 单位 : 秒

} catch (PDOException $e) {
    die ("Error!: " . $e->getMessage() . "<br/>");
}

//默认这个不是长连接,如果需要数据库长连接,需要最后加一个参数:array(PDO::ATTR_PERSISTENT => true) 变成这样:
$db = new PDO($dsn, $user, $pass, array(PDO::ATTR_PERSISTENT => true));


二、代码运行短短十几秒后,百万数据生成


2.png


3.png


三、注意点


1、将所有插入合并为1条Mysql语句,由于语句较长,请执行mysql命令: set global max_allowed_packet =  2*1024*1024*10;避免超长Mysql无法执行。

2、为防止乱码出现,记得设置数据库编码


文章评论