加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

让你在10分钟内把握怎样用Python将数据批量的插入到数据库

发布时间:2021-05-27 18:58:02 所属栏目:大数据 来源:互联网
导读:本文基于python, 行使pandas, pymysql等三方库实现了向数据库中高效批量插入数据,一方面提供被网上许多瞎转载的谜底给坑蒙了的人(由于我也是),一方面本身也做

insert_sql = "insert into " + "数据库表名" + " (" + columns + ") values (" + s_count[:-1] + ")" 

将数据写入数据库

这个简朴,直接上代码

cursor.executemany(insert_sql, data_list) 

conn.commit() 

cursor.close() 

conn.close() 

搜查数据库是否插入乐成

假如没题目的话,就可以同时举办多个文件读写,计较,最后启用多线程同时向数据库中写入数据了,很是高效!

完备代码

import pandas as pd  

import numpy as np 

 

 

# pymysql接口 

def mysql_conn(host, user, password, db, port=3306, charset="utf8"): 

  conn = pymysql.connect(host=host, user=user, password=password, database=db, port=port, charset=charset) 

  return conn 

 

 

# 当前剧本的位置 

current_folder_path = os.path.dirname(__file__) 

 

# 你的文件的位置 

your_file_path1 = os.path.join(current_folder_path, "文件的名字1") 

your_file_path2 = os.path.join(current_folder_path, "文件的名字2") 

 

# 我这里是以读取csv文件为例, delimiter为我们内部约定的列之间的支解符 

df1 = pd.read_csv(your_file_path1, dtype={"column1": str, "column2": str}, delimiter="/t") 

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读