Mysql数据迁徙方法工具解析

2023-08-04 10:41:04 164

这篇文章主要介绍了mysql数据迁徙方法工具解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

数据迁徙是每个后端都会遇到的工作之一，本文介绍了一些常见的数据迁徙方法与工具

mysqldump：数据结构不变的数据迁徙

导出数据

mysqldump-uroot-pDATABASE_NAMEtable_name>dump.sql

恢复数据

mysql-uroot-pDATABESE_NAME
或者连接mysql客户端
mysql>sourcedump.sql
使用pymysql连接数据库


可以直接用用户名密码连接的数据库
classGeneralConnector:
def__init__(self,config,return_dic=False):
self.return_dic=return_dic
self.config=config

def__enter__(self):
self.conn=pymysql.connect(**self.config,port=3306)
ifself.return_dic:
#一行数据会变成一个字典
self.cursor=self.conn.cursor(pymysql.cursors.DictCursor)
else:
self.cursor=self.conn.cursor()
returnself.cursor

def__exit__(self,*args):
self.cursor.close()
self.conn.commit()
self.conn.close()
使用：
#local_db={
#'user':'root',
#'passwd':'',
#'host':'127.0.0.1',
#'db':'local_db'
#}
withGeneralConnector(const.local_db,return_dic=True)ascursor:
cursor.execute('SELECT`col1`,`col2`FROMtest;')
returncursor.fetchall()
连接处于需要SSH连接的服务器的数据库
classSSHConnector:
def__init__(self,server,config,return_dic=False):
self.return_dic=return_dic
self.server=server
self.config=config

def__enter__(self):
self.conn=pymysql.connect(**self.config,port=self.server.local_bind_port)
ifself.return_dic:
#一行数据会变成一个字典
self.cursor=self.conn.cursor(pymysql.cursors.DictCursor)
else:
self.cursor=self.conn.cursor()
returnself.cursor

def__exit__(self,*args):
self.cursor.close()
self.conn.commit()
self.conn.close()
使用：
#SERVER=SSHTunnelForwarder(
#(remote_host,ssh_port),
#ssh_username=USERNAME,
#ssh_pkey=SSH_KEY,
#ssh_private_key_password=SSH_KEY_PASSWD,
#remote_bind_address=('127.0.0.1',3306)#mysql服务位置
#)
#server_db={
#'user':'root',
#'passwd':'',
#'host':'127.0.0.1',
#'db':'server_db'
#}
#创建一个隧道将服务端的mysql绑定到本地3306端口
withconst.SERVERasserver:
withSSHConnector(server,const.server_db)ascursor:
cursor.execute('showtables;')
data=cursor.fetchall()
print(data)
cursor的各种操作


1.cursor.execute(sql_statement)
执行一条sql语句
2.cursor.fetchall()
获取cursor的所有结果，常跟在select语句后使用
3.cursor.fetchone()
获取cursor的第一条结果
4.cursor.lastrowid
最后一条数据的id
5.cursor.executemany(insert_statement,data_list)
批量插入一批数据，如
withconst.SERVERasserver:
withconnector.Connector(server,const.db_1)ascursor:
cursor.execute('select*frompreference')
preferences=cursor.fetchall()

withconnector.Connector(server,const.db_2)ascursor:
cursor.executemany('insertintopreference(`id`,`theme`,`user_id`)values(%s,%s,%s)',preferences)
从cursor获取list类型的结果


cursor.execute('SELECT`name`FROMuser;')
直接使用fetchall()，只能得到tuple包裹的数据
cursor.fetchall()
#(('Jack',),('Ben'))
现在希望得到一个list结果集，做到像Django中flat=True那样的效果
有两种方法
列表解析式(listcomprehension)
name_list=[x[0]forxincursor.fetchall()]
这个方法的缺点在于会先使用fetchall()将结果集读到内存，再做列表转换，并不高效。


itertools工具
name_list=list(itertools.chain.from_iterable(cursor))
推荐使用这个方式，第一它不会将所有结果fetch到内存中，第二使用itertools生成列表比列表解析式要快
如何在数据迁徙中使用Django的model



需要拷贝Django的settings文件，删掉不需要的配置，并设置好迁徙目标数据库
需要拷贝用到此model的文件
需要在settings.INSTALLED_APPS中引入models.py文件所在的目录
在迁徙脚本头部启动Django

importos
importdjango
importsys
sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
os.environ.setdefault("DJANGO_SETTINGS_MODULE","translate.settings")
django.setup()
通过SSH隧道的本地转发实现Django连接远程数据库


创建一个ssh隧道，将远程数据库映射到本地端口
ssh-Llocal_port:localhost:@
ssh连接进行时，可以通过访问本地端口来访问远程数据库
在Django的settings中配置数据库
DATABASES={
'default':{
'ENGINE':'django.db.backends.mysql',
'NAME':db_name,
'USER':remote_mysql_user,#远程数据库账号密码
'PASSWORD':remote_mysql_password,
'HOST':"localhost",
'PORT':local_port,#远程数据库映射到本地的端口
'OPTIONS':{'init_command':'SETdefault_storage_engine=INNODB;'}
}
}
至此，在使用Django的model时，将通过ssh隧道访问远程数据库
注意事项

事先了解迁徙数据量，并且取5%~10%的数据测试迁徙速度
由测试数据预估总迁徙用时，如果总迁徙用时大于一小时，一定要把迁徙脚本放到服务器运行，这样迁徙过程不易中断，且服务器性能远比个人电脑更优
尽量使用批量插入减少写数据库的次数，使用cursor.executemany或者Django的bulk_create
迁徙过程要写好log，这样能够知道数据迁徙到了哪一步，如意外终端也能找到断点继续运行
创建时间字段加上auto_add_now会自动记录数据的创建时间，在插入数据的时候对这个字段赋值无效

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

Mysql数据迁徙方法工具解析

热门推荐

随机推荐