解决一个pandas执行模糊查询sql的坑
查询引擎使用了presto,在sql中使用了模糊查询。
engine=create_engine(presto_url,encoding='utf-8') sql_exe="""selectid,title,tagsfromsource.base.tablewheretagslike'%呵呵%'""" df=pd.read_sql_query(sql_exe,engine)
一直报错:
unsupportedformatcharacter
解决方案
第一:
sql_exe="""selectid,title,tagsfromsource.base.tablewheretagslike'%%呵呵%%'"""
第二:
sql_exe="""selectid,title,tagsfromsource.base.tablewheretagslike%s""" df=pd.read_sql_query(sql_exe,engine,params=("%呵呵%",))
补充:pd.read_sql()知道这些就够用了
如下:
pandas.read_sql(sql,con,index_col=None,coerce_float=True,params=None,parse_dates=None,columns=None,chunksize=None)
各参数意义
sql:SQL命令字符串
con:连接sql数据库的engine,一般可以用SQLalchemy或者pymysql之类的包建立
index_col:选择某一列作为index
coerce_float:非常有用,将数字形式的字符串直接以float型读入
parse_dates:将某一列日期型字符串转换为datetime型数据,与pd.to_datetime函数功能类似。可以直接提供需要转换的列名以默认的日期形式转换,也可以用字典的格式提供列名和转换的日期格式,比如{column_name:formatstring}(formatstring:"%Y:%m:%H:%M:%S")。
columns:要选取的列。一般没啥用,因为在sql命令里面一般就指定要选择的列了
chunksize:如果提供了一个整数值,那么就会返回一个generator,每次输出的行数就是提供的值的大小。
设置参数can–>创建数据库链接的两种方式
用sqlalchemy构建数据库链接
importpandasaspd importsqlalchemy fromsqlalchemyimportcreate_engine #用sqlalchemy构建数据库链接engine connect_info='mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8' engine=create_engine(connect_info) #sql命令 sql_cmd="SELECT*FROMtable" df=pd.read_sql(sql=sql_cmd,con=engine)
用DBAPI构建数据库链接
importpandasaspd importpymysql #sql命令 sql_cmd="SELECT*FROMtable" #用DBAPI构建数据库链接engine con=pymysql.connect(host=localhost,user=username,password=password,database=dbname,charset='utf8',use_unicode=True) df=pd.read_sql(sql_cmd,con)
read_sql与read_sql_table、read_sql_query
read_sql本质上是read_sql_table、read_sql_query的统一方式。
三者都return返回DataFrame。
1、read_sql_table
ReadSQLdatabasetableintoaDataFrame.
2、read_sql_query
ReadSQLqueryintoaDataFrame.
以上为个人经验,希望能给大家一个参考,也希望大家多多支持毛票票。如有错误或未考虑完全的地方,望不吝赐教。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。