Spring, MyBatis 多数据源的配置和管理
本文内容纲要：
同一个项目有时会涉及到多个数据库，也就是多数据源。多数据源又可以分为两种情况：
1）两个或多个数据库没有相关性，各自独立，其实这种可以作为两个项目来开发。比如在游戏开发中一个数据库是平台数据库，其它还有平台下的游戏对应的数据库；
2）两个或多个数据库是master-slave的关系，比如有mysql搭建一个master-master，其后又带有多个slave；或者采用MHA搭建的master-slave复制；
目前我所知道的Spring多数据源的搭建大概有两种方式，可以根据多数据源的情况进行选择。
- 采用spring配置文件直接配置多个数据源
比如针对两个数据库没有相关性的情况，可以采用直接在spring的配置文件中配置多个数据源，然后分别进行事务的配置，如下所示：
<context:component-scanbase-package="net.aazj.service,net.aazj.aop"/>
<context:component-scanbase-package="net.aazj.aop"/>
<!--引入属性文件-->
<context:property-placeholderlocation="classpath:config/db.properties"/>
<!--配置数据源-->
<beanname="dataSource"class="com.alibaba.druid.pool.DruidDataSource"init-method="init"destroy-method="close">
<propertyname="url"value="${jdbc_url}"/>
<propertyname="username"value="${jdbc_username}"/>
<propertyname="password"value="${jdbc_password}"/>
<!--初始化连接大小-->
<propertyname="initialSize"value="0"/>
<!--连接池最大使用连接数量-->
<propertyname="maxActive"value="20"/>
<!--连接池最大空闲-->
<propertyname="maxIdle"value="20"/>
<!--连接池最小空闲-->
<propertyname="minIdle"value="0"/>
<!--获取连接最大等待时间-->
<propertyname="maxWait"value="60000"/>
</bean>
<beanid="sqlSessionFactory"class="org.mybatis.spring.SqlSessionFactoryBean">
<propertyname="dataSource"ref="dataSource"/>
<propertyname="configLocation"value="classpath:config/mybatis-config.xml"/>
<propertyname="mapperLocations"value="classpath*:config/mappers/**/*.xml"/>
</bean>
<!--TransactionmanagerforasingleJDBCDataSource-->
<beanid="transactionManager"class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
<propertyname="dataSource"ref="dataSource"/>
</bean>
<!--使用annotation定义事务-->
<tx:annotation-driventransaction-manager="transactionManager"/>
<beanclass="org.mybatis.spring.mapper.MapperScannerConfigurer">
<propertyname="basePackage"value="net.aazj.mapper"/>
<propertyname="sqlSessionFactoryBeanName"value="sqlSessionFactory"/>
</bean>
<!--Enablestheuseofthe@AspectJstyleofSpringAOP-->
<aop:aspectj-autoproxy/>
<!--===============第二个数据源的配置===============-->
<beanname="dataSource_2"class="com.alibaba.druid.pool.DruidDataSource"init-method="init"destroy-method="close">
<propertyname="url"value="${jdbc_url_2}"/>
<propertyname="username"value="${jdbc_username_2}"/>
<propertyname="password"value="${jdbc_password_2}"/>
<!--初始化连接大小-->
<propertyname="initialSize"value="0"/>
<!--连接池最大使用连接数量-->
<propertyname="maxActive"value="20"/>
<!--连接池最大空闲-->
<propertyname="maxIdle"value="20"/>
<!--连接池最小空闲-->
<propertyname="minIdle"value="0"/>
<!--获取连接最大等待时间-->
<propertyname="maxWait"value="60000"/>
</bean>
<beanid="sqlSessionFactory_slave"class="org.mybatis.spring.SqlSessionFactoryBean">
<propertyname="dataSource"ref="dataSource_2"/>
<propertyname="configLocation"value="classpath:config/mybatis-config-2.xml"/>
<propertyname="mapperLocations"value="classpath*:config/mappers2/**/*.xml"/>
</bean>
<!--TransactionmanagerforasingleJDBCDataSource-->
<beanid="transactionManager_2"class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
<propertyname="dataSource"ref="dataSource_2"/>
</bean>
<!--使用annotation定义事务-->
<tx:annotation-driventransaction-manager="transactionManager_2"/>
<beanclass="org.mybatis.spring.mapper.MapperScannerConfigurer">
<propertyname="basePackage"value="net.aazj.mapper2"/>
<propertyname="sqlSessionFactoryBeanName"value="sqlSessionFactory_2"/>
</bean>
如上所示，我们分别配置了两个dataSource，两个sqlSessionFactory，两个transactionManager，以及关键的地方在于MapperScannerConfigurer的配置——使用sqlSessionFactoryBeanName属性，注入不同的sqlSessionFactory的名称，这样的话，就为不同的数据库对应的mapper接口注入了对应的sqlSessionFactory。
需要注意的是，多个数据库的这种配置是不支持分布式事务的，也就是同一个事务中，不能操作多个数据库。这种配置方式的优点是很简单，但是却不灵活。对于master-slave类型的多数据源配置而言不太适应，master-slave性的多数据源的配置，需要特别灵活，需要根据业务的类型进行细致的配置。比如对于一些耗时特别大的select语句，我们希望放到slave上执行，而对于update,delete等操作肯定是只能在master上执行的，另外对于一些实时性要求很高的select语句，我们也可能需要放到master上执行——比如一个场景是我去商城购买一件兵器，购买操作的很定是master，同时购买完成之后，需要重新查询出我所拥有的兵器和金币，那么这个查询可能也需要防止master上执行，而不能放在slave上去执行，因为slave上可能存在延时，我们可不希望玩家发现购买成功之后，在背包中却找不到兵器的情况出现。
所以对于master-slave类型的多数据源的配置，需要根据业务来进行灵活的配置，哪些select可以放到slave上，哪些select不能放到slave上。所以上面的那种所数据源的配置就不太适应了。
2.基于AbstractRoutingDataSource和AOP的多数据源的配置
基本原理是，我们自己定义一个DataSource类ThreadLocalRountingDataSource，来继承AbstractRoutingDataSource，然后在配置文件中向ThreadLocalRountingDataSource注入master和slave的数据源，然后通过AOP来灵活配置，在哪些地方选择master数据源，在哪些地方需要选择slave数据源。下面看代码实现：
**1）**先定义一个enum来表示不同的数据源：
packagenet.aazj.enums;
/**
*数据源的类别：master/slave
*/
publicenumDataSources{
MASTER,SLAVE
}
**2）**通过TheadLocal来保存每个线程选择哪个数据源的标志(key)：
packagenet.aazj.util;
importnet.aazj.enums.DataSources;
publicclassDataSourceTypeManager{
privatestaticfinalThreadLocal<DataSources>dataSourceTypes=newThreadLocal<DataSources>(){
@Override
protectedDataSourcesinitialValue(){
returnDataSources.MASTER;
}
};
publicstaticDataSourcesget(){
returndataSourceTypes.get();
}
publicstaticvoidset(DataSourcesdataSourceType){
dataSourceTypes.set(dataSourceType);
}
publicstaticvoidreset(){
dataSourceTypes.set(DataSources.MASTER0);
}
}
**3）**定义ThreadLocalRountingDataSource，继承AbstractRoutingDataSource：
packagenet.aazj.util;
importorg.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;
publicclassThreadLocalRountingDataSourceextendsAbstractRoutingDataSource{
@Override
protectedObjectdetermineCurrentLookupKey(){
returnDataSourceTypeManager.get();
}
}
**4）**在配置文件中向ThreadLocalRountingDataSource注入master和slave的数据源：
<context:component-scanbase-package="net.aazj.service,net.aazj.aop"/>
<context:component-scanbase-package="net.aazj.aop"/>
<!--引入属性文件-->
<context:property-placeholderlocation="classpath:config/db.properties"/>
<!--配置数据源Master-->
<beanname="dataSourceMaster"class="com.alibaba.druid.pool.DruidDataSource"init-method="init"destroy-method="close">
<propertyname="url"value="${jdbc_url}"/>
<propertyname="username"value="${jdbc_username}"/>
<propertyname="password"value="${jdbc_password}"/>
<!--初始化连接大小-->
<propertyname="initialSize"value="0"/>
<!--连接池最大使用连接数量-->
<propertyname="maxActive"value="20"/>
<!--连接池最大空闲-->
<propertyname="maxIdle"value="20"/>
<!--连接池最小空闲-->
<propertyname="minIdle"value="0"/>
<!--获取连接最大等待时间-->
<propertyname="maxWait"value="60000"/>
</bean>
<!--配置数据源Slave-->
<beanname="dataSourceSlave"class="com.alibaba.druid.pool.DruidDataSource"init-method="init"destroy-method="close">
<propertyname="url"value="${jdbc_url_slave}"/>
<propertyname="username"value="${jdbc_username_slave}"/>
<propertyname="password"value="${jdbc_password_slave}"/>
<!--初始化连接大小-->
<propertyname="initialSize"value="0"/>
<!--连接池最大使用连接数量-->
<propertyname="maxActive"value="20"/>
<!--连接池最大空闲-->
<propertyname="maxIdle"value="20"/>
<!--连接池最小空闲-->
<propertyname="minIdle"value="0"/>
<!--获取连接最大等待时间-->
<propertyname="maxWait"value="60000"/>
</bean>
<beanid="dataSource"class="net.aazj.util.ThreadLocalRountingDataSource">
<propertyname="defaultTargetDataSource"ref="dataSourceMaster"/>
<propertyname="targetDataSources">
<mapkey-type="net.aazj.enums.DataSources">
<entrykey="MASTER"value-ref="dataSourceMaster"/>
<entrykey="SLAVE"value-ref="dataSourceSlave"/>
<!--这里还可以加多个dataSource-->
</map>
</property>
</bean>
<beanid="sqlSessionFactory"class="org.mybatis.spring.SqlSessionFactoryBean">
<propertyname="dataSource"ref="dataSource"/>
<propertyname="configLocation"value="classpath:config/mybatis-config.xml"/>
<propertyname="mapperLocations"value="classpath*:config/mappers/**/*.xml"/>
</bean>
<!--TransactionmanagerforasingleJDBCDataSource-->
<beanid="transactionManager"class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
<propertyname="dataSource"ref="dataSource"/>
</bean>
<!--使用annotation定义事务-->
<tx:annotation-driventransaction-manager="transactionManager"/>
<beanclass="org.mybatis.spring.mapper.MapperScannerConfigurer">
<propertyname="basePackage"value="net.aazj.mapper"/>
<!--<propertyname="sqlSessionFactoryBeanName"value="sqlSessionFactory"/>-->
</bean>
上面spring的配置文件中，我们针对master数据库和slave数据库分别定义了dataSourceMaster和dataSourceSlave两个dataSource，然后注入到
**5）**使用SpringAOP来指定dataSource的key，从而dataSource会根据key选择dataSourceMaster和dataSourceSlave：
packagenet.aazj.aop;
importnet.aazj.enums.DataSources;
importnet.aazj.util.DataSourceTypeManager;
importorg.aspectj.lang.JoinPoint;
importorg.aspectj.lang.annotation.Aspect;
importorg.aspectj.lang.annotation.Before;
importorg.aspectj.lang.annotation.Pointcut;
importorg.springframework.stereotype.Component;
@Aspect//foraop
@Component//forautoscan
@Order(0) //executebefore@Transactional
publicclassDataSourceInterceptor{
@Pointcut("execution(public*net.aazj.service..*.getUser(..))")
publicvoiddataSourceSlave(){};
@Before("dataSourceSlave()")
publicvoidbefore(JoinPointjp){
DataSourceTypeManager.set(DataSources.SLAVE);
}
//......
}
这里我们定义了一个Aspect类，我们使用@Before来在符合@Pointcut("execution(public*net.aazj.service..*.getUser(..))")中的方法被调用之前，调用DataSourceTypeManager.set(DataSources.SLAVE)设置了key的类型为DataSources.SLAVE，所以dataSource会根据key=DataSources.SLAVE选择dataSourceSlave这个dataSource。所以该方法对于的sql语句会在slave数据库上执行(经网友老刘1987提醒，这里存在多个Aspect之间的一个执行顺序的问题，必须保证切换数据源的Aspect必须在@Transactional这个Aspect之前执行，所以这里使用了@Order(0)来保证切换数据源先于@Transactional执行)。
我们可以不断的扩充DataSourceInterceptor这个Aspect，在中进行各种各样的定义，来为某个service的某个方法指定合适的数据源对应的dataSource。
这样我们就可以使用SpringAOP的强大功能来，十分灵活进行配置了。
6）AbstractRoutingDataSource原理剖析
ThreadLocalRountingDataSource继承了AbstractRoutingDataSource，实现其抽象方法protectedabstractObjectdetermineCurrentLookupKey();从而实现对不同数据源的路由功能。我们从源码入手分析下其中原理：
publicabstractclassAbstractRoutingDataSourceextendsAbstractDataSourceimplementsInitializingBean
AbstractRoutingDataSource实现了InitializingBean那么spring在初始化该bean时，会调用InitializingBean的接口
voidafterPropertiesSet()throwsException;我们看下AbstractRoutingDataSource是如何实现这个接口的：
@Override
publicvoidafterPropertiesSet(){
if(this.targetDataSources==null){
thrownewIllegalArgumentException("Property'targetDataSources'isrequired");
}
this.resolvedDataSources=newHashMap<Object,DataSource>(this.targetDataSources.size());
for(Map.Entry<Object,Object>entry:this.targetDataSources.entrySet()){
ObjectlookupKey=resolveSpecifiedLookupKey(entry.getKey());
DataSourcedataSource=resolveSpecifiedDataSource(entry.getValue());
this.resolvedDataSources.put(lookupKey,dataSource);
}
if(this.defaultTargetDataSource!=null){
this.resolvedDefaultDataSource=resolveSpecifiedDataSource(this.defaultTargetDataSource);
}
}
targetDataSources是我们在xml配置文件中注入的dataSourceMaster和dataSourceSlave.afterPropertiesSet方法就是使用注入的
dataSourceMaster和dataSourceSlave来构造一个HashMap——resolvedDataSources。方便后面根据key从该map中取得对应的dataSource。
我们在看下AbstractDataSource接口中的ConnectiongetConnection()throwsSQLException;是如何实现的：
@Override
publicConnectiongetConnection()throwsSQLException{
returndetermineTargetDataSource().getConnection();
}
关键在于determineTargetDataSource()，根据方法名就可以看出，应该此处就决定了使用哪个dataSource：
protectedDataSourcedetermineTargetDataSource(){
Assert.notNull(this.resolvedDataSources,"DataSourcerouternotinitialized");
ObjectlookupKey=determineCurrentLookupKey();
DataSourcedataSource=this.resolvedDataSources.get(lookupKey);
if(dataSource==null&&(this.lenientFallback||lookupKey==null)){
dataSource=this.resolvedDefaultDataSource;
}
if(dataSource==null){
thrownewIllegalStateException("CannotdeterminetargetDataSourceforlookupkey["+lookupKey+"]");
}
returndataSource;
}
ObjectlookupKey=determineCurrentLookupKey();该方法是我们实现的，在其中获取ThreadLocal中保存的key值。获得了key之后，
在从afterPropertiesSet()中初始化好了的resolvedDataSources这个map中获得key对应的dataSource。而ThreadLocal中保存的key值
是通过AOP的方式在调用service中相关方法之前设置好的。OK，到此搞定！
7）扩展ThreadLocalRountingDataSource
上面我们只是实现了master-slave数据源的选择。如果有多台master或者有多台slave。多台master组成一个HA，要实现当其中一台master挂了是，自动切换到另一台master，这个功能可以使用LVS/Keepalived来实现，也可以通过进一步扩展ThreadLocalRountingDataSource来实现，可以另外加一个线程专门来每个一秒来测试mysql是否正常来实现。同样对于多台slave之间要实现负载均衡，同时当一台slave挂了时，要实现将其从负载均衡中去除掉，这个功能既可以使用LVS/Keepalived来实现，同样也可以通过近一步扩展ThreadLocalRountingDataSource来实现。
3.总结
从本文中我们可以体会到AOP的强大和灵活。
本文使用的是mybatis,其实使用Hibernate也应该是相似的配置。
本文内容总结：
原文链接：https://www.cnblogs.com/digdeep/p/4512368.html