我们在升级的过程中数据库肯定增加字段，像QQ的升级总有一些数据库或字段会提升，多一些字段，这个时候我们根本看不出来。

还有一点，总有硬件硬盘出现坏掉的情况，但是我们感觉不到。因为肯定会有老化的情况，肯定会有，只是我们不知道。这时候我们会从硬盘的角度去做RAID等级，RAID0+1，RAID5等各种各样的RAID等级会出现。

在电源老化，断电的情况下，去模拟双电源，多个电源，网卡有时候不小心被踢到，网络掉线了，那如果是双网卡、多网卡，不小心踢掉一个还有其他的工作。通过监控，哪一个断了，赶紧换一个新的就可以了。这是我们硬件上的可靠性。

硬件上解决了，再有一点，ORACLE RAC集群。在数据库领域，ORACLE 目前是最厉害的，很多银行的核心账务系统都是ORACLE RAC模式，当某一台服务器硬件出问题了，他能马上无缝连接跳转过去，最终1万笔可能只损失一笔。损失一笔相对好一些，法律究责也好处理。

还有我们的开源数据库，PG数据库，也是一主多从。再一个MYSQL也是用的比较多的吧，双机热备就会用到，我们把某一个MYSQL端口给屏蔽掉，防火墙给开了，让它给下线，这个时候看看能不能正常跳转过去，一定会被黑客攻击，我们模拟数据库宕机时，双击热备能不能正常跳转，两边的数据的一致性有没有出问题。Redis也是一样，Redis高版本的部署，自身自带一主多从和双热这样的机制。

再往下就是我们的备份有没有做到多机备份、异地备份，银行系统往往要求两地三中心这种备份，两个地方，三个数据中心。万一某一个地方出现地震了，出现洪涝了，不小心打仗，数据是不是没了，那就很危险。所以要求在不同的地方都有数据中心，不可能一下子波及那么多，模拟这种不可抗力的故障。