之前我们总结了，网站的架构设计中需要关注的五点架构要素，分别是性能、高可用、伸缩性、拓展性、安全性，前面我们已经总结了网站性能测试中，需要测试的几点性能指标，我们通过性能测试得出指标后，就需要去优化性能，而优化性能又根据三个方面:前端、服务器端、数据库端。今天我们要分析的就是在应用服务器端方面的性能优化。
前面的内容不清楚的，可以去看这两篇总结的博客:
大型网站需要关注的一些架构要素
网站架构性能测试指标与方法总结
虽然我们这里说的是应用服务器端的优化，但任然离不开我们性能测试的几个指标:
响应时间
并发数
吞吐量
性能计数器
其实可以进一步浓缩成几点:
响应时间快
并发数大
下面就说说主要的优化手段: 缓存、异步、集群等
一、分布式缓存
网站性能优化的第一点，就是优先考虑使用缓存优化，减少数据库压力，快速响应前端请求。
对于一个通用的数据，比如说用户权限，基本信息，登录信息等，每次请求都要去访问，如果存在缓存里，虽然可以快速获取了，但是还是可能存在数据不一致的问题，因为是分布式系统，如果其中一台机器更改了，需要同步所有机器的缓存，这样做不好，所以我们考虑使用分布式缓存，来讲一些热点数据进行缓存起来。
想要深入了解缓存可以看这篇文章：
redis缓存使用存在的问题与解决方案
关于分布式缓存架构
分布式缓存指缓存部署在多个服务器组成的集群中，以集群方式提供缓存服务，其架构方式有两种，一种是以JBoss Cache为代表的需要更新同步的分布式缓存，一种是以Memcached为代表的不互相通信的分布式缓存。
JBoss Cache的分布式缓存在集群中所有服务器中保存相同的缓存数据，当某台服务器有缓存数据更新的时候，会通知集群中其他机器更新缓存数据或清除缓存数据。
大型网站需要缓存的数据量一般都很庞大，可能会需要数TB 的内存做缓存，这时候就需要另一 种分布式缓存，如图所示。
Memcached采用一种集中式的缓存集群管理，也被称作互不通信的分布式架构方式。缓存与应用分离部署，缓存系统部署在一组专门的服务器上，应用程序通过一致性Hash等路由算法选择缓存服务器远程访间缓存数据，缓存服务器之间不通信，缓存集群的规模可以很容易地实现扩容，具有良好的可伸缩性。(这里也可以参考redis安装一致性hash算法的部署方式，部署分布式缓存)
三、异步
基本都是使用消息队列的方式，去做异步化，将复杂的业务调用操作中异步，可以提高性能，也可以改善网站的拓展性。（首先使用消息队列的话，就使软件系统的各个模块之间耦合度降低，低耦合就意味着易拓展.
使用消息队列后:
在不使用消息队列的情况下，用户的请求数据直接写入数据库，在高并发的情况下，会对数据库造成巨大的压力，同时也使得响应延迟加剧。在使用消息队列后，用户请求的数据发送给消息队列后立即返回，再由消息队列的消费者进程（通常情况下，该进程通常独立部署在专门的服务器集群上）从消息队列中获取数据，异步写入数据库。这就提高了响应时间和降低了数据库的压力。
同时，用户请求加入消息队列后，立即返回，也可以抵御高峰期间大量流入的请求。起到削峰的作用。
一般来说，在分布式系统中，一个操作基本都包含很多操作，具备事务性。如果加入消息队列后，后续的数据库处理失败了，我们都要做补偿机制，事务回滚。这就涉及到分布式事务，分布式事务，可以看我整理的这篇文章:
谈谈分布式事务的设计与实现
三、使用集群
在网站高并发访问的场景下，使用负载均衡技术为一 个应用构建一 个由多台服务器组成的服务器集群，将并发访问请求分发到多台服务器上处理，避免单一 服务器因负载压力过大而响应缓慢，使用户请求具有更好的响应延迟特性。
四、代码方面的优化
1.使用多线程
2.使用并行流式计算处理（jdk8中语法）
3.资源复用
4.设计模式
5.JVM垃圾回收
6.数据结构
使用多线程方式
从资源利用的角度看，使用多线程的原因主要有两个： IO 阻塞与多核CPU。一般来说IO操作基本都是阻塞的，这时候可以调度其他线程来处理。同时多核CPU来说，一般数据中心的服务器基本都有16核的CPU，药最大限度使用这些CPU，必须启动多线程。
一台服务器上启动多少线程合适呢？
假设服务器上执行的都是相同类型任务，针对该类任务启动的线程数有个简化的估算公式可供参考：
启动线程数＝[任务执行时间/(任务执行时间-IO 等待时间] xCPU 内核数
最佳启动线程数和 CPU 内核数量成正比，和 IO 阻塞时间成反比。如果任务都是CPU计算型任务，那么线程数最多不超过 CPU 内核数，因为启动再多线程，CPU 也来不及调度；相反如果是任务需要等待磁盘操作， 网络响应，那么多启动线程有助于提高任务并发度，提高系统吞吐能力，改善系统性能。
编程上，解决线程安全的主要手段有如下几点：
将对象设计为无状态对象：
使用局部对象：即在方法内部创建对象。
并发访问资源时使用锁。
空间换时间的方式：threadlocal
cas方式
2.资源复用
方式: 单例模式、连接池控制连接对象池
3.数据结构:数据结构和算法方面，可以考虑位运算。
- JVM垃圾回收
设置一些jvm参数，比如对象堆大小，常量池大小，垃圾回收的算法。。。
待续。。。
参考摘自《大型网站技术架构核心原理与实践》阅读笔记
