nginx+memcache+tomcat配置(新手笔记)

摘要:摘要: 本人第一次做nginx+memcache+tomcat的分布式 负载均衡。近期项目要用到因此就上网找了些资料实现了以下,在此作为记录

nginx+memcache+tomcat 应该是企业级开发中用到的比较多的一套集群web环境,因为本人是从事Java的学习和开发,因此服务器选择了tomcat;配置这样一个环境在我看来首要目的当然是将服务器的压力分散开,用多台服务器来处理大用户的并发,并通过缓存来减少对服务器的请求量,同时一个应用分布在不同服务器上就需要做session共享。大概的结构我想应该是这样:

timg (37).jpg

这样一来请求会被分派到这图中5个tomcat下的项目去处理,当然有时候服务器需要处理更大的并发量则需要更多的nginx来作为代理转发并需要更多的tomcat节点(当然也有牛人能把tomcat配到数千并发量,这样也不一定需要太多tomcat)

我将从windows上给大家讲我的配置过程,至于在linux上其实差不太多,只是在安装memcache和nginx上有差异,对于配置来说都一样。下面简单来介绍下我的操作步骤(JDK和tomcat部分的安装省略)

一、所需环境和软件

Tomcat7,下载链接:http://tomcat.apache.org/

Nginx是nginx-1.2.8,

下载链接:http://nginx.org/en/download.html

Memcached是memcached-1.2.6-win32-bin,下载链接:http://code.jellycan.com/files/memcached-1.2.6-win32-bin.zip,

其他所需jar包,如下列表:

memcached-session-manager-1.6.1,memcached-session-manager-tc6-1.6.1(因为Tomcat版本为6.0)

javolution-5.4.3.1,msm-javolution-serializer-1.6.1(准备使用javolution序列化方式)

spymemcached-2.7.3(依赖包),以上jar包在http://code.google.com/p/memcached-session-manager/downloads/list中都可以找到,文档http://code.google.com/p/memcached-session-manager/wiki/SetupAndConfiguration中详细介绍了不同的服务器版本,不同的jar包需求。

二、Tomcat配置

这里我们就配置俩tomcat来意思意思。。。。

进入tomcat配置文件context.xml,我设置么配的(具体为什么这么配我还真有点说不出123,大致有感觉罢了)

也就是红框是我们需要加的了,这里就是配置session共享,通过memcache来保存session信息。

memcacheNode是你有几个memcache就可以配几个节点,我这里写了两个告诉大家如果你有多个需要配置的节点 用空格断开,前面写节点名。

当然网上有的是把这部分配到server.xml的Engine节点下,我试了如果不在context下配置我的会报错,不知道他们还有哪里和我不一样。再就是这里的memcacheNode的IP,我写localhost也有问题,必须写127.0.0.1才能连接到memcache的服务。 如果有人发现我配置上的问题可以帮我一并指出。

然后大家可以去server.xml下找<Engine>节点,在其中添加属性 jvmRoute="tomcat n" n就是第n个tomcat你自己写 后面测试的时候打印sessionId会显示出来现在用的是那个tomcat。当然server.xml最重要的配置还不是在这,是你需要配置三个端口保证和其他的tomat不会冲突,分别在这里

注意tomcat端口默认都是8080 ,大家做开发习惯了这个端口,都把端口配到808*,但是这样会有问题,比如你要配4个tomcat集群,一个tomcat 要配置3个端口,都在808*上就势必有重复,因此不是很好的决策,所以我是这么定的:分别放在 900* 808* 810*上,然后建议大家在tomcat根目录建一个文件名叫8081-8100-9006 类似这样文本文件提示自己当前这个tomcat的端口配置,现在只有俩服务器,否则服务器多了你一个个开配置文件看太麻烦。

配置完了,还有memcache支持的jar,复制到lib下即可,当然版本尽量对上或者贴近。

 

三、nginx的安装

载下来的nginx,我的是1.8,

双击nginx.exe是可以启动nginx的,但是你并不能看见什么反应,因为他在你后台进程里跑,打开任务管理器看服务里面会有nginx的服务开着,就行了。当然我还是推荐大家用命令模式操作nginx

开启nginx: nginx

关闭nginx: nginx -s stop

重启nginx: nginx -s reload

这里注意nginx的核心配置文件在 conf目录下,有个nginx.conf文件,这里是我们需要配置的地方。

nginx配置文件结构我不全了解,我就说我知道的几个点。

Nginx配置文件主要分为4部分:main(全局设置)、server(主机设置)、upstream(负载均衡服务器设置)和location

首先server代表了一个虚拟主机,在这个块中可以配置主机名和location,这两个块也就是我们要用到的nginx反向代理,将虚拟地址映射到实际的服务器地址。实际的服务器地址我们配置到一个upstream块中,那么既然我们做了集群,将大量的请求分派到5个甚至多个tomcat下,那么请求怎么访问它们呢?这里就有请求分配的策略了。upstream模块的负载均衡分配方式 我在网上查了有5种:轮询,权重,ip_hash,url_hash和平均。轮询比较好理解就是从第一个轮流来访问;权重就是在配置这个节点的时候就分配给他一个优先级(有点像线程优先级),ip_hash 每个请求按照其请求IP的hash结果分配,url_hash 按照url的hash结果分配 平均分配就是按照服务器响应时间来分配,响应时间小的先分配。

讲到这里nginx配置的理论就差不多了,那么来看下配置的细节,下面是我的部分配置:

这里我将两台tomcat加入负载均衡配置中,location指的是server_name后项目名,也就是说我们访问http://localhost/tonghang 将会定向到 http://127.0.0.1:8081/tonghang 和http://127.0.0.1:8082/tonghang上。proxy_pass 指定了代理的目标主机IP,这里写的是upstrean块的地址(我不是很懂暂时这么说),由upstream中指定有哪些要映射的IP,当然我们也可以写到外面,用很多个proxy_pass来映射。

四、memcache安装

windows下安装memcache就是安装一个exe文件,linux下安装可能还需要安装部分依赖库,因为我所在的服务器下就带有memcache,我先在win下配置好后再去linux下直接用的,用起来没有什么问题,所以安装细节就不提了大家可以去看别的技术文章,win下安装就是 来到你解压的memcached.exe所在目录用命令 memcached.exe -d install 即可。启动的话就是执行memcached.exe -d start linux下是memcached -d -uroot 重复开memcache貌似不会出现端口占用的问题应该是它内部做处理了

 

好了,到这里基本的配置完毕,我们可以去两个tomcat下部署两个一样web项目(我这里叫tonghag),项目下都有一个index.jsp,内容如下:

<%@pagelanguage="java"contentType="text/html;charset=UTF-8"%> <html> <body> <h2>HelloWorld!</h2> <% Stringtmp=(String)session.getAttribute("tmp"); if(tmp==null||tmp==""){ session.setAttribute("tmp","iamcreatedintomcat2.myidis:"+session.getId()); tmp=(String)session.getAttribute("tmp"); out.println("nullnowtocreatedvalue!"); out.println("<br/>"); out.println(tmp); System.out.println(tmp); }else{ out.println(tmp); System.out.println(tmp); } %> </body> </html>

逻辑就是每当发现请求中没有sessionid就创建session,按道理如果没有配置memcache的session共享,分别访问 http://localhost:8081/tonghang http://lcoalhost:8082/tonghang会得到不同的sessionID,如果你通过上述的配置sessionID在一个浏览器上的访问都是一样的。

在测试一下 http://localhost/tonghang 试试看。你会发现也能看当刚才的界面,这就是我们做了反向代理的结果,而且你还会发现你的两台tomcat的控制台在挨个输出日志,这也就达到了我们负载均衡的效果,因为我配置了两台tomcat而且权重一样,也就是说访问的几率差不多,而两台tomcat本来就是一台复制一台的,所以几乎是121212的访问(和轮询差不多)。所以大家可以尝试给其中一台配置权限高一点,日志输出分布也就明显了。或者可以试试其他的策略。

 

ngxin+tomcat+memcache的负载均衡,反向代理和session共享的相关配置介绍完了,单纯这样用是看不出什么实际用途的,需要我们将其和实际项目联系起来。在项目访问量级相对较大的时候就能看出来了。毕竟那么多企业的项目再用这套架构,也不是徒有虚名嘛。

 

小弟第一次做集群的配置,其中如果有配置的不对让我误打误撞试出来的,也请指点一下。并且我一直不清楚一个地方就是 我在配置tomcat的context.xml 那个memcacheNode里面我如果只配一个节点就会错,log意思好像是无法连接memcache服务,配俩一样的就行了。这里我一直没明白,有知道怎么回事儿的身边给我留个言吧!