高性能web站点分布式处理系统gearman应用实例
发布:smiling 来源: PHP粉丝网 添加日期:2018-10-19 13:29:46 浏览: 评论:0
一. 场景分析
业务服务压力比较大,想把一些占用资源的功能异步到远程处理,比如记录业务日志,文件加密,文件分发到其他文件服务器节点上,检查文件服务器是否已同步,对用户上传的图片进行剪裁生成多份缩略图,视频转换,静态内容生成,清除缓存等等,这些请求耗时长,占用系统资源大,影响业务正常访问。这些问题会经常遇到的,如果这些任务都在用户请求过程中完成,服务器撑不撑得住暂不考虑,单凭用户体验角度考虑来说,那是难以忍受的。
二. 解决之道
对于这种需求,我们可以通过分布式计算,对任务进行拆分,转移到多台服务器上进行异步或同步处理。分布式消息队列有多种实现方式如rabbitmq、gearman等。 在这里主要说gearman—分布式处理系统。gearman由三部分组成:Job server,worker server,client server。 任务服务器job server运行这gearmand进程,来负责处理应用的远程调用请求,并且维护计算任务;工作服务器worker server负责向job server注册函数等待领取任务并执行实际的计算,然后将结果返回给job server;客户端client server提供gearman client API给应用程序调用,API支持多种语言如C、php、perl、python、mysql udf、java、ruby、go等等,主要是向job server添加任务,
流程图如下:
客户端client server向gearman添加任务时,有三种模式:
1. 同步顺序处理 相当于消息队列,先进先出。
2. 同步并行处理 这种模式会阻塞后面的运行,将互不依赖的任务并行处理,大大缩短整体处理时间。
3. 异步后台处理 将耗时任务交给后台处理,不阻塞当前进程。
三. 应用实例
需要安装的模块有Mail::SendEasy、Gearman::Worker、Gearman::Client、JSON。
# perl -MCPAN -e 'install Mail::SendEasy Gearman::Worker Gearman::Client JSON'
或通过cpanm来安装
在使用异步处理之前,当我们要发送邮件时,会直接这么写,代码如下:
- use strict;
- use Mail::SendEasy ;
- my $mail = new Mail::SendEasy(
- smtp => 'smtp.ttlsa.com' ,
- user => 'service@ttlsa.com' ,
- pass => 'QQ_qun:39514058',
- );
- my $status = $mail->send(
- from => 'service@ttlsa.com' ,
- from_title => $mail_title ,
- to => $mail_to ,
- subject => $mail_subject ,
- msg => $mail_msg ,
- html => "<b>$mail_msg</b>" ,
- );
- if (!$status) { print $mail->error ;}
这存在一个问题, 会长期阻塞在send函数,而无限制等待下去, 直到超时,很可能会拖垮服务器的。我们可以使用gearman,来改变这种发送邮件的方式。第一步,创建一个worker实例SENDMAIL,并向job server注册,等待接收任务并执行发送邮件的操作。第二步,客户端只需要将发送邮件的任务丢给job server便退出,没你什么事了。上代码:
- # vim work_SENDMAIL.pl
- use strict;
- use Mail::SendEasy ;
- use Gearman::Worker;
- use JSON;
- use Data::Dumper;
- my $gearman_server='127.0.0.1:4730';
- my $worker=new Gearman::Worker;
- $worker->job_servers($gearman_server);
- $worker->register_function(SENDMAIL=>\&sendmail);
- $worker->work while 1;
- sub sendmail{
- my $job=shift;
- my $param=$job->arg;
- my $json = JSON->new->allow_nonref;
- my $hash_ref=$json->decode($param);
- my $addr=$hash_ref->{'email'};
- my $subject=$hash_ref->{'subject'};
- my $msg=$hash_ref->{'msg'};
- my $mail = new Mail::SendEasy(
- smtp => 'smtp.ttlsa.com' ,
- user => 'service@ttlsa.com' ,
- pass => 'QQ_qun:39514058',
- );
- my $status = $mail->send(
- from => 'service@ttlsa.com' ,
- from_title => $subject ,
- to => $addr ,
- subject => $subject ,
- msg => $msg ,
- html => "<b>$msg</b>" ,
- );
- if (!$status) { print $mail->error ;}
- }
- # vim gearman_client.pl
- use strict;
- use Gearman::Client;
- use JSON;
- my $gearman_server="127.0.0.1:4730";
- my $worker='SENDMAIL';
- my $data={};
- $data->{'subject'} = "www.ttlsa.com --- Operation & Maintenance of Time To Live";
- $data->{'msg'} = "Date: gettime()
- $data->{'email'} = '710117291@qq.com';
- my $json = JSON->new->allow_nonref;
- my $param=$json->encode($data);
- gearman_add_job($gearman_server,$worker,$param,2);
- sub gearman_add_job {
- my $server=shift;
- my $function_name=shift;
- my $function_param=shift;
- my $level=shift or 1;
- my $gearman_client = Gearman::Client->new;
- $gearman_client->job_servers($server);
- if($level == 1){
- my $result = $gearman_client->do_task($function_name,\$function_param,{});
- }
- elsif($level == 2){
- my $result = $gearman_client->dispatch_background($function_name, \$function_param,{});
- }
- }
- sub gettime {
- my @time=(localtime)[5,4,3,2,1,0];
- $time[0]+=1900;
- $time[1]+=1;
- return sprintf("%04u-%02u-%02u %02u:%02u:%02u",@time);
- }
完成上面的改造不要认为解决了发送邮件会长期阻塞在send函数,而无限制等待下去的问题了。这其实只是解决了一部分,还有一个问题需要考虑进去,既然采用了异步方式,那么应用程序是不知道邮件是否发送成功的,因此需要记录任务执行的结果,可以将结果写入数据库,定期的对发送失败的邮件进行再次发送,或写个异常处理的worker,捕获发送邮件异常,进行多次尝试发送。
这种方案是我在捕获数据库备份过程中失败时,发邮件报警的应用。
通过这样的异步任务处理,可以很好的解决前面场景提到的问题,完全取决于如何应用gearman了。如有更好的应用可以相互交流。
Tags: 分布式 高性能 实例
相关文章
- ·Memcached分布式部署方案设计(含PHP代码)(2015-04-15)
- ·PHP分布式框架如何使用Memcache同步SESSION教程(2018-10-28)
- ·Redis分片(分布式缓存)(2020-02-04)
- ·PHP一致性hash分布式算法封装类定义与用法示例(2021-10-22)
- ·使用Zookeeper分布式部署PHP应用程序(2021-11-12)
- ·用实例分析PHP5异常处理(2013-11-13)
- ·两款php导出excel实例(2013-12-16)
- ·php 实现jquery+ajax 跨域数据调用实例(2014-01-03)
- ·PHP JSON数据处理实例程序用法(2014-01-06)
- ·php中cookie实现二级域名可访问操作实例(2014-01-07)
- ·PHP curl 获取响应的状态实例(2014-01-08)
- ·PHP Curl多线程实现原理与实例详解(2014-01-09)
- ·php 通过curl post发送json数据实例(2014-01-10)
- ·php中设计模式工厂模式和单例模式实例(2014-01-16)
- ·PHP多进程编程实例说明(2014-01-17)
- ·PHP socket模拟POST请求实例(2014-01-18)
推荐文章
热门文章
最新评论文章
- 写给考虑创业的年轻程序员(10)
- PHP新手上路(一)(7)
- 惹恼程序员的十件事(5)
- PHP邮件发送例子,已测试成功(5)
- 致初学者:PHP比ASP优秀的七个理由(4)
- PHP会被淘汰吗?(4)
- PHP新手上路(四)(4)
- 如何去学习PHP?(2)
- 简单入门级php分页代码(2)
- php中邮箱email 电话等格式的验证(2)