Laravel 是怎样防止你的定时任务重复执行的

本文翻译自How Laravel prevents your scheduled jobs from overlapping - Diving Laravel

基本介绍

有时候一个定时任务执行需要的时间可能会比我们想象的要长,这就会引起一个问题——当前任务还没有执行完毕的时候另一个相同的任务也会执行,从而导致任务重复。例如想象一下我们执行每分钟生成一次报告的任务,在经过一段时间后,数据量变得很大导致执行时间多于1分钟,这样就会导致在上一个任务还没结束的时候另一个相同的任务开始执行。

解决方法

大部分情况下是没有什么问题的,但是有时我们需要避免这种情况来保证获得正确的数据。在Laravel中我们可以通过withoutOverlapping方法来进行处理:

1
$schedule->command('mail:send')->withoutOverlapping();

Laravel会检查Console\Scheduling\Event::withoutOverlapping属性,如果该值为true那么将会针对这个任务创建一个互斥锁(mutex),并且只有在可以创建互斥锁的情况下才会执行此任务。

什么是互斥锁?

这是我在网上找到的最有趣的解释:

当我们在开会进行激烈的讨论时,我会从我桌子里拿出来一个尖叫鸡。只有手里拿着尖叫鸡的人才能说话,如果你没有拿着尖叫鸡你是不能说话的。你只能向会议主持人请示,只有在你拿到尖叫鸡的时候你才能说话否则只能等待。当你讲话完毕的时候,将尖叫鸡还给会议主持人,主持人会将尖叫鸡给到下一个人来让其说话。这样会确保人们不会互相交谈,同时他们也会有自己的时间来进行讲话。

将尖叫鸡换成互斥锁,人换成线程。你基本上就有了一个互斥锁的基本概念。

https://stackoverflow.com/questions/34524/what-is-a-mutex/34558#34558

原理分析

Laravel在第一次执行任务的时候会创建一个互斥锁,然后在每次执行任务时会检查互斥锁是否存在,只有互斥锁不存在的时候任务才会执行。下面是withoutOverlapping方法:

1
2
3
4
5
6
7
8
9
10
public function withoutOverlapping()
{
$this->withoutOverlapping = true;

return $this->then(function () {
$this->mutex->forget($this);
})->skip(function () {
return $this->mutex->exists($this);
});
}

Laravel创建了一个过滤回调方法来告诉计划管理器忽略互斥锁仍然存在的任务,同时也创建了一个在完成任务实例后清除互斥锁的回调。同时,在执行任务之前,Lravel会在Console\Scheduling\Event::run()方法中依次执行下面一系列的检查:

1
2
3
if ($this->withoutOverlapping && ! $this->mutex->create($this)) {
return;
}

那么互斥锁的属性是从哪里来的呢?

Console\Scheduling\Schedule被实例化的时候,Laravel会检查Console\Scheduling\Mutex是否绑定到了容器,如果是那么就会实例化它,否则会使用Console\Scheduling\CacheMutex

1
2
3
$this->mutex = $container->bound(Mutex::class)
? $container->make(Mutex::class)
: $container->make(CacheMutex::class);

现在当任务管理器在注册事件的时候会将互斥锁的实例一并传进去:

1
$this->events[] = new Event($this->mutex, $command);

Laravel默认使用了缓存实现的互斥锁,但是你可以自己实现并替换它。

缓存版的互斥锁

CacheMutex类只有3个简单的方法,它使用了事件互斥锁的名字作为缓存的键值:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
public function create(Event $event)
{
return $this->cache->add($event->mutexName(), true, 1440);
}

public function exists(Event $event)
{
return $this->cache->has($event->mutexName());
}

public function forget(Event $event)
{
$this->cache->forget($event->mutexName());
}

就像我们之前看过的,管理器注册了一个执行后回调来保证任务执行完毕的时候移除互斥锁,对于一个系统里的命令来说也许已经可以确保移除了。但是对于一个回调方法的任务来说脚本可能在执行回调的时候结束,因此为了避免这种情况在Console\Scheduling\CallbackEvent::run()方法中加入了下面的代码确保互斥锁在任务意外关闭的时候能够正常移除:

1
2
3
register_shutdown_function(function () {
$this->removeMutex();
});