先週、社内で検討している非同期処理の設計レビューで、少し答えに詰まりました。重い PDF の生成を Web から切り離し、SQS のキューに積んでコンテナのワーカーに処理させる、というよくある構成です。
レビューで出た質問は「可視性タイムアウトは何秒にするのか。処理時間より短かったら何が起きるのか」でした。
「処理時間より長くする。短いと二重に処理される」というのは定石として知っていました。ただ、どのくらいの頻度で二重になるのか、何回まで繰り返すのか、DLQ(デッドレターキュー)とどう絡むのかを、数字で説明できなかったんですよね。運用を考えると、ここを感覚で決めるのは避けたいと考えています。そこで、手元で SQS 互換のサーバーを立てて、条件を変えながら数えてみました。
測り方
SQS 互換のキューサーバー ElasticMQ 1.7.1 を Docker で起動し、Node.js 22.14.0 と AWS SDK for JavaScript v3(@aws-sdk/client-sqs 3.1165.0)から接続しました。認証情報は偽の鍵だけを書いたファイルに向け、AWS には1リクエストも送っていません。
待ち時間を短くするため、時間は全体に縮めています。可視性タイムアウトは既定の30秒ではなく2秒、重い処理は3秒(タイムアウトの1.5倍)、軽い処理は1秒か1.5秒です。ワーカーは3本で、1回の受信で1件ずつ取ります。
ワーカーの中身は、受信して、処理して、削除するだけです。
// ワーカー1本分。受信 → 処理 → 削除 を繰り返す(可視性タイムアウトはキュー側で 2 秒)
async function runWorker(name) {
while (!stopped) {
const res = await sqs.send(new ReceiveMessageCommand({
QueueUrl: queueUrl,
MaxNumberOfMessages: 1,
WaitTimeSeconds: 1,
MessageSystemAttributeNames: ["ApproximateReceiveCount"],
}));
const msg = res.Messages?.[0];
if (!msg) continue;
await handleJob(msg.Body); // 実験では sleep で 1〜3 秒待つだけ
try {
await sqs.send(new DeleteMessageCommand({ QueueUrl: queueUrl, ReceiptHandle: msg.ReceiptHandle }));
record(name, msg, "deleted");
} catch (err) {
record(name, msg, err.name); // 削除に失敗したら理由を残す
}
}
}
数えたのは、メッセージごとの「処理を最後まで実行した回数」と、削除の成否、最後に DLQ へ移った件数です。
最初の想定外:二重処理が1件も起きなかった
まず、12件を積んで、処理3秒・可視性タイムアウト2秒で流しました。定石どおりなら二重処理が出るはずの条件です。
結果は、12件すべてが1回ずつ処理され、二重処理は0件でした。
正直なところ、最初は実験の組み方を疑いました。ログを並べて分かったのは、ワーカー3本が常に処理中だったということです。2秒でメッセージが再び見えるようになっても、そのとき受信しに来るワーカーがいない。3秒たって最初のワーカーが削除するまで、誰も拾わないんですよね。
つまり、キューにたっぷり仕事が積まれている間は、この設定ミスは表に出ません。負荷をかけた試験では「問題なし」に見えて、仕事が途切れがちな時間帯に初めて起きる種類の不具合だと考えています。
手すきのワーカーがいると、1件が21回処理された
そこで、積む件数をワーカーより少ない2件にしました。3本目のワーカーは、最初から手すきで受信を待っています。
今度は一変しました。job-01 というメッセージが、43秒の間に21回処理されています(40秒で受信を打ち切ったので止まりましたが、打ち切らなければ続いていたはずです)。job-01 の記録を抜き出すとこうなります。
受信回数 ワーカー 処理開始 処理終了 削除の結果
1 W1 0.0秒 3.0秒 ReceiptHandleIsInvalid
2 W2 2.0秒 5.0秒 ReceiptHandleIsInvalid
3 W3 4.0秒 7.0秒 ReceiptHandleIsInvalid
4 W2 6.1秒 9.1秒 ReceiptHandleIsInvalid
...(2秒ごとに誰かが受信し直し、前の人の削除は毎回失敗する)
20 W1 38.3秒 41.3秒 ReceiptHandleIsInvalid
21 W2 40.3秒 43.3秒 deleted(40秒で受信を止めたので、これが最後の受信になった)
仕組みはこうです。最初に W1 が job-01 を、W3 が job-02 を受信し、W2 だけが手すきでした。W1 が処理している途中の2秒目に job-01 が再び見えるようになり、手すきの W2 が受信します。受信し直すとメッセージの受信ハンドルが新しくなるので、3秒目に W1 が古いハンドルで削除しようとすると失敗します。手すきになったワーカーが、次の2秒後に再び見えるようになった job-01 を拾う。これが延々と回ります。
もう1件の job-02 は1回で終わりました。2秒目に再び見えるようになったのは同じですが、手すきだった1本(W2)が先に job-01 を拾ったので、job-02 を拾う手が残っていませんでした。3秒目に W3 が、まだ新しいままの受信ハンドルで無事に削除できています。2件の差はタイミングだけです。
ここで注意が要るのが、削除の失敗の見え方です。ElasticMQ は古いハンドルでの削除に ReceiptHandleIsInvalid を返したので、失敗に気づけました。一方で、本物の SQS のドキュメントには、古いハンドルで削除するとリクエストは成功するが、メッセージは削除されないことがある、と書かれています。本物では、ログには「削除成功」が並んだまま、同じメッセージが何度も戻ってくる可能性があるわけです(ここは本物の SQS では確かめていません)。
9通りの結果
条件を変えて流した結果を並べます。可視性タイムアウトはすべて2秒、ワーカーは3本です。5と6は40秒で受信を打ち切っています。
| # | 条件 | 処理の実行回数 | 2回以上処理された件数 | 1件の最多 | 削除の失敗 | DLQ |
|---|---|---|---|---|---|---|
| 1 | 12件・処理1.5秒 | 12 | 0 | 1 | 0 | なし |
| 2 | 12件・処理3秒 | 12 | 0 | 1 | 0 | なし |
| 3 | 12件・処理3秒・延長あり | 12 | 0 | 1 | 0 | なし |
| 4 | 12件・処理3秒・DLQ(2回) | 12 | 0 | 1 | 0 | 0 |
| 5 | 2件・処理3秒 | 22 | 1 | 21 | 20 | なし |
| 6 | 12件・4件に1件だけ処理3秒(他は1秒) | 29 | 1 | 18 | 17 | なし |
| 7 | 6と同じ・延長あり | 12 | 0 | 1 | 0 | なし |
| 8 | 6と同じ・DLQ(2回) | 13 | 1 | 2 | 2 | 1 |
| 9 | 5と同じ・DLQ(2回) | 3 | 1 | 2 | 2 | 1 |
6 は、処理時間のばらつきを入れた条件です。3秒かかるのは job-04・job-08・job-12 の3件ですが、二重になったのは最後の job-12 だけで、18回処理されました。job-04 と job-08 は1回で済んでいます。この2件が処理されていたのは、まだ配られていない後続のメッセージがキューに残っていた時期でした。job-12 だけは、ほかに配るものが無くなってから処理が延びたので、手すきのワーカーに拾われ続けています。キューが空きはじめる最後の1件が捕まる、というのは2件のときと同じ形です。6 と 8 は同じ条件でもう一度流し、同じ回数になることを確かめました。
DLQ に入ったのは「失敗したメッセージ」ではなかった
8 と 9 は、受信が2回を超えたら DLQ に移す設定(maxReceiveCount を 2)にしたものです。無限に回ることはなくなり、どちらも DLQ に1件ずつ移りました。
ただ、その1件の中身を見ると、処理は2回とも最後まで終わっています。終わったのに削除が2回とも失敗し、3回目の受信のタイミングで DLQ に移った。DLQ に入っていたのは、処理に失敗したメッセージではなく、処理を終えたのに消せなかったメッセージでした。
運用を考えると、ここは大事なところだと考えています。DLQ のメッセージを「失敗したから再実行する」と決め打ちで再投入すると、3回目、4回目の処理が走ります。本物の SQS では古いハンドルでの削除が成功として返る可能性があるので、ログ上は「2回とも成功」なのに DLQ にいる、という一見矛盾した状態になるはずです。
maxReceiveCount をいくつにするかは、ここは好みが分かれるところですが、2 は小さすぎると判断しました。ドキュメントでも、1 のような小さい値だと受信に一度失敗しただけで DLQ に移るので、十分な再試行ができる値にするよう書かれています。
延長(ハートビート)で二重処理は0件になった
3 と 7 は、処理中に可視性タイムアウトを延ばし続ける形です。ChangeMessageVisibility を可視性タイムアウトの半分ごとに呼び、「あと2秒は見せないで」と伝えます。6 で18回処理されていた条件でも、7 では12件が1回ずつで終わりました。6 は40秒で打ち切るまで回り続けたのに対し、7 は9秒で全件が片付いています。
// 処理中は可視性タイムアウトの半分ごとに「あと vtSec 秒は見せないで」と延長する
async function handleWithHeartbeat(msg, vtSec, job) {
const timer = setInterval(() => {
sqs.send(new ChangeMessageVisibilityCommand({
QueueUrl: queueUrl,
ReceiptHandle: msg.ReceiptHandle,
VisibilityTimeout: vtSec,
})).catch(() => {}); // 改善の余地あり: 延長の失敗を握りつぶしている
}, (vtSec * 1000) / 2);
try {
await job(msg.Body);
} finally {
clearInterval(timer);
}
await sqs.send(new DeleteMessageCommand({ QueueUrl: queueUrl, ReceiptHandle: msg.ReceiptHandle }));
}
このコードには、正直に書いておくべき穴があります。延長のリクエストが失敗しても、ワーカーは何も知らずに処理を続けます。通信の瞬断で延長が1回抜けただけで、守られているつもりのまま二重処理の条件に戻ってしまう。延長にも上限があり、ドキュメント上は12時間までです。失敗したら処理を打ち切るのか、少なくともログに残すのか、まだ決めきれていません。
延長は「長く守る」ための仕組みで、「二度と配らない」保証ではない、というのが今回の理解です。標準キューはもともと少なくとも1回届ける設計なので、同じ仕事を2回やっても結果が変わらない作り(冪等にすること)は、延長とは別に必要だと考えています。
ポーリングは料金より遅延に効いた
もう一つ、受信の待ち方も測りました。60秒の間に10秒おきで6件だけ届くキューを、待たずに受信する形(空なら1秒休む)と、最大20秒待つ形(WaitTimeSeconds=20)で読んでいます。
| 受信の待ち方 | 受信の呼び出し | 空の応答 | 届くまでの中央値 | 最大 |
|---|---|---|---|---|
| 待たない(空なら1秒休む) | 66回 | 60回 | 328ms | 551ms |
| 最大20秒待つ | 7回 | 1回 | 6ms | 8ms |
SQS は空の応答も1リクエストとして課金されるので、月額に直してみました。
# 60 秒の実測(受信の呼び出し回数)を 30 日に引き延ばし、東京リージョンの標準キュー料金で月額にする
PER_MILLION_USD = 0.40 # 標準キュー・リクエスト 100 万件あたり(ap-northeast-1、Tier1)
YEN_PER_USD = 150 # 換算レート(仮置き)
MINUTES_PER_MONTH = 60 * 24 * 30
measured_calls_per_min = {
"短いポーリング(待たずに受信・空なら1秒休む)": 66,
"長いポーリング(WaitTimeSeconds=20)": 7,
"長いポーリング・1件も来ない時間帯": 3, # 20 秒待って空で返るのを 1 分に 3 回
}
for label, per_min in measured_calls_per_min.items():
calls = per_min * MINUTES_PER_MONTH
usd = calls / 1_000_000 * PER_MILLION_USD
print(f"{label}: 月 {calls:,} 回 / ${usd:.2f} / 約 {usd * YEN_PER_USD:.0f} 円(ワーカー1本あたり)")
# 実行結果:
# 短いポーリング(待たずに受信・空なら1秒休む): 月 2,851,200 回 / $1.14 / 約 171 円(ワーカー1本あたり)
# 長いポーリング(WaitTimeSeconds=20): 月 302,400 回 / $0.12 / 約 18 円(ワーカー1本あたり)
# 長いポーリング・1件も来ない時間帯: 月 129,600 回 / $0.05 / 約 8 円(ワーカー1本あたり)
ワーカー1本あたり月171円対18円で、4本動かしても約684円対約73円です。金額だけなら誤差と言っていい差でした。
今思えば、効いたのは料金より遅延のほうです。待たない形は、空の応答のあと1秒休んでいる間に届いたメッセージを、次の呼び出しまで拾えません。20秒待つ形は、待っている最中に届いた時点で応答が返るので、届いてから受け取るまでが中央値6msでした。なお、本物の SQS の短いポーリングは一部のサーバーだけを見に行くので、メッセージがあっても空で返ることがあるとドキュメントにあります。ElasticMQ ではそれは再現しないので、本物では待たない形の空振りはもう少し増えるはずです。
決めたこと
設計レビューには、次の形で持ち帰りました。
- 可視性タイムアウトは、処理時間の平均ではなく「処理を打ち切る時間」より長くする。打ち切りの無い処理は作らない
- 打ち切り時間が読めない処理(外部 API 待ちを含むもの)は、可視性タイムアウトの半分ごとに延長する
- 削除の失敗はログに出す。ただし本物の SQS は成功を返すことがあるので、ログだけに頼らず、同じ仕事を2回やっても結果が変わらない作りにする
maxReceiveCountは 2 にしない。DLQ を見たら、再投入の前に「処理済みかどうか」を先に確かめる- 受信は
WaitTimeSeconds=20で待つ - 試験は、件数をワーカー数より少なくした条件でも流す。負荷をかけた試験だけでは、この種の不具合は出てこない
マネージドサービスにするかどうかの判断で言うと、再試行と DLQ の仕組みをアプリ側に書かずに済むのが SQS を選ぶ一番の理由です。ただ、今回の結果を見る限り、「キューに任せたから安全」ではなく、キューの約束(受信ハンドルが受信のたびに変わる、少なくとも1回は届く)に合わせてワーカーを書く必要がある、というのが正確なところだと考えています。
おわりに
時間を縮めて手元で回したので、本物の SQS とは違うところがあります。いちばん大きいのは、古い受信ハンドルでの削除がエラーになるか、成功として返るかです。ここは、検証用の環境で本物のキューに同じ条件を流して確かめたいと考えています。リクエスト数で言えば数千回なので、料金はほぼかかりません。
もう一つ、延長が失敗したときの扱いと、処理済みかどうかを記録する仕組み(仕事ごとの ID を DB に残すなど)は、まだ設計の途中です。DLQ に入ったメッセージを「調べてから戻す」手順まで含めて、運用で回る形にしていきたいと思います。