に書いたようにこの $n$ と $d$ の範囲では $\lfloor R(n/d)\rfloor$ は $\lfloor n/d\rfloor$ に一致します。また、浮動小数点数のfloor $\lfloor\cdot\rfloor$ は浮動小数点数として正確に表現できます（なので $\lfloor\cdot\rfloor$ の周りに $R(\cdot)$ は書いていません）。

ということで、

n\mathbin{\%}d=R(n-R(\lfloor n/d\rfloor\cdot d))

という風に、丸めが問題になりうるのは掛け算の際と引き算の際の2回です。

仮に掛け算の正確な値（整数値）が浮動小数点数として正確に表現可能であれば

R(n-R(\lfloor n/d\rfloor\cdot d))=R(n-\lfloor n/d\rfloor\cdot d)

となり、 $n-\lfloor n/d\rfloor\cdot d$ は絶対値が $d$ 未満なので浮動小数点数として正確に表現可能で、

n\mathbin{\%}d=n-\lfloor n/d\rfloor\cdot d

を得ます。よって、「積 $\lfloor n/d\rfloor\cdot d$ が浮動小数点数として正確に表現できるのはどのような時か」が焦点となります。

nとdが同符号の場合

$n/d\ge 0$ の場合は $0\le\lfloor n/d\rfloor\le n/d$ なので、 $0\le\bigl\lvert\lfloor n/d\rfloor\cdot d\bigr\rvert\le \lvert n\rvert$ です。 $\lvert n\rvert\le 2^{53}$ と仮定しているので、整数 $\lvert\lfloor n/d\rfloor\cdot d\rvert$ は浮動小数点数で正確に表現できます。

よって、 $n$ と $d$ が同符号の場合はLuaの % 演算子を安全に使えます。

nの絶対値がd以下の場合

今度は $n$ と $d$ は異符号であること（ $n/d<0$ ）と、 $n$ の絶対値が $d$ の絶対値以下であること（ $\lvert n\rvert\le\lvert d\rvert$ ）を仮定します。

この時、 $\lfloor n/d\rfloor=-1$ です。よって、積 $\lfloor n/d\rfloor\cdot d$ は浮動小数点数で正確に表現できます。

nの絶対値がdよりも大きいが、大きすぎない場合

今度は $n$ と $d$ は異符号であること（ $n/d<0$ ）と、 $n$ の絶対値が $d$ の絶対値よりも大きいこと（ $\lvert d\rvert<\lvert n\rvert$ ）を仮定します。

$\lfloor n/d\rfloor\cdot d$ はおおよそ $n$ 付近であろうということは予想されるので、 $n$ の絶対値が大きすぎなければ $\lfloor n/d\rfloor\cdot d$ は浮動小数点数として正確に表現可能でしょう。

まず、床関数の定義（と異符号であること）より

n/d-1<\lfloor n/d\rfloor\le n/d<0

です。絶対値を取って

\lvert n/d\rvert\le\bigl\lvert\lfloor n/d\rfloor\bigr\rvert<\lvert n/d-1\rvert

で、それぞれ $\lvert d\rvert$ をかけて

\lvert n\rvert\le\bigl\lvert\lfloor n/d\rfloor\cdot d\bigr\rvert<\lvert n-d\rvert

を得ます。よって、 $\lfloor n/d\rfloor\cdot d$ の絶対値は最大で $\lvert n-d\rvert-1$ 程度になり得ます。 $n$ と $d$ が異符号であることを考慮すると $\bigl\lvert\lfloor n/d\rfloor\cdot d\bigr\rvert$ の上限は $\lvert n\rvert+\lvert d\rvert-1$ になります。

最初に $\lvert d\rvert<\lvert n\rvert$ すなわち $\lvert d\rvert\le\lvert n\rvert-1$ を仮定したので、 $\lvert n\rvert+\lvert d\rvert-1\le 2\lvert n\rvert-2$ となります。

よって、 $2\lvert n\rvert-2\le 2^{53}$ であれば安全に % 演算子を使えます。この $n$ の範囲は $-(2^{52}+1)\le n\le 2^{52}+1$ です。 $n$ の絶対値が $d$ よりも小さい場合はさっき安全だとわかったので、この結論に関して $n$ の絶対値の下限を設定する必要はありません。

dが2の累乗である場合

$\lvert d\rvert$ が2の累乗 $d=2^k$ である場合は「 $d$ 倍」は正確に計算できます。ここでは $n$ も $d$ もそこまで大きくないので、オーバーフローの心配はありません。 $k$ の範囲は $0\le k\le 53$ です。

よって $\lvert d\rvert=2^k$ ( $0\le k\le 53$ )の場合は安全に % 演算子を使えます。偶数かどうかの判定が n % 2 == 0 でできるのは嬉しいですね。

十分条件まとめ

絶対値が $2^{53}$ 以下の整数 $n$ , $d$ について以下のいずれかが成り立てば、 % を安全に使えます：

$n$ と $d$ が同符号
$\lvert n\rvert\le\lvert d\rvert$
$\lvert n\rvert\le 2^{52}+1$
$\lvert d\rvert=2^k$ ( $0\le k\le 53$ )

回避策

一般の場合は、% 演算子を安全に使うことはできません。そこで、別の方法で剰余を計算することを考えます。

Luaの場合はtruncating divisionに関する剰余（整数除算の二つの流儀でいうrem）が math.fmod で利用できるので、整数除算の二つの流儀に書いた方法でmodをエミュレートすれば良いです。コード例を以下に載せます：

function mod(n, d)
  assert(d != 0)
  r = math.fmod(n, d)
  if r == 0 or n * d >= 0 then
    return r
  else
    return r + d
  end
end

コード例では、同符号かどうかの確認は n * d >= 0 で行いました。

おまけ：FMAが有効な場合

$q=\lfloor n/d\rfloor$ として $n-q\cdot d$ の計算にFMA (fused multiply add; この場合はfused multiply subtract)が使われた場合は乗算の際の丸めが起こらないので正しい答えが得られます。

具体的な環境の例を挙げると、AArch64（最初からFMAがある）のGCC（積極的にFMAを使う）でコンパイルされたLua 5.1は整数の % を正しく計算します。

Discussion

紳士ぴんきー 2023/02/17

同じソースコードでもFMAが有効な条件では
正しく動作「してしまう」のですね。

環境によって出たり出なかったり……
バグはこれが恐ろしいです。

Luaの % 演算子

安全に使える十分条件