非単調な緩和(収束)の話
はじめに
反復計算は数値シミュレーションにおいてよく用いられるものです.
そこでは例えば,
if abs(x[n]-x[n-1])<tolerance:
is_converged=True
break
のような収束判定がなされます.
そのため,リアルタイムで計算の進行具合を確認する際には,
print(f"diff: {x[n+1]-x[n]}")
などというプリント文を挟んでおけば,差分の減少具合によって,もうすぐ計算が終わるのか,あるいはまだまだ時間がかかるのかを察することが出来ます.
というのは必ずしも正しくないので,注意しましょうというのがこの記事です.
具体例0
最初の簡単な例として,二重井戸ポテンシャル
について考えます.
この問題をPythonで数値的に解き,収束の様子を観察すると以下のようになります.
import numpy as np
import matplotlib.pyplot as plt
def f(x):
return x - x**3 # dx/dt
dt = 0.01
T = 10
N = int(T/dt)
x = np.zeros(N)
x[0] = 1e-3 # 初期値
for n in range(N-1):
x[n+1] = x[n] + dt * f(x[n])
dx = np.abs(np.diff(x))
fig, ax1 = plt.subplots(figsize=(8, 5))
ax1.plot(np.arange(N) * dt, x, color='tab:blue', label='x(t)')
ax1.set_xlabel('t')
ax1.set_ylabel('x(t)', color='tab:blue')
ax1.tick_params(axis='y', labelcolor='tab:blue')
ax2 = ax1.twinx()
ax2.plot(np.arange(N - 1) * dt, dx/dt, color='tab:orange', label='v(t) = dx/dt')
ax2.set_ylabel('v(t)', color='tab:orange')
ax2.tick_params(axis='y', labelcolor='tab:orange')
ax2.set_yscale('log')
plt.title('Double-well potential relaxation')
fig.tight_layout()
plt.show()

ここでは,固定点(
したがってこのような単純な問題では,差分の減少を確認することで収束を判断するというアプローチが有効になります.
具体例1
次の例として,二重井戸に慣性項を追加した力学系を考えます.
import numpy as np
import matplotlib.pyplot as plt
def step(x, v, dt, gamma=0.2):
a = x - x**3 - gamma * v
v_new = v + dt * a
x_new = x + dt * v_new
return x_new, v_new
x, v = -0.1, 0.5
dt = 0.01
N = 5000
xs = np.zeros(N)
for n in range(N):
xs[n] = x
x, v = step(x, v, dt)
dxs = np.abs(np.diff(xs))
fig, ax1 = plt.subplots(figsize=(8, 5))
ax1.plot(np.arange(N) * dt, xs, color='tab:blue', label='x(t)')
ax1.set_xlabel('t')
ax1.set_ylabel('x(t)', color='tab:blue')
ax1.tick_params(axis='y', labelcolor='tab:blue')
ax2 = ax1.twinx()
ax2.plot(np.arange(N - 1) * dt, dxs/dt, color='tab:orange', label='v(t) = dx/dt')
ax2.set_ylabel('v(t)', color='tab:orange')
ax2.tick_params(axis='y', labelcolor='tab:orange')
ax2.set_yscale('log')
plt.title('Inertial double-well potential relaxation')
fig.tight_layout()
plt.show()

この場合には収束が非単調であることに加え,差分(dxs)も減少と増加を繰り返すことが分かります.
したがって,差分の素朴な観察やカットオフの不適切な設定では,誤った結論を得てしまうことになります.
具体例2
次にロジスティック写像の問題を考えます:
この系では
import numpy as np
import matplotlib.pyplot as plt
def logistic_map(x, r):
return r * x * (1 - x)
# パラメータ設定
r = 3.2 # この値では1つの安定固定点の外に周期軌道あり
x0 = 0.1
N = 50
x = np.zeros(N)
x[0] = x0
for n in range(N-1):
x[n+1] = logistic_map(x[n], r)
# 変化量(自己無撞着差分のようなもの)
dx = np.abs(np.diff(x))
fig, ax1 = plt.subplots()
# --- 左軸: x_n ---
ax1.plot(x, 'o-', label='x_n', color='tab:blue')
ax1.set_xlabel('iteration')
ax1.set_ylabel('x', color='tab:blue')
ax1.tick_params(axis='y', labelcolor='tab:blue')
ax1.set_title(f'Logistic map r={r}')
# --- 右軸: Δx (対数スケール) ---
ax2 = ax1.twinx()
ax2.plot(dx, 's--', label='|x_{n+1} - x_n|', color='tab:orange')
ax2.set_yscale('log')
ax2.set_ylabel('Δx (log scale)', color='tab:orange')
ax2.tick_params(axis='y', labelcolor='tab:orange')
# --- 凡例をまとめて表示 ---
lines_1, labels_1 = ax1.get_legend_handles_labels()
lines_2, labels_2 = ax2.get_legend_handles_labels()
ax1.legend(lines_1 + lines_2, labels_1 + labels_2, loc='best')
plt.show()

このようなケースでも素朴なカットオフの設定は不適切であることが分かります.
一方で,差分を観察することで単純な収束とは違ったこと(周期軌道)が起きていることは察することができるので,差分の観察自体は有用であると言えます.
具体例3
現実的なシミュレーションでは多峰のような複雑なポテンシャル形状が現れることがあります.
そういった場合にも,非単調な緩和は現れます.
そのことを観察する簡単な例として,次のようなポテンシャルを考えます:
このポテンシャルのもとでの緩和を観察すると次のようになります.
import numpy as np
import matplotlib.pyplot as plt
# --- ポテンシャル定義 ---
def V(x, y):
return (x**2 + y**2 - 2)**2 + x
# --- 勾配(降下方向) ---
def gradV(x, y):
dVdx = 4 * x * (x**2 + y**2 - 2) + 1
dVdy = 4 * y * (x**2 + y**2 - 2)
return np.array([dVdx, dVdy])
# --- 勾配降下シミュレーション ---
dt = 0.02
steps = 1000
x, y = 1.5, 0.1 # 初期位置
traj = [(x, y)]
for i in range(steps):
gx, gy = gradV(x, y)
x -= dt * gx
y -= dt * gy
traj.append((x, y))
traj = np.array(traj)
# --- ポテンシャル地形を描画 ---
X = np.linspace(-2, 2, 200)
Y = np.linspace(-1.5, 1.5, 200)
XX, YY = np.meshgrid(X, Y)
ZZ = V(XX, YY)
fig = plt.figure(figsize=(8, 6))
ax = fig.add_subplot(111, projection='3d')
surf = ax.plot_surface(XX, YY, ZZ,
cmap='plasma',
edgecolor='none',
linewidth=0,
antialiased=True)
ax.set_xlabel('x')
ax.set_ylabel('y')
ax.set_zlabel('Potential V(x, y)')
ax.set_title('Potential Surface')
fig.colorbar(surf, shrink=0.5, aspect=10, label="Potential V(x,y)")
plt.show()
plt.figure(figsize=(7,6))
plt.contourf(XX, YY, ZZ, levels=50, cmap='plasma')
plt.colorbar(label="Potential V(x,y)")
plt.plot(traj[:,0], traj[:,1], 'w-', lw=2, label="Trajectory")
plt.plot(1.5, 0.1, 'wo', label="Initial")
plt.legend()
plt.xlabel("x")
plt.ylabel("y")
plt.title("Gradient descent trajectory on potential surface")
plt.show()
# 変化量(速度の大きさ)をプロット
vel = np.linalg.norm(np.diff(traj, axis=0), axis=1)
plt.figure()
plt.plot(vel)
plt.xlabel("Iteration")
plt.ylabel("|Δ(x,y)|")
plt.title("Non-monotonic convergence: decrease → increase → decrease")
plt.show()



この設定では,まず初期値から極大点(不安定固定点)の方向に向かって移動し,それに伴って差分が一度減少します.
その後安定固定点に向かって移動することに伴い,差分が増加したのち,収束・差分の減少が観察されます.
このように,不安定固定点を持つような複雑な問題設定では,初期値によって非単調な収束が現れることになります.
終わりに
この記事では,非単調な緩和の問題とその場合の差分の振る舞いについて,具体例を取り上げて注意が必要なことを確認しました.
記事をお読みになった方の幸せな数値計算ライフの一助となれば幸いです.
Discussion