import asyncio: Learn Python's AsyncIOの視聴メモ

はじめに

import asyncio: Learn Python'sはasyncioの初心者向けを自称する動画です。2020年公開の動画ですが、2025年時点でもasyncioを学ぶ最適な資料の一つだと考えられます。

https://www.youtube.com/watch?v=Xbl7XjFYsN4&list=PLhNSoGM2ik6SIkVGXWBwerucXjgP1rHmB

この動画の作者はPython Coreチームメンバーの一人で、
A Conceptual Overview of asyncioというPythonの公式のドキュメントから参考資料としてリンクが貼られています。

ちなみに初心者向けの動画を自称してますが、あくまでasyncioについて初心者向けの動画であって、asyncioライブラリのコードの中身を見てみるくらいの気合が必要なストロングスタイルな初心者向けです。

各章のメモ

1.The Async Ecosystem

非同期エコシステムの「全体像」をつかむ回。
スレッドの話あたりまではスレッドの知見があれば、よくある話なのでスキップ可能。
AsyncIOに至るまでの歴史は面白い。

• Latency
  • レイテンシがユーザー体験にどう悪影響を与えるか
  • concurrency と parallelismの違い
• Pythonでのスレッドの問題などの話
• AsyncIOに至るまでの歴史
  • Medusa/Asyncore
  • Twisted
  • Stackless Python
  • gevent
  • Tornado
  • 関係するPEPの流れ

2.The Event Loop

イベントループの話。ふつうにLib/asyncio/base_events.pyの解説をしだすので、このあたりから初心者向けの定義に疑義を持つ。

• event loopとはなにか
• 高レベルの観点でのAsyncIO event loopの使い方
• ReactorとProactor
  • Reactor(UNIXのselect) : 準備完了通知を受け取り、アプリ側が非ブロッキングで read()/write() を実行するモデル。
  • Proactor(WindowsのIOCP):先に「このバッファに読み込んで/書いて」と非同期I/OをOSに発行し、I/O完了通知を受け取るモデル（実I/OはOSが実行）。
• AsyncIOがイベントループをどう実装してるかを確認
  • CPythonのコードを読み出す（初心者向けとは...)
• uvloopの紹介
  • イベントループを置き換えて早くするライブラリ

映像のコードをpython3.13で実行すると警告が出る箇所があるが以下で警告は消せる

# python3.13だと非推奨の警告がでる
# loop = asyncio.get_event_loop()

# 以下で代替したら警告が消えた
loop = asyncio.new_event_loop()
asyncio.set_event_loop(loop)
...
loop.close()

3. Using Coroutines

ここまで1時間以上みて初めてasync/awaitが出てくる。
サンプルコードではいくつか注意が必要

• async関数とコルーチンについて
• awaitの話
• wait_for()
• gatherによる複数タスクの同時実行の話
• TimeoutErrorとCancelledErrorの例外処理
• FutureとTaskの説明
• 簡易のWebクローラーのサンプル

CancelledErrorが発生する予定の箇所で発生しない。
最近のバージョンのwait_forについて、内側のCancelledErrorが外側ではTimeoutErrorになって伝播しているような動きになっている。
(Youtubeのコメント欄も3.9あたりのユーザーがCancelledErrorが出ないといっている)

なお、内側をtry-exceptを使用することでCancelledError自体は発生しているのが確認できる。

async def keep_printing(name: str = "") -> None:
        while True:
            print(name, end=" ")
            print_now()
            try:
                await asyncio.sleep(0.5)
            except asyncio.CancelledError as e:
                print('cancel....')
                break

簡易のWebクローラーのサンプルについてはhttps://langa.pl/crawl/00が循環参照をするようになったため、https://langa.pl/crawl/から実行すると循環してしまう。
以下のような修正をしてhttps://langa.pl/crawl/10をクローリング開始のページとすれば回避はできる。

回避用コード

初回

import asyncio
import httpx
async def crawl0(prefix: str, url: str = ""):
    url = url or prefix
    print(f"Crawling {url}")
    client = httpx.AsyncClient()
    try:
        res = await client.get(url)
    finally:
        await client.aclose()
    for line in res.text.splitlines():
        if line.startswith(prefix):
            await crawl0(prefix, line)

# 現在の最新のサイトだと「https://langa.pl/crawl/0」の内容が循環しているため動作しない。
asyncio.run(crawl0("https://langa.pl/crawl/", "https://langa.pl/crawl/10"))

progressを追加したのち

import asyncio
import httpx
import time
from typing import Callable, Coroutine


addr = "https://langa.pl/crawl/"
todo = set()
async def progress(prefix:str, url: str, algo: Callable[..., Coroutine]) -> None:
    asyncio.create_task(algo(prefix, url), name=url)
    todo.add(url)
    start = time.time()
    while len(todo):
        print(f"{len(todo)}:" + ",".join(sorted(todo)[-38:]))
        await asyncio.sleep(0.5)
    end = time.time()
    print(f"Took {int(end-start)} seconds")

async def crawl1(prefix: str, url: str = ""):
    url = url or prefix
    print(f"Crawling {url}")
    client = httpx.AsyncClient()
    try:
        res = await client.get(url)
    finally:
        await client.aclose()
    for line in res.text.splitlines():
        if line.startswith(prefix):
            todo.add(line)
            await crawl1(prefix, line)
    todo.discard(url)

# 現在の最新のサイトだと「https://langa.pl/crawl/0」の内容が循環しているため動作しない。
asyncio.run(progress(addr, "https://langa.pl/crawl/10", crawl1))

~~httpxの非同期の実行方法についてはmax_connectionsなどで制限されているので、無制限に同時アクセスしているわけではないので、サーバーにはそんなに負荷を与えていない想定。~~可能ならセマフォなどで制限した方が良さそう
https://stackoverflow.com/questions/71517645/how-limit-request-per-second-with-httpx-python-3-6?utm_source=chatgpt.com

4 - Coroutines Under The Hood

Coroutinesの深掘りをする話。
この辺から映像を、とめてコードを再現して動かすのが厳しくなるサンプルがちらほらでてくる。
現在のライブラリの中身だけでなく過去のライブラリの中身を読む必要がでてくる。

• Futureの話
  • 使い方
  • Futuresがどんな実装されているか
• Python3.4の時どうしてたかの話
  • 3.4.1で確認すれば映像と一致しそう
• ジェネレーターの話
• Taskの深掘り
• Python3.8だとどうなっているか
• AsyncIOのデバッグの方法

5 - Batteries Included

asyncioの実用的な内容。
db接続とかしてくるので、簡単に試すのにはちょっとハードルが高くなってくる。
clients と serversのチャットプログラムは、映像を止めれば再現できる。

• async with
• async for
• async generator
• clients と serversのチャットプログラムの例
• キューを用いたタスク協調
• Lock, Event, Semaphore, Condition

6- An Example Web Application with Starlette and EdgeDB

Starletteという非同期のWebサービスを構築する。
使う予定のないWebサービスのフレームワークの話なので一旦保留。

まとめ

なんとなくasyncioを使っている状態で見ると自分の愚かさがわかって一からやり直す気になれます。
実際どう動いているかをライブラリのコードを交えて説明してくれているので、時間はかかるが、もっともわかりやすいコンテンツであるとは思います。