Closed6

Docsearchの導入

nissy-devnissy-dev

これは、hierarchy 関連のデータがindexに登録されていないため出ていエラーっぽいのわかった
そもそも、indexの登録は自力でやっていたけど、docsearch用にスクレイピングして登録できるツールがあるので、それを利用してみる (本質的にどのようなデータをどう登録すべきなのかはわからず...)

https://github.com/algolia/docsearch-scraper

https://docsearch.algolia.com/docs/legacy/run-your-own/

nissy-devnissy-dev

上記のツールを使ってみたけど、paginationをクエリパラメータでやっているせいか、思った通りのスクレイピングがされない。。。

以下でも報告されているけど、特に解決することなくissueは閉じている
https://github.com/algolia/docsearch-scraper/issues/424

そもそも、URLからスクレイピングするのは限界がありそうなので、sitemap.xml を作成してそれをスクレイピングするようにする。Next.js でsitemapを作成するのは、以下を参考にすればサクッとできる
https://zenn.dev/catnose99/articles/c441954a987c24

nissy-devnissy-dev

sitamapからスクレイピングするようにできたら、正しくちゃんとデータがスクレイピングされた
後は、github actions で vercel のdeploy が終わった後に、スクレイピングを自動実行させるようにした

github actions は、野良 action もあるけど自前で少しコードを書いた
https://github.com/adapttive/algolia-docsearch-action

deploy が終わったことの監視は、deployment_status でやっている
https://docs.github.com/en/actions/learn-github-actions/events-that-trigger-workflows#deployment_status

このスクラップは2021/12/28にクローズされました