Zenn
🌐

3Dデータ解析に関するリンクまとめ

2021/07/08に公開
Python
mesh
3d
CAD
pointcloud
idea

個人的なまとめ。スクラップにまとめようと思ったのですが、順序を変えられないため整理が困難だったため、記事でまとめます。
他に良いものがあればコメントやtwitterにDMをいただけると幸いです。

Pythonライブラリ

3Dデータの特徴量計算など（Python）

http://www.open3d.org/docs/latest/

3D machine learning support with PyTorch and TensorFlow

https://pointclouds.org/
https://github.com/CGAL/cgal
http://precipedia.jspe.or.jp/wiki/index.php?title=点群特徴抽出

メッシュ

https://trimsh.org/trimesh.html
https://github.com/ThomasJ231/PyMesh
https://libigl.github.io/
https://www.meshlab.net/
https://pymeshlab.readthedocs.io/en/latest/
https://gmsh.info/
meshのフォーマット変更
https://github.com/nschloe/meshio
SIGGRAPH Asia 2021で発表。hex meshingを作成するinteractive software
https://github.com/lingxiaoli94/interactive-hex-meshing

モーフィング

https://github.com/mathLab/PyGeM

可視化

https://github.com/QuantStack/ipygany
https://geometryprocessing.github.io/geometric-computing-python/
https://polyscope.run/py/
https://github.com/daavoo/pyntcloud
Visualization Toolkit (VTK) の高レベルAPI
https://tkoyama010.github.io/pyvista-docs-dev-ja/
https://github.com/skoch9/meshplot
https://vedo.embl.es/

参考

圧縮

https://google.github.io/draco/

Scipy

scipy内にもSpatial algorithmがあります。KDTreeなど計算を効率化するアルゴリズムが実装されています。
https://docs.scipy.org/doc/scipy/reference/spatial.html

検出系

LiDARベースの3Dオブジェクト検出のためのオープンソースプロジェクト
https://github.com/open-mmlab/OpenPCDet
https://github.com/open-mmlab/mmdetection3d

機械学習系

3次元点群

PointNetやKPConvなどの実装がまとまっている
https://github.com/torch-points3d/torch-points3d

3Dオブジェクト検出、3Dセマンティックセグメンテーション、および3Dインスタンスセグメンテーションモデルの構築
https://github.com/google-research/google-research/tree/master/tf3d

グラフ畳み込みネットワーク

https://pytorch-geometric.readthedocs.io/en/latest/

微分可能レンダラー

https://github.com/facebookresearch/pytorch3d
https://github.com/mitsuba-renderer/mitsuba2
https://github.com/NVIDIAGameWorks/kaolin

ソフトウェア

CAD
https://www.freecadweb.org/?lang=ja
可視化
https://www.paraview.org/
モデリング・レンダリング
https://www.blender.org/
点群の可視化ツール
https://www.danielgm.net/cc/

手法

3次元データのクラスタリング
https://ja.wikipedia.org/wiki/DBSCAN

サーベイペーパー

3次元データの表現方法

https://arxiv.org/abs/1808.01462

3D Point Cloud

https://arxiv.org/abs/2103.02690
https://arxiv.org/abs/2009.08920
https://arxiv.org/abs/2005.09830
https://arxiv.org/abs/1912.12033
https://www.mdpi.com/1424-8220/19/19/4188

3D Object Detection

https://arxiv.org/abs/2106.10823

3D Segmentation

https://arxiv.org/abs/2103.05423
https://arxiv.org/abs/2103.07466

2D Points Curve Reconstruction

https://arxiv.org/abs/2103.09583

Attention Model

https://arxiv.org/abs/2102.10788

Deep Geometry Learning

https://arxiv.org/abs/2002.07995

微分可能レンダリング

https://arxiv.org/abs/2006.12057

Human Pose Estimation

https://arxiv.org/abs/2012.13392
https://arxiv.org/abs/2006.01423

Stereo-based Depth Estimation

https://arxiv.org/abs/2006.02535

スライドなど

中京⼤学⼤学院 情報科学研究科 橋本 学先生の資料

物体認識のための3次元特徴量とその周辺（全２２ページ）
http://isl.sist.chukyo-u.ac.jp/islweb-pre/Archives/ViEW2014SpecialTalk-Hashimoto.pdf
物体認識のための3次元特徴量とその周辺（全４６ページ）
http://isl.sist.chukyo-u.ac.jp/Archives/Nagoya-CV-PRML-2015March-Hashimoto.pdf
物体認識のための 3 次元特徴量の基礎と動向
http://isl.sist.chukyo-u.ac.jp/Archives/物体認識のための3次元特徴量の基礎と動向（橋本学）.pdf
物体認識のための二次元・三次元特徴量
https://www.jstage.jst.go.jp/article/jrsj/35/1/35_35_22/_pdf

記事

メッシュモデルの特徴稜線抽出に関する研究
https://www.jstage.jst.go.jp/article/pscjspe/2004A/0/2004A_0_10/_pdf
https://search.ieice.org/bin/summary.php?id=j83-d2_5_1344&category=D&year=2000&lang=J&abst=
http://www.ekouhou.net/���������å������ǥ�����ħ�����������֡��ץ��������ڤ���ˡ/disp-A,2006-277713.html
https://jp.ricoh.com/-/Media/Ricoh/Sites/jp_ricoh/technology/techreport/24/pdf/072076.pdf

ニューラルネット3D表現に対する微分可能レンダラー
https://tech.preferred.jp/ja/blog/differentiable_ray_sampling/

Introduction to Graph Neural Networks
https://www.slideshare.net/pfi/20201023naistpfnishigurognnintroduction

point cloud における法線推定
https://qiita.com/yuzsh/items/c3bcc68c6a109e16d22a

深層学習を用いた三次元点群処理入門
https://speakerdeck.com/nnchiba/shen-ceng-xue-xi-woyong-itasan-ci-yuan-dian-qun-chu-li-ru-men?slide=109

論文まとめ

三次元点群を取り扱うニューラルネットワークのサーベイ Ver. 2
https://speakerdeck.com/nnchiba/point-cloud-deep-learning-survey-ver-2?slide=88

その他リンク

Benchmark & SOTA

https://paperswithcode.com/task/3d-object-detection
https://paperswithcode.com/task/3d-part-segmentation
https://paperswithcode.com/task/3d-semantic-segmentation

AWESOME

https://github.com/timzhang642/3D-Machine-Learning
https://github.com/wsunid/awesome-point-clouds-registration
https://github.com/LinZhuoChen/awesome-point-cloud-learning
https://github.com/Yochengliu/awesome-point-cloud-analysis

GitHub

https://www.slideshare.net/naoyachiba18/pointnetlk-robust-efficient-point-cloud-registration-using-pointnet-167874587

Discussion