Graph theory analysis for neural network architecture

Full title: Graph theory analysis for neural network architecture : Norm(L1/L2), P=NP, Hilbert Space standpoint
日本語タイトル：ニューラルネットワークアーキテクチャのグラフ理論解析：Norm(L1/L2)、P=NP、ヒルベルト空間の観点

Introduction

This article outlines a paper that will be submitted in the near future. The article will be updated as needed. I will be responsible for the sections on norm and mathematical optimization.

日本語訳
この記事では，今後提出される予定のとある論文の概要を述べます．また，記事の内容は随時更新されます．私はノルムや数理最適化に関する箇所を担当する予定です．

Abstract

We explore the computability of the function norm for deep neural networks (DNNs) using the ReLU activation function. We demonstrate that the function norm for DNNs with more than three layers is NP-hard, which was previously unknown. Additionally, the article proposes a new regularization strategy for neural networks based on approximating the function norm. This strategy involves focusing on the L2 norm of a function and using the expectation to approximate the function norm in the Hilbert space. Applying the proposed algorithm to a segmentation task using a DNN has improved accuracy due to regularizing the function norm. We add to the existing knowledge by better understanding the function norm for DNNs and proposing a new regularization strategy for improving their performance. We explain the mathematical background of the function norms in each category of norms, especially L1 and L2 norms, and their effects on the neural network. For this article, our main focus is on two specific neural networks: U-Net and LSTM.

日本語訳
ReLU 活性化関数を使用して、ディープ ニューラル ネットワーク (DNN) の関数ノルムの計算可能性を調べます。 3つ以上のレイヤーを持つ DNN の関数ノルムは、以前は知られていない NP 困難であることを示します。さらに、この記事では、関数ノルムの近似に基づくニューラル ネットワークの新しい正則化戦略を提案しています。この戦略には、関数の L2 ノルムに注目し、期待値を使用してヒルベルト空間の関数ノルムを近似することが含まれます。提案されたアルゴリズムを DNN を使用したセグメンテーション タスクに適用すると、関数のノルムが正則化されるため、精度が向上しました。 DNN の関数ノルムをよりよく理解し、パフォーマンスを改善するための新しい正則化戦略を提案することで、既存の知識に追加します。ノルムの各カテゴリ、特に L1 ノルムと L2 ノルムにおける関数ノルムの数学的背景と、それらがニューラル ネットワークに与える影響について説明します。この記事では、U-Net と LSTM という 2 つの特定のニューラル ネットワークに主に焦点を当てています。