リカレントニューラルネットワーク（RNN）の簡単な説明

リカレントニューラルネットワーク（RNN）は、テキスト、音声、時系列情報などのシーケンシャルデータを処理するように設計されたAIの一種です。他のニューラルネットワークとは異なり、RNNは時間の経過に伴うパターンの学習に優れているため、時間的な依存関係を伴うタスクに最適です。

翻訳アプリや音声認識システムなど、RNNは日常的に目にするものです。これらのネットワークは「メモリ」を用いてデータを段階的に処理するため、リカレントニューラルネットワーク（RNN）マシンビジョンシステムのようなアプリケーションでは、シーケンスを効果的に分析することができます。

RNNはAIの進歩において、特にデータの時間的変化を理解する上で重要な役割を果たします。その予測能力と適応能力は、自然言語処理をはじめとする複雑な問題の解決に不可欠です。

重要なポイント

• RNN は、言語の翻訳や音声の認識など、順序どおりに提供されるデータに適しています。

• 記憶力に優れており、以前のステップを思い出すことができます。これにより、一連の動作の意味をより深く理解できるようになります。

• LSTMやGRUといった特殊な型はRNNをより強力にします。長いシーケンスで重要な詳細が失われるといった問題を解決します。

• 双方向RNNはデータを前方と後方の両方から分析します。これにより、テキスト内の感情の検出などのタスクにおいて、より深い理解と優れたパフォーマンスを実現します。 トレンドを予測する 時間をかけて。

• RNNは多くの用途に最適です。 言語を理解する未来の出来事を予測し、さらにはコンピューターの視覚を補助するなど、現実世界の問題を効果的に解決します。

リカレントニューラルネットワークとは何ですか?

連続データとその重要性。

シーケンシャルデータとは、特定の順序や時間経過に伴う変化を示す情報を指します。例えば、段落内の文章、数日間の株価、スピーチにおける音声信号などが挙げられます。静的データとは異なり、シーケンシャルデータでは、現在の要素を理解するために、前の要素の文脈を考慮する必要があります。例えば、文章を読むとき、単語の意味は多くの場合、その前の単語に依存します。そのため、シーケンシャルデータは独特で、処理が困難です。

リカレントニューラルネットワーク RNNは、時系列データの処理に優れています。これは、時間経過に伴うパターンや関係性を捉えるように設計されているためです。時間的なダイナミクスをモデル化する能力により、過去の情報に基づいて将来の出来事を予測することが可能になります。例えば、言語翻訳において、RNNは文の構造を分析し、正確な翻訳を生成することができます。同様に、時系列予測においては、過去のデータから学習することで将来の傾向を予測することができます。

シーケンシャルデータの実世界における応用は多岐にわたります。自然言語処理、音声認識、さらには医療研究まで、多岐にわたります。例えば、FDAやEMAといった規制機関は、実世界データを用いて医療技術を評価し、意思決定を支援しています。

リカレント ニューラル ネットワークが従来のニューラル ネットワークとどのように異なるか。

人工ニューラルネットワーク（ANN）や畳み込みニューラルネットワーク（CNN）といった従来のニューラルネットワークは、固定形式でデータを処理します。各入力を独立して扱うため、画像分類や表形式データの分析といったタスクには適しています。しかし、このアプローチは、データポイントの順序が重要となるシーケンスを扱う際にはうまく機能しません。

リカレントニューラルネットワークは、重要な革新であるリカレント接続を導入します。この接続により、RNNはシーケンス内の前のステップの情報を保持できるため、時間的な依存関係を持つデータを処理できます。従来のネットワークとは異なり、RNNは可変長の入出力を処理できるため、テキスト生成や音声合成などのタスクに最適です。

この表は、シーケンス処理においてRNNがいかに優れているかを示しています。過去の情報を「記憶」する能力は、シーケンスデータを扱うタスクにおいてRNNに優位性をもたらします。

RNN におけるメモリの概念。

リカレントニューラルネットワークにおける「メモリ」とは、シーケンス内の以前のステップから情報を保持する能力を指します。これは、過去と現在のデータをつなぐ橋渡しとして機能する隠れ状態によって実現されます。各ステップにおいて、RNNは現在の入力と前の隠れ状態に基づいて隠れ状態を更新します。このメカニズムにより、ネットワークはデータ内の長距離の依存関係を捉えることができます。

例えば、RNNは文を処理する際に、文の主語を記憶して動詞を正しく予測することができます。この記憶能力は、文脈の理解が不可欠な言語モデルなどのタスクにとって非常に重要です。

研究者たちは、RNNが脳内の前頭前野の活動を模倣することを発見しました。前頭前野は記憶情報の維持を担う部位です。認知科学とのこの関連性は、複雑なタスクを処理するRNNの威力を強調しています。

しかし、標準的な RNN は、勾配消失などの課題に直面しており、長いシーケンスにわたって情報を保持する能力が制限されます。 Long Short-Term Memoryのような高度なアーキテクチャ LSTM（Least Multimedia）ネットワークとGRU（Gated Recurrent Unit）は、ゲーティングメカニズムを導入することでこれらの問題に対処します。これらのメカニズムは、ネットワークがどの情報を保持、更新、または削除するかを決定するのに役立ち、記憶保持能力を強化します。

リカレントニューラルネットワークの仕組み

RNN アーキテクチャを理解する。

リカレントニューラルネットワーク タイムステップをまたいで情報の流れを維持することで、時系列データを処理します。入力を独立して処理する従来のニューラルネットワークとは異なり、RNNはループのような構造を用いてシーケンスを処理します。各タイムステップにおいて、ネットワークは入力を受け取り、隠れ状態を更新し、出力を生成します。このプロセスにより、ネットワークは新しいデータを処理しながら過去の情報を「記憶」することができます。

これを視覚的に表すために、RNNを「展開された」図として想像してみてください。各タイムステップは別々の層で表現されます。情報の流れは次のようになります。

• 入力ベクトル (X) は各タイムステップでネットワークに入ります。

• 隠し状態は、現在の入力と以前の隠し状態に基づいて更新されます。

• 出力は各ステップで生成され、ネットワークのこれまでのシーケンスの理解を反映します。

• 時間ステップ全体でパラメータを共有することで、モデルが時間的な依存関係を効果的に捉えられるようになります。

このアーキテクチャは汎用性が高く、さまざまな構成をサポートします。例えば：

• 単一の入力を単一の出力にマッピングできるため、文中の次の単語を予測するなどのタスクに役立ちます。

• 感情分析に見られるように、可変数の入力を単一の出力にマッピングできます。

• エンコーダー/デコーダーのセットアップにより、変数の入力を変数の出力にマッピングできるため、機械翻訳などのアプリケーションが可能になります。

これらの構成を活用することで、RNN はさまざまな種類の順次データに適応し、ディープラーニングの基礎となります。

隠し状態と、それが情報を保存する際の役割。

隠れ状態はRNNのメモリのバックボーンです。あるタイムステップから次のタイムステップへと情報を運ぶ橋渡しのような役割を果たします。各ステップにおいて、隠れ状態は現在の入力と前の隠れ状態という2つの要素に基づいて更新されます。このメカニズムにより、ネットワークはシーケンス全体にわたってコンテキストを保持することができます。

例えば、文を処理する際、隠れ状態はRNNが前の単語を記憶し、次の単語を正確に予測するのに役立ちます。文が「The cat」で始まる場合、隠れ状態はこの文脈を記憶し、ネットワークが次の単語が「is」または「jumps」である可能性があると予測できるようにします。

しかし、標準的なRNNは長期的な依存関係を扱うのが困難です。シーケンスが長くなると、勾配消失などの問題により、ネットワークは以前の情報を「忘れてしまう」可能性があります。Long Short-Term Memory（LSTM）ネットワークやGated Recurrent Unit（GRU）などの高度なアーキテクチャは、ゲーティング機構を導入することでこの問題に対処します。これらのゲートは、どの情報を保持、更新、または破棄するかを決定し、ネットワークがより長いシーケンスを処理する能力を強化します。

ヒント： 隠れ状態をメモ帳と考えてください。以前のステップで重要な詳細を記録し、RNNが新しい入力を処理する際に情報に基づいた意思決定を行うのに役立ちます。

時間経過によるバックプロパゲーション (BPTT) について説明します。

RNNのトレーニングでは、エラーを最小化するためにパラメータを調整します。これは、 時間の経過によるバックプロパゲーション (BPTT) 層ごとに動作する標準的なバックプロパゲーションとは異なり、BPTT は RNN をすべての時間ステップにわたって展開し、各ステップの勾配を計算します。

しくみはこうです：

1. ネットワークはシーケンス全体を処理し、各タイムステップで出力を生成します。

2. 予測出力と実際の出力間の誤差が計算されます。

3. 勾配は、誤差を時間的に逆方向に伝播させ、重みとバイアスを更新することによって計算されます。

この手法により、ネットワークはシーケンス全体から学習し、短期的および長期的な依存関係の両方を捉えることができます。研究によると、BPTTはRNNの学習に効果的です。例えば、BPTTで学習したネットワークは、他の手法と比較して、学習ステップ数が少なく、実時間も短くなる傾向があります。

BPTTは効果的であるにもかかわらず、限界があります。特に長いシーケンスでは計算コストが高くなる場合があります。研究者たちは、競争力のあるパフォーマンスとスケーラビリティを提供する摂動ベース学習などの代替手法を研究してきました。これらの革新により、リカレントニューラルネットワークの学習効率は向上し続けています。

リカレントニューラルネットワークの種類

標準的な RNN とその構造。

標準的なリカレントニューラルネットワークは、最も単純な形式のRNNです。RNNは、情報をあるステップから次のステップへ隠れ状態を通して渡すことで、シーケンスを処理します。各タイムステップにおいて、モデルは現在の入力と前の隠れ状態に基づいて隠れ状態を更新します。これにより、ネットワークは時間経過に伴うパターンを捉えることができます。

しかし、標準的なRNNは長いシーケンスを扱う際に課題に直面します。勾配消失などの問題により、以前のステップの情報を保持するのが困難です。この制限により、音声認識や音楽モデリングなど、長期記憶を必要とするタスクでは効果が薄れてしまいます。研究によると、LSTMやGRUといった高度なアーキテクチャは、これらのメモリ制約に対処することで、これらのタスクにおいて標準的なRNNよりも優れた性能を発揮することが示されています。

長短期記憶 (LSTM) ネットワーク。

長期短期記憶ネットワークは 標準的なRNNの強力な拡張LSTMは、入力ゲート、忘却ゲート、出力ゲートという3つのゲートからなる独自の構造を導入しています。これらのゲートは情報の流れを制御し、ネットワークが何を保持、更新、または破棄するかを決定できるようにします。このメカニズムにより、LSTMは長いシーケンスにわたって情報を保持することができ、言語モデルや時系列予測などのタスクに最適です。

例えば、LSTMは文を処理する際に、冒頭で導入された主語を記憶し、それを用いて後から正しい動詞を予測することができます。研究によると、LSTMは分類タスクにおいて高い精度と再現率を達成しており、シミュレーションによる精度は97%に達しています。長期的な依存関係を管理する能力は、LSTMをディープラーニングの基盤としています。

ゲート型リカレントユニット (GRU)。

ゲート付き回帰ユニット（GRU）は、更新ゲートとリセットゲートという2つのゲートのみを使用することで、LSTMの構造を簡素化します。この簡素化にもかかわらず、GRUはシーケンシャルデータの処理において非常に優れたパフォーマンスを発揮します。長いシーケンスにわたって関連情報を保持しながら、不要な詳細を破棄します。この効率性により、GRUはLSTMよりも高速に学習でき、計算コストも低くなります。

テキスト分類タスクにおいて、GRUはLSTMよりも優れた性能を示すことが多く、特に双方向構成においては顕著です。シーケンスを効率的に処理する能力から、感情分析や機械翻訳といったアプリケーションでよく利用されています。

Note: LSTMとGRUはどちらも標準的なRNNの限界に対処し、パフォーマンスとメモリ保持能力を向上させます。どちらを選択するかは、タスクの具体的な要件によって異なります。

双方向 RNN。

双方向リカレントニューラルネットワークは、シーケンシャルデータを前方と後方の2方向で処理します。この独自の構造により、ネットワークはシーケンスを分析する際に過去と未来の両方のコンテキストを考慮することができます。これにより、データのより完全な理解が得られ、コンテキストが重要な役割を果たすタスクに特に役立ちます。

従来のRNNでは、ネットワークはデータを段階的に処理し、一方向にのみ進みます。このアプローチは多くのタスクで有効ですが、シーケンスの後のステップで重要な情報が失われる可能性があります。双方向RNNは、2つの隠れ層を導入することでこの問題を解決します。1つの層はシーケンスを最初から最後まで処理し、もう1つの層は逆順に処理します。そして、両方の層からの出力を組み合わせて予測を行います。

この二層アプローチは、ネットワークの複雑なパターン理解能力を強化します。例えば、自然言語処理において、双方向RNNは文全体の構造を考慮することで、翻訳や感情分析などのタスクの精度を向上させます。時系列予測においては、過去と未来の両方のデータを用いて、株価や気象パターンの予測など、より正確な予測を行います。同様に、音声処理においても、これらのネットワークは複雑な信号をより適切に処理し、音声認識や音楽生成を支援します。

双方向性リカレントニューラルネットワークは、データに対して「2組の目」を持っていると考えることができます。1組は前を向き、もう1組は後ろを向きます。全体像を把握できるこの能力が、双方向性リカレントニューラルネットワークを シーケンスベースのタスクのための強力なツール.

ヒント： 過去と未来の両方のデータからコンテキストを理解することがタスクに含まれる場合、双方向 RNN は最適な選択肢です。

RNNの利点と限界

シーケンシャルデータに対する RNN の利点。

リカレントニューラルネットワーク（RNN）は、その独自の設計により、シーケンシャルデータの処理に優れています。従来のモデルとは異なり、RNNは様々な長さのシーケンスを処理できます。この柔軟性により、RNNは文の長さが異なる自然言語処理などのタスクに最適です。

RNNは過去の入力を保持するのに役立つ内部メモリも備えています。この機能により、モデルは文脈を理解することができ、これはテキスト生成や音声認識などのタスクに不可欠です。例えば、文中の次の単語を予測する際、RNNはメモリを用いてその前に出現した単語を考慮します。

もう一つの利点は、時間的な依存関係を捉える能力です。RNNは、データポイントの順序をシーケンス内で分析します。これは、時間経過に伴うパターンを理解する上で非常に重要です。そのため、時系列予測や音楽作曲などのアプリケーションに効果的です。

消失勾配のような課題。

RNNは優れた点があるにもかかわらず、課題に直面しています。大きな問題の一つは、勾配消失です。学習中に、モデルのパラメータ更新に使用される勾配が非常に小さくなることがあります。これにより、RNNはシーケンス内の長距離の依存関係を学習することが困難になります。例えば、モデルが長い文を処理する場合、文末に到達するまでに前の単語を「忘れてしまう」可能性があります。

一方、勾配爆発が発生することもあります。この場合、勾配が大きくなりすぎて、モデルが予測不能な挙動を示すことがあります。どちらの問題も学習プロセスを妨げ、RNNの精度を低下させる可能性があります。LSTMやGRUなどの高度なアーキテクチャは、情報の流れをより効率的に管理するメカニズムを導入することで、これらの問題に対処します。

計算の複雑さとトレーニング速度。

RNNの学習は時間がかかり、多くのリソースを消費します。RNNは逐次的な性質を持つため、一度に1ステップずつ処理するため、学習と推論の両方の速度が低下します。そのため、Transformerなどの並列処理モデルと比較して効率が低くなります。

研究者たちは計算効率を向上させる手法を開発してきました。例えば、対角状態フィードバック（DSF）法は、パフォーマンスを維持しながら学習の複雑さを軽減します。DSFは、時間軸バックプロパゲーション（BPTT）と同様の結果を達成しますが、必要なリソースは少なくて済みます。そのため、計算能力が限られている環境において実用的な選択肢となります。

• DSF は BPTT と比較して大幅な計算効率を示します。

• 複雑さを軽減しながら、BPTT に近いパフォーマンスを実現します。

• 経験的評価では、リソースが制限された設定において、DSF が Fully Truncated BPTT よりも優れていることが示されています。

RNNはシーケンシャルデータに対しては強力なツールですが、 計算上の要求が強調される ディープラーニングにおける最適化技術の必要性。

RNNとその他のニューラルネットワーク

RNNと畳み込みニューラルネットワーク（CNN）の比較

リカレントニューラルネットワーク（CNN）と畳み込みニューラルネットワーク（RNN）は、ディープラーニングにおいて異なる目的を果たします。CNNは画像などの空間データの処理に優れており、RNNはテキストや時系列情報などのシーケンシャルデータの処理に特化しています。CNNはデータを固定サイズのチャンク単位で分析するため、画像分類などのタスクに最適です。一方、RNNはシーケンスを段階的に処理し、前のステップの情報を保持することで時系列パターンを理解します。

シーケンスタスクにおけるパフォーマンスを比較すると、RNNとCNNを組み合わせたハイブリッドモデルは、単独のモデルよりも優れたパフォーマンスを示すことがよくあります。例えば、ハイブリッドモデルはテスト精度が高く、適合率、再現率、F1値も優れています。これらの指標は、CNNの空間的能力とRNNの時間的理解力を組み合わせることの強みを浮き彫りにしています。

シーケンス処理におけるRNNとTransformerの比較

シーケンスタスクではTransformerが人気を集めていますが、特定の分野ではRNNが依然として優位に立っています。RNNはデータを順次処理するため、計算コストが高くなります。一方、Transformerは並列処理を採用しているため、より高速かつ効率的です。また、Transformerは長距離の依存関係の捕捉に優れていますが、RNNは勾配消失などの問題により、この点で苦労しています。

しかし、RNN、特にLSTMは、特定のタスクにおいてTransformerよりも優れた性能を発揮します。例えば、金融予測においては、LSTMは価格変動の予測において優れた精度と堅牢性を示します。これは、Transformerが強力である一方で、詳細な時間的理解を必要とするタスクにおいてはRNNが依然として有用であることを示しています。

特定のタスクにRNNを選択する

タスクに以下の内容が含まれる場合は、RNNを選択する必要があります。 時間的な依存性を持つ連続データ例えば、RNNは感覚入力、行動、結果を含むイベントシーケンスの処理に最適です。過去のパターンに基づいて将来のイベントを予測できるため、音声認識、言語モデル、時系列予測などのタスクに適しています。

ゲート付き再帰ユニット（GRU）を使用したフレームワークは、RNNがどのように処理できるかを示しています。 さまざまな長さのタスクこの柔軟性により、RNNは、シーケンス内の離れたイベントを予測するといった複雑な問題にも適応できます。生物の神経計算原理を模倣する能力により、詳細なシーケンス学習を必要とするタスクにおいて、RNNは信頼できる選択肢となります。

リカレントニューラルネットワークの応用

自然言語処理 (NLP) タスク。

リカレントニューラルネットワークの遊び 自然言語処理において極めて重要な役割を果たします。RNNは、文章や段落などの連続したデータを処理することに優れており、各単語の文脈を分析することで、連続したデータから適切な情報を得ることができます。この能力により、RNNはテキスト生成、感情分析、機械翻訳といったタスクに最適です。例えば、文章を翻訳する際、RNNモデルは前の単語の意味を考慮して、最も正確な翻訳を予測します。

ベンチマークテストは、NLPアプリケーションにおけるRNNの有効性を明らかにしています。完全一致（EM）やマクロ平均F1スコアなどの指標がそのパフォーマンスを測定します。

これらのメトリックは、RNN が言語をどれだけ適切に理解および生成するかを示すものであり、NLP タスクには不可欠なものとなっています。

時系列予測。

時系列予測は、時系列データの処理能力に優れたリカレントニューラルネットワーク（RNN）に大きく依存しています。これらのモデルは、株価や気象状況などの時系列データのパターンを分析し、正確な予測を行います。例えば、RNNは過去の株価変動から学習することで、将来の株価動向を予測できます。

経験的研究により、時系列予測における RNN の有効性が検証されています。

RNNは可変長シーケンスを自然に処理し、すべてのタイムステップでパラメータを共有することで、学習の複雑さを軽減します。ゲート付きリカレントユニット（GRU）は、時間的な依存関係を効果的に捉えることで、パフォーマンスをさらに向上させます。

音声認識とオーディオ処理。

音声認識システムは、音声信号を処理してテキストに変換するためにRNNを利用しています。これらのモデルは、音波の形で連続的に発生するデータを分析し、パターンを識別して正確な予測を行います。例えば、RNNは音素列から学習することで、発話された単語を認識できます。

Deep LSTM RNNは音声認識ベンチマークにおいて目覚ましい成果を上げています。TIMIT音素認識ベンチマークにおいて、テストセットエラーは17.7%と非常に低く、その精度の高さを実証しました。

これらの進歩により、RNN は現代の音声認識システムの基礎となり、仮想アシスタントやリアルタイム文字起こしなどのアプリケーションが可能になります。

リカレント ニューラル ネットワーク RNN マシン ビジョン システム。

リカレントニューラルネットワーク（RNN）を用いたマシンビジョンシステムは、人間が画像シーケンスを認識する方法を模倣した方法で視覚データを処理します。従来のフィードフォワードネットワークとは異なり、このシステムはメモリを用いて時間経過に伴うパターンを分析します。そのため、フレームシーケンスの理解が不可欠なビデオ分析などのタスクに特に有効です。

このシステムを他のニューラルネットワークと比較するとどうなるのか疑問に思うかもしれません。リカレントニューラルネットワーク（rCNN）は、時間的な理解を必要とする複雑なタスクの処理に優れています。例えば、画像の難易度に基づいて人間の反応時間を予測できます。一方、フィードフォワード畳み込みネットワーク（fCNN）は画像を個別に処理するため、さまざまな複雑性への適応能力が制限されます。以下の表は、主なパフォーマンスの違いを示しています。

リカレントニューラルネットワーク（RNN）マシンビジョンシステムでは、速度と精度を調整できるため、柔軟性が高まります。例えば、動画を分析する際に、難しいフレームに焦点を絞るために速度を落としたり、単純なフレームに焦点を絞るために速度を上げたりすることができます。この適応性は、リアルタイムの意思決定が不可欠な自動運転などのアプリケーションに最適です。

リカレントニューラルネットワーク（RNN）マシンビジョンシステムを使用することで、連続画像データを扱うタスクにおいてより高い精度を実現できます。動画内の物体認識や動作パターンの予測など、マシンビジョンの課題に対する堅牢なソリューションを提供します。

ヒント： プロジェクトに画像やビデオのシーケンスの分析が含まれる場合は、パフォーマンスを向上させるために、リカレント ニューラル ネットワーク RNN マシン ビジョン システムの実装を検討してください。

リカレントニューラルネットワークは、時系列データの処理方法に革命をもたらしました。これらのモデルは、音声認識、言語生成、時系列予測など、時間依存パターンを伴うタスクに優れています。コンテキストベクトル化を通じてメモリを組み込むことで、以前のステップの情報を保持し、長くて変化に富んだシーケンスを効果的に処理できます。LSTMやGRUといった高度な構造は長期的な依存関係を捉えることができ、GRUは効率性とシンプルさを提供します。機械翻訳やテキスト要約など、RNNは時系列関係を学習するための堅牢なフレームワークを提供します。これらのモデルを探求し、現実世界の課題解決におけるその可能性を解き放ちましょう。

よくある質問

RNN が順次予測に適している理由は何ですか?

RNNが優れているのは 順次予測 機械学習は、以前のステップの情報を保持しながら、データを段階的に処理するため、シーケンスデータや時系列データのパターンを理解することができます。この能力により、言語モデルや株価予測といったタスクに最適です。

RNN はシーケンス間タスクをどのように処理しますか?

RNNは、シーケンス間のタスクを管理するためにエンコーダー・デコーダーアーキテクチャを使用します。エンコーダーは入力シーケンスを処理してコンテキストベクトルを作成します。デコーダーはこのベクトルを使用して出力シーケンスを生成し、機械翻訳やテキスト要約などのアプリケーションを可能にします。

RNN は分類タスクや回帰タスクに使用できますか?

はい、RNNはシーケンシャルデータ処理を伴う分類および回帰タスクに効果的です。例えば、テキスト内の感情を分類したり、時系列データの値を予測したりすることができます。時間的な依存関係をモデル化できるため、これらのタスクに幅広く活用できます。

RNN はディープラーニング モデルでどのような課題に直面するのでしょうか?

RNNは、長期的な依存関係を学習する能力を制限する勾配消失などの課題に直面しています。LSTMやGRUなどの高度なアーキテクチャはこれらの問題に対処し、シーケンスデータや時系列データを扱うディープニューラルネットワークアプリケーションにおいてRNNをより効果的に活用します。

RNN は他のディープラーニング モデルと比べてどうですか?

RNNはシーケンシャルデータ処理に特化しており、CNNなどのモデルは空間データに重点​​を置いています。Transformerは長距離依存関係の処理においてRNNよりも優れていますが、より多くの計算リソースを必要とします。RNNは、詳細な時間的理解を必要とするタスクにおいて依然として価値があります。

も参照してください

ニューラルネットワークが人間に取って代わることは可能か?

ニューラルネットワークフレームワークがマシンビジョンに与える影響

マシンビジョンのための転移学習に関する重要な洞察

ディープラーニングとその基本原理を理解する

コンピュータビジョンモデルとシステムの概要