大規模モデルの長文能力が再アップグレード: 4000から40万トークンへ

大規模モデルは驚異的な速度で長文処理能力を向上させています。長文は大規模モデルの提供者にとって新たな標準のようです。

統計によると、現在国内外で多くのトップレベルの大規模モデル会社や研究機関が文脈の長さの拡張を重点的なアップグレードの方向性としている。これらの会社は大多数が資本市場の寵児であり、巨額の投資を受けている。

大規模モデル企業は長文技術の克服に努めています。文脈の長さが100倍に拡大することは何を意味しますか？

表面上見ると、これは入力可能なテキストの長さが大幅に増加し、モデルの読み取り能力が著しく向上したことを意味します。最初は短い文章しか読めなかったのが、今では長編小説全体を読むことができるようになりました。

より深い視点から見ると、長文技術は金融、法律、科学研究などの専門分野における大規模モデルの実用化を推進しています。これらの分野では、長文書の処理、要約、読解能力に対する切実な需要があります。

しかし、テキストの長さは長ければ良いというわけではありません。研究によれば、モデルがより長い文脈入力をサポートしていても、必ずしも効果が良くなるわけではなく、重要なのはモデルが文脈の内容をどのように使用するかです。

現在、国内外でのテキストの長さに関する探求はまだ限界に達していません。40万トークンはおそらく始まりに過ぎません。

なぜ長文を「巻く」のか?

ある大規模モデル会社の創設者は、入力長の制限が多くの大規模モデルアプリケーションの実用化に困難をもたらしていると述べています。これが現在、多くの企業が長文技術に注目している理由でもあります。

ロングテキスト技術は、大規模モデルの初期のいくつかの問題を解決し、特定の機能を強化することができるとともに、産業応用の実現をさらに推進するための重要な技術でもあります。これは、汎用大規模モデルの発展が新しい段階に入ったことを示しています - LLMからLong LLM時代への移行です。

長文技術は大規模モデルに多くのアップグレード機能をもたらします:

• 超長テキストからの重要情報の抽出、要約、分析
• 直接文字をコードに変換し、論文からコードへの再現を実現する
• 長い対話シーンでのロールプレイを行い、個性化された対話を実現する

これらの機能説明は、対話型ロボットが専門化、個性化、深度化の方向に進んでいることを示しており、産業アプリケーションを動かす新しい手段になることが期待されています。

ただし、現在のところ長文対話には最適化の余地があります。例えば、一部の製品は最新情報を取得するためにネットワーク接続をサポートしておらず、生成プロセス中に一時停止して修正することができず、背景資料がサポートされていてもエラーが発生する可能性があります。

長文の「不可能三角」ジレンマ

長文技術は、テキストの長さ、注意力、計算力の「不可能な三角形」ジレンマに直面しています:

• テキストが長ければ長いほど、十分な注意を集めることが難しくなる
• 注意力の制限の下では、短いテキストで複雑な情報を完全に解読することは難しい。
• 長文の処理には大量の計算能力が必要で、コストが上昇します。

これは主に大多数のモデルが採用しているTransformer構造に起因しています。その中の自己注意メカニズムは、計算量が文脈の長さに対して二乗的に増加することを意味します。

現在、主に3つの解決策があります:

1. 外部ツールを利用して長文を処理する
2. 自己注意メカニズムの計算の最適化
3. モデル最適化の方法を利用する

長文の「不可能三角」のジレンマは現在まだ完全には解決されていません。大規模モデルの提供者は、テキストの長さ、注意力、計算能力の三者の間でバランスを見つける必要があります。十分な情報を処理できる一方で、計算効率とコスト制約を考慮しなければなりません。