Pathways 言語モデル (PaLM) とは何ですか?

Pathways 言語モデルは、Google が開発した AI 大規模言語モデルのファミリーの名前です。 この取り組みの名前は、複数のユースケースの基盤として機能する単一の強力なモデルを構築するように設計されたアプローチで、研究者がパスウェイと呼ぶものを作成するという Google Research の取り組みに由来しています。

Pathways Language Model (PaLM) には複数のバージョンがあります。 PaLM 2 のバージョンの中には、ライフ サイエンスと医療情報向けに微調整された Med-PaLM 2 があります。 Sec-PaLM は、脅威分析を迅速化するためのサイバーセキュリティ導入での使用に焦点を当てています。

2023 年 5 月、Google は、同社の Bard 会話型 AI テクノロジーが PaLM 2 によって強化されていると公式に発表しました。PaLM 2 大規模言語モデル (LLM) は、Gmail やドキュメントなどの Google Workspace アプリケーション スイートでも生成 AI 機能を有効にします。 Duet AI として知られるテクノロジーを備えた Google Cloud として機能します。

PaLM、特に PaLM 2 は、次のような多くの機能を提供します。

PaLM は、一般にトランスフォーマーと呼ばれるトランスフォーマー ニューラル ネットワーク ベースのモデルを使用します。 基本的なレベルでは、PaLM は、OpenAI の GPT-3 モデルや GPT-4 モデルなど、競合するトランスベースのモデルと似ています。

PaLM は、Google が開発した Pathways 機械学習システムを使用して、テンソル処理ユニットの複数のポッドにわたってモデルをトレーニングします。 このモデルは、限られた数のラベル付きサンプル (ショット) から学習できる少数ショット学習として知られる手法を使用し、最小限のデータ ラベルで新しいタスクやクラスを迅速に適応して一般化できるようにします。

PaLM は、トランスフォーマー ネットワークとして、テキストやコードを含むコンテンツ全体のパターンを理解し、作成します。 Transformer モデルは包括的な学習プロセスを経て、コンテンツ内の単語やフレーズ間に存在する統計的パターンとつながりを明らかにします。 このように取得した知識により、PaLM はさまざまな状況において一貫性と関連性のある応答を生成できるようになります。

PaLM は強力ですが、使用方法と機能、およびその他の懸念事項に関して次の制限があります。

Googleの研究者らは「PaLM 2テクニカルレポート」の中で、「PaLM 2から構築されたプロンプトダイアログシステムは有害な言語による被害を生み出し続けており、その被害が言語やアイデンティティ用語に関連するクエリによってどのように変化するかという偏りのパターンを示している」と述べている。

PaLM と OpenAI の GPT-3、およびより最近の GPT-4 LLM の間には、多くの類似点と相違点があります。 どちらのテクノロジー セットも一般に生成 AI と呼ばれ、どちらもディープ ラーニング用のトランスフォーマー モデルの使用から恩恵を受けます。 どちらのテクノロジーも、テキストを作成、要約、理解することができます。

開発者

Googleディープマインド

OpenAI

チャットボットインターフェース

吟遊詩人

チャットGPT

コード生成

完全統合モデル

OpenAI の Codex LLM からのデータを活用

多言語対応

PaLM 2 は現在 40 以上の言語をサポートしています

GPT-4 は現在 26 の言語をサポートしています

Googleは2022年4月にPaLMを発表し、初期バージョンの言語モデルは5,400億個のパラメータを提供した。

Google の研究者は、「PaLM: Scaling Language Modeling with Pathways」というタイトルの研究論文で、PaLM のパフォーマンスに関する初期の指標を提供しました。これには、モデルが導入するイノベーションについて説明する詳細が含まれています。 このモデルは、開発者がモデルを試せるように Google が最初のパブリック API セットを提供した 2023 年 3 月 17 日まで非公開のままでした。 2023 年 5 月 10 日、PaLM 2 は Google I/O カンファレンスで正式に発表されました。

PaLM 2の発売当時、Googleはモデルのパラメータのサイズを公表していなかったが、モデルが初期モデルよりも大きく、より高性能で、全体的に優れたパフォーマンスを提供していると多くの主張を行った。

Googleは、PaLM 2がBardを含む多くの生成AI取り組みの背後にある基礎AIとして使用されていることを明らかにした。

今後、PaLM 3 モデルが登場するかどうかは不明です。 Google I/O 2023イベントで同社幹部らは、同組織が開発中の次世代LLMは「Gemini」と呼ばれると述べた。 ジェミニがPaLMベースのアプローチとどのような関係を持っているのか、もしあるとしても、それは明らかではありません。

Apple iOS は、iPhone や iPad などのモバイル デバイス上で実行される独自のモバイル オペレーティング システムです。