現在の最先端のコンピュータチップは、わずか数十ナノメートルの大きさです。NVIDIAやTSMCなどの大手チップメーカーがさらに小型化を進めるなか、Cerebras社はこの流れに逆らい、数兆個ものトランジスタを搭載した巨大なウェハースケールのチップを開発しています。チップの劇的な大型化により、速度も大幅に向上しています。
ウェハースケール技術は、人工知能（AI）アプリケーション、特に大規模言語モデル（LLM）のトレーニングや実行、分子のシミュレーションにおいて注目を集めています。Cerebrasによる最新技術は、世界最高のスーパーコンピュータを超える性能を実現します。
NVIDIAは、AIへの早期の対応と、台湾セミコンダクター・マニュファクチャリング・カンパニー（TSMC）と韓国SKハイニックスによる高度なパッケージング技術と製造技術により、急成長を遂げました。スーパーコンピュータは何兆もの原子を持つ物質を高精度でモデル化しますが、その処理には時間がかかることがあります。その課題は、ムーアの法則を超えて、より高速で拡張性の高いソリューションを見出すことですが、数兆個のトランジスタを搭載したウェハースケールチップは、この点で今、注目を集めています。このブログでは、その現状について解説していきます。
ウェハースケールチップとは、ウェハー全体に配置された巨大な回路です。通常、集積回路（IC）は、ウェハーから数千のトランジスタを切り離し、それを基板にはんだ付けして実装します。さらに、チップメーカーは、プロセッサ上で論理密度を高めるために、使用するスペースを縮小し、相互接続のサイズを制限します。これに対して、ウェハースケール統合アプローチでは、チップを切り離す必要がなく、先進的なパッケージング技術によって論理密度の課題を解決しています。
Cerebrasは最近、高度なAIモデルのトレーニング用に設計された第3世代のウェハースケールAIアクセラレータ「CS-3」を発表しました。[1] CS-3は、最大GPUの57倍に相当する4兆個以上のトランジスタを搭載しているため、前モデルの2倍の速度を実現します。しかも、2倍の速度でありながら、消費電力は前モデルと同じままです。さらに、CS-3は「SwarmX」という相互接続ファブリック技術を統合することで拡張性のニーズに対応しており、最大2,048台のCS-3システムを接続して、最大でゼタフロップス（1021 ）の1/4に相当するAIスーパーコンピュータを構築することができます。最大24兆個のパラメータを持つモデルをトレーニングできるため、1つのシステムでGPT-4やClaudeの10倍の規模の機械学習（ML）モデルを構築できるのです。
さらに、Cerebrasの最新のウェハースケールエンジンである「WSE-3」は、同社のプラットフォームの第3世代です（図1）。小さなキャッシュメモリを搭載した従来のデバイスとは異なり、WSE-3は44GBの超高速オンチップSRAMを搭載し、そのメモリをチップの表面全体に均等に分散させています。これにより、各コアは1クロックサイクルで高速メモリにアクセスでき、最先端のGPUよりも容量は880倍、帯域幅は7,000倍も向上しています。
図1: Cerebrasのウェハースケールエンジン（WSE-3）は、数兆個のトランジスタを搭載。前例のない速度、拡張性、効率性で大規模なモデルや分子シミュレーションのトレーニングが可能、AIに革命をもたらす（出典：Cerebras）
WSE-3のウェハー上の相互接続は、通信速度の低下や、何百もの小型デバイスをワイヤやケーブルで接続する際の非効率性を解消します。さらに、グラフィックプロセッサ間の3,715倍以上の帯域幅を実現します。
CerebrasのWSE-3は、AI最適化コア、メモリ速度、オンチップファブリック帯域幅において、他のプロセッサを上回っています。
最近、Cerebrasのチーフシステムアーキテクトであるジャン＝フィリップ・フリッカー氏は、Applied Machine Learning Days（AMLD）で行われた基調講演で、AIチップへの飽くなき需要と、ムーアの法則を超える必要性について語りました。[2] 従来の方法では複雑な通信課題が伴うのに対し、Cerebrasは約4兆個のトランジスタを搭載した1枚の切断されていないウェハーを使用しています。実質的に、これは90万個のコアを持つ1つのプロセッサです。
このアプローチでは、各プロセッサに1つのシミュレートされた原子が割り当てられ、位置、運動、エネルギーに関する情報の交換が迅速に行われます。2021年にWSE-2が登場してから3年後に登場したWSE-3は、タンタル格子のシミュレーションにおいて性能ウィンドウを2倍に拡大しました。
ウェハースケール技術をサポートするため、CerebrasはTSMCと提携し、5ナノメートルプロセスをベースとしたウェハーサイズのAIアクセラレータを開発しています。そのメモリ帯域幅は1秒あたり21ペタバイトで、これまでにない速度を誇ります。この単一のユニットで、エンジニアはわずか565行のコードでPythonプログラミングを迅速に行うことができます。かつては3時間かかっていたプログラミングが、今ではわずか5分で完了します。
Cerebrasは、サンディア国立研究所、ローレンス・リバモア国立研究所、ロスアラモス国立研究所の3研究所とも提携し、AIアプリケーションに必要な速度と拡張性を備えたウェハースケール技術を提供しています。
2022年には、サンディア国立研究所は、シミュレーションの高速化にCerebrasのエンジンを使用し始め、スーパーコンピュータ「フロンティア」よりも179倍の速度向上を達成しました。この技術により、核融合炉用のタンタルのような材料のシミュレーションが可能になり、1年分の作業をわずか数日で完了させることができました。
材料は、技術の進歩を促進し、耐熱性や強度の限界を次々と打ち破ります。ウェハースケール技術に基づいた長期的なシミュレーションにより、科学者はさまざまな領域にわたる現象を調査できます。例えば、材料科学者は、金属における粒界の進化など、複雑な構造を持つ材料の長期的な挙動を研究し、より堅牢で弾力性のある材料を開発することができます。[3]
製薬研究者は、タンパク質の折りたたみや薬剤とターゲットの相互作用をシミュレートすることで、命を救う治療法の開発を加速することができます。再生可能エネルギー産業では、原子スケールのプロセスを長期間にわたってシミュレートすることで、触媒反応の最適化やより効率的なエネルギー貯蔵システムの設計が進められます。
Cerebrasのソリューションは、以下のような事例で使用されています。
Cerebrasは、中東のAI企業G42と協業し、世界トップクラスのアラビア語LLMをトレーニングしました。このLLMはMicrosoftによって中東地域の主要LLMとして採用され、現在Azureで利用可能です。[4]
Cerebrasは、LLMに依存するMayo Clinicの医療ツールの開発・強化を支援しました。
Cerebrasは、高速化が求められるエネルギー関連企業の課題解決を支援し、性能の2桁向上を実現しました。
サウジアラビアのKAUST大学は、Cerebrasのソリューションを使ってワークロードを実行し、世界最速のスーパーコンピュータよりも高い性能であることを実証しました。
最新のAIモデルは指数関数的な成長を見せていますが、そのトレーニングと実行にかかるエネルギーとコストも急増しています。しかし、性能も向上しており、Cerebrasのウェハースケール技術のような進歩は、かつてない速度、拡張性、効率性をもたらし、AIコンピューティングの未来を切り開いています。
依然としてAIチップ市場を支配しているのは従来型のチップであり、Cerebrasはニッチプレーヤーかもしれません。しかし、今日のウェハースケールチップの優れた速度、効率性、拡張性は、従来型の枠を超えて、チップのサイズと性能が大きく進化する未来を予感させます。
[1]https://spectrum.ieee.org/cerebras-chip-cs3[2]https://appliedmldays.org/events[3]https://arxiv.org/pdf/2405.07898[4]https://cerebras.ai/press-release/cerebras-g42-announce-condor-galaxy-3