Graviton 4とTrainium 2を発表したAmazon AWS…… 日本語だと重力子 4世と鍛金(属) 2号かな?

TechPowerUpの記事である。


GravitonはArm Architectureを採用したDC(データセンター)向けプロセッサである。基本的にAWS専用のプロセッサーなので、中身がどういうものかは、詳しく公開されていないはずだ。第4世代の製品もこれまでと同じなら、Arm NeoverseのIPをベースに開発されているはずである。

今回は30%コアの処理性能が上がり、50%コア数が増え、75%メモリー帯域が増えるらしい。そして、既にAmazon EC2 R8g instanceでプレビューを利用可能になっているようだ。

Trainium2 はFM、LLM向けの機械学習アクセラレータ、Trainiumの後継となる製品のようだ。性能が4倍、3倍のメモリー帯域となったらしい。
これで、これまで数ヶ月掛かっていた機械学習処理を数週間まで削減できるらしい。最大演算速度は65 Exa Flops※になるそうだ。
尚、詳しい説明は以下になる。


※LLM(DL/ML)の場合は、HPCで用いられるFP64の倍精度演算ではなく、FP16(半精度)よりも下の演算性能を指すので、倍精度から見ると1/4以下の粒度になることに注意。実際にこの製品の65ExaはFP16/BF16換算と思われ、対応する演算は、FP32/TF32、FP16/BF16、UINT8、FP8となっている。

AWSの基本・仕組み・重要用語が全部わかる教科書 (見るだけ図解) - 川畑 光平, 菊地 貴彰, 真中 俊輝