前編ではHotChipsのSeattleの発表にFreedom Fabricが含まれていなかったところからはじめて、
GaryにはFreedom Fabricの技術そのものについても聞いてみました。ただし技術的詳細ではなく、
つまりFreedom Fabricの3次元トーラス構造やワームホールルーティングはスパコン
HPCの経験
まずGaryにHPCとのつながりについて聞いてみました。
G:オーケー。私の主たるHPC経験はDARPAのHPCSプロジェクト
[1] のシステムアーキテクトだったことだ。 そのとき私はSunにいて、
自分たちで提案したコンセプトのアーキテクトだった。我々はとても低遅延なバイセクションバンド幅 [2] のインターコネクトとして、 近接無線による IO (proximity IO) つまり複数プロセッサのシリコンダイをその四隅で重ね合わせて通信する [3] 機構を提案し、 実現したんだ。 Y:どういうアーキテクチャだったのですか?
(構造がさっぱり浮かばなかった) G:ああ、
とてもラディカル (急進的) なものだった。12インチのウェハーの上に、 四隅が少し重なり合うようにシリコンダイを並べて、 そのダイの角 (かど) ごとに1万の10Gbpsリンクがある [4]。 ウェファー外周のダイには総計3万2,000本の10Gbpsの光リンクがあってね。
さすがに荒唐無稽というか、
12インチの薄いシリコン円盤の上に2,500個ものプロセッサ・
プロセッサ・
この図2のピンク色のプロセッサ・
土台とスペーサーがシリコンなので、
上側
ちょっとものすごいですね。
Y:またクレイジーな……
G:まったくだ。このアーキテクチャはTable Toyと呼ばれるNSAのベンチマークに集中している。
Table Toyは全プロセッサが、
全メモリ空間に対してランダムアクセスするもので、 NSAはとくに何に使うと言わずただこのベンチマークだけがあった。このマシンは各プロセッサが個別に1FLOPS あたり1回のメモリ参照が可能だった。
そしてダイそれぞれの電力消費が 100W と聞いてまた衝撃を受けます。
Y:2,500ダイとなると……
(計算できなかったわけではありません。あまりの熱量とその小ささに戸惑ったのです)。 G:そう。2,500ダイだと250KWだ。
Y:ダイの大きさは全体で12インチでしたよね? その熱は……。
G:そう、
NSAが最初に見たときの質問も冷却だったが、 私は自動車のことを考えてくれ、 と答えた。 自動車は200~500KWくらいで、
熱効率は30%程度だ。 つまり100年前の水冷技術では、
とても小さなラジエータと僅かな量の水で250KWより大きな熱を冷やしている。 Y:ええまあ、
それにしてもずいぶんと普通じゃない (unusual) コンピュータですね。 G:確かにとても普通じゃないコンピュータだった。超高帯域で、
低遅延で、 とても小さくて。どのダイにいくのも2hopsでいける。 Y:
(説明はなかったがそれしかあり得ない構成と性能なので) メモリはダイに組み込まれてるんですよね? G:そうだ。我々はメモリをスタックした。それが理由で我々はコンペに勝ったんだ。アグレッシブな冷却、
シリコンマシニング、 ダイスタッキングと超先端技術を集めたとても複雑なマシンだったね。 Y:ところで下はほぼシリコンですが上が炭素材と、
つまり上下で材料が違うのですが熱膨張は問題にはならないんですか? G:それについても分析したよ。論文があると思う。
Y:それにしてもこのダイスタッキングとオーバラッピングはすごいですね。驚異だ。
G:いやあ、
楽しいマシンだったよ。実際に作ったしね。 ただとても高い。DARPAのマネージャはたぶんB-1爆撃機くらいのお金を用意しないといけなかったろうね。2、
30億ドル程度かな。 Y:12インチのB-1爆撃機ですか!
G:この種のものを作るにはお金がかかるんだよ。
(苦笑いしながら) 我々はしかし (賞金として) 5億ドルしか得られなかったがね。
SeaMicroの起業
さすがに長いキャリアを持つGaryの話はおもしろく、
そこで
Garyは
G:Sun Labs.
[5] に自分が雇われたとき、 ドア2つ向こうにEric Schmidt (元Google CEO。現在は会長) がいた。 後に彼がGoogleに雇われたとき、
Jim Mitchlell [6] と私、 それにもう1人でEricに会いにいき、 何をしているのか見ることにした。あれは 2001年、 Googleはまだ30~40人くらいで、 パーキングロットを2つはさんだ (隣の) ビルにいた。 Googleでは元Sun Labs.のWayne Rosenが彼らのサーバについて見せてくれた。
Ericとはビジネスの方向などを話して、
2時間ほどして出た。 帰り道のパーキングロットでJim Mitchellは
「彼らを助けるための何もSunは作れない。奴らは見つけられる限りの安いPCを買ってラックに入れてる」 と言ったね。 私は
「ここはチャレンジだ」 と思い、 この時初めてマイクロサーバのアイディアが浮かんできた。 それはGoogleがやるようなマッシブパラレルなワークフローのためのもので、
Sunのローエンドのチップを使い、 スケールするようなシステムとして設計した。ただしインターコネクトのアイデアはなかった。 共有ストレージもファブリックもなく、
単にメモリとSoCのプロセッサを使って低コストで作るマイクロサーバだった。 この計画はSunの製品ラインとは合わず、
社内会議では採用されなかった。 しかし私はSunを離れたときも、
友達の会社に移ったときも、 AMDに移ったとき [7] も、 やはりそれについて考え続けた。Anil Rao [8] と会い、 知人の知人のスタートアップでも試みたが出資を得られず、 じゃあもう自分達でやろう、 と言ったんだ。 それからAnilはYahooにコンタクトしてサーバ側の処理に関するトレースデータを貰って分析し、
私の計画がデータセンターに多数配置するような Web サーバにはフィットすることがわかった。 充分このアイディアでやっていく自信はあったが、
ただし資金を取ってくるビジネスマンが必要だった。そこでAnilが前に一緒に働いていたAndrew Feldman [9] を連れてきて、 この3人で起業したんだ。
筆者は米国、
そうした歴戦のエンジニアはまた、
技術開発にはこの厚みが重要なのです。
おわりに
前編では、
これはAMD/
筆者はARMへの移行はごく近いうちに沸点を超え、
そのとき、
GaryはIT業界での長いキャリアを持っています。
SeaMicroを起業する前はAMDでBulldozerコアのメモリアーキテクトでした。その前はSun でUltraSPARC III
取材ではそれ以前にData General MV/
Garyは
他にもUltraSPARC IIIのアーキテクチャ設計でのBill Joy
筆者も2009年にLes Kohnに取材したときの記事