大規模計算

実際に大規模なニューラルネットを組もうと考えてみて、最近気づいてきたことがある。

多少非効率でも、各ノードに同じ仕事を割り振り、局所的に完結するような計算方式にすべきということだ。

普通あたりまえなんだろうけど、今さら気づいた…。こうしておかないと、計算の規模によって、プログラムを書き直したり、効率が異常に下がることになる。

大規模計算のノウハウというのはどういうものなんだろう。IBMとかBlue Brainでどういうふうに計算をさせているんだろう。