サーバー電気代計算

Googleの稼働実サーバー台数が90万台とかニュースがあったので
暗算でケタまちがしていたので計算し直してみました。
消費電力100wのサーバを24時間連続で運用すると1ヶ月720円。
1ヶ月500円以下のレンタルサーバの方が運用コストは安いです。

 

 

 

 

都心ビルなどでの電気代は、受電設備の償却費を含みますので
1ヶ月22円で計算すると 100wサーバーで 1,584円。

日本の電力会社ルールでは、大口ユーザーで特別高圧設備など
を設備すると値引きしてくれます。
Googleは、もっと安く電力を買っていると思いますが、1KWh=
10円として、200Wサーバーを90万台運用とすると約13億円
年間で約156億円です。

 

 

 

 

======

東京都内データセンターでは、合計で10万台は超えていると思われ
ます。いろいろな意見がありますが、PUE=2.0とすると無駄な空調
電力で1ヶ月数十億円浪費しているかと考えます。
こんな事を許しているのは、おかしいですね。
Googleのような水冷コンテナや特別な空調機を持たないデータセン
ターに改築しなくても、外気導入すると20%から40%無駄な空調
電力を削減できます。

Facebook DC仕様を読みながらツッコミ

Facebookの新しいデーターセンターは、「Open Compute Project」の考え
にもとづき、設計データやたくさんの写真が公開されています。
AgileCatさんが詳しくご紹介なさっているので、ご参照ください。
Agile Cat — in the cloud with openness Facebook 
– 対訳 – Building Efficient Data Centers with the Open Compute Project 
http://agilecat.wordpress.com/2011/04/08/facebook-%E5%AF%BE%E8%A8%B3-building-efficient-data-centers-with-the-open-compute-project-cloud-facebookjp-cbajp/ 
Facebook – Oregon データセンターの写真が一挙公開 http://agilecat.wordpress.com/2011/04/08/facebook-%E5%AF%BE%E8%A8%B3-building-efficient-data-centers-with-the-open-compute-project-cloud-facebookjp-cbajp/ 

5月6日に「Facebook データセンター仕様を読みながらツッコミを
入れる会」を京都産業大学安田先生と行いました。40人近く お集まりい
ただき 大変ありがとうございました。

私が疑問に思ったことをInterlop展示会でも、ご説明しました。
1.排気側構造は?
「外気導入型データセンター」では、気流の流れが大事なのですが、排気側の
構造が公開されていない。
下記写真では 3ラックをひとまとめにして軽量化を図りながら強度を上げる
ような良い提案が出ています。しかし、1ラック30台、1台のサーバには
電源ファンを含んで5ヶ搭載されているので、6ラックで合計900ヶのファン
が搭載されています。1.5U高さなので 大きなファンが使えて静圧も大きいと
思えますが、排気側構造が悪いとサーバは冷えないように思われます。
仕様書にファン風量が規定されているのかな?誰か教えて(m_m)
.
2.ヒートシャッターが徹底されていない?
Googleと同様なお皿サーバは、VCCI(ノイズ対策規格)に対応出来ないので、
一般に販売できません。NECより 40℃対応サーバが出てきましたが、
お皿サーバではありません。
3.特許
Open Compute Projectは、特許に関して責任を持てないような記述があり、
Facebook以外の会社が所有する特許を使っていても関知しないような
記述があります。
4.電源とマザー
UPS機構をもった電源ユニットで特別なコネクタで直結している。先日の
ComputexTaipeiで、Facebookコネクタを付けたマザーボードや電源は
皆無だったので、この電源は簡単に入手できないように思えます。
マザーは特殊でも、1000枚注文すれば たいてい作ってもらえるので
問題になりませんが、電源の特注は通常1万台を越えますので、一般的には
入手できません。電池を接続出来るようになっているので、なおさら簡単
では無いです。電池接続ケーブルのインピーダンス設定がおかしいようにも
思える。
5.空気線図
オレゴンの環境分析に使っている。これについては後日ブログに記載。

 

Interlop展示説明(2)

 

 

 

 

 

「外気導入型省電力データセンター」は、室内管理温度を上げて
「冷凍エアコン稼働時間」を減らすことにより省電力を実現します。
40℃対応サーバであれば、冷凍エアコンも不要となるので、建設費の
約半分を占める「冷凍エアコン」を購入しなくて良いので建設費が
半分以下になります。

大きな部屋に小さな小屋を作るだけの構造なので完成まで数カ月です。
「冷凍エアコン」を使わないので PUE=1.1以下となり、PUE=2.0
以上のデータセンターに比べると運用電力費も半分になります。
1ラック6KVA~8KVA 3ラック構成が基本です。
最新の2Uサイズ Xeon5600シリーズが2CPU搭載されたサーバは
約0.25KVAとして 18台で4.5KVA  3ラックで 54台
CPU数で108CPU 仮想環境でご使用ならば 1CPU 8Core として
864Coreとなります。

たった3ラックで、企業情報システムさまがご利用になる大半を収納できます。
設置場所検討から設置、運用開始後のコンサルタントを含んで 環境コント
ローラなども販売できます。資料お送りします。下記までお問い合わせください。

㈱LXスタイル 杉田  sugi@LXS.jp

 

 

Computexで見かけたGPUサーバ

ComputexTaipei での報告。

サーバ各社はGPUサーバに注力している。
2UでGPGPUを4基も載せられるサーバや、4Uで8基も載せられるサーバが
展示されていました。

 

 

 

 

 

 

 

 

 

 

 

4U機は販売実績があるようで稼働していました。
4Uで3KVAも必要な電力的にすごいサーバです。
最新のTesla M2090だと 512 CUDAコアなので 1台で4096CUDAコアという
すごいサーバです。
しかしながらこのようなサーバを通常のデータセンターに設置しようとすると
1ラック3台しか搭載できず、48サーバで16ラックも必要となり冷凍エアコンを6台から
10台設置することになるので、運用費が高くなります。

弊社の空冷DCなら 2部屋で48サーバを搭載でき空冷出来ます。

※注:空冷DC設置場所に制限があります。

会社や研究所の片隅に約20万CUDAコアのスパコンを設置できます。

 

 

 

 

部屋幅 約6m

1ラック 3KVA×8=24KVA
6ラック 24KVA×6=144KVA
通常の魔法瓶型データセンターだと、1台3000万円の冷凍エアコンが
6台以上必要となり、ラックを取り巻くことになります。
スパコン購入費は 5000万円以下なのに 冷凍エアコン購入費は2億円以上
となり 電気料金も毎月約2倍払うことになります。

 

 

 

 

 

奥行き 約8m以上

※注:空冷DC設置場所に制限があります。
空冷DCは、これからのスパコン普及で必須な技術です。

 

NEC40℃対応サーバーとストレージ

NECから、昨年発売予定だった40℃対応サーバが発売されました。

http://www.nec.co.jp/press/ja/1106/0601.html

 

 

 

 

 

 

 

「外気導入型省電力データセンター」は、室内管理温度を上げて
「冷凍エアコン稼働時間」を減らすことにより省電力を実現します。
30年前に設計された「室温25℃」は、すでに電子パーツの進化により
幻想であるにも関わらず一般的なデータセンター設計基準になってます。
カーナビは最悪100℃環境でも動作します。同じ技術でサーバを作れば
40℃対応サーバは容易に実現できます。

弊社では、レンタルサーバ用特注サーバを多くデザインしてきた経験を
元に40℃対応サーバ設計を支援し「外気導入型省電力データセンター」
での「冷凍エアコン無し」構造を実現しました。

アームズ社 Fujimi-III-TS

 

 

 

 

 

Fujimi-IIIーTSは、様々なmini-ITXマザーボードに対応し、1ラック60
ブレードまで実装できます。

「外気導入型データセンター」は、20年も前にIBM社が各地で導入
しています。

 

 

 

 

 

 

サーバの給気側と排気側を分離する「ヒートシャッター」は、多くの
データセンターで実施され20%以上の省電力を実現されています。

 

 

 

 

 

 

Google社は、5年前から「データーセンター室温を上げるべきだ」と
アナウンスしてきました。
NECが世界初ストレージまで40℃対応した製品まで販売したことは
社会問題化してきているデータセンターでの省電力化が加速されると
思われます。

弊社では、8年前から「PUE=1.3を実現した経験」や、「外気導入型データ
センター冷凍機無し」を3カ所も設計支援した省電力データーセンターの
構築支援を行っております。
古くJQA安全対策実施認定取得やISMSバージョン0.8から関わってきた
セキュリティ対策にも対応したデータセンター設計を支援いたします。

強固な建物で電源に余裕があれば半年で「外気導入型省電力データセンター」
が構築できます。バックアップセンターを低コストで構築したい企業さまに
最適です。

Interlop展示説明

幕張メッセ Interlop2011 ベンチャーパビリオン LXスタイルへお越しいただきました

皆様ありがとうございました。

小さなポスターを2枚掲示しただけの出展でした。
特許も出願し、初めて公の場所で詳細をご説明しました。

 

 

 

 

 

 

 

 

 

 

展示内容がわかりにくとの指摘から、2枚目のポスターを外して、
「冷えるんです!」

 

 

 

 

 

 

 

当初エアコン不要と書いていたら、空調会社の方からご指摘いただき
「冷凍エアコン不要」と書き直しました。
NECから昨年9月発売予定だった、40℃対応サーバー群や世界発となる
40℃対応ストレージが6月6日に発表され、同じ会場でも紹介されて
いましたので、説明はやりやすかったです。

既に3カ所で「外気導入型冷凍エアコン無しデータセンター」建設に従事し、
最新事例などをご紹介しました。
今後、さくらインターネットの石狩センターなども本年中には稼働が始まります。
大幅な省電力を実現する「外気導入型エアコン無しデータセンター」は、これから
普及してくると思います。

INTERLOP2011

6月8日~10日、INTERLOP2011 http://www.interop.jp/ に㈱SOHKiさまと 
省電力データーセンター関係の研究成果を発表します。
小さなベンチャーブースですが、世界初と自負する新型サーバーなども展示します。
ぜひ お立ち寄りください。

ComputexTaipei

毎年 台湾台北市で行われる世界最大のコンピューター展示会に今年も行きます。
会場は2つの大きな展示場に分かれ、巨大すぎて慣れていないと どんな展示なのか?
わかりにくいものです。10年通っていますので昨年までの流れと今年のトレンドを
ご案内します。

6月2日と3日 会場をご案内します。(当初の1日〜2日を2日〜3日に変更しました)
1日空港や2日、3日の朝、現地集合でもかまいません、ご同行ご希望の方はメールか
Twitterでご連絡ください。
2日 南港展示ホール(新ホール( 3日 台北世界貿易センター展示ホール(旧ホール)
見学だけでなく サーバーメーカー大手 SuperMicro社やソフトウエアルーター会社との
ミーティングを予定しています。

1.日程をお決めになって航空チケットとホテルをご予約ください。
ホテルのオススメは、老爺商務会館( http://www.royal-inn-taipei.com.tw/ )です。
2日の夜に参加メンバーで懇親会をこのホテル近くで行います。
会場より遠いですが、MRTの中山駅の上と言っていいほど近くなので便利です。

2.ホテルが決まると下記事前登録してください。ホテルに入場券が送られてきます。

3.事前登録なしでも 当日 「名刺」があれば 日本から来たバイヤーとして無料で
入場できます。

4.朝食はホテルなどでお取りください。
昼食はみんなで食べましょう。
2日は懇親会しましょう。
3日夜は各自 自由行動としましょう。

=======

«2011年台北国際コンピューター見本市»
事前来場申込み受付開始!
~1,800の出展社、5,200のブースを予定!~

2011年5月31日(火)から6月4日(土)まで、台北世界貿易センター展示ホール1、2、3及び
台北世界貿易センター南港展示ホールおよび台北国際会議センターにて、「2011年台北国際
コンピューター見本市」が開催されます。
世界第二位、アジア最大の集客力を誇る同見本市は来年で第31回を迎えます。
この機会に是非ご来場ください。

見本市名: 「第31回台北国際コンピューター見本市」
主 催:中華民国対外貿易発展協会(TAITRA)、台北市コンピューター商業同業公会(TCA)
日 程: 2011年5月31日~6月4日  9時30分~18時 (4日のみ:~16時)
会 場:台北世界貿易センター第1・第2・第3展示ホール、
台北世界貿易センター南港展示ホール、台北国際会議センター
展示品目: コンポーネント及びパーツ/コンピュータ及びシステム/データ記憶製品/
ディスプレイ及びデジタル娯楽製品/周辺機器及びアクセサリ/ソフトウェア/WiMAX及び
コミニケーション装置/カーエレクトロニクス装置/電子看板/組込み製品/ICアプリケーション技術/
IP通信技術・装置/医療用電子機器・セキュリティ関連機器など
備考:見本市の詳細は下記URLをご参照下さい。
http://www.computextaipei.com.tw/
事前来場申込み〆切:2011年5月13日

 

「Facebook データセンター仕様を読みながらツッコミを入れる会」

「Facebook データセンター仕様を読みながらツッコミを入れる会」 を京都産業大学 安田先生と行います。
5/6(金)京都駅前 サテライトで、18:15〜 参加費500円 http://ylb.jp/Tech/
LXスタイルが手掛けた外気導入型DCと比較してツッコミします。
 ポリシーは、DC建設には10億円を超える費用がかかりますが、大量のサーバを使ってGoogleやFBのようなシステムを研究をしたい方々はDCがほしい訳では無いので、「追いかける方法がある」ということを3つの外気導入データセンター構築事例をご紹介しながら、大量のGPUサーバ構築でコストダウンなど提案したい。

Agile_Catさんが 「詳細な解説つきの Facebook Oregon DC フォト・ツアー」をブログで公開なさっています。
http://agilecat.wordpress.com/2011/05/05/%E8%A9%B3%E7%B4%B0%E3%81%AA%E8%A7%A3%E8%AA%AC%E3%81%A4%E3%81%8D%E3%81%AE-facebook-oregon-dc-%E3%83%95%E3%82%A9%E3%83%88%EF%BD%A5%E3%83%84%E3%82%A2%E3%83%BC-cloud-cloudcomputing-facebookjp-datace/

 

 

 

 

Facebook データセンター仕様を読みながらツッコミを入れる会
4月7日に Facebook は自社用としてオレゴンに設置した省電力・低コストデータセンターの仕様を
公開しました。(”Open Compute Project” 参照)
従来的な冷房設備を用いず、外気導入によって省電力化を図るデータセンターが注目されている今、
この仕様公開は良いチャンスです。 皆で仕様書を読み、議論やアイディアを交換しましょう。

日時
2011 年 5 月 6 日(金) 6:15PM-8:30PM まで(6PM 開場)
場所
キャンパスプラザ京都(京都駅前)
第一会議室(二階、定員 60 名)
http://www.consortium.or.jp/contents_detail.php?frmId=585
費用
若干(500円程度を予定)
主催・連絡先
安田豊(京都産業大学) 075-705-1673 (職場)
事前参加申し込みなどは特に用意していません。 ふらりとお越しください。

当日読みたいなあと思うもの(候補)一覧
とりあえず希望として挙げてみます。実施可能かどうかは謎。 ここは僕読んだよ(読むよ)という人は手を挙げてくださると嬉しいです。
Open Compute Project にある資料
Introducing the Open Compute Project
opencompute.org 冒頭のビデオ (4分半)
Data Center v1.0
データセンター仕様書そのもの。15 pages。中身は Electrical Design と Mechanical Design の二本立て。
Server Chassis and Triplet Hardware v1.0
42U サイズ x 3 本に 90 台の専用サーバを収めるラックと、専用サーバのシャシー設計。10 pages。
Battery Cabinet Hardware v1.0
48V DC の電源を Triplet Rack 二つに供給するバッテリーの仕様書。13 pages。
server specs and mechanical designs
サーバ関連資料(今回公開されたのはデータセンターとサーバ、ラックの統合設計です)
AMD Motherboard Hardware v1.0 , Intel Motherboard Hardware v1.0 , 450W Power Supply
Hardware v1.0
Facebook Engineering’s Notes から

Facebook エンジニアが Note としていろいろ書いてたりします。 ちょっと気になります。
Optimizing Data Center Energy Usage
Jay Park による 2010年10月のエントリ。
New Cooling Strategies for Greater Data Center Energy Efficiency
Jay Park による 2010年11月のエントリ。
Building Efficient Data Centers with the Open Compute Project
Jonathan Heiliger による 2011年4月のエントリ。Open Compute Project そのもののアナウンス。
Inside the Open Compute Project Server
Amir Michael による 2011年4月のエントリ。データセンター本体ではなくサーバ側の要約となっている。
Designing a Very Efficient Data Center
Jay Park による 2011年4月のエントリ。Open Compute Project 公開翌週のエントリで、こちらはデータセンター本体のちょうど良い総覧になっているのではないか?
その他

Facebook の Prineville Data Center グループ リソース
いろいろ紹介されてる
Video: Inside Facebook’s Server Room
Data Center Knowledge の 4/18 の記事とそのビデオ。
Video: Facebook’s ‘Penthouse’ Cooling System
上の記事「Video: Inside Facebook’s Server Room」の続編(翌日公開)。Video on our evaporative cooling system とあるので、蒸散冷却システムの紹介か。
Report to Congress on Server and Data Center Energy Efficiency Public Law 109-431
U.S. Environmental Protection Agency ENERGY STAR Program による(?) 2007 年の報告書。130 pages。全文読むのはともかく、中にあるグラフなどは一見の価値ありか。国内のこうした定量分析などはどこが行っているのだろう。
Green on Facebook > Programs
Facebook による自社の Green プログラム(エコ対策)紹介ページ。このページの左半分「GREEN PROGURAMS」はオフィスで節電します、社用バス出してCO2削減、などですが、右半分「ENERGY EFFICIENT COMPUTING」は Programming, Data Centers, Open Compute Project の三つです。面白い。(ここからリンクされているエントリは全て上のリストに含まれています)
The Facebook Data Center FAQ
Data Center Knowledge の 2010年9月の記事だが、”データセンターに幾ら使ってますか?”, “データセンター運用に何人必要?” などちょっと面白いかも。
Inside Facebook’s Not-So-Secret New Data Center
MIT による technology review の記事(に付いてる写真)
Prineville Data Center > Photos
Facebook の Prineville Data Center ページのフォトアルバム