Dozen 2009

Dari PaloDozen

Dozen 2009 adalah sistem kluster yang dibagun Teknik Fisika ITB berbasis teknologi kluster CPU+GPU.

Daftar isi

Arsitektur

Pada tahun 2009, rancangan sistem Dozen mendapat pembaruan besar karena tren penggunaan Graphics Processing Unit (GPU) untuk komputasi kinerja tinggi. Sebelumnya, rancangan hanya berfokus untuk memperbanyak core CPU, dimana sistem Dozen 2008 telah berhasil membuat sistem dengan 24 core CPU. Dengan biaya yang tidak jauh berbeda di tahun 2009, penambahan maksimal adalah 24 core lagi. Untungnya, wacana CPU+GPU membawa lonjakan kemajuan yang sangat signifikan. Perubahan filosofis yang mendasar adalah:

  1. GPU adalah inti yang melakukan komputasi, sekaligus tampilan. Peran CPU kini terkurangi hanya sebagai pemasok data ke GPU, dan juga menangani I/O ke file dan jaringan.
  2. Memori pada GPU menjadi penting untuk kecepatan proses. Memori utama pada motherboard juga masih penting, namun sekedar sebagai penyimpan data.
  3. Extension slot pada motherboard menjadi kritis, karena harus melalukan data dari CPU ke GPU.
  4. Jaringan harus membedakan komunikasi file, pesan antar proses, dan tampilan.

Berkas:Dozen2009-Arsitektur.png

Seperti nampak pada Gambar di atas, Rancangan arsitektur kluster ini membagi sub sistem utama atas:

  1. Front-end, adalah komputer pusat yang melakukan manajeman kluster sekaligus manajemen login bagi akses dari remote client.
  2. Compute-0, adalah kelompok node yang hanya dilengkapi dengan CPU.
  3. Compute-1, adalah kelompok node yang tidak dilengkapi dengan GPU. Ini adalah pengembangan baru 2009.
  4. View-end berfungsi untuk menampilkan hasil komputasi secara waktu nyata, sekaligus jendela untuk visualisasi bagi remote-client.
  5. Media penyimpanan data diletakkan pada seluruh compute node, menggunakan distributed redundant parallel file system.

Pada sistem ini ada tiga jaringan yang menghubungkan keseluruhan sistem yakni:

  1. Eksternal network, adalah jaringan yang menghubungkan remote-client ke front-end maupun view-end. Jaringan ini sesungguhnya terhubung juga ke Internet, sehingga dapat diakses dari mana saja. Protokol yang bekerja pada jaringan ini adalah TCP/IP, dengan layanan aplikasi SSH dan HTTP/SHTTP.
  2. File Network, menjadi jalur komunikasi antar front-end dengan compute node. Data yang melaluinya adalah data instalasi node, akses file, pemantauan node, dan penjdawalah kerja. Protokol yang terpasang di sini adalah TCP/IP dengan layanan aplikasi TFTP, NFS, GlusterFS, Ganglia, dan MPI.
  3. Message network, adalah jalur komunikasi antar compute-node, dan view-end. Protokol aplikasi utama di sini adalah MPI.

Jadi dibanding sistem Dozen 2008, penambahan baru pada sistem ini adalah enam node kelompok Compute-1 dan sebuah View-end.

Perangkat Keras

Compute Node 1

nothumb

Compute node rack 1 merupakan sistem CPU+GPU. Komponen-komponennya adalah:

GPU

Karena fokus pada sistem 2009 ini adalah pada GPU, telaah pertama dilakukan pada GPU yang ada di pasaran, sementara komponen lain akan menyesuaikan. Saat ini ada dua vendor utama GPU yakni NVIDIA dan AMD ATI, namun untuk keperluan KKT, dukungan produk NVIDIA lebih baik. Dari telaah pasar, produk-produk NVIDIA dikelompokkan menjadi tiga kelas yakni:

  1. GeForce, adalah produk yang ditujukan untuk pangsa consumer, terutama untuk aplikasi games.
  2. Quadra, merupakan produk untuk kalangan profesional, yang menggunakan aplikasi 3D serius seperti rekayasa, atau industri film.
  3. Tesla, khusus dibuat untuk komputasi kinerja tinggi. Seri Tesla ini bahkan tidak menyediakan konektor untuk monitor.

Untuk keperluan KKT, tentu saja kelas Tesla adalah yang paling mantap. Sayang harganya hampir 3 kali lipat kelas GeForce, sementara harga Quadra sekitar dua kali lipat GeForce. Bila tidak ingin memaksakan diri, kelas GeForce juga masih bisa digunakan dengan kinerja yang tidak kalah, bahkan produk GeForce terbaru lebih cepat dari Tesla versi terakhir. Produk GeForce sudah mendukung CUDA sejak seri 8000. Ketika meningkat menjadi seri 9000, GeForce juga mendukung PhysX (pustaka untuk simulasi fisik yang realistis, terutama untuk aplikasi games). Saat ini, GeForce sudah meningkat lagi menjadi seri GT 200, dan salah satu peningkatannya adalah mendukung double precission floating point, yang sebelumnya hanya ada di kelas Tesla. Tentu saja ini berita gembira untuk KKT. Pada seri GT 200 ini, ada beberapa jenis produk seperti pada Tabel berikut.

Tabel Perbandingan GPU NVIDIA GeForce seri GT200.

Tipe Produk GTS 250 GTX 260 GTX 275 GTX 280 GTX 285 GTX 295
Fabrication 55 nm 65 nm 55 nm 65 nm 55 nm 55 nm
Banyak core 120 216 240 240 240 480
Memori 1024 MB 896 MB 896 MB 1024 MB 1024 MB 1792 MB
GFlops 705 715 1010.88 933 1062.72 1788.48
Ekspansi SLI triple triple triple triple triple Dual
Daya listrik 145 182 219 236 183 289

Bagi sistem KKT, spesifikasi yang dicari dari sebuah GPU adalah kecepatan menghitung, yang dicerminkan oleh indeks Gflops nya. Menimbang hal tersebut, maka dipilih NVIDIA GTX 295 karena punya kemampuan hingga 1788.48 Gflops. Secara internal, GTX 295 adalah dua buah GTX 260 dalam satu kartu, sehingga memiliki total 480 core dan memori hingga MB 1792 GB. Jika nantinya dikembangkan menjadi dual SLI, total bisa didapat 960 core dan memori 3,5 GB.

Setelah memilih tipe GPU yang diinginkan, untuk membeli produknya kita masih harus memilih vendor pembuatnya. Perlu diketahui bahwa NVIDIA adalah pembuat chip GPU untuk dijual ke vendor perakit kartu. Vendor perakitlah yang akan menjual produk kepada pembeli akhir (mirip seperti Intel mencual CPU kepada Dell, HP, dan yang lain untuk dirakit menjadi komputer yang siap dijual pada pembeli akhir). Dari survey, ternyata kinerja kartu dari vendor berbeda dengan GPU yang sama nyaris tak ada bedanya. Meski demikian, harganya cukup berbeda sehingga ada pilihan antara harga termurah atau merek yang menjamin kualitas. Untuk Dozen 2009, telah dibeli Gigabyte GTX 295 [W15].

CPU

Pemilihan CPU dilakukan dalam konteks mampu mendukung GPU sebaik mungkin. Hal ini perlu dipertimbangkan karena dengan konfigurasi multi-GPU, akan lebih optimal bila CPU mampu menyediakan core terpisah untuk masing-masing GPU. Di samping itu, CPU juga masih harus menangani tugas-tugas standar lain karena GPU tidak bisa menangani seluruhnya. Salah satu konsekuensi hal ini, CPU untuk kelas desktop akan lebih cocok digunakan dibanding kelas server.

Saat ini, CPU di pasaran didominasi produk Intel dan AMD. Untuk desktop, kelas terbaru Intel adalah Core i7, sementara AMD menawarkan Phenom II. Sebelum seri terbaru tersebut, persaingan terjadi antara intel Core 2 dan AMD Athlon. Mitos yang ada, Intel core 2 lebih mahal dan hemat energi, sementara AMD Athlon lebih kencang dan bagus untuk multimedia. Namun untuk seri i7, Intel memakai arsitektur baru yang jauh berbeda dari sebelumnya. Hasil berbagai benchmark, menunjukkan bahwa i7 lebih superior dari segi kecepatan maupun penghematan energi, walau harganya lebih mahal. Dengan demikian pilihan jatuh pada CPU Intel i7 seri 920.

Perbandingan CPU Intel i7 dan AMD Phenom.

CPU Core i7 920 Phenom 2 920
Architecture 64 bit 64 bit
Core 4 (8) 4
Stock Freq: 2.66 GHz 2.8 GHz
TDP: 130 W 125 W
Fabrication: 45 nm 45 nm
Cache L2 / L3: 512 KB / 6 MB 256 KB / 8 MB
Memory: 3x DDR3 1066 MHz 2x DDR2 1066 MHz
Memory Bandwidth: 25.5 GB/s 17 GB/s
Base Clock: 133 MHz 200 MHz
North Bridge: 24 GB/s 28.8 GB/s
MAX Over Clocked: 4.86 GHz - 82.7 % 4.05 GHz - 44.6 %
Suggested Price: $320.32 $262.08

Memori

Prosesor Intel i7 memerlukan memory DDR3. Komponen ini masih baru di pasaran, dan harganya masih sekitar $80/GB. Memori ini sebaiknya dibeli dalam pasangan 3 keping, karena CPU i7 memang dirancang untuk mengakses memori ini dalam 3 fasa. Jika tidak 3 keping, performansinya tidak optimal. Hal yang harus diperhatikan di sini adalah frekuensi FSB (Front Side Bus) yang didukung. Semakin tinggi frekuensinya, semakin cepat aksesnya, namun hal ini harus dicocokkan dengan motherboard.

Untuk sistem kluster ini telah dibeli memori 3 keping @ 2MB 1600MHz, total 6 GB. Bila ingin ditambah, prosesor i7 mampu menangani hingga 16GB, walau standar DDR3 biasanya mampu hingga 24GB.

Motherboard

Guna menunjang GPU dan CPU yang telah dipilih, spesifikasi minimum papan induk yang diperlukan adalah:

  • Mendukung intel i7, artinya berbasis soket LGA 1366
  • Punya 3 buah slot PCI-e x16 dan mendukung NVIDIA SLI 3 way.
  • Bisa dipasangi memori hingga 16 GB.
  • Punya sedikitnya 2 Giga Byte Ethernet Card.

Pada awal 2009, motherboard seperti itu masih langka. Sistem berbasis soket LGA 1366 baru bisa disediakan oleh chip set Intel X58. Versi–versi awal baru keluar akhir tahun 2008 dengan harga diatas $350. Sementara itu dukungan terhadap SLI juga masih jarang, mungkin karena NVIDIA menerapkan royalti untuk menggunakannya (padahal saingannya ATI CrossFire tersedia bebas). Baru pada akhir Maret 2009, mulai muncul motherboard kelas X58 dibawah $300, diantaranya adalah 3 pilihan berikut:

Tabel Perbandingan Papan Induk dibawah $300.

Motherboard Asus P6T Gigabyte EX58-UD3R SLI MSI X58 Platinum
Chipset Intel X58 Express Intel X58 Express Intel X58 Express
DIMM slots 6 x 240-pin DDR3 4x 240-pin DDR3 6 x 240-pin DDR3
Slot PCI Express x16 3 2 2
Slot PCI Express x4 - 1 -
Slot PCI Express x1 1 2 3
Slot PCI 2 2 2
Multi-GPU support CrossFire, SLI CrossFire, SLI CrossFire
Auxiliary storage JMicron JMB363, JMicron JMB322 iTE IT8720, Gigabyte GSATA2 JMicron JMB363, JMicron JMB322
Networking Realtek RTL8111C Realtek RTL8111D 2 x Realtek RTL8111C

Setelah menimbang perbandingan diatas, dan juga uji performansi berbagai pihak, akhirnya dipilih papan induk Asus P6T dengan alasan:

  • Performansi overclocknya paling bagus.
  • Kualitas papan induk Asus sudah terkenal baik.
  • Posisi slot PCI-e dan PCI nya memungkinkan untuk 2 kartu GPU dan 1 kartu jaringan.
  • Mendukung memori hingga 12 GB (6 x 2 GB).

Kelemahannya, papan induk ini cuma menyediakan 1 port Ethernet, namun ini akan bisa diatasi dengan kartu tambahan.


Jika dipertimbangkan harga keseluruhan CPU + memory + motherboard, harga sistem berbasis AMD jauh lebih murah dibanding intel i7, dikisaran $700 lawan $1,550. Sayangnya untuk saat ini, kebanyakan motherboard AMD Phenom belum mendukung NVIDIA SLI, dan hanya mendukung ATI CrossFire. Hal ini tidak mengherankan, karena memang ATI sudah dibeli oleh AMD.

Harddisk

Untuk compute node, kebutuhan harrdisk hanya sekitar 20 GB. Tetapi saat ini, harddisk 250 GB sudah bisa diperoleh seharga $50, sehingga tak ada gunanya menghemat dari segi kapasitas. Meski demikian, kelas harddisk ternyata berbeda untuk desktop dan server, dimana harganya bisa berbeda hingga 2 kali lipat. Biasanya kelas desktop memiliki cache 4 hingga 8 MB, sedangkan kelas server sedikitnya 16MB. Untuk keperluan kluster ini, pada front-end telah dipasang harddisk kelas server dengan kapasitas 2 TB, sehingga pada node dipasang harddisk kelas desktop biasa dengan kapasitas 250GB.

Catu Daya

Untuk sistem CPU+GPU, power supply menjadi penting. Kartu video biasa tidak mengambil daya yang besar dan dapat diabaikan. Namun sebuah GPU, bisa mengambil daya yang besar, bahkan melebihi papan induk. Dari referensi, daya tipikal GTX 295 adalah 289 watt. Beberapa hasil uji coba menunjukkan bahwa sistem lengkap dengan sebuah kartu GTX 295 bisa memakan daya total mencapai 427 watt. Jika dipasang dua kartu GPU, diperkirakan dayanya mencapai 750 watt.

Di pasaran, PSU ATX untuk daya diatas 800 watt tidak ada yang kelas murahan. Harga minimal dipasaran sekitar $160. Untuk sistem Dozen 2009 ini telah dibeli PSU Agile TOP-1100W DVT.

Pendingin

Untuk suatu sistem CPU + GPU dengan daya terpakai sekitar 600 watt, bisa dipastikan akan memancarkan panas yang lumayan tinggi. Apalagi jika sistem ini di-over clock (dipaksa bekerja di atas clock nominal yang dianjurkan). Untuk mengamankan sistem ini, sangat dianjurkan memasang pendingin (cooling) yang efektif. Di pasaran banyak tersedia pendingin khusus yang canggih, dengan harga sekitar $100 - $200. Jika ingin memakai yang standar saja, sesungguhnya CPU intel i7 telah dilengkapi pendingin heatsink+fan standar. Kinerja pendingin ini dilaporkan cukup baik, mampu menahan suhu sekitar 70oC pada saat CPU sibuk. Untuk kasus kluster Dozen, sistem diletakkan pada ruangan khusus ber-AC yang cukup baik. Karena itu sementara ini digunakan pendingin standar.

Casing

Untuk node CPU+GPU ini, dirancang casing yang berbeda dengan model 2008. Casing masih akan tepat dipasang pada lemari rack-system, namun ada dua hal khusus yang ingin dicapai:

  • Bisa menampakkan keindahan motherboard + CPU + GPU
  • Siap untuk nantinya dipasang pada lemari hexagon sesuai desain Dozen sebelumnya.

View Node

Komputer View Node merupakan komputer desktop biasa, hanya diberi tambahan GPU. Spesifikasinya adalah:

CPU AMD Athlon
GPU NVIDIA GTX 250
Memory 4GB DDR 2
Harddisk SATA 380 GB
Network 2 x GBE
Monitor Dual head


nothumb nothumb

Perangkat Lunak

Bagi kluster Dozen 2009, telah digunakan distro Linux Rocks Cluster versi 5.2. Ini merupakan peningkatan dari Dozen 2008 yang menggunakan Rock Cluster 5.1. Yang esential bagi Dozen 2009 adalah:

  • Kernel default pada Rocks 5.2 sudah mendukung CPU Intel core i7.
  • Tersedia Viz Roll yang mendukung GPU NVIDIA GTX 295.

Kontributor: Mursito