Mimari Kılavuzu

1 Mimari

1. Tek Konteyner Dağıtımı

1. İş sistemi, işlenecek cihaz tarama verilerini belgelerdeki gereksinimlere uygun olarak çalışma veri dizininde girdi olarak hazırlar;

2. İş sistemi, yeniden oluşturma algoritmasının çalışmasını başlatmak için LCC Docker imajının sunduğu arayüzü HTTP üzerinden çağırır:

    e.g.: http://xxx/api {  --pass in the input data folder path  --pass in the input configuration parameters  --pass in the results folder path }   

3. İş sistemi, yeniden oluşturma işleminin bitip bitmediğini kontrol etmek için API'yi düzenli aralıklarla sorgulayabilir. İşlem bittikten sonra sonuç verilerini results klasörü yolundan alır.

4. Yeniden oluşturma ilerleme geri çağrı API'sinin adresi hookUrl parametresiyle iletilebilir.

Linux Sunucu (Docker Runtime + Nvidia Container Driver vb. ile)MüşteriİşSistemiXGRID LCCÖzel Dağıtım Sürümü(Docker İmajı + Sürekli Çalışma)HTTP Arayüzü 1HTTP Arayüzü 2USB Donanım AnahtarıveyaÇevrimiçi YetkilendirmeYetkilendirme işlemiÇalışma dizinini bağlaİş sistemi ile Docker imajının paylaştığı çalışma verisi dizini/work└ /job1└ /input└ /output└ job2└ /input└ /output

2. Çoklu Konteyner Dağıtım Mimarisi

Çoklu GPU'lu bir sunucudaki Docker konteynerleri birer GPU bağlayarak birden fazla LCC yeniden oluşturma konteyner düğümü oluşturabilir.

Birden fazla konteyner düğümü iki yönetim modunu destekler:

1) Bağımsız Çoklu Konteyner

Her konteyner bağımsız bir düğüm olarak ele alınabilir. Her biri ayrı bir API portu sunar. Görev yönetimi ve zamanlama harici iş sistemi tarafından yürütülür.

Her konteyner yalnızca bir LCC yeniden oluşturma hesaplama düğümü olarak çalışır ve diğerlerinden bağımsızdır. Bu, birden fazla tek konteyner dağıtımının tekrarlanmasına eşdeğerdir.

Müşteri Linux Sunucusu (Nvidia Docker Runtime + Nvidia Driver)MüşteriİşSistemiLCC DockerKonteyner 0(Düğüm 0)GPU 0LCC DockerKonteyner 1(Düğüm 1)GPU 1LCC DockerKonteyner 2(Düğüm 2)GPU 2APIAPIAPIBağlaVeri DepolamaUSB Donanım AnahtarıveyaÇevrimiçi YetkilendirmeYetkilendirme alNot: LCC, lisans bilgilerinibaşlangıçta alır; hiçbir çalışma verisiiletilmez.

2) Konteyner Kümesi ( Tek Makine Çoklu GPU *)

Yerel makinedeki birden fazla konteyner, Consul kayıt defteri üzerinden bir küme olarak yönetilebilir.

Dağıtım sırasında bir konteyner düğümü ana düğüm olarak belirlenmelidir. Birden fazla düğümdeki yeniden oluşturma görevleri, ana düğümün API'si çağrılarak kontrol edilir.

Ayrıca ana düğüm, doğrudan grafik arayüzle yönetim için platform tabanlı bir yönetim arayüzü sunar (başvuru: WebUI Deneme Kılavuzu).

Müşteri Linux Sunucusu (Nvidia Docker Runtime + Nvidia Driver)MüşteriİşSistemiKullanıcıLCC DockerKonteyner 0(Ana Düğüm)GPU 0LCC DockerKonteyner 1(Alt Düğüm 1)GPU 1LCC DockerKonteyner 2(Alt Düğüm 2)GPU 2Hizmet KayıtDefteriDockerKonteynerAPIUIBağlaVeri DepolamaUSB Donanım AnahtarıveyaÇevrimiçi YetkilendirmeYetkilendirme alNot: LCC, lisans bilgilerinibaşlangıçta alır; hiçbir çalışma verisiiletilmez.

* Not

Birden fazla konteyner düğümü, tek bir yeniden oluşturma görevinin tamamlanmasını paralel ve iş birliği içinde hızlandırabilmek için aynı /work disk dizinine erişebilmelidir (çünkü bir LCC yeniden oluşturma görevi sırasında çok sayıda disk önbellek dosyası paylaşılır). Bu nedenle mevcut sürümde, tek makineli çoklu GPU'lu bir sunucuda çoklu konteyner kümesi oluşturulması önerilir.

3. Küme Görev Zamanlama Stratejisi

1) Birden Fazla Konteyner Düğümü Tek Bir Görevi Paralel Olarak Tamamlar

Bir LCC yeniden oluşturma görevi uzun sürer. Ancak adımlarından bazıları bölünüp paralel olarak tamamlanmak üzere birden fazla konteyner düğümüne devredilebilir. Böylece görevin toplam tamamlanma süresi kısalır.

LCC Yeniden Oluşturma Görev--Tek konteyner düğümü ile yürütme:Konteyner Düğümü 0Adım 1Adım 2Adım 3Adım 4...Birden fazla konteyner düğümü paralel:Konteyner Düğümü 0Adım 1Adım 2 (1)Adım 3Adım 4...Kümede boşta düğümler bulunduKonteyner Düğümü 1Adım 2 (2)Konteyner Düğümü 2Adım 2 (3)Konteyner düğümleri öncelikli alma stratejisi kullanır1) Önce gelen önce hizmet alır2) Tamamlandıktan sonra serbest bırakılır3) Zaman sırasına göre kuyruğa alınırAdım 2'yi parçalara bölün vediğer boştaki konteynerdüğümlerine dağıtınGörevin toplamyürütme süresini kısaltır

* Not

Mevcut sürümdeki konteyner düğümleri öncelikli alma stratejisi kullanır. Belirli bir görevi en yüksek öncelikle olabildiğince hızlı tamamlamak istiyorsanız, kümede önce başka görev çalıştırmamanız önerilir. Böylece görev paralel çalışmaya ihtiyaç duyduğunda daha fazla kullanılabilir düğüm elde edilebilir.

Sonraki sürümlerde daha gelişmiş bir öncelik yapılandırma stratejisi eklenecektir.

2) Birden Fazla Konteyner Düğümü Birden Fazla Görevi Paralel Olarak Tamamlar

Çok sayıda görev olduğunda, her konteyner düğümünün bir görev işleyeceği şekilde zamanlama yapılması önerilir.

Bu yöntem eşzamanlı yürütülen görev sayısını en üst düzeye çıkarır ve her konteyner düğümünün her zaman çalışmasını sağlar.

LCC Yeniden Oluşturma Görev--Her konteyner düğümü bir görev çalıştırır:Konteyner Düğümü 0Adım 1Adım 2Adım 3Adım 4...Konteyner Düğümü 1Adım 1Adım 2Adım 3Adım 4...Konteyner Düğümü 2Adım 1Adım 2Adım 3Adım 4...

* Not

Mevcut sürümdeki küme varsayılan olarak 1) Birden Fazla Konteyner Düğümü Tek Bir Görevi Paralel Olarak Tamamlar stratejisini kullanır.

Sonraki sürümlerde daha gelişmiş strateji yapılandırma parametreleri eklenecektir.

4. Lisanslama Mimarisi

1) Çevrimdışı Yetkilendirme

Dağıtım Sunucu Odası - Aynı Ağ SegmentiCodeMeter Lisansı(USB Donanım Anahtarı / Yazılım Lisansı)Lisans sayısı:1 + NVarsayılan 1, N artırılabilirN, düğüm ek paketi SKU sayısıdırLisansLCC Yazılım Runtime'ıKonteyner No. 1(Lisans -1)LCC Yazılım Runtime'ıKonteyner No. 2(Lisans -1)LCC Yazılım Runtime'ıKonteyner No. 3(Lisans -1)LCC Yazılım Runtime'ıKonteyner No. ...(Lisans -1)

2) Çevrimiçi Yetkilendirme

İnternetXGRIDS Lisans Hizmet MerkeziKullanıcı hesabı içindeLCC Server lisans sayısı: NLisansBu kullanıcıLCC Yazılım Runtime'ıKonteyner No. 1(Lisans -1)Bu kullanıcıLCC Yazılım Runtime'ıKonteyner No. 2(Lisans -1)Bu kullanıcıLCC Yazılım Runtime'ıKonteyner No. 3(Lisans -1)Bu kullanıcıLCC Yazılım Runtime'ıKonteyner No. ...(Lisans -1)