Wyrok KIO 2920/21 z 28 października 2021

1. Uwzględnia odwołanie w zakresie zarzutu A w części dotyczącej niezgodności oferty wykonawcy Perceptron Sp. z o.o. z siedzibą w Krakowie z wymogiem określonym w punkcie 7 załącznika nr 2 do Specyfikacji Warunków Zamówienia i nakazuje Zamawiającemu:
2. 1 Unieważnienie czynności wyboru najkorzystniejszej oferty w postępowaniu, 1.2 Odrzucenie z postępowania na podstawie art. 226 ust. 1 pkt 5 Pzp oferty wykonawcy Perceptron Sp. z o.o. z siedzibą w Krakowie, 1.3 Dokonanie ponownej czynności oceny ofert.
3. W pozostałym zakresie oddala odwołanie.
4. Kosztami postępowania obciąża w 1/3 zamawiającego: Instytut Ekspertyz Sądowych im. Prof. Dr Jana Sehna z siedzibą w Krakowie i w 2/3 odwołującego: Format Sp. z o.o. z siedzibą w Warszawie i:
5. 1 zalicza w poczet kosztów postępowania odwoławczego kwotę 15 000 zł 00 gr (słownie: piętnaście tysięcy złotych zero groszy), uiszczoną przez odwołującego tytułem wpisu od odwołania, kwotę 3 600 zł 00 gr (trzy tysiące sześćset złotych zero groszy) stanowiącą koszty postępowania odwoławczego poniesione przez odwołującego z tytułu kosztów wynagrodzenia pełnomocnika i kwotę 3 600 zł 00 gr (trzy tysiące sześćset złotych zero groszy) stanowiącą koszty postępowania

odwoławczego poniesione przez zamawiającego z tytułu kosztów wynagrodzenia pełnomocnika.

1. 2 zasądza od zamawiającego: Instytutu Ekspertyz Sądowych im. Prof. Dr Jana Sehna z siedzibą w Krakowie na rzecz odwołującego Format Sp. z o.o. z siedzibą w Warszawie kwotę 3 800 zł 00 gr (trzy tysiące osiemset złotych zero groszy).

Stosownie do art. 579 i 580 ustawy z 11 września 2019 r. - Prawo zamówień publicznych (Dz. U. z 2019 r., poz. 2019 ze zm.) na niniejszy wyrok - w terminie 14 dni od jego doręczenia - przysługuje skarga za pośrednictwem Prezesa Krajowej Izby Odwoławczej do Sądu Okręgowego w Warszawie.

Sygn. akt

KIO 2920/21

Instytut Ekspertyz Sądowych im. Prof. Dr Jana Sehna z siedzibą w Krakowie (dalej Zamawiający) prowadzi na podstawie przepisów ustawy z 11 września 2019 r. Prawo zamówień publicznych (Dz. U. z 2019 r., poz. 2019, dalej: Pzp) postępowanie o udzielenie zamówienia publicznego w trybie przetargu nieograniczonego pn.: „Dostawa i instalacja wysokowydajnego serwera do obliczeń”, numer: AG.240.8.2021.BM, zwane dalej postępowaniem.

Ogłoszenie o zamówieniu zostało opublikowane w Dzienniku Urzędowym Unii Europejskiej 26 lipca 2021 r. pod numerem 2021/S 142-377164.

4 października 2021 r. wykonawca Format Sp. z o.o. z siedzibą w Warszawie (dalej:

Odwołujący), wniósł odwołanie, w którym zaskarżył niezgodne z przepisami czynności i zaniechania Zamawiającego, zarzucając mu naruszenie następujących przepisów Pzp:

A. art. 226 ust. 1 pkt 5 Pzp w zw. z art. 16 pkt 1 Pzp przez zaniechanie odrzucenia oferty wykonawcy Perceptron Sp. z o.o. z siedzibą w Krakowie (dalej: Perceptron lub Przystępujący Perceptron) mimo, że nie spełniała ona warunków zamówienia, ze względu na niespełnienie przez zaoferowany serwer HPE ProLiant XL675d Gen10 wymogów technicznych określonych w pkt 7, 10, 11 i 12 Załącznika nr 2 do SWZ (w treści obowiązującej od 9 sierpnia 2021 r.), B. art. 226 ust. 1 pkt 5 Pzp w zw. z art. 16 pkt 1 Pzp przez brak odrzucenia oferty wykonawcy Servodata Elektronik Sp. z o.o. z siedzibą w Lublinie (dalej: Servodata lub Przystępujący Servodata) mimo, że nie spełniała ona warunków zamówienia, a to ze względu na niespełnienie przez zaoferowany serwer NVIDIA DGX AIDO 320GB wymogów technicznych określonych w pkt 9 Załącznika nr 2 do SWZ (w treści obowiązującej po modyfikacji SWZ z 9 sierpnia 2021 r.), C. art. 107 ust. 2 Pzp w zw. z art. 226 ust. 1 pkt 5 Pzp i art. 16 pkt 1 Pzp przez zaniechanie odrzucenia oferty wykonawcy Servodata mimo, że nie spełniała ona warunków zamówienia, a to z uwagi na załączenie przez Servodata błędnego wydruku ze strony Passmark, a tym samym niewykazanie spełnienia wymogu technicznego z punktu 4 Załącznika nr 2 do SWZ (w treści obowiązującej po modyfikacji SWZ z 9 sierpnia 2021 r.).

Odwołujący wniósł o uwzględnienie odwołania i nakazanie Zamawiającemu:

1. unieważnienia czynności wyboru najkorzystniejszej oferty,
2. przeprowadzenia ponownego badania i oceny ofert, w ramach której oferty

wykonawców Perceptron oraz Servodata zostaną odrzucone jako niegodne z warunkami zamówienia.

Ponadto Odwołujący wniósł o zasądzenie na jego rzecz od Zamawiającego kosztów postępowania odwoławczego.

W uzasadnieniu odwołania Odwołujący wskazał m.in.:

Zarzuty dotyczące oferty wykonawcy Perceptron.

Wymogi techniczne wobec zamawianego w postępowaniu sprzętu zostały określone w Załączniku nr 2 do Specyfikacji warunków zamówienia (dalej: SWZ).

Treść Załącznika nr 2 do SWZ została zmieniona w ramach modyfikacji SWZ z 9 sierpnia 2021 r. Postanowienia tego dokumentu zostały też doprecyzowane w ramach wyjaśnień do SWZ.

Zaoferowany przez wykonawcę Perceptron sprzęt nie spełniał co najmniej 4 wymogów technicznych.

1. Interfejsy sieciowe Zgodnie z pkt 7 Załącznika nr 2 do SWZ (w treści obowiązującej od 9 sierpnia 2021 r.)

Zamawiający wymagał:

Interfejsy sieciowe: - 8x Single-Port Mellanox ConnectX-6 VPI - 200Gb/s HDR InfiniBand Ix Dual Port Mellanox ConnectX-6 VPI 10/25/50/100/200 Gb/s Ethernet.

Zamawiający wymagał tym samym sumarycznie 9 kart sieciowych.

Zgodnie ze specyfikacją techniczną serwera HPE ProLiant XL675d Gen10 dostępną na stronie producenta we wskazanym urządzeniu możliwe jest zainstalowanie maksymalnie 6ściu kart sieciowych („Łączność: obsługa do sześciu modułów szybkich połączeń sieciowych; czy to Ethernet, Infiniband, czy HPE Cray Slingshot”).

1. Pamięć masowa

Zgodnie z pkt 10 Załącznika nr 2 do SWZ (w treści obowiązującej od 9 sierpnia 2021 r.)

Zamawiający wymagał: a) 8 szt., min. 3,84 TB U.2 (każdy), na przetwarzane dane, b) 2 szt., min. 1,92 TB NVMe M.2 (każdy).

Zgodnie ze specyfikacją techniczną serwera HPE ProLiant XL675d Gen10 dostępną na stronie producenta we wskazanym urządzeniu możliwe jest zainstalowanie maksymalnie 6ściu dysków NVMe (wymagane przez Zamawiającego 8 szt. U.2). Jak wskazuje specyfikacja:

„Do 16 dysków SFF — maks. 6 NVMe na serwer (M. 2 opcjonalne)”). W miejscu dodatkowego wyjaśnienia wymaga, że nadmienione w przytoczonym fragmencie specyfikacja opcjonalne dyski M.2 wymagają do instalacji karty PCIe, która sama w sobie zajmuje slot PCIe — niedostępny w zaoferowanej konfiguracji serwera z racji wykorzystania wszystkich dostępnych slotów przez karty sieciowe.

1. Zasilacze redundantne

Zgodnie z pkt 11 Załącznika nr 2 do SWZ (w treści obowiązującej od 9 sierpnia 2021 r.):

Zamawiający wymagał zasilaczy redundantnych o maksymalnej mocy łącznej 65 kW - 6 szt.

Zamawiający doprecyzował powyższy wymóg w wyjaśnieniach z 20 sierpnia 2021 r.:

Pytanie 10:

Zamawiający wymaga „Zasilanie redundantne o maksymalnej mocy łącznej 6,5 kW”.

Czy zamawiający wymaga redundancji zasilania na poziomie N + N, czyli, że system będzie pracował prawidłowo z pełną wydajnością przy utracie zasilania na dowolnych 3 zasilaczach?

Odpowiedź 10:

Tak. Zasilanie redundantne rozumiane jako te, które umożliwia prawidłową pracę serwera z pełną wydajnością przy utracie zasilania na dowolnych 3 zasilaczach.

Perceptron zaoferował urządzenie HPE ProLiant XL675d Gen10. Dokumentacja techniczna serwera HPE ProLiant XL675d Gen10 dostępna jest na stronie producenta.

Jak wskazano na str. 20 tzw. szybkiej specyfikacji zestaw zasilaczy „N" HPE Apollo 6500 Gen10 Plus Modular Accelerator Platinum Hot Plug „zawiera (1) zasilacz HPE 3000W 12V 200-277VAC Platinum Hot Plug i (2) Zasilacze HPE 3000W 541/ 200-277VAC Platinum Hot Plug. Pojedynczy zestaw obsługuje nadmiarowość zasilania N+0, Dwa zestawy obsługują nadmiarowość zasilania N+N dla modułowych procesorów graficznych”.

Powyższe oznaczało, że serwer HPE ProLiant XL675d Gen10 posiada sumarycznie 6 zasilaczy rozłożonych na dwa zestawy (Power Supply kit), z których każdy zawiera: a) jeden zasilacz HPE 3000W 12v 200-277VAC Platinum Hot Plug Power Supply,

b) dwa zasilacze HPE 3000W 54V Output 200277VAC Platinum Hot Plug Power Supply.

Zgodnie z przytoczonym opisem technicznym jeden zestaw zasilaczy samodzielnie nie posiadał żadnej redundancji. Dopiero uwzględnienie dwóch zestawów zasilaczy pozwalałoby na osiągnięcie redundancji N+N. Co jednak istotne, wykazywana w tym zakresie redundancja N+N nie spełniała szczegółowych wymogów wskazanych w Odpowiedzi nr 10 (Zasilanie redundantne rozumiane jako to, które umożliwia prawidłową pracę serwera z pełną wydajnością przy utracie zasilania na dowolnych 3 zasilaczach (poziom N+N)). W przypadku serwera HPE ProLiant XL675d Gen10 zapewnienie redundancji N+N osiągane jest bowiem jedynie na poziomie zestawu zasilaczy, a nie poszczególnych zasilaczy.

Oznaczało to, że wskazane powyżej dwa zestawy zasilaczy nie wspierają (uzupełniają) się w razie utraty zasilania. W takiej sytuacji, serwer mógłby pracować z pełną wydajnością jedynie, gdy utrata zasilania nastąpi tylko w ramach jednego zestawu zasilaczy. W przypadku jednoczesnej awarii 2 zasilaczy HPE 3000W 12V 200277VAC lub 3 zasilaczy HPE 3000W 54V Output 200-277VAC (a więc utraty zasilania jednocześnie na zasilaczach przypisanych do więcej niż jednego zestawu) serwer będzie niedostępny.

1. Utrzymanie dedykowanej dystrybucji systemu operacyjnego Linux Zgodnie z pkt 12 Załącznika nr 2 do SWZ (w treści obowiązującej od 9 sierpnia 2021 r.)

Zamawiający wymagał dedykowanego systemu operacyjny Linux, który wspiera techniki uczenia maszynowego (machine learning), uczenia głębokiego (deep learnig) i sztucznej inteligencji (Al) w tym wsparcie dla bibliotek uczenia maszynowego i podobnych:

TensorFlow, Theano, Keras, SciKit-Learn, NLTK, PyTorch oraz oprogramowania do zarządzanie zasobami obliczeniowymi.

Zamawiający doprecyzował powyższy wymóg w wyjaśnieniach z 20 sierpnia 2021 r.:

Pytanie 11:

Czy jako „dedykowany system operacyjny Linux” Zamawiający ma na myśli dystrybucję Linux utrzymywaną przez producenta serwera w czasie co najmniej okresu gwarancji, zawierającą wszystkie wymagane sterowniki do zainstalowanych komponentów, skonfigurowaną i zoptymalizowaną pod kątem jak najlepszej wydajności pracy oferowanego serwera zgodnie z jego przeznaczeniem wraz z możliwością uzyskania dedykowanego obrazu tego systemu, przez cały okres trwania gwarancji, pozwalającego na odtworzenie pierwotnej konfiguracji serwera bez konieczności samodzielnego poszukiwania i doinstalowywania sterowników ze źródeł Innych niż zasoby producenta serwera?

Odpowiedź na pytanie 11:

Tak. Dedykowany system operacyjny Linux w rozumieniu jako dystrybucję systemu Linux utrzymywaną przez producenta serwera w czasie co najmniej okresu gwarancji, zawierający wszystkie wymagane sterowniki do zainstalowanych komponentów, skonfigurowaną i zoptymalizowaną pod kątem jak najlepszej 'wydajności pracy oferowanego serwera zgodnie z jego przeznaczeniem wraz z możliwością uzyskania dedykowanego obrazu tego systemu, pozwalającego na odtworzenie pierwotnej konfiguracji serwera.

Wykonawca Perceptron zaoferował urządzenie HPE ProLiant XL675d Gen10. Producentem urządzenia był Hewlett Packard Enterprise z siedzibą główną w Houston, a nie (jak wykonawca wskazał w wyjaśnieniach z 8 sierpnia 2021 r.) Hewlett Packard Enterprise Polska Sp. z o.o. z siedzibą w Warszawie. Nawet jeśli Hewlett Packard Enterprise Polska Sp. z o.o. utrzymywał dystrybucję systemu Linux dla zaoferowanego serwera nie oznaczało to, że spełniono warunek nr 12 z Załącznika nr 2 do SWZ. Postanowienie to, podobnie jak zacytowana powyżej odpowiedź Zamawiającego, wyraźnie bowiem określa, że dystrybucja systemu Linux była utrzymywana przez samego producenta, a nie jakikolwiek inny podmiot.

Dodatkowego wskazania wymaga, że nawet przy (czysto hipotetycznym) dopuszczeniu, że podmiotem utrzymującym dystrybucję systemu Linux mógłby być Hewlett Packard Enterprise Polska Sp. z o.o. (a nie producent), to podmiot ten nie świadczy wymaganego utrzymania dystrybucji.

Jak wskazał sam wykonawca Perceptron w załączniku do Wyjaśnień z 8 sierpnia 2021 r.

„dedykowane dystrybucje Linux'a oficjalnie sprzedawane w kanale Hewlett Packard Enterprise Polska sp. z o.o. wraz z serwerami ProLiant to Red Hat i SUSE wraz ze wsparciem 1-5 lat zawierające sterowniki do wszystkich montowanych w serwerze komponentów”. Z kolei w odpowiedzi na pytanie wykonawca wskazał:

„Red Hat” jest dystrybucją systemu Linux utrzymywaną przez Red Hat, Inc. (której aktualnie właścicielem jest firma IBM), z siedzibą centrali: 100 East Davie Street, Raleigh, NC 27601, United States; „SUSE” jest dystrybucją systemu Linux utrzymywaną przez SUSE Software Solutions Germany GmbH, z siedzibą główną: Maxfeldstrasse 5, 90409 Nuremberg, Germany”.

Żadna z deklarowanych przez Perceptron dedykowanych dystrybucji systemu operacyjnego Linux nie była utrzymywana przez producenta serwera HPE ProLiant XL675d Gen10 (Hewlett Packard Enterprise z/s w Houston) lub Hewlett Packard Enterprise Polska Sp. z o.o.

Nadmienione przez Perceptron Sp. z o.o. „wsparcie” dla systemu Linux świadczone przez Hewlett Packard Enterprise Polska Sp. z o.o. nie może być z kolei uznane za równoznaczne z wymaganym „utrzymaniem” dystrybucji systemu Linux. Hewlett Packard Enterprise Polska Sp. z o.o. nie zapewnia bowiem dystrybucji systemu Linux w zakresie wskazanym w ww.

Odpowiedzi nr 11.

Zarzuty dotyczący oferty Servodata elektronik Sp. z o.o. przełączniki Zgodnie z pkt 9 Załącznika nr 9 do SWZ (w treści obowiązującej od 9 sierpnia 2021 r.):

„Komunikacja między kartami graficznymi: technologia wykorzystująca bezpośrednie pasmo wymiany danych pomiędzy kartami graficznymi (GPU-to-GPU) na poziomie min 600 GB/s - 6 szt. przełączników umożliwiających szybką wymianę danych bezpośrednio między kartami graficznymi i umożliwiające ich skalowanie”.

Wykonawca Servodata zaoferował: „6 przełączników NVIDIA NVSwitch długiej generacji o przepustowości 600 GB.s pomiędzy każdymi dwoma GPU”

Z analizy strony internetowej producenta nie wynika, aby ww. przełączniki w ogóle istniały.

W systemie NVidia DGX AIDO wykorzystywane są NVIinki trzeciej generacji o przepustowości 600 GB/s. Przełączniki NVIink drugiej generacji mają z kolei przepustowość 300GB/s (czyli mniejszą niż zaoferowane: 600 GB/s).

Zarzut dotyczący oferty wykonawcy Servodata - procesory Zgodnie z pkt 4 Załącznika nr 2 do SWZ (w treści obowiązującej od 9 sierpnia 2021 r.)

Zamawiający wymagał m. in. zainstalowanych dwóch procesorów maksimum 28rdzenlowych uzyskujących w teście „PassMark CPU Mark High End CPU" dostępnym na stronie wynik min, 67 185 punktów, dla oferowanych procesorów.

Do oferty należało załączyć wydruk ze strony potwierdzający osiągnięty wynik dla oferowanych procesorów.

Wykonawca Servodata załączył do oferty wynik z zestawienia Passmark Single CPU Systems. Tym samym wykonawca ten załączył oferty błędny dokument przedmiotowy, a Zamawiający bez dalszych wezwań — powinien odrzucić jego ofertę.

25 października 2021 r. Zamawiający złożył pisemną odpowiedź na odwołanie i wniósł o jego oddalenie. W uzasadnieniu swojego stanowiska Zamawiający wskazał m. in.:

Zarzuty dotyczące oferty wykonawcy Perceptron

1. Interfejsy sieciowe Zgodnie z wyjaśnieniami z 5 października 2021 r. Perceptron zaoferował serwer posiadający 5 kart dwuportowych HPE InfiniBand HDR/Ethernet 200Gb 2-port. Takie samo oświadczenie złożyła HPE. Ponadto Zamawiający zweryfikował za pomocą ogólnodostępnej dokumentacji technicznej oferowanego serwera HPE ProLiant XL675d Gen10 Plus (z serii HPE Apollo 6500 Gen10 Plus System), że istotnie może on być wyposażony w karty HPE InfiniBand HDR/Ethernet 200Gb 2-port QSFP56 P/N P31324-H21 obsługujące wszystkie wymagane tryby i prędkości pracy (tj. zarówno InfiniBand jaki Ethernet z prędkościami 10/25/50/100/200 Gb/s).

Odwołujący twierdząc, że przy wymogu instalacji 9 kart sieciowych oferowany serwer pozwala na instalację maksymalnie 6 kart sieciowych, nie uwzględnił faktu możliwości instalacji kart dwuportowych, które będą zajmować 5 z 6 dostępnych slotów (złącz) PCIe służących do instalacji kart. Tym samym w zaoferowanym serwerze istnieje możliwość instalacji 10 portów o wymaganych parametrach. Dla Zamawiającego nie było istotne rozmieszczenie portów na poszczególnych kartach sieciowych, a tym samym oferta Perceptron spełniała wymagania SWZ w tym zakresie.

1. Pamięć masowa Zgodnie z opublikowanym 9 sierpnia 2021 r. zmodyfikowanym Załącznikiem nr 2 do SWZ, wiersz 10 Zamawiający wymagał zaoferowania serwera posiadającego pamięć masową (dyski SSD) 8 szt. min. 3,84TB U.2 oraz 2 szt. min. 1,92 TB NVMe M.2. Określenia U.2 i M.2 oznaczały jedynie mechaniczny kształt złącza interfejsu dysków i nie były związane z wymaganiem dotyczącym protokołu transmisji danych (SATA, SAS czy NVMe).

Zamawiający wymagał więc zaoferowania 8 dysków zainstalowanych w złączu typu U.2 (bez określania protokołu transmisji) oraz 2 dysków zainstalowanych w złączu M.2 i obsługujących protokół transmisji NVMe.

Odwołujący błędnie wskazał w treści odwołania, że skoro oferowany serwer HPE umożliwiał (zgodnie z dokumentacją) instalację jedynie 6 dysków NVMe to niemożliwe będzie zainstalowanie w nim 10 (8+2) takich dysków. Tymczasem Zamawiający wymóg protokołu NVMe postawił jedynie w odniesieniu do 2 dysków 1,92 TB przeznaczonych na systemy operacyjne.

Zgodnie z wyjaśnieniami z 5 października 2021 wykonawca Perceptron zaoferował serwer

posiadający 8 dysków SSD o pojemności 3,84 TB z możliwością rozbudowy o kolejne 6 sztuk dysków NVMe oraz 2 dyski 1,92 TB NVMe. Wobec powyższego Zamawiający uznał, że oferta wykonawcy Perceptron odpowiada odpowiednim wymaganiom załącznika nr 2 do SWZ.

1. Zasilacze redundantne Zamawiający wymagał zaoferowania serwera posiadającego zasilacze redundantne o maksymalnej mocy łącznej 6,5 kW - 6 szt.

20 sierpnia 2021 roku, w odpowiedzi na pytanie 10 Zamawiający doprecyzował, że zasilanie redundantne rozumie jako to, które umożliwia prawidłową pracę serwera z pełną wydajnością przy utracie zasilania na dowolnych 3 zasilaczach (poziom N+N).

Zastosowany w serwerze HPE, co przyznaje przystępujący Perceptron w wyjaśnieniach z 5 października 2021 r. wskazał, że zaoferowany przez niego zestaw zasilaczy spełnia wymóg N+N w sposób umożliwiający prawidłową pracę serwera z pełną wydajnością przy utracie zasilania na dowolnym zestawie zawierającym 3 zasilacze. Perceptron poinformował ponadto, że analogiczne rozwiązanie blokowania redundantnych zasilaczy w zestawy po 3 zasilacze stosowane jest w oferowanym przez Odwołującego (jak również przez Przystępującego Servodata) serwerze z serii nVidia DGX A100.

1. Utrzymanie dedykowanej dystrybucji systemu operacyjnego Linux Zamawiający wymagał zaoferowania serwera posiadającego m.in. dedykowany system operacyjny Linux. Jednocześnie w piśmie z 20 sierpnia 2021 roku, w odpowiedzi na pytanie 11 Zamawiający doprecyzował, że jako dedykowany system operacyjny Linux rozumiał dystrybucję systemu utrzymywaną przez producenta serwera w czasie co najmniej okresu gwarancji, zawierający wszystkie wymagane sterowniki do zainstalowanych komponentów, skonfigurowaną i zoptymalizowaną pod kątem jak najlepszej wydajności pracy.

Przystępujący Perceptron zaoferował (zgodnie z wyjaśnieniami z 5 października 2021 r. wraz z załączonym do nich oświadczeniem producenta) system Linux w wersji Red Hat Enterprise Linux dystrybuowany przez HPE.

Zamawiający nie miał możliwości pozyskania wiedzy o umowach handlowych pomiędzy HPE (USA) i HPE (Polska), jak również między tymi firmami wchodzącymi w skład korporacji HPE a firmami Red Hat i SUSE - nie można było tym samym stwierdzić jednoznacznie kto jest producentem wyrobu finalnego, ani jak korporacje te rozwiązują miedzy sobą kwestie szczegółowe dotyczące sposobu dystrybucji i utrzymania systemów Linux. Nie bez znaczenia jest fakt, że system Linux nie ma swojego producenta (jest oprogramowaniem typu open source), a poszczególne dystrybucje jak Red Hat czy SUSE oznaczają w szczególności komercyjne wsparcie udzielane użytkownikom przez te firmy.

Powszechnie znany jest natomiast fakt, że HPE i Red Hat na podstawie formalnego porozumienia od 20 lat współpracują w zakresie rozwoju i implementacji na sprzęcie HPE systemu Linux. A co najważniejsze HPE na podstawie stosownych umów jest producentem systemu Red Hat Enterprise Linux w modelu OEM, tj. dystrybuuje i utrzymuje (supportuje) ten system jako produkt HPE.

Zarzuty dotyczące oferty Servodata - przełączniki Zgodnie ze zmodyfikowanym Załącznikiem nr 2 do SWZ, wiersz 9 Zamawiający wymagał zaoferowania serwera spełniającego następujący wymóg:

Komunikacja między kartami graficznymi: - technologia wykorzystująca bezpośrednie pasmo wymiany danych pomiędzy kartami graficznymi (GPU-to-GPU) na poziomie min. 600 GB/s

• 6 szt. Przełączników umożliwiających szybką wymianę danych bezpośrednio między kartami graficznymi i umożliwiające ich skalowanie.

Przystępujący Servodata zaoferował 6 przełączników NVIDIA NVSwitch drugiej generacji o przepustowości 600 GB/s pomiędzy każdymi dwoma GPU.

Odwołujący twierdził, że przełączniki NVSwitch nie istnieją, a NVLinki drugiej generacji mają przepustowość 300 GB/s (a więc o połowę mniejszą niż wymagane 600 GB/s). Na wskazanej przez Odwołującego stronie internetowej były jednak opisane zarówno rozwiązania NVLink, jak i rozwiązania NVSwitch (przełączniki). O ile NVLink drugiej generacji posiadały przepustowość 300 GB/s, to oferowane przez Przystępującego Servodata przełączniki NVSwitch generacji drugiej posiadały wymaganą przepustowość 600 GB/s.

Ponadto na str. 2 dokumentacji oferowanego przez przystępującego Servodata serwera NVIDIA DGX A100 znajdowała się informacja, że wyposażony jest on w 6 sztuk NVSwitch drugiej generacji.

Zarzut dotyczący procesorów.

Zgodnie z opublikowanym 9 sierpnia 2021 r. zmodyfikowanym Załącznikiem nr 2 do SWZ, wiersz 12 Zamawiający wymagał załączenia do oferty wydruku ze strony internetowej zawierającej wyniki testu PassMark dla oferowanego procesora. Zamawiający wskazał, że oczekuje złożenia z ofertą wydruku testu PassMark - CPU Mark High End CPU's oraz wyniku w teścia co najmniej 67 185 punktów.

Odwołujący oparł zarzut na twierdzeniu, że Przystępujący Servodata załączył do oferty wydruk z niewłaściwego zestawienia, tj. zamiast „Passmark High End CPUs” dołączył wydruk z zestawienia „Passmark Single CPU System”.

Zamawiający wskazał, że dla profesjonalistów powszechnie wiadomym jest fakt, że istnieje tylko jeden rodzaj testu PassMark CPU Mark - aktualnie jest to PerformanceTest V10.

Wszystkie procesory (np. zarówno z tzw. średniej półki, jak i procesory o największej wydajności, tzw. High End CPUs) są testowane w identyczny sposób, za pomocą tego samego oprogramowania testującego. Natomiast dla wygody użytkowników (w celu łatwiejszej lokalizacji danego procesora w liczącym kilka tysięcy rekordów zbiorze) rezultaty tych testów są prezentowane w różnych zestawieniach, grupujących procesory ze względu na wydajność, stosunek wartości do ceny itp.

Tym samym zestawienie High End CPU's (zawierające wyniki testu PerformanceTest V10 dla procesorów o najwyższej wydajności) jest podzbiorem zestawienia Single CPU System (zawierającego te same wyniki tego samego testu dla wszystkich procesorów pracujących w układzie jednoprocesorowym - czyli takim, jakiego wymagał Zamawiający).

Zaoferowany przez Przystępującego Servodata procesor AMD EPYC 7742 zarówno w zestawieniu High End CPUs, jak i w zestawieniu Single CPU System osiąga ten sam wynik 69 786 pkt (stan na dzień 22 października 2021) co jest oczywiste, gdyż jest to ten sam rezultat tego samego testu, ujęty w dwóch zestawieniach.

Zamawiający wniósł o przeprowadzenie dowodu z następujących dokumentów:

1. dowód 1 - karta katalogowa 2-portowej karty HPE InfiniBand HDR/Ethernet 200Gb 2port,
2. dowód 2 - karta standardowych funkcjonalności kart HPE HDR InfiniBand Adapters,
3. dowód 3 - karta standardowych cech serwerów HPE Apollo 6500 Gen10 Plus System, w tym oferowanego serwera HPE ProLiant XL675d,
4. dowód 4 - fragment dokumentacji nVidia DGX A100 System dotyczący redundancji N+N, czyli Odwołującego,
5. dowód 5 - karta katalogowa Red Hat Enterprise Linux od HPE,
6. dowód 6 - wydruk ze strony dotyczący przepustowości NVLink,
7. dowód 7 - wydruk ze strony dotyczący przepustowości NVSwitch,
8. dowód 8 - strona 2 dokumentacji serwera DGX A100.

25 października 2021 r. Przystępujący Perceptron złożył pismo procesowe, w którym

ustosunkował się do zarzutów odwołania w zakresie dotyczącym swojej oferty.

Przystępujący Perceptron wniósł o oddalenie odwołania i podniósł argumentację zgodną z przytoczonym wyżej stanowiskiem Zamawiającego. Przystępujący wskazał ponadto:

Interfejsy sieciowe.

Punkt 7 załącznika nr 2 do SWZ został określony jako „interfejsy sieciowe”, a zatem Zamawiający wskazał jaka liczba tak zwanych łączników/styków o określonych prędkościach, które dany interfejs wspiera, jest wymagana. Z treści SWZ nie wynikało, by dla Zamawiającego jakiekolwiek znaczenie miała okoliczność na ilu kartach sieciowych przedmiotowe interfejsy sieciowe będą umiejscowione. Okoliczność ta (ilość kart sieciowych) nie ma również żadnego technicznego znaczenia dla działania interfejsów sieciowych.

Z treści SWZ wynikała jedynie liczba poszczególnych interfejsów sieciowych o określonych parametrach - wspieranych prędkościach: 8 portów ze wspieranymi prędkościami 200Gb/s oraz 2 porty ze wspieranymi prędkościami 10 / 25 / 50 / 100 / 200 Gb/s. Konfigurowany na zamówienie serwer HPE ProLiant XL675d Gen10 Plus Configure-to-order Server posiadał łącznie 10 portów (interfejsów sieciowych) wspierających wszystkie wymagane przez Zamawiającego prędkości. Powyższe potwierdzała także treść dołączonego do sprawy zaświadczenia Hewlett Packard Enterprise Polska Sp. z o.o. z 5 października 2021 roku, z którego wynika, że oferowany serwer posiada: „5 x HPE InfiniBand HDR/Ethernet 200Gb 2-port - 10 portów (interfejsów sieciowych) Mellanox, pracujących ze wspieranymi prędkościami: 10, 25, 40, 50, 100, 200 Gb/s Ethernet”.

W tych okolicznościach oferowany przez Przystępującego Perceptron sprzęt posiadał wymaganą przez Zamawiającego liczbę interfejsów sieciowych o wszystkich oczekiwanych przezeń właściwościach (parametrach).

Wskazywane przez Odwołującego cechy oferowanego sprzętu w zakresie ilości interfejsów sieciowych pozostawały zatem bez znaczenia dla spełniania przez sprzęt warunków określonych w SWZ. W szczególności w zupełności irrelewantna pozostaje liczba kart sieciowych możliwych do zainstalowania na przedmiotowym sprzęcie, w sytuacji gdy Zamawiający nie stawiał w tym względzie żadnych warunków, ani w sytuacji, gdy okoliczność ta nie miała znaczenia dla spełnienia przez oferowany sprzęt parametrów odnoszących się do interfejsów sieciowych.

Utrzymywanie dedykowanej dystrybucji systemu operacyjnego Linux.

Zaoferowany przez Przystępującego Perceptron sprzęt dostarczany jest ze sterownikami do wszystkich zainstalowanych fabrycznie elementów serwera, a system operacyjny objęty pięcioletnim wsparciem pochodzi z dystrybucji Linux utrzymywanej w kanale HPE (Red Hat Enterprise Linux Server 2 Sockets or 2 Guests 5 Year Subscription 24x7 Support E-LTU).

Hewlett Packard Enterprise Polska Sp. z o.o. należy do grupy kapitałowej Hewlett Packard Enterprise i jest oficjalnym przedstawicielem grupy Hewlett Packard Enterprise na terytorium Polski. Podmiot ten był upoważniony do dokonywania wszelkich przewidzianych wewnętrznymi procedurami konfiguracji w sprzęcie Hewlett Packard Enterprise jako konfiguracji producenckich, w tym również dokonywania fabrycznych instalacji oprogramowania (w tym systemów operacyjnych) oraz udzielania gwarancji na sprzęt HPE.

Hewlett Packard Enterprise Polska Sp. z o.o. utrzymuje dystrybucję systemu Linux zgodnie z wymaganiami Zamawiającego.

Przystępujący Perceptron podkreślił również, że wskazane przez Zamawiającego w dokumentacji przetargowej parametry techniczne winny być interpretowane w kategoriach parametrów minimalnych - progowych, których spełnienie gwarantuje zgodność ze specyfikacją techniczno - cenową zestawu. Wskazane parametry nie uniemożliwiały, ani nie mogły uniemożliwiać wykonawcom oferowania sprzętu o parametrach lepszych/bardziej pożądanych, czy równoważnych. Sprzęt oferowany przez Perceptron nie tylko spełniał przedmiotowe minimalne wymagania, ale nadto charakteryzował się parametrami lepszymi/bardziej pożądanymi w stosunku do wskazanych przez Zamawiającego.

25 października 2021 r. Przystępujący Servodata złożył pismo procesowe, w którym ustosunkował się do zarzutów odwołania w zakresie dotyczącym swojej oferty.

Przystępujący Servodata wniósł o oddalenie odwołania i wskazał m. in.:

Przystępujący spełniając wymagania Zamawiającego zaoferował w ramach punktu 9 Załącznika nr 2 do SWZ komunikację między kartami graficznymi za pośrednictwem technologii wykorzystującej bezpośrednie pasmo wymiany danych pomiędzy kartami graficznymi na poziomie minimalnym 600 GB/s w postaci 6 sztuk przełączników umożliwiających szybką wymianę danych bezpośrednio między kartami graficznymi oraz umożliwiających ich skalowanie w postaci sześciu przełączników NVSwitch drugiej generacji o przepustowości 600 GB/s pomiędzy każdymi dwoma GPU (procesorami graficznymi).

Wbrew twierdzeniom Odwołującego NVSwitch - jak sama nazwa z j. angielskiego wskazuje jest przełącznikiem, a NVLink (termin przywoływany przez Odwołującego w odwołaniu) jest połączeniem realizowanym za pomocą tego przełącznika.

Wydruk ze strony PassMark - test Pass Mark CPU Przystępujący w zaoferował Zamawiającemu dokładnie taki sam procesor (CPU) - jak Odwołujący, tj. AMD EPYC 7742.

Przystępujący Servodata załączył do oferty dokument, będący przedmiotowym środkiem dowodowym, z którego wynikało, że oferowany przez niego każdy procesor w ramach dostawy wielozadaniowego serwera do obliczeń spełniała określone przez zamawiającego wymagania, cechy lub kryteria - w postaci min. 67 185 punktów w teście CPU Mark.

Dokument ten był wystarczający i kompletny w ocenie Zamawiającego. Taka ocenę w świetle treści SWZ należało uznać za w pełni prawidłową oraz kompletną ze strony Zamawiającego.

Niezależnie czy ze stronywww.cpubenchmark.net wygeneruje się zestawienie z testu PassMark w ramach Single CPU systems, czy też przez ikonę High End CPU's wartość w postaci tzw. average CPU Mark jest identyczna, tj. przykładowo według stanu na 23 października 2021 r. dla procesora AMD EPYC 7742 wynosi 69 786 punktów.

Po przeprowadzeniu rozprawy Izba, uwzględniając dokumentację przedmiotowego postępowania o udzielenie zamówienia publicznego, w tym w szczególności treść specyfikacji warunków zamówienia, jak również biorąc pod uwagę oświadczenia i stanowiska stron i przystępujących zawarte w odwołaniu, odpowiedzi na odwołanie, pismach procesowych, a także wyrażone ustnie na rozprawie i odnotowane w protokole, ustaliła i zważyła, co następuje.

Izba stwierdziła, że nie została wypełniona żadna z przesłanek ustawowych skutkujących odrzuceniem odwołania, wynikających z art. 528 Pzp.

Przystępując do rozpoznania odwołania, Izba ustaliła wystąpienie przesłanek z art. 505 ust.

1 Pzp, tj. istnienie po stronie odwołującego interesu w uzyskaniu zamówienia oraz możliwości poniesienia przez niego szkody w wyniku kwestionowanych czynności zamawiającego.

Izba ustaliła, że do postępowania odwoławczego skuteczne przystąpienie po stronie zamawiającego zgłosili wykonawcy:

1. Perceptron Sp. z o.o. z siedzibą w Krakowie,
2. Servodata Elektronik Sp. z o.o. z siedzibą w Lublinie

Mając na uwadze powyższe Izba merytorycznie rozpoznała złożone odwołanie, uznając, że częściowo zasługuje ono na uwzględnienie.

Izba ustaliła, co następuje.

Zgodnie z punktem III SWZ przedmiotem postępowania i zamówienia jest wyłonienie wykonawcy w zakresie sprzedaży, dostarczenia, zainstalowania, uruchomienia i przetestowania fabrycznie nowego wysokowydajnego serwera do intensywnych obliczeń typu HPC oraz przeszkolenie w zakresie jego obsługi - zwanego w dalszej treści SWZ „sprzętem”.

Szczegółowy opis wymaganych przez Zamawiającego funkcji i parametrów przedmiotu zamówienia zawiera załącznik nr 2 do SWZ.

Biorąc powyższe pod uwagę, a także zakres zarzutów oraz argumentację Odwołującego, Zamawiającego i obu Przystępujących Izba uznała, że najistotniejszym dokumentem dla rozstrzygnięcia sporu był Załącznik nr 2 do SWZ. Załącznik ten pełnił rolę szczegółowego opisu przedmiotu zamówienia w zakresie parametrów technicznych zamawianego serwera.

Załącznik ten był przedmiotem modyfikacji 9 sierpnia 2021 r.

Zakres odwołania dotyczył punktów 4, 7, 9, 10, 11, 12 Załącznika nr 2 do SWZ:

1. Procesory - zainstalowane dwa procesory maksimum 128-rdzeniowe klasy xB6_64 uzyskujące w teście „PassMark - CPU Mark High End CPUs” dostępnym na stronie wynik min. 67 185 punktów, dla oferowanych procesorów.

Do oferty należy załączyć wydruk ze strony potwierdzający osiągnięty wynik dla oferowanych procesorów.

1. Interfejsy sieciowe: - 8x Single-Port Mellanox Connectx-6 VPI - 200Gb/s HDR InfiniBand, - 1x Dual-Port Mellanox Connectx-6 VPI 10 /25 / 50 / 100 / 200 Gb/s Ethernet;
2. Komunikacja między kartami graficznymi: - technologia wykorzystująca bezpośrednie pasmo wymiany danych pomiędzy kartami graficznymi (GPU-to-GPU) na poziomie min 600 GB/s, - 6 szt. przełączników umożliwiających szybką wymianę danych bezpośrednio między kartami graficznymi i umożliwiające ich skalowanie;
3. Pamięć masowa: - 8 szt., min. 3,B4 TB U.2 (każdy), na przetwarzane dane, - 2 szt., min, 1,92 TB NVMe M.2 (każdy), na system operacyjny;
4. Zasilacze redundantne o maksymalnej mocy łącznej 6,5 KW - 6 szt.
5. Oprogramowanie: - Dedykowany system operacyjny Linux, który wspiera techniki uczenia maszynowego (machine learning), uczenia głębokiego (deep learnig) i sztucznej inteligencji (AI), w tym wsparcie dla bibliotek uczenia maszynowego i podobnych: TensorFlow, Theano, Keras, SciKit-Learn, NLTK, PyTorch, - Oprogramowanie do zarządzanie zasobami obliczeniowymi.

Znaczenie dla rozstrzygnięcia odwołania miały również odpowiedzi jakich Zamawiający udzielił na pytania do treści SWZ:

Pytanie 10:

Zamawiający wymaga „Zasilanie redundantne o maksymalnej mocy łącznej 6,5 kW".

Czy zamawiający wymaga redundancji zasilania na poziomie N+N, czyli, że system będzie pracował prawidłowo z pełną wydajnością przy utracie zasilania na dowolnych 3 zasilaczach?

Odpowiedź 10:

Tak. Zasilanie redundantne rozumiane jako te, które umożliwia prawidłową pracę serwera

z pełną wydajnością przy utracie zasilania na dowolnych 3 zasilaczach (poziom N+N).

Pytanie 11:

Czy jako „dedykowany system operacyjny Linux” Zamawiający ma na myśli dystrybucję Linux utrzymywaną przez producenta serwera w czasie co najmniej okresu gwarancji, zawierającą wszystkie wymagane sterowniki do zainstalowanych komponentów, skonfigurowaną i zoptymalizowaną pod kątem jak najlepszej wydajności pracy oferowanego serwera zgodnie z jego przeznaczeniem wraz z możliwością uzyskania dedykowanego obrazu tego systemu, przez cały okres trwania gwarancji, pozwalającego na odtworzenie pierwotnej konfiguracji serwera bez konieczności samodzielnego poszukiwania i doinstalowywania sterowników ze źródeł innych niż zasoby producenta serwera?”

Odpowiedź 11:

Tak. Dedykowany system operacyjny Linux w rozumieniu jako dystrybucję systemu Linux utrzymywaną przez producenta serwera w czasie co najmniej okresu gwarancji, zawierający wszystkie wymagane sterowniki do zainstalowanych komponentów, skonfigurowaną i zoptymalizowaną pod kątem jak najlepszej wydajności pracy oferowanego serwera zgodnie z jego przeznaczeniem wraz z możliwością uzyskania dedykowanego obrazu tego systemu, pozwalającego na odtworzenie pierwotnej konfiguracji serwera.

Zarzut dotyczący oferty Przystępującego Perceptron

Zarzut potwierdził się w zakresie twierdzenia Odwołującego o niezgodności oferty wykonawcy Perceptron z punktem 7 Załącznika nr 2 do SWZ. Biorąc pod uwagę przytoczone wyżej postanowienia przedmiotowego załącznika jasnym jest, że Zamawiający w ramach punktu dotyczącego interfejsów sieciowych żądał ośmiu kart z pojedynczym portem i jednej z podwójnym portem.

W toku rozprawy Zamawiający twierdził, że wymogi określone w Załączniku nr 2 do parametry minimalne, ale w treści SWZ brak jest potwierdzenia, że Zamawiający poinformował uczestników postępowania o takim sposobie rozumienia wymogów dotyczących przedmiotu zamówienia.

Biorąc pod uwagę powyższe w ocenie Izby treść punktu 7 Załącznika nr 2 do SWZ należało interpretować literalnie. Z tego względu nie było dopuszczalne zaoferowanie przez wykonawców rozwiązań lepszych (w ocenie wykonawców) niż te, określone w opisie przedmiotu zamówienia.

Okolicznością niesporną było, że Przystępujący Perceptron zaoferował urządzenie z pięcioma kartami typu dual-port. Fakt ten wynika zarówno z dokumentacji postępowania, w tym wyjaśnień złożonych przez Przystępującego na etapie oceny ofert jak również pisma procesowego Perceptron złożonego w odpowiedzi na odwołanie. W piśmie tym Przystępujący wskazał m. in.: „Sprzęt oferowany przez Perceptron nie tylko spełniał przedmiotowe minimalne wymagania, ale nadto charakteryzował się parametrami lepszymi/bardziej pożądanymi w stosunku do wskazanych przez Zamawiającego”. Nie ulega tym samym wątpliwości, że zaoferowany sprzęt nie odpowiadał opisowi przedmiotu zamówienia zawartym w punkcie 7 Załącznika nr 2 do SWZ. Przystępujący Perceptron zaoferował 5 x HPE InfiniBand HDR/Ethernet 200 Gb 2-port - 10 portów (interfejsów sieciowych) Mellanox, pracujących ze wspieranymi prędkościami: 10, 25, 40, 50, 100, 200 Gb/s Ethernet, który to sprzęt nie odpowiadał wymogom ww. punktu. W konsekwencji Izba uznała, że oferta Przystępującego Perceptron we wskazanym wyżej zakresie nie odpowiadała warunkom zamówienia. Nie jest przy tym istotne, czy zaoferowany sprzęt był obiektywnie lepszy niż wyspecyfokowany przez Zamawiającego. Wykonawcy nie są uprawnieni do oferowania zamawiającemu sprzętu czy też rozwiązań, w ich ocenie lepszych niż te wymagane przez zamawiającego. To zamawiający jest podmiotem uprawnionym do określania własnych potrzeb i wyrażania ich za pomocą opisu przedmiotu zamówienia. Obowiązkiem wykonawców jest składanie ofert odpowiadających potrzebom zamawiającego pod rygorem odrzucenia ich ofert jako

nieodpowiadających warunkom zamówienia. Wyjątek od powyższego występuje tylko wówczas, gdy z treści SWZ wynika uprawnienie wykonawców do oferowania sprzętu innego, lepszego niż zamawiany w takiej sytuacji zamawiający jasno wskazuje, że określone parametry czy wymogi wskazane w SWZ mają charakter minimalny. Na gruncie badanej sprawy taka okoliczność nie wystąpiła. Tym samym Zamawiający nie uprawnił wykonawców do decydowania za Zamawiającego jakie rozwiązanie będzie dla niego lepsze.

Biorąc pod uwagę powyższe w ocenie Izby doszło do wypełnienia przesłanek określonych w art. 226 ust. 1 pkt 5 Pzp, co w konsekwencji obligowało Zamawiającego do odrzucenia oferty Przystępującego Perceptron.

W pozostałym zakresie zarzut nr 1 nie potwierdził się. Izba nie dopatrzyła się niezgodności oferty Przystępującego Perceptron z treścią punktu 12 załącznika nr 2 do SWZ. Brak również podstaw do uznania, że oferta Przystępującego nie wypełnia wymogów dotyczących pamięci masowej czy zasilaczy. Izba przeprowadziła dowód z dokumentacji postępowania, w tym oferty Przystępującego Perceptron oraz korespondencji Zamawiającego z wykonawcami i uznała, że nie ma podstaw do uznania oferty Perceptron za niezgodną z punktem 10, 11 i 12 załącznika nr 2 do SWZ. Stanowiska przeciwnego Odwołujący nie udowodnił.

Zarzuty dotyczące oferty Przystępującego Servodata.

W zakresie zarzutu dotyczącego niezgodności oferty Servodata z punktem 9 załącznika nr 2 do SWZ Izba wzięła pod uwagę dowody załączone przez Zamawiającego do odpowiedzi na odwołanie i uznała za udowodnione, że Servodata zaoferowało urządzenia NVSwitch drugiej generacji, a nie NVLink drugiej generacji, jak twierdził Odwołujący. Z dowodów załączonych przez Zamawiającego do odpowiedzi na odwołanie wprost wynika, że przełączniki NVSwitch drugiej generacji spełniają wymogi określone w Załączniku nr 2 do SWZ. W konsekwencji Izba oddaliła zarzut uznając go za bezpodstawny i oparty na błędnym założeniu, co do treści złożonej przez Przystępującego Servodata oferty.

W zakresie zarzutu niezgodności oferty Servodata z wymogiem określonym w punkcie 4 załącznika nr 2 Izba przeprowadziła dowód z dokumentów załączonych przez Zamawiającego do odpowiedzi na odwołanie i uznała za udowodnione twierdzenie Zamawiającego, że test High End CPU's jest podzbiorem zestawienia Single CPU System.

W konsekwencji Izba uznała za potwierdzone stanowisko Zamawiającego, który twierdził, że wymagany w punkcie 4 załącznika nr 2 test jest tym samym testem, co złożony przez Przystępującego Servodata.

Ponadto Odwołujący nie udowodnił, że procesor oferowany przez Servodata nie spełniał wymogów dotyczących określonego, minimalnego wyniku testu wskazanego w opisie przedmiotu zamówienia.

Mając na uwadze powyższe Izba na podstawie art. 553 zdanie pierwsze Pzp orzekła jak w sentencji.

Rozpoznając odwołanie Izba przeprowadziła dowody z następujących dokumentów:

1.

SWZ z załącznikami,

2.

Ofert obu Przystępujących i Odwołującego,

3.

Skanów dokumentacji postępowania (str. 1 - 350),

4.

Dokumentów złożonych przez uczestników postępowania odwoławczego wraz z odwołaniem, odpowiedzią na odwołanie i pismami procesowymi.

O kosztach postępowania odwoławczego orzeczono stosownie do jego wyniku na podstawie art. 557 i 575 Pzp oraz § 5 pkt 1 i 2 lit. b) w zw. z § 8 ust. 2 pkt 1 Rozporządzenia Prezesa Rady Ministrów w sprawie szczegółowych rodzajów kosztów postępowania odwoławczego, ich rozliczania oraz wysokości i sposobu pobierania wpisu od odwołania z 30 grudnia 2020 r. (Dz. U. z 2020 r. poz. 2437).

20