Wyrok KIO 2038/23 z 28 lipca 2023

Zamawiający – Uniwersytet Medyczny im. Karola Marcinkowskiego w Poznaniu, ul. Fredry 10, 61-701 Poznań, prowadzi w trybie przetargu nieograniczonego, postępowanie o udzielenie zamówienia publicznego pn. „Usługa kompleksowego nadzoru nad realizacją niekomercyjnego badania klinicznego pn.: „Randomizowane, podwójnie zaślepione, kontrolowane placebo badanie oceniające wpływ allopurynolu na ryzyko zdarzeń sercowonaczyniowych u pacjentów z wysokim i bardzo wysokim ryzykiem sercowo-naczyniowym, z uwzględnieniem obecności zespołu Long-COVID” oraz zapewnienie oprogramowania do randomizacji uczestników badania i oprogramowania eCRF”, numer referencyjny: PN-16/23.

Ogłoszenie o zamówieniu zostało opublikowane w Dzienniku Urzędowym Unii Europejskiej w dniu 24.03.2023 r. nr 2023/S 060-174223.

W dniu 13.07.2023 r. do Prezesa Krajowej Izby Odwoławczej wpłynęło odwołanie,w którym wykonawca KO-MED Centra Kliniczne sp. z o.o., ul. Sieroszewskiego 34, 24-100 Puławy (dalej: „odwołujący”) zarzucił zamawiającemu naruszenie:

1. art. 226 ust. 1 pkt 5 w zw. z art. 16 pkt 1 – 3 ustawy Prawo zamówień publicznych (t.j. Dz.U. 2022 r. poz. 1710 ze zm.), zwanej dalej „ustawą Pzp”, poprzez niezasadne odrzucenie oferty Odwołującego z uwagi na rzekome wystąpienie 6 błędów podczas prezentacji systemów IW RS i eCRF (zgodnie z pkt 16 Regulaminu prezentacji stanowiącej załącznik nr 9 do SW Z Zamawiający dopuszczał wystąpienie maksymalnie 3 błędów), podczas gdy w rzeczywistości podczas prezentacji systemów wystąpił wyłącznie 1 błąd, w związku z czym oferta Odwołującego winna zostać uznana za zgodną z warunkami zamówienia i nie powinna zostać odrzucona z postępowania, 2)art. 239 ust. 1 w zw. z art. 240 ust. 1 i 2 w zw. z art. 16 pkt 1 – 3 ustawy Pzp poprzez:
2. dokonanie błędnej oceny systemów zaprezentowanych przez wykonawców w ramach pozacenowego kryterium oceny ofert pn. „prezentacja systemów IWRS i eCRF”,
3. całkowicie dowolne, subiektywne oraz dyskryminacyjne punktowanie systemów zaprezentowanych przez wykonawców w ramach pozacenowego kryterium oceny ofert pn. „prezentacja systemów IWRS i eCRF”, czego efektem było z jednej strony - nieprzyznanie Odwołującemu punktów w tym kryterium, z drugiej zaś przyznanie konkurencyjnemu wykonawcy działającemu jako konsorcjum w składzie: (i) Scientia CRO sp. z o.o. z siedzibą w Bydgoszczy oraz (ii) Scientia Reaserch Institute sp. z o. o. z siedzibą w Bydgoszczy, aż 94/100 pkt, tj. po przeliczeniu zgodnie z algorytmem oceny ofert – 30/30 pkt, podczas gdy prawidłowa ocena systemów zaprezentowanych przez Odwołującego i Konsorcjum Scientia oraz ich punktowanie dokonane w sposób równy, obiektywny, przejrzysty i niedyskryminacyjny, winny prowadzić do przyznania Odwołującemu w tym kryterium co najmniej 65/100 pkt (tj. po przeliczeniu zgodnie z algorytmem oceny ofert – co najmniej 20,74/30 pkt); 3)ewentualnie - art. 255 pkt 6 w zw. z art. 457 ust. 1 pkt 1 w zw. z art. 240 ust. 1 w zw. z art. 16 pkt 1 – 3 ustawy Pzp poprzez zaniechanie unieważnienia postępowania z uwagi na wystąpienie niemożliwej do usunięcia wady uniemożliwiającej zawarcie niepodlegającej unieważnieniu umowy w sprawie zamówienia publicznego, podczas gdy opis pozacenowego kryterium oceny ofert pn. „prezentacja systemów IW RS i eCRF” oraz zasady przyznawania punktacji w ramach tego kryterium zostały ustalone przez Zamawiającego w sposób niejednoznaczny, pozostawiają Zamawiającemu nieograniczoną swobodę wyboru najkorzystniejszej oferty oraz uniemożliwiają weryfikację i porównanie ofert.

W szczególności odwołujący podniósł, co następuje.

„1. Zamawiający ustanowił w Postępowaniu trzy kryteria oceny ofert: a. cena (waga 60%), b. doświadczenie osób wykonujących usługę (waga 10%), c. prezentacja systemów IWRS i eCRF (waga 30%). (…) 3. Zgodnie zaś z pkt 15.1 SW Z, punktacja, którą należy podstawić do powyższego wzoru, stanowi „wynik prezentacji systemu eCRF zgodnie z Regulaminem prezentacji (załącznik nr 9 do SW Z) – propozycji opracowania systemu do randomizacji uczestników badania (IW RS) oraz Elektronicznej Karty Obserwacji Klinicznej (eCRF, ang. Electronic Case Report Form) do badania ALL-VASCOR”. (…) 6. Co jest jednak szczególnie istotne, zgodnie z pkt 16 Regulaminu prezentacji, Zamawiający dopuścił podczas prezentacji wystąpienie nie więcej niż 3 błędów – niezależnie od tego, czy zostaną one naprawione, czy nie. W myśl pkt 17 Regulaminu prezentacji, wystąpienie większej liczby błędów (tzn. więcej niż 3 błędy) zobowiązywało Zamawiającego do zakończenia prezentacji oraz uznania, że oferta wykonawcy jest niezgodna z SW Z i jej odrzucenia. Ponadto, jak stanowi pkt 18 Regulaminu prezentacji, „Jeżeli w trakcie prezentacji wystąpi błąd, który nie będzie mógł być naprawiony w

trakcie prezentacji Zamawiający zakończy prezentację uznając, że Systemy nie zapewniają odpowiedniej stabilności. W takim przypadku oferta tego Wykonawcy zostanie uznana za niezgodną z SWZ i zostanie odrzucona”. (…) 9. Co ważne, Odwołujący w toku przeprowadzanej prezentacji nie był informowany o uzyskiwanej punktacji. Po zakończeniu prezentacji nie otrzymał również żadnej informacji podsumowującej.

1. Podkreślić należy, że na żadnym etapie prezentacji Zamawiający nie zdecydował o jej przerwaniu i uznaniu, że prezentowany system był obarczony nadmiarową liczbą błędów, a przez to – niezgodny z SWZ i implikujący konieczność odrzucenia oferty.
2. Odwołujący dowiedział się o łącznej punktacji, jaką otrzymał za przeprowadzoną prezentację dopiero w dniu 31 maja 2023 r., kiedy to Zamawiający opublikował na swojej stronie internetowej oraz przesłał do wykonawców biorących udział w Postępowaniu informację o wyborze najkorzystniejszej oferty.
3. Zgodnie z tą informacją Odwołujący za prezentację systemów IWRS oraz eCRF otrzymał łącznie 12,77 pkt na 30 pkt, które były możliwe do uzyskania, zaś za najkorzystniejszą została uznana oferta złożona przez Konsorcjum Scientia. (…) 13. Co jednak istotne, w informacji o wyborze oferty najkorzystniejszej Zamawiający nie poinformował wykonawców o szczegółowej punktacji przyznawanej w ramach poszczególnych segmentów zakresu funkcjonalności (zgodnie z tabelą ujętą w pkt 22 Regulaminu prezentacji). Nadto, Zamawiający nie przedstawił żadnego uzasadnienia faktycznego dla dokonanej przez siebie oceny oraz przyznanych punktów. Zamawiający nie odrzucił oferty Odwołującego. (…) 15. W odpowiedzi na powyższy wniosek, Zamawiający w dniu 2 czerwca 2023 r. udostępnił Odwołującemu wnioskowaną dokumentację. Wśród otrzymanych dokumentów znalazła się również wewnętrzna notatka Zamawiającego datowana na dzień 18 maja 2023 r. pt. „Karta oceny prezentacji KO-MED Centra Kliniczne sp. z o.o. w postępowaniu nr PN 16/23” (dalej jako: „Karta oceny”). (…) 17. Co istotne, Karta oceny zawierała stwierdzenie, że podczas prezentacji ujawnione zostało 5 błędów, co nie doprowadziło jednak do przerwania prezentacji i odrzucenia oferty Odwołującego.
4. Odwołujący nie zgodził się z punktacją przyznaną przez Zamawiającego i wniósł odwołanie do Prezesa Krajowej Izby Odwoławczej. (…)
5. W związku z wniesionym odwołaniem, Zamawiający w dniu 20 czerwca 2023 r. zawiadomił wykonawców biorących udział w Postępowaniu o unieważnieniu czynności wyboru oferty najkorzystniejszej oraz czynności oceny ofert. (…) W związku z unieważnieniem zaskarżonych czynności przez Zamawiającego, Krajowa Izba Odwoławcza umorzyła postępowanie odwoławcze postanowieniem z dnia 22 czerwca 2023 r. (…)
6. W dniu 3 lipca 2023 r. Zamawiający dokonał ponownego wyboru oferty najkorzystniejszej. Maksymalną liczbę punktów ponownie otrzymało Konsorcjum Scientia, a oferta Odwołującego – odmiennie niż poprzednio – została odrzucona z uwagi na niezgodność z warunkami zamówienia, tj. na podstawie art. 226 ust. 1 pkt 5 PZP. (…)
7. Wraz z informacją o wyborze oferty najkorzystniejszej Odwołujący ponownie otrzymał kartę oceny przeprowadzonej prezentacji (dalej jako: „Karta ponownej oceny”). Ku zdziwieniu Odwołującego, z Karty ponownej oceny wynikało, że powodem odrzucenia oferty Odwołującego były rzekome błędy, które zostały wymienione w pierwszej Karcie oceny, a dodatkowo Zamawiający stwierdził wystąpienie błędu (błąd nr 6), o którym w ogóle nie wspomniał w poprzedniej Karcie oceny. (…)
8. Zamawiający był świadomy postanowień Regulaminu prezentacji (sam je zacytował w Karcie oceny) i doskonale zdawał sobie sprawę ze skutków, jakie powstają w momencie wystąpienia co najmniej 4 błędów podczas prezentacji – mimo to Zamawiający pierwotnie nie zdecydował się na odrzucenie oferty KO-MED. Zdaniem Odwołującego wynika to z faktu, że przy pierwszym wyborze oferty najkorzystniejszej Zamawiający zdawał sobie sprawę, że to, co Zamawiający obecnie określa „błędami” jest wysoce dyskusyjne i w rzeczywistości błędem nie jest, a w rezultacie nie może doprowadzić do odrzucenia oferty. (…)
9. Odwołujący całkowicie neguje argumentację Zamawiającego – z następujących powodów. Przede wszystkim ustanowiony przez samego Zamawiającego Regulamin prezentacji nie daje Zamawiającemu żadnej swobody decyzyjnej w zakresie tego, w jaki sposób należy postępowań w przypadku ujawnienia więcej niż 3 błędów oferowanego oprogramowania. Regulamin posługuje się w tym zakresie czasownikiem w trybie oznajmującym („Zamawiający dopuszcza wystąpienie nie więcej niż 3 błędów […] Jeżeli w trakcie prezentacji niezależnie od wykorzystanej funkcjonalności Systemów dojdzie do wystąpienia większej liczby błędów niż wskazana w p. 16, Zamawiający zakończy prezentację […] oferta tego Wykonawcy zostanie uznana za niezgodną z SW Z i zostanie odrzucona”), co zgodnie z powszechnie przyjętymi zasadami wykładni tekstów normatywnych jest sposobem na wyrażenie nakazu określonego działania, a nie możliwości. To zaś oznacza, że jeżeli istotnie Zamawiający dostrzegł w trakcie co najmniej 4 błędy, to jego obowiązkiem było przerwanie prezentacji i poinformowanie wykonawcy o odrzuceniu jego oferty. To czego Zamawiający nie powinien zrobić, to pozwolić na kontynuację prezentacji, a następnie poddać ofertę Odwołującego ocenie w ramach kryteriów oceny ofert.
10. (…) Zamawiający uznaje za błąd funkcje systemów, która w ogóle błędami nie są, a dodatkowo odnajduje błędy, których „wcześniej nie dostrzegł”. W efekcie Zamawiający dwukrotnie dokonał oceny prezentacji systemu dostarczanego przez Odwołującego oraz dwukrotnie sporządził kartę oceny zaprezentowanego systemu, choć od samej prezentacji upłynęło tyle czasu, że rzeczywiste odwzorowanie jej przebiegu nie jest na obecnym etapie co najmniej utrudnione. Co więcej, Zamawiający stwierdził istnienie dodatkowego, szóstego błędu. W takiej sytuacji nie może być mowy o tym, że ewaluacja systemu dokonana przez Zamawiającego jest rzetelna lub kompletna. (…)
11. Odwołujący wywodzi z powyższego, że: a. odrzucenie oferty jest spóźnione w rozumieniu Regulaminu prezentacji, i jako takie nie jest aktualnie dopuszczalne; b. Zamawiający jest tak naprawdę świadomy tego, że okoliczności opisane przez niego jako „błędy” w rzeczywistości albo w ogóle nie stanowią błędu, albo są pojedynczym błędem (a nie kilkoma błędami, jak sugeruje to Zamawiający). (…) 32. Na str. 3 Karty ponownej oceny Zamawiający stwierdził m.in., że: „Wykonawca prezentował system głównie z poziomu uprawnień administratora, który w domyśle ma wszystkie uprawnienia i przypisane role w systemie”.

Odwołujący zaznacza w tym miejscu, że prezentacja odbyła się – zgodnie z życzeniami Zamawiającego – w różnych rolach, nie tylko administratora.

1. Zamawiający w sposób nieprawidłowy zidentyfikował i opisał w Karcie ponownej oceny 6 rzekomych błędów systemu:

„1) Błąd po zalogowaniu na użytkownika o roli „monitor” – błąd uniemożliwiał wykonanie operacji na zalogowanym użytkowniku – usunięty w trakcie prezentacji”, „2) Błąd po zalogowaniu na użytkownika o roli „badacz” – błąd uniemożliwiał wykonanie operacji na zalogowanym użytkowniku – usunięty w trakcie prezentacji”, „3) Błąd po zalogowaniu na użytkownika o roli „koordynator” – błąd uniemożliwiał wykonanie operacji na zalogowanym

użytkowniku – usunięty w trakcie prezentacji”, „4) Błąd po wykonaniu akcji zapisu na uzupełnionym formularzu – Wykonawca poinformował, że jest to komunikat informujący o błędnie wypełnionym formularzu. Mimo wystąpienia komunikatu z błędem wypełniony formularz został zapisany”, „5) Błąd po wejściu w zadanie CRF-1263 – usunięty w trakcie prezentacji”.

„6) Błąd w postaci nieprawidłowego sposobu działania pola „oznacz jako gotowe”, dostępnego przy wypełnianiu formularza.

W trakcie prezentacji, po zalogowaniu na jedno z nowo utworzonych kont („monitor”, „badacz”, „koordynator”) Wykonawca wypełnił formularz i nie oznaczył pola „oznacz jako gotowe”, formularz został zapisany i zinterpretowany jako wersja końcowa i trafił na dalszy etap procesu. Na pytanie Zamawiającego o powód zaistnienia takiego faktu, Wykonawca stwierdził, że pole „oznacz jako gotowe” nie powinno pojawić się w formularzu. W takim przypadku mamy tutaj do czynienia z błędem, gdzie system pomimo braku oznaczenia pola „oznacz jako gotowe” pozwolił na przekazania zadania na dalszy etap procedowania. Innymi słowy zapisany przez zalogowanego użytkownika formularz w postaci „brudnopisu” trafił na dalszy etap procedowania.

1. Jeśli chodzi o błędy nr 1 – 3, to Zamawiający uznał niesłusznie, że są to trzy, odrębne błędy. Zgodnie natomiast z definicją błędu ujętą w pkt 13 Regulaminu prezentacji, „Przez błąd Zamawiający rozumie niepoprawne funkcjonowanie Systemów, niestabilność, spowolnienie działania systemów lub inne zdarzenie znacząco utrudniające lub uniemożliwiające wykonanie określonej operacji.”
2. W świetle przytoczonej definicji oraz zgodnie z branżowym rozumieniem tego pojęcia, „błąd” ma więc charakter generyczny, powstaje na etapie projektowania lub tworzenia oprogramowania i co do zasady zawarty jest w jego kodzie źródłowym. Dla zidentyfikowania oraz policzenia błędów istniejących w systemie nie ma zatem znaczenia, ile razy ujawnią się one podczas korzystania z systemu – to zależy bowiem wyłącznie od aktywności człowieka (np. jeśli błąd dotyczy uruchomienia systemu informatycznego, pojawi się on tyle razy, ile zostanie uruchomiony system).
3. Tym samym błędy opisane w pkt 1-3 powyżej to w istocie jeden i ten sam błąd, a nie trzy odrębne. Jego przyczyna technologiczna jest bowiem tożsama, została zidentyfikowana i usunięta przez Odwołującego podczas prezentacji w kodzie źródłowym oprogramowania, natomiast błąd ten uwidocznił się trzykrotnie ze względu na powtórzenie tej samej czynności na kontach różnych użytkowników systemu tj. „monitor”, „badacz” oraz „koordynator”. (…)
4. To, co pominął w Karcie ponownej oceny, to fakt, że błąd został jednorazowo usunięty dla wszystkich utworzonych kont poprzez modyfikację jednego fragmentu kodu źródłowego, po dokonaniu logowania na wszystkie wymienione przez Zamawiającego role. Odwołujący nie musiał usuwać usterek w odniesieniu do trzech różnych kont, ani nie musiał podejmować trzech różnych czynności. To w zasadzie przesądza o tym, że w istocie wystąpił jeden błąd, a nie, jak twierdzi Zamawiający, trzy. Naprawa błędu polegała na usunięciu jednej linijki kodu źródłowego i dodaniu dwóch nowych linijek kodu.
5. W dalszej kolejności w Karcie ponownej oceny Zamawiający podejmuje polemikę w zakresie tego, co należy rozumieć pod pojęciem „błędu”. Zamawiający podniósł, że w żadnym miejscu Regulaminu prezentacji nie odwołał się „do jakiegoś branżowego rozumienia błędu”. Jak stwierdził Zamawiający, „celem Zamawiającego było bowiem uchwycenie w kryteriach oceny ofert perspektywy przeciętnego użytkownika (a więc wcale nie ,,branżysty”) na funkcjonowanie prezentowanego systemu. Dla przeciętnego użytkownika błędem będzie zatem np. każdorazowy brak możliwości zalogowania się do systemu, każdorazowy brak możliwości skorzystania z danej funkcjonalności, każdorazowy problem z zapisaniem danego dokumentu – szczególnie jeśli będzie to występowało na różnych kontach użytkowników, a nie w ramach jednego konta użytkownika”.
6. Zamawiający traci z pola widzenia, że opis przedmiotu zamówienia jest treścią skierowaną do profesjonalistów działających w danej branży, a to z kolei implikuje sposób interpretacji tej treści w taki sposób, jaki jest powszechnie przyjęty wśród potencjalnych wykonawców. Co więcej, usługi będą świadczone właśnie przez podmiot profesjonalny, a nie przez „przeciętnego użytkownika”, stąd też sposób interpretacji błędu narzucany przez Zamawiającego nie może zostać uznany za miarodajny. (…)
7. W dalszej kolejności Zamawiający wywodzi w Karcie ponownej oceny, że „Definicja błędu podyktowana przez Zamawiającego mówi, ze ,,błąd” to jakieś „zdarzenie” (znacząco utrudniające lub uniemożliwiające wykonanie danej operacji), a zgodnie z definicjami słownikowymi „zdarzenie” to coś, co stało się w określonym miejscu i czasie. Nie ulega wątpliwości, że jeżeli ktoś np. chce się zalogować na konto użytkownika z uprawnieniem x i pojawia się tzw. błąd systemu, który uniemożliwia dalsze korzystanie z systemu - to jest to jedno zdarzenie. Gdy następnie w momencie próby zalogowania na konto użytkownika z innymi uprawnieniami (a więc gdy mamy do czynienia z innym poleceniem korzystającego) pojawia się błąd systemu – to jest to drugie zdarzenie, a więc i drugi błąd itd.”. W tym zakresie Zamawiający zupełnie wybiórczo traktuje treść definicji „błędu”. Zamawiający pomija, że zgodnie ze sformułowaną przez siebie definicją, błędem w pierwszej kolejności jest „niewłaściwe funkcjonowanie systemów”, a dopiero na samym końcu – gdy danego błędu nie można przyporządkować do żadnej innej części definicji – „innym zdarzeniem utrudniającym wykonanie danej operacji”. Zamawiający z jakichś powodów nie dostrzega, że tym „niewłaściwym funkcjonowaniem systemów” jest pojedynczy błąd w kodzie źródłowym, naprawiony podczas prezentacji (co Odwołujący wyjaśnił powyżej).
8. Następnie, Zamawiający podnosi, że „Gdyby Zamawiający chciał ustalić w dokumentach zamówienia zasadę, zgodnie z którą odrzuceniu podlega oferta wykonawcy, w przypadku którego w prezentacji wystąpiły więcej niż 3 błędy, ale z tym zastrzeżeniem ze każdy z tych błędów musi mieć inną przyczynę źródłową, to byłoby to wyrażone wprost w Regulaminie prezentacji. Świadomie jednak Zamawiający takiej decyzji nie podjął, gdyż uznał że do odrzucenia oferty wystarczą jakiekolwiek 4 błędy znacząco utrudniające lub uniemożliwiające wykonanie danej operacji (nawet gdy ich przyczyna źródłowa jest identyczna).” Po pierwsze, interpretacja Zamawiającego o tym, że wiele błędów może mieć swoje źródło w jednym fragmencie kodu źródłowego, nie ma żadnego odzwierciedlenia w treści Regulaminu prezentacji. W związku z tym Zamawiający aktualnie zaostrza wobec Odwołującego ustalone przez siebie zasady Postępowania. Po drugie, Zamawiający ponownie odnosi się do treści pojęcia „błąd” jedynie fragmentarycznie, w sposób nieuprawniony wybierając z niej elementy popierające stanowisko Zamawiającego. Zamawiający bowiem uznaje, że błąd to „inne zdarzenie znacząco utrudniające wykonanie operacji”, a nie „niepoprawne funkcjonowanie Systemów” – a to rozróżnienie ma tu kluczowe znaczenie.
9. Najtrudniej jednak Odwołującemu się zgodzić z dalszą argumentacją podniesioną przez Zamawiającego. Stwierdził on, że: „O powyżej opisanej celowości podania przez Zamawiającego własnej definicji błędu w Regulaminie prezentacji świadczy także skład osobowy komisji oceniającej prezentacje wykonawców - w końcu nie bez powodu Zamawiający ustalił, aby prezentacje systemów oceniały osoby, które nie mają wykształcenia informatycznego, tj. lekarz, ekonomista oraz specjalista ds. zakupów. Intencją Zamawiającego było bowiem, jak już wspomniano powyżej - dokonanie oceny

działania prezentowanego systemu z perspektywy użytkownika, który na informatyce wcale znać się nie musi (praktycznie rzecz ujmując i biorąc pod uwagę zakres i skalę projektu: większość użytkowników systemu takiej specjalistycznej wiedzy informatycznej mieć nie będzie). Zamawiający celowo wskazał w Regulaminie prezentacji własną definicję błędu, aby każdy rozumiał ją jednakowo, bez względu na wiedzę i wykształcenie. System ma być bowiem funkcjonalny, intuicyjny, czytelny i łatwy w obsłudze dla jego przyszłych użytkowników, czego wyrazem są m.in. segmenty zakresu funkcjonalności oceniane przez Zamawiającego” . Po pierwsze, skład komisji oceniającej prezentację nie jest informacją podaną wykonawcom z góry, podobnie jak doświadczenie lub wykształcenie jej członków. Zamawiający nie poczynił w dokumentacji Zamówienia choćby wzmianki o tym, że te okoliczności miałyby mieć wpływ na to, w jaki sposób będzie oceniany przebieg prezentacji, co samo w sobie stanowi naruszenie zasady uczciwej konkurencji i równego traktowania wykonawców. Po drugie, Wykonawca nie może być obciążany faktem włączenia do składu komisji „niefachowców”, tym bardziej, że art. 55 ust. 4 PZP przyznaje Zamawiającemu uprawnienie do powołania w Postępowaniu biegłego, o ile jego wiedza jest niezbędna. Po trzecie, skoro komisja składa się z osób nieposiadających specjalistycznej wiedzy w zakresie informatyki, to na jakiej podstawie Zamawiający w ogóle formułuje swoje przekonania o istnieniu błędów w oprogramowaniu Odwołującego oraz na jakiej podstawie przyznaje złożonym ofertom punktację za oczekiwane funkcjonalności systemu?

1. Następnie Zamawiający twierdzi, że „żaden z członków komisji nie miał dostępu do kodu źródłowego systemu podczas prezentacji KO-MED”, w związku z czym Zamawiający nie miałby możliwości weryfikacji, czy ma do czynienia z jednym, czy z trzema błędami. Zamawiający pomija, że nie jest jego rolą weryfikacja kodu źródłowego, lecz ocena zgodności oferty z warunkami zamówienia. Nic nie stoi na przeszkodzie, aby oprzeć się w tej mierze na wyjaśnieniach Wykonawcy udzielonych podczas prezentacji, ewentualnie do złożenia wyjaśnień we właściwym trybie.
2. Zamawiający przeinacza również dotychczasowe stanowisko Odwołującego – otóż twierdzi on, że w punkcie 31 odwołania z dnia 12 czerwca 2023 r. Odwołujący miałby stwierdzać, że „przyczyna błędu została usunięta już po pierwszym ujawnieniu (a więc innymi słowy – błąd został naprawiony), a mimo to doszło do kolejnych „ujawnień” błędu”.

Te twierdzenia nie mają nic wspólnego ani z rzeczywistym przebiegiem prezentacji, ani nawet z treścią odwołania z 12 czerwca 2023 r. Błąd, któremu Zamawiający nadał numery 1, 2 oraz 3, został usunięty po jego ujawnieniu się w trzech różnych profilach systemu. Naprawa tego błędu była jednokrotna, co jednoznacznie dowodzi, że mamy do czynienia z jednym błędem, a nie z trzema różnymi.

1. Zamawiający myli się również co do błędu oznaczonym przez niego numerem 4. W tym miejscu należy wskazać, że w systemie prezentowanym przez Odwołującego (co jest zresztą powszechnie przyjętą praktyką na rynku) proces zapisywania formularza wygląda następująco: a. Podczas wypełniania formularza istnieją pola, które należy wypełnić obligatoryjnie oraz takie, które wypełnia się dodatkowo/fakultatywnie, b. Stosuje się zapisywanie częściowo uzupełnionych formularzy – „brudnopisu" aby móc do nich powrócić w późniejszym czasie, c. Jeżeli użytkownik chce dokonać ostatecznego zapisu formularza zaznacza podczas zapisywania pole "Oznacz jako gotowe" - wówczas podczas zapisu system weryfikuje czy wszystkie pola obligatoryjne zostały prawidłowo uzupełnione, d. Jeśli natomiast to pole jest odznaczone i użytkownik dokonuje zapisu, to system nie waliduje tych pól z uwagi na to, że jeszcze mogą zostać uzupełnione później (m.in. do tego służy funkcjonalność brudnopisu/zapisania częściowo uzupełnionego formularza).
2. Opisany przez Zamawiającego przypadek – najpierw w Karcie oceny z 18 maja 2023 r., a następnie w Karcie ponownej oceny z dnia 30 czerwca 2023 r. – dotyczy sytuacji, w której podczas prezentacji nieuzupełnione zostały wszystkie pola obligatoryjne, a formularz został zapisany, o czym system w sposób prawidłowy poinformował. W żadnym wypadku nie stanowi to zatem błędu funkcjonowania systemu. Wręcz przeciwnie, system zadziałał prawidłowo, ponieważ zapisał częściowo uzupełniony formularz – „brudnopis”. (…)
3. Nie jest prawdą twierdzenie Zamawiającego zamieszczone w Karcie ponownej oceny, jakoby tak zapisany formularz został „zinterpretowany jako wersja końcowa i trafił na dalszy etap procesu” – nie jest bowiem możliwe procedowanie formularza, bez oznaczenia opcji „oznacz jako gotowe” (która to opcja służy jako informacja dla systemu, że dany formularz jest ostateczny). Nie jest również prawdą, że Odwołujący podczas prezentacji stwierdził, że „pole „oznacz jako gotowe” nie powinno pojawić się w formularzu i wymaga to modyfikacji w systemie”. Przeciwnie, omawiane pole jest normalnym elementem formularza.
4. Jeśli chodzi o rzekomy błąd numer 6 (powiązany funkcjonalnie z błędem numerem 4), to nie ma on żadnego odzwierciedlenia w rzeczywistości. Zamawiający jest zdania, że system traktuje formularze bez zaznaczonej opcji „oznacz jako gotowe” jako formularze ostateczne (gotowe) i przekazane do dalszego procedowania, co samo w sobie jest błędem. W rzeczywistości tak nie jest – system traktuje takie formularze jako brudnopisy i nie pozwala na ich procedowanie.
5. Zamawiający źle ocenił również sytuację opisaną jako błąd nr 5. Błąd ten miał dotyczyć braku możliwości podglądu „karty zadania”. Tymczasem konto/rola użytkownika, który był zalogowany podczas prezentacji w ogóle nie miała takiego uprawnienia (jest ono zarezerwowane dla użytkownika o innym koncie/roli), co jest zamierzoną właściwością prezentowanego systemu. Nie zmienia to jednak faktu, że użytkownik widział pełną treść zadania oraz mógł je prawidłowo obsłużyć z poziomu, na którym był zalogowany.
6. W trakcie prezentacji Odwołujący przypisał omawianej roli dodatkowe uprawnienia, ale nie po to – jak twierdzi Zamawiający w Karcie ponownej oceny – aby usunąć błąd, lecz po to, aby pokazać Zamawiającemu, że możliwość takiej, a nie innej konfiguracji systemu w ogóle istnieje.
7. Reasumując, podczas prezentacji systemu zaistniał wyłącznie jeden błąd (który przez Zamawiającego jest mylnie kwalifikowany jako trzy odrębne błędy). To zaś nie pozwala na odrzucenie oferty Odwołującego jako niezgodnej z warunkami zamówienia. (…)
8. Jak wynika z Karty ponownej oceny oferty Konsorcjum, Zamawiający przed pierwszym i drugim wyborem oferty najkorzystniejszej przyznał Konsorcjum Scientia dokładnie taką samą liczbę punktów, tj. 94 punkty na 100 możliwych do uzyskania. Jednakże porównując treść karty oceny oferty Konsorcjum Scientia sporządzoną przed pierwszym wyborem z treścią karty oceny oferty tego samego wykonawcy sporządzoną przed drugim wyborem, zauważyć można, że Zamawiający dopisał do Karty ponownej oceny oferty Konsorcjum pewne uchybienia, które nie zostały uwzględnione przy pierwszej ocenie.
9. Chodzi o następujące fragmenty Karty ponownej oceny oferty Konsorcjum: a. „Pojawiały się komunikaty o prawidłowym lub nieprawidłowym wypełnieniu/zapisaniu danych w formularzu i innych czynnościach wykonywanych przez zalogowanego użytkownika wymagających zatwierdzenia/zapisania danych, z

wyjątkiem realizacji punktu 6 obowiązkowego scenariusza, związanego z dodaniem załącznika w systemie. Zalogowany użytkownik – po prawidłowym jego dodaniu – nie otrzymał stosownego komunikatu o wykonywanej czynności, dodatkowo system pozostawił zalogowanego użytkownika na ekranie dodawania załącznika”; b. „W niektórych widokach prezentowanego Systemu pojawiały się jednocześnie trzy ikony kółka ładowania danych – jedno w menu po lewej stronie i dwa na ekranie głównym (jedno wyżej, drugie niżej)”. (…) 60. Na wypadek, gdyby Zamawiający usiłował wyjaśniać, że powyższe okoliczności były brane pod uwagę przy pierwszym wyborze oferty najkorzystniejszej, a po prostu nie zostały opisane w pierwszej karcie oceny sporządzonej dla Konsorcjum Scientia, przypomnieć należy, że zgodnie z art. 20 ust. 1 PZP, Postępowanie prowadzi się pisemnie. Jeżeli Zamawiający przedstawił na piśmie pewne cechy systemów i poddał je ocenie, to zasada pisemności stoi na przeszkodzie uznaniu, że na ocenę Zamawiającego wpłynęły jakiekolwiek inne okoliczności, nie wyrażone wprost przez Zamawiającego w dokumentacji Postępowania. Stąd też wniosek, że jeżeli Zamawiający dostrzega jakieś nowe, dodatkowe okoliczności w trakcie ponownej oceny ofert, to powinny one wpłynąć na wcześniejszą punktację – w tym wypadku powinny one ją obniżyć.

1. Poza rzekomymi błędami systemu prezentowanego przez Odwołującego – które prawdopodobnie miały wpływ na pierwotnie przyznaną punktację – nie sposób jest zgodzić się z wieloma pozostałymi zarzutami Zamawiającego. Przede wszystkim nie sposób zgodzić się (str. 3 Karty oceny), że choć „prezentacja odbywała się na polskiej wersji systemu, wiele z wyświetlanych w menu elementów lub funkcjonalności była w języku angielskim. Prezentowany system posiadał wbudowany moduł do modyfikacji i tworzenia m.in. formularzy. Moduł był w języku angielskim.”
2. W tym kontekście Odwołujący wskazuje, że w prezentowanym systemie w języku angielskim wyrażone są przede wszystkim nazwy własne określonych elementów i funkcjonalności. W pozostałym zakresie system jest zaś opisany w języku polskim. Dotyczy to także modułu do modyfikacji i tworzenia formularzy, w którym tylko niektóre elementy, posiadające nazwy własne, zostały wyrażone w języku angielskim – pozostałe zaś są opisane po polsku. (…)
3. Odwołujący zdecydowanie nie zgadza się również ze stanowiskiem Zamawiającego (str. 3 Karty oceny), jakoby o słabości prezentowanego systemu miało świadczyć to, że „[w] prezentowanym systemie nie zawsze pojawiały się komunikaty o prawidłowym lub nieprawidłowym zapisaniu danych na formularzu i innych czynnościach wykonywanych przez zalogowanego użytkownika wymagających zatwierdzenia/zapisania danych. Użytkownik, któremu zostało utworzone konto w systemie nie otrzymuje żadnego powiadomienia o utworzeniu konta”.
4. W tym kontekście w pierwszej kolejności należy zauważyć, że żaden punkt dokumentacji Zamówienia (w szczególności w OPZ wraz z załącznikami, umowy czy Regulaminu prezentacji) nie odnosi się do kwestii komunikatów, które ma wysyłać oferowany system. Aspekt ten został całkowicie pominięty przez Zamawiającego.
5. Co oczywiste, Zamawiający nie wymagał tym samym, aby oferowany system posiadał funkcjonalność wysyłania odrębnego komunikatu o każdym prawidłowym lub nieprawidłowym zapisaniu danych na formularzu lub innych czynnościach wykonywanych przez zalogowanego użytkownika wymagających zatwierdzenia/zapisania danych.

Zamawiający nie wskazał również, że będzie to element punktowany w ramach kryteriów oceny ofert.

1. Mając na uwadze powyższe oraz treść art. 241 ust. 1 i 2 PZP (…) należy stwierdzić, że Zamawiający nie mógł wymagać, aby prezentowany system posiadał taką funkcjonalność, ani tym bardziej przyznawać lub odejmować z tego tytułu punkty. (…)
2. Odwołujący zdecydowanie nie zgadza się również z twierdzeniem Zamawiającego zawartym na str. 4 Karty oceny, zgodnie z którym „w opinii Zamawiającego prezentowany system nie wyglądał nowocześnie”.
3. W tym kontekście należy zauważyć, że w żadnym punkcie dokumentacji Zamówienia (w szczególności OPZ wraz z załącznikami, umowie, Regulaminie prezentacji, etc.) Zamawiający nie sprecyzował swoich oczekiwań co do „wyglądu” systemu informatycznego, który zamierza nabyć. W szczególności Zamawiający nie wymagał, aby system ten był nowoczesny. (…)
4. Nadto, na ocenę systemu oferowanego przez Odwołującego nie może wpłynąć sposób w jaki ten system został zaprezentowany przez wykonawcę. W tym sensie, za całkowicie nieuprawnione – nawet gdyby było prawdziwe, z czym Odwołujący zdecydowanie się nie zgadza – należy uznać twierdzenie zawarte na str. 4 Karty oceny, zgodnie z którym „System był prezentowany przez programistę, chaotycznie, w sposób nieczytelny dla potencjalnego użytkownika, nieposiadającego wiedzy informatycznej.”
5. Tak dokonana ocena zdecydowanie wykracza poza przyjęte w Postępowaniu kryteria oceny ofert, a ponadto, nosząc znamiona oceny o charakterze podmiotowym, stoi w sprzeczności z normą wyrażoną w art. 241 ust. 3 PZP, zgodnie z którą „kryteria oceny ofert nie mogą dotyczyć właściwości wykonawcy”.
6. Za nieprawdziwe należy również uznać twierdzenie Zamawiającego (str. 4 Karty oceny), zgodnie z którym „z uwagi na pojawiające się błędy w prezentowanym przez wykonawcę systemie – których usunięcie zajęło wykonawcy znaczną ilość czasu – Zamawiający nie był w stanie ocenić całości prezentowanego systemu.” (…)
7. Dodatkowym potwierdzeniem powyższego jest zresztą to, co napisał sam Zamawiający na str. 1-2 Karty oceny, gdzie ocenił przebieg realizacji scenariusza prezentacji. Zgodnie z tą informacją podczas prezentacji zostały zrealizowane wszystkie elementy scenariusza: (…)
8. W konsekwencji powyższego oraz zważywszy, że konkurencyjne Konsorcjum Scientia za prezentację swojego rozwiązania otrzymało aż 94/100 pkt, Odwołujący szacuje, że za prezentację swojego systemu winien otrzymać co najmniej 25 pkt więcej, tj. 65/100 pkt, zamiast 40/100 pkt, które przyznał mu Zamawiający. (…)
9. W tym miejscu należy przypomnieć, że Zamawiający w kryterium „prezentacja systemów IW RS i eCRF” przyznawał punkty wyłącznie w oparciu o „wytyczne” zawarte w tabeli ujętej w pkt 22 Regulaminu prezentacji. Żaden inny dokument Zamówienia nie zawiera w tym względzie jakichkolwiek dodatkowych informacji lub wskazówek. (…)
10. W pierwszej kolejności należy zauważyć, że z opisu poszczególnych podkryteriów (nazw „segmentów” ujętych w pkt 1-3) oraz elementów, które się na nie składają – (opisanych w lit. a) – d)) - w żaden sposób nie wynika, dlaczego Zamawiający przyznał Odwołującemu akurat taką, a nie inną liczbę punktów. Ta sama uwaga dotyczy aktualnej oceny oferty Konsorcjum Scientia – nie wiadomo, z jakich powodów Zamawiający przyznał akurat taką (wysoką), a nie inną punktację, tym bardziej, że przy drugim wyborze oferty najkorzystniejszej dopatrzył się w systemie oferowanym przez Konsorcjum Scientia uchybień.
11. Przedziały punktowe odpowiadające poszczególnym podkryteriom („segmentom”) zostały bowiem ustalone przez Zamawiającego w sposób bardzo szeroki, elementy, które się w nich mieszczą nie mają przypisanych konkretnych wag punktowych, zaś same podkryteria nie stanowią zbiorów zamkniętych (wyliczenie elementów, które się w nich mieszczą ma wyłącznie przykładowy charakter, o czym świadczy użycie wyrażenia przyimkowego „w tym”). W konsekwencji nie sposób ustalić, jaką metodykę przyznawania punktacji w odniesieniu do zaprezentowanych systemów przyjął Zamawiający.
12. Takiej wiedzy nie dostarcza również uzasadnienie faktyczne przedstawione przez Zamawiającego w kartach ocen.

Nie wiadomo bowiem jaką wagę punktową mają poszczególne elementy oraz „uchybienia” opisane przez Zamawiającego oraz które z nich i w jakim zakresie zostały wzięte pod uwagę przez Zamawiającego przy przyznawaniu punktów. Część z nich trudno nawet przypisać do konkretnego podkryterium („segmentu”) – np. rzekome błędy systemowe opisane w zarzucie nr 1 niniejszego odwołania, czy „chaotyczny” sposób prezentacji systemu przez programistę, etc. nie mieszczą się w żadnej z tych kategorii. Podobną uwagę można zgłosić do cech, które Zamawiający uznaje za zalety systemu. Zamawiający w krótkim uzasadnieniu, acz niezwykle pozytywnym z punktu widzenia Konsorcjum Scientia, Zamawiający nie wyjaśnia jakie dokładnie przełożenie na przyznaną punktację mają cechy systemów oferowanych przez Konsorcjum.

1. Nadto, część z elementów pojawia się jednocześnie w kilku podkryteriach (np. pkt 1d) - „prosty i nowoczesny wygląd Systemów” oraz pkt 3a) - „prostota i estetyka projektu graficznego aplikacji” albo 1c) - „szybka i łatwa nawigacja po Systemach” oraz 2b) - „łatwość wyszukiwania zawartości na platformie”), co czyni iluzorycznym przyjęty przez Zamawiającego podział oraz powoduje, że za ten sam element może być punktowany nawet dwu- lub trzykrotnie, w ramach różnych podkryteriów.
2. Tym samym należy stwierdzić, że Zamawiający, w ramach poszczególnych podkryteriów („segmentów”), przyznawał punkty w sposób całkowicie dowolny, subiektywny, a w konsekwencji – w przypadku pierwszej oceny przyznanej Odwołującemu – dyskryminacyjny. Przyznana punktacja nie koresponduje z uzasadnieniem faktycznym przedstawionym przez Zamawiającego w Karcie oceny oraz rozmija się z rzeczywistością.
3. W razie nieuwzględnienia zarzutów nr 1 i 2 odwołania, Odwołujący stawia zarzut ewentualny polegający na zaniechaniu unieważnienia Postępowania z uwagi na wystąpienie niemożliwej do usunięcia wady, uniemożliwiającej zawarcie niepodlegającej unieważnieniu umowy w sprawie zamówienia publicznego.
4. Wada ta polega zaś na tym, że opis pozacenowego kryterium oceny ofert pn. „prezentacja systemów IW RS i eCRF” oraz zasady przyznawania punktacji w ramach tego kryterium zostały ustalone przez Zamawiającego w sposób niejednoznaczny oraz pozostawiają Zamawiającemu nieograniczoną swobodę wyboru najkorzystniejszej oferty, jak również uniemożliwiają weryfikację i porównanie ofert złożonych w Postępowaniu. (…)
5. Wada ta ma charakter nieusuwalny, co winno skutkować unieważnieniem Postępowania na podstawie art. 255 pkt 6 PZP w zw. z art. 457 ust. 1 pkt 1 PZP. Wszelkie, ewentualne próby doprecyzowania dokumentacji Zamówienia w tym zakresie na obecnym etapie (np. poprzez uszczegółowienie zasad przyznawania punktacji w poszczególnych kategoriach lub nadanie im konkretnych wag), należałoby zaś uznać za spóźnione oraz prowadzące do niedopuszczalnej zmiany treści SWZ po terminie składania ofert. (…)” W związku z powyższym odwołujący wniósł o nakazanie zamawiającemu:
6. unieważnienia czynności wyboru oferty najkorzystniejszej oraz odrzucenia oferty Odwołującego, 2)dokonania ponownego badania i oceny ofert z uwzględnieniem oferty Odwołującego, 3)przyznania Odwołującemu co najmniej 65/100 pkt (tj. po przeliczeniu zgodnie z algorytmem oceny ofert – co najmniej 20,74/30 pkt) w ramach pozacenowego kryterium oceny ofert pn. „prezentacja systemów IWRS i eCRF”, 4)wyboru oferty Odwołującego jako najkorzystniejszej, 5)ewentualnie – w przypadku nieuwzględnienia zarzutów nr 1 i 2 odwołania – unieważnienia postępowania.

Pismem z dnia 17.07.2023 r. wykonawcy wspólnie ubiegający się o zamówienie: SCIENTIA CRO sp. z o.o., ul.

Michała Kleofasa Ogińskiego 2, 85-092 Bydgoszcz oraz SCIENTIA REASERCH INSTITUTE sp. z o.o., ul. Michała Kleofasa Ogińskiego 2, 85-092 Bydgoszcz, zgłosili przystąpienie do postępowania odwoławczego po stronie zamawiającego. Ww. wykonawcy nie dopełnili jednak obowiązku wynikającego z art. 525 ust. 2 ustawy Pzp, tj. obowiązku przesłania kopii przystąpienia odwołującemu. W tym stanie rzeczy Izba nie dopuściła ww. wykonawców do postępowania odwoławczego w charakterze jego uczestnika.

W dniu 25.07.2023 r. zamawiający złożył odpowiedź na odwołanie, w której wniósł o jego oddalenie.

W trakcie rozprawy strony podtrzymały swoje stanowiska w sprawie.

Krajowa Izba Odwoławcza ustaliła, co następuje:

Przedmiotem zamówienia jest usługa kompleksowego nadzoru nad realizacją niekomercyjnego badania klinicznego pn.: „Randomizowane, podwójnie zaślepione, kontrolowane placebo badanie oceniające wpływ allopurynolu na ryzyko zdarzeń sercowo-naczyniowych u pacjentów z wysokim i bardzo wysokim ryzykiem sercowo-naczyniowym, z uwzględnieniem obecności zespołu Long-COVID” oraz zapewnienie oprogramowania do randomizacji uczestników badania i oprogramowania eCRF.

W pkt 15 specyfikacji warunków zamówienia (dalej: „SW Z”) Zamawiający wskazał następujące kryteria oceny ofert: - cena – 60%, - doświadczenie osób wykonujących usługę – 10%, - prezentacja systemów IWRS i eCRF – 30%.

W opisie kryterium „prezentacja systemów IW RS i eCRF” Zamawiający wskazał: „Wynik prezentacji systemu eCRF zgodnie z Regulaminem prezentacji (załącznik nr 9 do SW Z) - propozycji opracowania systemu do randomizacji uczestników badania (IW RS) oraz Elektronicznej Karty Obserwacji Klinicznej (eCRF, ang. Electronic Case Report Form) do badania ALL-VASCOR”.

Ilość punktów w ww. kryterium miała być obliczana wg następującego wzoru: liczba zdobytych punktów badanej oferty P = ------------------------------------------------------------- x 30 najwyższa liczba zdobytych punktów spośród zakwalifikowanych ofert

W załączniku nr 9 do SWZ, tj. w Regulaminie prezentacji, Zamawiający wskazał m.in.:

1. Przez błąd Zamawiający rozumie niepoprawne funkcjonowanie Systemów, niestabilność, spowolnienie działania systemów lub inne zdarzenie znacząco utrudniające lub uniemożliwiające wykonanie określonej operacji.
2. W pkt 21 niniejszego dokumentu przedstawiony jest scenariusz. Prezentacja wszystkich widoków i funkcjonalności wymienionych w scenariuszu jest obowiązkowa. Brak zaprezentowania któregokolwiek z punków wymienionych w scenariuszu będzie skutkował uznaniem oferty za niezgodną z SWZ i taka oferta zostanie odrzucona.
3. Zamawiający dopuszcza wystąpienie nie więcej niż 3 błędów niezależnie od tego czy zostaną naprawione czy nie.
4. Jeżeli w trakcie prezentacji niezależnie od wykorzystanej funkcjonalności Systemów dojdzie do wystąpienia większej liczby błędów niż wskazana w p. 16, Zamawiający zakończy prezentację uznając, że Systemy nie zapewniają odpowiedniej stabilności. W takim przypadku oferta tego Wykonawcy zostanie uznana za niezgodną z SW Z i zostanie odrzucona.
5. Jeżeli w trakcie prezentacji wystąpi błąd, który nie będzie mógł być naprawiony w trakcie prezentacji Zamawiający zakończy prezentację uznając, że Systemy nie zapewniają odpowiedniej stabilności. W takim przypadku oferta tego Wykonawcy zostanie uznana za niezgodną z SWZ i zostanie odrzucona.
6. Na potrzeby prezentacji Wykonawca dostarczy skonfigurowane Systemy, w których znajdować się będą wszelkie dane niezbędne do przeprowadzenia prezentacji wg załączonego scenariusza. Ponadto w ramach Systemów powinny znajdować się konta użytkowników przypisanych do grup o różnych poziomach dostępu w tym m.in. Badacz, Monitor, koordynator oraz inne niezbędne do przeprowadzenia prezentacji.
7. Scenariusz prezentacji:
8. Prezentacja 2 wybranych przez Wykonawcę widoków w module IW RS oraz2 wybranych przez Wykonawcę widoków w eCRF; 2)utworzenie nowego konta użytkownika w module IWRS; 3)utworzenie nowego konta użytkownika w module eCRF; 4)wprowadzenie do screeningu 1 uczestnika badania, następnie włączenie do badania, zrandomizowanie do jednej z dwóch grup. Randomizacja z uwzględnieniem płci i wieku; 5)w module eCRF uzupełnienie danych uczestnika z pkt 4) dotyczących spełniania kryteriów włączenia do badania (kryteria tożsame z protokołem badania ALLVASCOR) przez użytkownika o roli koordynator; 6)na wizycie o nazwie W2 dodanie załącznika w formacie .csv przez użytkownika o roli badacz. Załącznik zostanie przekazany przez Zamawiającego w trakcie prezentacji; 7)pobranie załącznika opisanego w pkt 6) przez innego użytkownika o roli statystyk; 8)utworzenie, przez użytkownika o roli Monitor, zapytania (ang. query) dot. danych wprowadzonych w pkt 5); 9)odpowiedź, przez użytkownika o roli Badacz, na zapytanie utworzone w pkt 8).
9. W kryterium pn. Prezentacja systemów IW RS i eCRF Zamawiający przyzna Wykonawcy punkty dokonując oceny propozycji opracowania platformy w zakresie nw. segmentów:

Lp.

Segment zakresu funkcjonalności

1

Funkcjonalność, intuicyjność i łatwość obsługi – w tym: a) niski stopień skomplikowania obsługi, b) prosty sposób korzystania z dostępnych funkcjonalności, c) szybka i łatwa nawigacja po Systemach, d) prosty i nowoczesny wygląd Systemów.

2 Skuteczność i poprawność zarządzania danymi na platformie – w tym: a) intuicyjność interfejsu, b) łatwość wyszukiwania zawartości na platformie, c) czytelny i prosty dostęp do treści i odnośników, d) łatwość i elastyczność generowania raportów dotyczących uczestników badania na platformie.

3 Rozwiązania graficzne – w tym: a) prostota i estetyka projektu graficznego aplikacji, b) przejrzysty układ treści.

RAZEM za wszystkie segmenty zakresu funkcjonalności

Maksymalna punktacja 45 pkt

35 pkt

20 pkt 100 pkt

Wykonawcy powinni uwzględnić w prezentacji widok kont użytkowników o różnych poziomach dostępu, np. Monitor, Koordynator, Badacz.

W postępowaniu złożono dwie oferty. Obaj wykonawcy zostali zaproszeni na 15.05.2023 r. do prezentacji oferowanych przez siebie systemów.

Z karty oceny prezentacji systemu Odwołującego z dnia 18.05.2023 r. wynika, że zaprezentowano wszystkie widoki i funkcjonalności przewidziane w scenariuszu (we wszystkich wierszach tabeli podkreślono odpowiedzi: „TAK”).

W poszczególnych kryteriach systemom Odwołującego przyznano następującą ilość punktów:

Lp.

1

Segment zakresu funkcjonalności

Funkcjonalność, intuicyjność i łatwość obsługi – w tym: a) niski stopień skomplikowania obsługi, b) prosty sposób korzystania z dostępnych funkcjonalności, c) szybka i łatwa nawigacja po Systemach, d) prosty i nowoczesny wygląd Systemów.

2 Skuteczność i poprawność zarządzania danymi na platformie – w tym: a) intuicyjność interfejsu, b) łatwość wyszukiwania zawartości na platformie, c) czytelny i prosty dostęp do treści i odnośników, d) łatwość i elastyczność generowania raportów dotyczących uczestników badania na platformie.

3 Rozwiązania graficzne – w tym: a) prostota i estetyka projektu graficznego aplikacji, b) przejrzysty układ treści.

RAZEM za wszystkie segmenty zakresu funkcjonalności

Maksymalna punktacja 20 pkt

10 pkt

10 pkt 40 pkt

W karcie oceny wskazano również:

„System do randomizacji uczestników badania (IW RS) oraz Elektronicznej Karty Obserwacji Klinicznej (eCRF, ang.

Electronic Case Report Form) do badania ALL-VASCOR prezentowany przez KO-MED Centra Kliniczne Sp. z o.o. nie spełnił większości oczekiwań Zamawiającego.

W trakcie prezentacji systemu pojawiały się błędy systemowe. Wykonawca prezentował system głównie z poziomu uprawnień administratora, który w domyśle ma wszystkie uprawnienia i przypisane role w systemie. Wystąpiły następujące błędy:

1. Błąd po zalogowaniu na użytkownika o roli „monitor” — błąd uniemożliwiał wykonanie operacji na zalogowanych użytkowniku — usunięty w trakcie prezentacji.
2. Błąd po zalogowaniu na użytkownika o roli „badacz” — błąd uniemożliwiał wykonanie operacji na zalogowanych użytkowniku — usunięty w trakcie prezentacji.
3. Błąd po zalogowaniu na użytkownika o roli „koordynator”— błąd uniemożliwiał wykonanie operacji na zalogowanych użytkowniku — usunięty trakcie prezentacji.
4. Błąd po wykonaniu akcji zapisu na uzupełnionym formularzu — Wykonawca poinformował, że jest to komunikat informujący o błędnie w pełnionym formularzu. Mimo wystąpienia komunikatu z błędem wypełniony formularz został zapisany.
5. Błąd po wejściu w zadanie CRF-1263 - usunięty w trakcie prezentacji.

Zgodnie z Regulaminem prezentacji propozycji opracowania systemu o randomizacji uczestników badania (IWRS) oraz Elektronicznej Karty Obserwacji Klinicznej (eCRF, ang. Electronic Case Report Form) do badania ALL-VASCOR, pkt 16 - Zamawiający dopuszczał wystąpienie nie więcej niż 3 błędów niezależnie od tego czy zostaną naprawione czy nie.

Zalogowanie na użytkownika o innej roli zmieniło dostępne w menu opcje — zgodnie z posiadanymi uprawnieniami.

Prezentacja odbywała się na polskiej wersji systemu, wiele z wyświetlanych w menu elementów i funkcjonalności była w języku angielskim. Prezentowany system posiadał wbudowany moduł do modyfikacji i tworzenia m.in. formularzy — moduł był w języku angielskim.

W prezentowanym systemie nie zawsze pojawiały się komunikaty o prawidłowym lub nieprawidłowym zapisaniu danych w formularzu i innych czynnościach wykonywanych przez zalogowanego użytkownika wymagających zatwierdzenia/zapisania danych. Użytkownik, któremu zostało utworzone konto w systemie nie otrzymuje żadnego powiadomienia o utworzeniu konta. W formularzach pojawiał się znacznik — oznacz jako gotowe — prezentujący poinformował, że znacznik nie powinien być widoczny dla prezentowanego uprawnienia i wymaga to modyfikacji w systemie.

Prezentowany system nie posiadał możliwości eksportu danych do standardowych formatów np. .xlsx, .pdf — co jest jednym z wymagań Zamawiającego. Brak funkcji eksportu danych może prowadzić do izolacji i ograniczenia potencjału systemu. Wykonawca nie zaprezentował miejsca, w którym możliwe jest generowanie raportów dotyczących uczestników badania na platformie.

W opinii Zamawiającego prezentowany system nie wyglądał nowocześnie — system posiada skomplikowany interfejs użytkownika (dane w dwóch językach), który utrudnia użytkownikom nawigację i korzystanie z funkcji. Trudności w znalezieniu potrzebnych opcji mogą powodować frustrację i zniechęcenie użytkowników.

Zmiana formularza na nową wersję nie wymagała aktualizacji wypełnionych już formularzy, które zostały uzupełnione do dnia wprowadzenia nowej wersji. System posiadał moduł do zarządzania uprawnieniami — budowanie grup i ról.

System był prezentowany przez programistę, chaotycznie, w sposób nieczytelny dla potencjalnego użytkownika, nie posiadającego wiedzy informatycznej.

Z uwagi na pojawiające się błędy w prezentowanym przez Wykonawcę systemie - których usunięcie zajęło Wykonawcy znaczącą ilość czasu - Zamawiający nie był w stanie ocenić całości prezentowanego systemu.”

Pismem z dnia 31.05.2023 r. Zamawiający poinformował o wyborze jako najkorzystniejszej oferty konsorcjum Scientia oraz o tym, że nie odrzucił żadnej oferty. Oferta konsorcjum Scientia uzyskała 88,54 pkt w kryteriach oceny ofert, w tym 30 pkt w kryterium „prezentacja systemów IW RS i eCRF” (94 pkt za prezentację w karcie oceny). Oferta Odwołującego uzyskała 82,77 pkt, w tym 12,77 pkt w kryterium „prezentacja systemów IW RS i eCRF” (40 pkt za prezentację w karcie oceny). Zamawiający nie podał uzasadnienia faktycznego przyznanej punktacji.

W dniu 12.06.2023 r. Odwołujący wniósł odwołanie, w którym zakwestionował m.in. „zaniechanie podania uzasadnienia faktycznego w zakresie punktacji przyznanej wykonawcom w ramach pozacenowego kryterium oceny ofert pn. „prezentacja systemów IW RS i eCRF””. W dniu 20.06.2023 r. Zamawiający poinformował o unieważnieniu czynności wyboru najkorzystniejszej oferty i czynności oceny ofert. Postanowieniem z dnia 22.06.2023r., sygn. akt KIO 1683/23, Izba umorzyła postępowanie odwoławcze na podstawie art. 568 pkt 2 ustawy Pzp.

Z drugiej karty oceny prezentacji systemu Odwołującego z dnia 30.06.2023 r. wynika, że zaprezentowano wszystkie widoki i funkcjonalności przewidziane w scenariuszu (we wszystkich wierszach tabeli podkreślono odpowiedzi:

„TAK”). Systemom Odwołującego nie przyznano żadnych punktów w poszczególnych kryteriach, ponieważ w trakcie prezentacji stwierdzono „wystąpienie 6 błędów co zgodnie z pkt 16 Regulaminu prezentacji skutkuje odrzuceniem oferty”.

W ww. karcie oceny wskazano również, że system „prezentowany przez KO-MED Centra Kliniczne Sp. z o.o. nie spełniał większości oczekiwań Zamawiającego. W trakcie prezentacji Wykonawca zaprezentował 2 wybrane widoki w module IW RS oraz 2 w eCRF. Utworzył konta w obu modułach. Wprowadził do screeningu 1 uczestnika badania, następnie włączył do badania i zrandomizował do jednej z dwóch grup, z uwzględnieniem płci i wieku. (…) Wykonawca prezentował system głównie z poziomu uprawnień administratora, który w domyśle ma wszystkie uprawnienia i przypisane role w systemie, a dopiero na prośbę komisji, role wymagane scenariuszem tworzone były przez Wykonawcę podczas prezentacji.

Podczas Prezentacji Systemu Komisja odnotowała wystąpienie następujących błędów:

1. Błąd po zalogowaniu na użytkownika o roli „monitor” - błąd uniemożliwiał wykonanie operacji na zalogowanych użytkowniku - usunięty w trakcie prezentacji.
2. Błąd po zalogowaniu na użytkownika o roli „badacz” - błąd uniemożliwiał wykonanie operacji na zalogowanych użytkowniku - usunięty w trakcie prezentacji.
3. Błąd po zalogowaniu na użytkownika o roli „koordynator” błąd uniemożliwiał wykonanie operacji na zalogowanym użytkowniku — usunięty w trakcie prezentacji.
4. Błąd po wykonaniu akcji zapisu na uzupełnionym formularzu - Wykonawca poinformował, że jest to komunikat informujący o błędnie wypełnionym formularzu. Mimo wystąpienia komunikatu z błędem wypełniony formularz został zapisany.
5. Błąd po wejściu w zadanie CRF-1263 - usunięty w trakcie prezentacji.
6. Błąd w postaci nieprawidłowego sposobu działania pola „oznacz jako gotowe”, dostępnego przy wypełnianiu formularza.

W trakcie prezentacji, po zalogowaniu na jedno z nowo utworzonych kont („monitor”, „badacz”, „koordynator”) Wykonawca wypełnił formularz i nie oznaczył pola „oznacz jako gotowe”, formularz został zapisany i zinterpretowany jako wersja końcowa i trafił na dalszy etap procesu. Na pytanie Zamawiającego o powód zaistnienia takiego faktu, Wykonawca stwierdził, że pole „oznacz jako gotowe” nie powinno się pojawić w formularzu. W takim przypadku mamy tutaj do czynienia z błędem, gdzie system pomimo braku oznaczenia pola „oznacz jako gotowe” pozwolił na przekazanie zadania na dalszy etap procedowania. Innymi słowy zapisany przez zalogowanego użytkownika formularz w postaci „brudnopisu” trafił na dalszy etap procedowania. (…) W związku z wystąpieniem 6 błędów (wskazanych powyżej) podczas prezentacji Systemu, oferta Wykonawcy została uznana za niezgodną z SW Z i w związku z tym podlega odrzuceniu (w konsekwencji nie zostały jej przyznane żadne punkty). (…) Odnosząc się najpierw do błędów opisanych w pkt 1-3 należy wskazać, iż podczas prezentacji KO-MED Centra Kliniczne Sp. z o.o. miały miejsce zdarzenia, w następującej kolejności: a)KO-MED Centra Kliniczne Sp. z o.o. na prośbę Zamawiającego utworzył i zalogował się na konto użytkownika z uprawnieniem „monitor”,

b)niezwłocznie po zalogowaniu na utworzone nowe konto pojawił się błąd systemu, który uniemożliwił korzystanie przez zalogowanego użytkownika z systemu; c) KO-MED Centra Kliniczne Sp. z o.o. wylogował się z użytkownika „monitor”, założył konto użytkownika z uprawnieniami „badacz”; d)Powtórzyła się sytuacja opisana w lit. b; (…) Co istotne - nie wskazano w żadnym miejscu Regulaminu, że Zamawiający będzie się odwoływał w tym zakresie do jakiegoś branżowego rozumienia pojęcia „błędu”, o którym wspomina w odwołaniu KO-MED Centra Kliniczne Sp. z o.o. Definicja błędu wprowadzona przez Zamawiającego jest zaś nieprzypadkowa. Celem Zamawiającego było bowiem uchwycenie w kryteriach oceny ofert perspektywy przeciętnego użytkownika (a więc wcale nie „branżysty”) na funkcjonowanie prezentowanego systemu. (…) Definicja błędu podyktowana przez Zamawiającego mówi, że „błąd” to jakieś „zdarzenie” (znacząco utrudniające lub uniemożliwiające wykonanie danej operacji), a zgodnie z definicjami słownikowymi „zdarzenie” to coś, co stało się w określonym miejscu i czasie. Nie ulega wątpliwości, że jeżeli ktoś np. chce się zalogować na konto użytkownika z uprawnieniem x i pojawia się tzw. błąd systemu, który uniemożliwia dalsze korzystanie z systemu — to jest to jedno zdarzenie. Gdy następnie w momencie próby zalogowania na konto użytkownika z innymi uprawnieniami (a więc gdy mamy do czynienia z innym poleceniem korzystającego) pojawia się błąd systemu — to jest to drugie zdarzenie, a więc i drugi błąd itd.

Z perspektywy użytkownika nie ma znaczenia, czy dane zdarzenie uniemożliwiające korzystanie z systemu ma charakter generyczny, czy przyczyna powstaje na etapie projektowania lub tworzenia oprogramowania, czy zawarta jest w jego kodzie źródłowym - istotne jest to, że każde kolejne zdarzenie uniemożliwia prawidłowe korzystanie z funkcjonalności systemu. (…) Gdyby Zamawiający chciał ustalić w dokumentach zamówienia zasadę, zgodnie z którą odrzuceniu podlega oferta wykonawcy, w przypadku którego w prezentacji wystąpiły więcej niż 3 błędy, ale z tym zastrzeżeniem że każdy z tych błędów musi mieć inną przyczynę źródłową, to byłoby to wyrażone wprost w Regulaminie prezentacji. Świadomie jednak Zamawiający takiej decyzji nie podjął, gdyż uznał że do odrzucenia oferty wystarczą jakiekolwiek 4 błędy znacząco utrudniające lub uniemożliwiające wykonanie danej operacji (nawet gdy ich przyczyna źródłowa jest identyczna). (…) Przy tak jasno sprecyzowanych oczekiwaniach Zamawiającego nie sposób zatem uznać argumentacji KO-MED Centra Kliniczne Sp. z o.o. co do rzekomej tożsamości błedów nr 1-3, (…) Błąd 4) i 6) (…) Jak wynika z pkt 3 Załącznika nr 1 Specyfikacji systemu eCRF do Opisu Przedmiotu Zamówienia stanowiącego Załącznik nr 3 do SW Z - Pola do wprowadzania danych zapewniają precyzyjność wprowadzanych danych w sposób możliwy do późniejszej analizy statystycznej, wyposażone w funkcje walidujące weryfikujące poprawność i kompletność wprowadzanych danych, ich zakres oraz logikę formularzy.

Dla użytkownika, który korzysta z systemu pojawienie się komunikatu o błędzie jest równoznaczne z błędem i poszukiwaniem jego przyczyn. Jeżeli nawet komunikat taki nie skutkuje niemożliwością dalszego procedowania procesu to pozostawia użytkownika w przeświadczeniem, że w wypełnionym formularzu występuje błąd, który powinien zostać poprawiony, jednakże użytkownik nie ma możliwości zdiagnozowania, w którym miejscu on faktycznie wystąpił.

Wykonawca KO-MED Centra Kliniczne Sp. o.o. w trakcie prezentacji, po zalogowaniu na jedno z nowo utworzonych kont („monitor”, „badacz”, „koordynator”) wypełnił formularz i nie oznaczył pola „oznacz jako gotowe”, formularz został zapisany i zinterpretowany jako wersja końcowa i trafił na dalszy etap procesu. Na pytanie Zamawiającego o powód zaistnienia takiego faktu, KO-MED stwierdził, że pole „oznacz jako gotowe” nie powinno się pojawić w formularzu i wymaga to modyfikacji w systemie. Jednakże na etapie prezentacji sytuacja ta stanowi dla użytkownika zdarzenie, które nie powinno mieć miejsca i samo w sobie jest błędem. Ocenie podlega system na etapie prezentacji, a nie system, który poprawiony zostanie na skutek błędów zdiagnozowanych podczas prezentacji.

Wnioskować więc można, że albo prezentowany system jest w trakcie tworzenia albo sam Odwołujący nie posiada wiedzy o jego działaniu. (…) Stwierdzić też należy, że przypadek powyżej— zapisanie uzupełnionego formularza bez zaznaczenia opcji „oznacz jako gotowe” i jego dalsze procedowanie skutkuje błędem numer 6. Zgodnie z opisem KO-MED w zakresie działania pola „oznacz jako gotowe” system nie powinien pozwolić na procedowanie zadania, gdzie wypełniony i zapisany przez użytkownika formularz, nie został oznaczony polem „oznacz jako gotowe”. W trakcie prezentacji KO-MED uzupełnił formularz zadania, ale nie oznaczył pola „oznacz jako gotowe”, co zgodnie z opisem Wykonawcy powinno zostać zinterpretowane przez system jako „brudnopis”, a nie zostało i wypełniony formularz zadania trafił na kolejny etap procedowania. Dodatkowo samo pojawienie się w formularzu opcji „oznacz jako gotowe”, które w tłumaczeniu Wykonawcy nie powinno być w tym miejscu dostępne - w znaczący sposób wpływa na niezrozumienie działania poszczególnych funkcjonalności prezentowanego Systemu. (…) System wykorzystywany będzie do monitorowania badania klinicznego i nie może być mowy o tym, żeby użytkownik nie miał pewności zarówno co do poprawności działania systemu jak i poprawności wprowadzonych danych od których zależeć może zdrowie pacjentów. (…) Błąd nr 5) (…) W toku prezentacji, po zalogowaniu na jednego z nowo utworzonych użytkowników (monitor, badacz, koordynator) Wykonawca dokonywał uzupełniania formularza zadania na jednym z jego etapów procedowania. W formularzu zadania, dostępny był link z przejściem do szczegółów zadania (dostęp do informacji wprowadzonych do zadania na jednym z wcześniejszych etapów procedowania, oznaczony numerem: CRF-1263), na prośbę Zamawiającego prezentujący kliknął w wyświetlony w formularzu link - CRF-1263 — po wykonaniu czynności pojawił się błąd. W konsekwencji szczegóły zadania nie zostały wyświetlone i tym samym zalogowany użytkownik nie mógł się z nimi zapoznać.

Wskazać należy, że sam Wykonawca w trakcie prezentacji potwierdził, że podgląd karty zadania na zalogowanym użytkowniku powinien otworzyć się poprawnie i na potwierdzenie powyższego dokonał naprawy błędu. Bez możliwości otwarcia podglądu „karty zadania” użytkownik nie mógł się zapoznać z jego szczegółami, co w skrajnym przypadku mogłoby skutkować błędnym obsłużeniem zadania.”

Pismem z dnia 03.07.2023 r. Zamawiający poinformował o ponownym wyborze jako najkorzystniejszej oferty konsorcjum Scientia oraz o odrzuceniu oferty Odwołującego na podstawie art. 226 ust. 1 pkt 5 ustawy Pzp. Załącznikiem do ww. pisma była karta oceny z dnia 30.06.2023 r. stanowiąca uzasadnienie odrzucenia oferty Odwołującego.

Krajowa Izba Odwoławcza rozpoznając na rozprawie złożone odwołanie i uwzględniając dokumentację z niniejszego postępowania o udzielenie zamówienia publicznego oraz stanowiska stron złożone na piśmie i podane do protokołu rozprawy, zważyła, co następuje.

W pierwszej kolejności Izba ustaliła wystąpienie przesłanek z art. 505 ust. 1 ustawy Pzp, tj. istnienie po stronie odwołującego interesu w uzyskaniu zamówienia oraz możliwość poniesienia przez niego szkody z uwagi na kwestionowane zaniechania zamawiającego.

Ponadto Izba stwierdziła, że odwołanie podlega odrzuceniu w zakresie zarzutu nr 3, tj. zarzutu dotyczącego naruszenia art. 255 pkt 6 w zw. z art. 457 ust. 1 pkt 1 w zw. z art. 240 ust. 1 w zw. z art. 16 pkt 1 – 3 ustawy Pzp poprzez zaniechanie unieważnienia postępowania z uwagi na wystąpienie niemożliwej do usunięcia wady uniemożliwiającej zawarcie niepodlegającej unieważnieniu umowy w związku z takim opisem pozacenowego kryterium oceny ofert pn.

„prezentacja systemów IW RS i eCRF” i zasad przyznawania punktacjiw tym kryterium, który jest niejednoznaczny, pozostawia Zamawiającemu nieograniczoną swobodę wyboru najkorzystniejszej oferty oraz uniemożliwia weryfikację i porównanie ofert. Izba stwierdziła, że zarzut ten, mimo powołania przez Odwołującego ww. przepisów, polega w istocie na zakwestionowaniu opisu ww. kryterium oceny ofert, czyli na zakwestionowaniu treści SW Z, z którą Odwołujący mógł się zapoznać od dnia jej opublikowania przez Zamawiającego, czyli od dnia 24.03.2023 r. Tym samym 10-dniowy termin na wniesienie odwołania, zgodnie z art. 515 ust. 2 pkt 1 ustawy Pzp, upłynął w dniu 03.04.2023 r. Dlatego też Izba uznała odwołanie w zakresie zarzutu nr 3 za wniesione po upływie terminu określonego w ustawie, co oznacza, że podlega ono odrzuceniu w oparciu o art. 528 pkt 3 ustawy Pzp.

Jednocześnie odnosząc się do powołanych przez Odwołującego spraw połączonych o sygn. akt KIO 1687/22 i 1691/22, przede wszystkim należy zauważyć, że żaden z odwołujących w tych sprawach nie podniósł w odwołaniu na etapie wyboru oferty zarzutu odnoszącego się do treści SW Z, więc Izba nie miała podstaw do odrzucenia ww. odwołań jako spóźnionych w zakresie któregokolwiek zarzutu, bo żaden zarzut nie dotyczył treści SW Z. Izba rzeczywiście w ww. sprawach samodzielnie stwierdziła, że zachodzi podstawa do unieważnienia postępowania o zamówienie publiczne z powodu sprzeczności w treści SW Z skutkującej złożeniem nieporównywalnych ofert, ale do takiego wniosku Izba doszła rozpoznając zawarte w odwołaniu o sygn. akt KIO 1687/22 zarzuty odnoszące się do oceny ofert, a nie do treści SW Z.

Izba jest bowiem związana zarzutami zawartymi w odwołaniu (art. 555 ustawy Pzp), ale nie jest związana żądaniami odwołującego. Zatem wniesienie zarzutu spóźnionego prowadzi do odrzucenia odwołania w zakresie tego zarzutu (art.

528 pkt 3 ustawy Pzp), ale niezależnie od tego Izba rozpoznając zarzuty wniesione w terminie ustawowym może, uwzględniając odwołanie, nakazać zamawiającemu dokonanie czynności innych niż wskazane w żądaniach odwołującego.

Odnosząc się do pozostałych zarzutów zawartych w odwołaniu, w pierwszej kolejności należy podkreślić, że zgodnie z art. 17 ust. 2 ustawy Pzp, zamówienia udziela się wykonawcy wybranemu zgodnie z przepisami ustawy.

Przepis ten znajduje się w Dziale I Rozdziale 2 ustawy Pzp pn. „Zasady udzielania zamówień”. Oznacza to, że udzielenie zamówienia wyłącznie wykonawcy wybranemu zgodnie z przepisami ustawy Pzp stanowi jedną z podstawowych zasad udzielania zamówień publicznych. Konsekwencją respektowania ww. zasady jest m.in. to, że zamawiający, czy to po uzyskaniu informacji z zewnątrz, czy też z własnej inicjatywy, jeśli dostrzeże błąd w czynnościach podejmowanych przez siebie w postępowaniu, do czasu zawarcia umowy z wybranym wykonawcą zobowiązany jest do ich unieważnienia i powtórzenia w celu doprowadzenia do stanu zgodnego z przepisami ustawy Pzp. Obowiązek ten wynika także z art. 16 ustawy Pzp przewidującego zasady uczciwej konkurencji, równego traktowania wykonawców, przejrzystości i proporcjonalności oraz z orzecznictwa Izby, w tym m.in. z wyroku z dnia 20.08.2020 r. o sygn. akt KIO 1542/20, zachowującego swą aktualność na gruncie przepisów obecnie obowiązującej ustawy, w którym stwierdzono:

„Podkreślenia wymaga, że Zamawiający ma prawo weryfikowania i ewentualnego korygowania swoich czynności. Żaden przepis ustawy (w tym również żaden z przepisów, których naruszenie zarzuca Odwołujący) nie stoi na przeszkodzie temu, aby Zamawiający, kiedy poweźmie wątpliwości co do prawidłowości swoich wcześniejszych działań, unieważnił dokonaną czynność i ponownie przeanalizował, czy była ona prawidłowa. Biorąc pod uwagę, że celem postępowania przetargowego jest dokonanie zgodnego z przepisami wyboru oferty i udzielenia zamówienia, to w sytuacji, gdy ujawniają się przesłanki, które budzą jakąkolwiek wątpliwość, autoweryfikacja czynności Zamawiającego jest nie tylko dopuszczalna, ale i uzasadniona. Zamawiający bowiem musi działać z poszanowaniem wynikających z art. 7 ust. 1 ustawy Pzp zasad zachowania uczciwej konkurencji i równego traktowanie wykonawców oraz proporcjonalności i przejrzystości”.

Ww. obowiązek udzielenia przez zamawiającego zamówienia tylko wykonawcy wybranemu zgodnie z przepisami ustawy nie może zostać zniesiony przez postanowienia SW Z, w tym postanowienia dotyczące oceny próbki. Tym samym powołany przez Odwołującego pkt 17 Regulaminu prezentacji, przewidujący jej przerwanie i odrzucenie oferty w razie wystąpienia więcej niż 3 błędów, nie może być rozumiany w ten sposób, że po zakończeniu prezentacji Zamawiający nie może już odrzucić oferty. Innymi słowy, treść ww. pkt 17 i faktyczny brak przerwania prezentacji nie stoi na przeszkodzie temu, aby Zamawiający dostrzegając wadliwość dokonanej oceny ofert, unieważnił czynność wyboru oferty i powtórzył czynności badania i oceny ofert. Jak słusznie zwrócił uwagę Zamawiający: treść pkt 17 Regulaminu prezentacji nie wyznacza bowiem „okna czasowego” na odrzucenie oferty, po zamknięciu którego Zamawiający nie może dokonać ponownej oceny ofert, nawet jeśli zorientuje się, że poprzednio dokonana ocena była wadliwa. Takie rozumienie pkt 17 Regulaminu prezentacji nie pozwalałoby na zastosowanie art. 17 ust. 2 i art. 16 ustawy Pzp, a zatem stałoby w sprzeczności z podstawowymi zasadami udzielania zamówień. Nie chodzi przy tym o powtórzenie prezentacji próbki, czyli w tym wypadku – prezentacji systemów, ale o powtórzenie oceny tego, co wydarzyło się w trakcie prezentacji tej próbki. Powtórzenie tej oceny jest dopuszczalne i zasadne, jeśli Zamawiający poweźmie wątpliwości co do prawidłowości uprzednio dokonanych czynności.

Wobec ustalenia przez Izbę, że w przedmiotowej sprawie było dopuszczalne powtórzenie czynności badania i oceny ofert po zakończeniu prezentacji systemów, także w zakresie ewentualnego odrzucenia ofert, należy przejść do oceny, czy Zamawiający zasadnie odrzucił ofertę Odwołującego z powodu 6 błędów zidentyfikowanych w karcie oceny z dnia 30.06.2023 r. (czynność oceny ofert z pierwszej karty z dnia 18.05.2023 r. została unieważniona).

Błędy opisane przez Zamawiającego jako błędy nr 1 – 3 polegały na braku możliwości zalogowania się na konta użytkowników: monitor, badacz, koordynator. Odwołujący twierdzi, że mamy w tym wypadku do czynienia z jednym błędem, ponieważ jego przyczyna tkwi w jednej wadliwości kodu źródłowego i został on jednorazowo naprawiony poprzez usunięcie jednej linijki kodu źródłowego oraz dodanie dwóch linijek kodu źródłowego. Odwołujący wiąże zatem „błąd” z przyczyną jego powstania i w zależności od tej przyczyny ustala ilość błędów. Z takim stanowiskiem Odwołującego nie można się jednak zgodzić.

Po pierwsze, zgodnie z definicją zawartą w pkt 13 Regulaminu prezentacji, przez „błąd” Zamawiający rozumie niepoprawne funkcjonowanie systemów, niestabilność, spowolnienie działania systemów lub inne zdarzenie znacząco utrudniające lub uniemożliwiające wykonanie określonej operacji. Definicja ta nie zawiera żadnego odniesienia do przyczyny powstania błędu, zatem nie ma podstaw do tego, by w zależności od tej przyczyny uzależniać ustalenie, ile

błędów wystąpiło podczas prezentacji. Nie można także dokonywać wykładni ww. definicji zgodnie z „branżowym” podejściem forsowanym przez Odwołującego, czyli odnoszącym się do źródła stwierdzonego błędu. Jak już wskazano wyżej, definicja z pkt 13 Regulaminu prezentacji nie zawiera żadnego odniesienia do źródła błędu, zatem dokonywanie jej wykładni z uwzględnieniem takiego źródła jest bezpodstawne i na obecnym etapie postępowania mogłoby nawet prowadzić do naruszenia art. 137 ust. 1 ustawy Pzp (zakaz zmian SW Z po upływie terminu składania ofert). Jeżeli Odwołujący widział potrzebę powiązania „błędu” z przyczyną jego powstania, powinien był złożyć odwołanie na treść SW Z w terminie biegnącym od dnia jej opublikowania. Ponadto rację ma Zamawiający, który zwrócił uwagę, że uzależnienie wystąpienia błędów i ich ilości od przyczyny ich powstania uniemożliwiałoby dokonanie oceny przez osoby oceniające, które nie mają wiedzy o ww. przyczynach i nie mają dostępu do kodów źródłowych. Wbrew stanowisku Odwołującego, rozwiązaniem tej sytuacji nie mogłoby być wezwanie wykonawcy do złożenia wyjaśnień co do źródeł powstania błędu, gdyż wykorzystując brak możliwości weryfikacji tej kwestii przez Zamawiającego, wykonawcy mogliby składać dowolne korzystne dla siebie wyjaśnienia i w ten sposób wpływać na ocenę osób oceniających prezentację. Tym samym postulowane przez Odwołującego wzywanie wykonawców do wyjaśnień w ww. zakresie nie byłoby dopuszczalne i zgodne z art. 16 oraz art. 240 ust. 2 ustawy Pzp. Przy czym podkreślić należy, że obecne tu rozważania na temat wiedzy i dostępu Zamawiającego do kodów źródłowych oraz możliwości wyjaśniania tego przez wykonawców mają charakter jedynie dodatkowy, gdyż zasadnicze znaczenie w tej sprawie ma fakt, że definicja „błędu” w ogóle nie przewidywała ustalania ich wystąpienia i ilości w powiązaniu z przyczyną powstania tych błędów, dlatego argumentacja Odwołującego nie jest zasadna.

Po drugie, nie można zgodzić się z Odwołującym, że Zamawiający czyta definicję „błędu” wybiórczo, bo pomija wymieniony w niej na początku fragment o „niepoprawnym funkcjonowaniu systemów”, a skupia się na końcowym fragmencie o „innym zdarzeniu” znacząco utrudniającym lub uniemożliwiającym wykonanie określonej operacji.

Kolejność wymienienia okoliczności, które stanowią „błąd” nie ma w tym wypadku znaczenia, a co za tym idzie - nie ma podstaw do tego, by w pierwszej kolejności oceniać wydarzenia zaistniałe w trakcie prezentacji pod kątem wystąpienia „niepoprawnego funkcjonowania systemu”, co Odwołujący ponownie wiąże ze źródłem powstania błędu. Kluczowe bowiem jest w tym wypadku prawidłowe przypisanie tego, co wydarzyło się w trakcie prezentacji, do definicji „błędu”.

Po trzecie zatem, należy ocenić, czy prawidłowo Zamawiający uznał brak możliwości zalogowania się na kontach monitora, badacza i koordynatora za inne zdarzenia znacząco utrudniające lub uniemożliwiające wykonanie określonej operacji. Izba stwierdziła, że niemożność zalogowania rzeczywiście uniemożliwia wykonanie jakiejkolwiek operacji w systemie, zatem ocena Zamawiającego była właściwa. W tym miejscu należy zwrócić uwagę na argumentację Zamawiającego (znajdującą potwierdzenie w definicji „błędu” zawartej w pkt 13 Regulaminu prezentacji), który wskazał, że jego celem było uchwycenie w trakcie prezentacji perspektywy użytkownika systemów, nie zaś osób z branżowym wykształceniem informatycznym. Z punktu widzenia użytkowników systemu występujących w trzech różnych rolach, niemożność zalogowania się na koncie przez każdego z nich stanowi trzy odrębne błędy i trzy odrębne zdarzenia uniemożliwiające wykonanie określonej operacji. W związku z tym stwierdzenie trzech odrębnych błędów oznaczonych numerami 1 – 3 było, zdaniem Izby, prawidłowe.

Odnosząc się do błędów opisanych przez Zamawiającego jako błędy nr 4 i 6, należy przypomnieć, że polegały one na tym, że w trakcie prezentacji Odwołujący nie zaznaczył pola „oznacz jako gotowe”, pokazał się niesprecyzowany komunikat o błędzie, a mimo to formularz został zapisany (błąd nr 4) i przekazany do dalszego procedowania (błąd nr 6).

Odwołujący wyjaśnia, że formularz został prawidłowo zapisany jedynie w wersji roboczej, czyli jako „brudnopis”. Izba stwierdziła, że nawet jeśli faktycznie, zgodnie z argumentacją Odwołującego, w ww. sytuacji system zapisywał formularz jedynie jako „brudnopis”, to użytkownik powinien być o tym powiadomiony stosownym komunikatem. W przypadku braku takiego komunikatu, jeśli jednocześnie nie zostało zaznaczone pole „oznacz jako gotowe”, użytkownik pozostaje albo w przekonaniu, że formularz został zapisany jako ostateczny albo w niepewności, jaki jest status tego formularza. Brak pewności w tym zakresie czy wprowadzenie użytkownika w błąd może natomiast negatywnie przekładać się na badania kliniczne, do których wykonania systemy mają być wykorzystywane. Izba zgadza się przy tym z Odwołującym, że pojawianie się zbyt dużej ilości komunikatów ze strony systemu może powodować przeciążenie użytkownika, niemniej jednak istotne jest rozróżnienie, które komunikaty i w jakich sytuacjach są niezbędne, a które niepotrzebnie angażują uwagę użytkownika. Różnica między wersją roboczą formularza a jego wersją ostateczną, ma znaczenie dla korzystania z systemu, co oznacza, że nieprawidłowe zapisywanie i dalsze procedowania formularza, a nawet niejasność co do jego statusu, zasadnie zostały zidentyfikowane przez Zamawiającego jako błędy.

Sytuacji dotyczącej błędów nr 4 i 6 nie poprawiło zapewne, opisane w karcie oceny z dnia 30.06.2023 r., zachowanie osoby prezentującej system ze strony Odwołującego, która stwierdziła, że pole „oznacz jako gotowe” w ogóle nie powinno się w tym miejscu systemu pojawić. Należy przy tym ponownie podkreślić, że ocenie podlega system okazywany w trakcie prezentacji, zatem wykonawca powinien być do niej szczególnie dobrze przygotowany zarówno pod względem technicznego działania samego systemu, jak i pod względem wiedzy i umiejętności komunikacyjnych osoby prezentującej system.

Odnosząc się do błędu oznaczonego przez Zamawiającego numerem 5, należy przypomnieć, że polegał on na braku możliwości podglądu karty zadania. Odwołujący wskazuje, że brak ten nastąpił na koncie użytkownika, który nie miał uprawnień do podglądu karty zadania, ale mimo to użytkownik widział pełną treść zadania i mógł je prawidłowo obsłużyć z poziomu, na którym był zalogowany. Po zmianie uprawnień pojawiła się też możliwość przejścia do szczegółów zadania. W karcie oceny z dnia 30.06.2023 r. Zamawiający stwierdził, „że sam Wykonawca w trakcie prezentacji potwierdził, że podgląd karty zadania na zalogowanym użytkowniku powinien otworzyć się poprawnie, i na potwierdzenie powyższego dokonał naprawy błędu. Bez możliwości otwarcia podglądu „karty zadania” użytkownik nie mógł się zapoznać z jego szczegółami, co w skrajnym przypadku mogłoby skutkować błędnym obsłużeniem zadania”. W tym miejscu należy ponownie zauważyć, że system jest oceniany z perspektywy jego użytkownika, a „błędem” w rozumieniu pkt 13 Regulaminu prezentacji jest m.in. każde zdarzenie znacząco utrudniające lub uniemożliwiające wykonanie określonej operacji. Jeżeli Zamawiający oczekiwał, że użytkownik o określonej roli będzie miał możliwość podglądu szczegółów zadania, a w trakcie prezentacji (bez względu na powód) takiej możliwości nie miał, to z punktu widzenia użytkownika - nie może on wykonać określonej operacji. Tym samym zachodzi błąd, o którym mowa w pkt 13 Regulaminu prezentacji. Raz jeszcze należy stwierdzić, że system demonstrowany podczas prezentacji powinien być tak do niej przygotowany, aby w maksymalnym stopniu wyłączyć możliwość wystąpienia sytuacji, które mieszczą się w definicji „błędu” określonej przez Zamawiającego.

Podsumowując ustalenia Izby dotyczące zarzutu nr 1 należy wskazać, że w świetle art. 17 ust. 2 i art. 16 ustawy Pzp, dopuszczalne było dokonanie ponownej oceny ofert, czyli w tym wypadku – oceny zdarzeń mających miejsce w trakcie prezentacji systemów jako próbki. W wyniku tej oceny, zdaniem Izby, Zamawiający zasadnie stwierdził 6 błędów

prezentowanych systemów. W myśl pkt 17 Regulaminu prezentacji wystąpienie więcej niż 3 błędów skutkować miało odrzuceniem oferty jako niezgodnej z SW Z. Tym samym odrzucenie oferty Odwołującego było zgodne z art. 226 ust. 1 pkt 5 ustawy Pzp przewidującym obowiązek odrzucenia oferty niezgodnej z warunkami zamówienia, a zarzut nr 1 podlega oddaleniu jako niezasadny.

Biorąc pod uwagę, że Izba stwierdziła zasadne odrzucenie oferty Odwołującego, nie ma znaczenia, ile punktów oferta ta powinna otrzymać w kryterium „prezentacja systemów IW RS i eCRF”, gdyż jako odrzucona nie podlega ocenie w kryteriach oceny ofert. Niemniej jednak Izba odniesie się także do argumentów Odwołującego zawartych w zarzucie nr 2.

W pierwszej kolejności należy zauważyć, że pierwszy wybór najkorzystniejszej oferty z dnia 31.05.2023 r. został przez Zamawiającego unieważniony w dniu 20.06.2023 r. Tym samym wszystkie czynności z zakresu badania i oceny obu złożonych w postępowaniu ofert zostały unieważnione, zatem kwestionowanie ich na obecnym etapie jest bezprzedmiotowe i bezcelowe.

Niezależnie od powyższego należy zauważyć, że dokonując pierwszego wyboru najkorzystniejszej oferty Zamawiający nie przedstawił uzasadnienia faktycznego przyznanej punktacji, co było zresztą przedmiotem jednego z zarzutów postawionych przez Odwołującego w sprawie o sygn. akt KIO 1683/23. W związku z powyższym nie sposób na obecnym etapie ustalić, z jakiego powodu oferta konsorcjum Scientia otrzymała wówczas w karcie prezentacji z dnia 15.05.2023 r. 94 na 100 punktów. Faktem jest, że w karcie oceny z 30.06.2023 r. dotyczącej prezentacji systemów Scientia pojawiła się informacja o uchybieniach, której nie było w karcie oceny z 15.05.2023 r., a mimo to liczba punktów przyznanych ofercie tego konsorcjum pozostała bez zmian, ale nie musi to świadczyć o zawyżonej punktacji przy pierwszej ocenie, a raczej o niepełnym opisie prezentacji w pierwszej karcie oceny z dnia 15.05.2023 r. Należy bowiem zauważyć, że w karcie tej w zakresie systemów konsorcjum Scientia nie zawarto żadnych negatywnych uwag o prezentowanych systemach, a mimo to konsorcjum nie otrzymało maksymalnej możliwej do uzyskania liczby punktów.

Musiał być więc jakiś powód, dla którego już w karcie z 15.05.2023 r. konsorcjum Scientia uzyskało 94 na 100 punktów i prawdopodobnie powód ten w postaci dwóch uchybień dotyczących komunikatów i ikon ładowania został ujawniony dopiero w karcie oceny z 30.06.2023 r. nie wpływając tym samym na pierwotną liczbę punktów przyznanych w wyniku prezentacji. Przy czym podkreślić należy, że rozważania Izby w tym zakresie mają charakter jedynie dodatkowy, gdyż podstawowym powodem, dla którego omawiany zarzut nie może zostać uwzględniony jest to, że czynność pierwszej oceny ofert i wyboru najkorzystniejszej oferty z dnia 31.05.2023 r. została przez Zamawiającego unieważniona, więc jej badanie jest obecnie bezprzedmiotowe.

Jedynie na marginesie należy zauważyć, że wobec uznania przez Izbę, że oferta Odwołującego została zasadnie odrzucona, kwestia ilości punktów przyznanych w ww. kryterium jedynej pozostałej w postępowaniu ofercie, tj. ofercie konsorcjum Scientia, nie ma już wpływu na wynik postępowania.

Co do stosowanych w systemach Odwołującego nazw w języku angielskim, należy zauważyć, że w pkt 2 załącznika nr 1 specyfikacja systemu eCRF załącznika nr 3 do SW Z (OPZ) wpisano wymóg: System wykonany w polskiej wersji językowej. Niezależnie zatem od tego, w jakim zakresie w systemie występowało słownictwo w języku angielskim (Zamawiający twierdzi, że był to cały moduł do modyfikacji i tworzenia formularzy) zachodziła niezgodność oferty z warunkami zamówienia, co zostało zauważone podczas prezentacji i odnotowane w karcie oceny.

Co do braku komunikatów o prawidłowym bądź nieprawidłowym zapisaniu danych w formularzu i innych czynnościach, Izba podzieliła stanowisko Zamawiającego, że ocena w tym zakresie mogła wpływać na obniżenie punktacji przyznanej w ramach podkryterium „intuicyjność interfejsu” z uwagi na możliwość wprowadzenia użytkownika w błąd co do statusu zapisanych danych.

Co do stwierdzonego przez Zamawiającego braku nowoczesności systemu, należy zauważyć, że postawiony przez Odwołującego zarzut odnosi się w istocie do opisu tego podkryterium. Jeżeli Odwołujący uznaje, że Zamawiający nie doprecyzował w SW Z opisu ww. podkryterium, powinien był wnieść odwołanie na treść SW Z w ustawowym terminie biegnącym od jej opublikowania.

Co do zawartych w karcie oceny uwag Zamawiającego dotyczących sposobu prezentowania systemów Odwołującego, należy wskazać, że faktycznie nie ma do nich podstaw ani w OPZ ani w kryteriach oceny ofert. Nie ma to jednak wpływu na ostateczną ocenę oferty Odwołującego, a przy tym ma rację Zamawiający, że sposób dokonania prezentacji może wpływać na odbiór okazywanych systemów, zwłaszcza w ramach takich podkryteriów, jakie zostały opisane w kryterium „prezentacja systemów IWRS i eCRF”.

Co do wskazanej w karcie oceny niemożności dokonania oceny całego systemu, Zamawiający w odpowiedzi na odwołanie wyjaśnił, że wszystkie jego elementy przewidziane w scenariuszu zostały przedstawione, natomiast z powodu konieczności naprawiania w trakcie prezentacji ujawnionych błędów brakło czasu na zaprezentowanie innych elementów systemu, np. analizy danych i generowania raportów. Uwagi w tym zakresie, podobnie jak w przypadku uwag dotyczących sposobu prezentowania systemów przez Odwołującego, Izba poczytuje za chęć odzwierciedlenia w karcie oceny przez osoby oceniające prezentację wszystkich okoliczności mających miejsce w trakcie prezentacji.

Co do zarzutu dotyczącego tego, że nie wiadomo, dlaczego Zamawiający przyznał ofercie Odwołującego akurat taką, a nie inną liczbę punktów, Izba ponownie przypomina, że czynność oceny ofert z dnia 31.05.2023 r. została przez Zamawiającego unieważniona, zaś w ramach czynności z dnia 03.07.2023 r. Zamawiający nie przyznał ofercie Odwołującego żadnych punktów, ponieważ odrzucił tę ofertę.

W świetle wszystkich wskazanych powyżej okoliczności zarzut nr 2 również podlegał, zdaniem Izby, oddaleniu jako niezasadny.

Wobec powyższego, Izba postanowiła jak w sentencji wyroku, orzekając na podstawie art. 552 ust. 1, art. 553 i art. 554 ust. 1 ustawy Pzp.

Orzeczenie Izby zostało wydane w oparciu o dokumentację postępowania o udzielenie zamówienia oraz stanowiska stron przedstawione na rozprawie i w pismach procesowych. Izba odmówiła wiarygodności i mocy dowodowej dowodom złożonym przez Odwołującego na rozprawie w postaci ilustracji systemów dotyczących funkcji określonych przez Zamawiającego jako błędy nr 1-6 (łącznie 11 ilustracji). Należy podkreślić, że w niniejszym postępowaniu o zamówienie publiczne ocenie podlegała próbka w postaci systemów demonstrowanych w trakcie prezentacji, nie zaś inne dokumenty składane poza tą prezentacją. Zatem tylko to, co zostało okazane Zamawiającemu w trakcie prezentacji może stać się podstawą oceny zgodności oferty z warunkami zamówienia i podstawą przyznania punktów w ww. kryterium oceny ofert. Opieranie obecnie oceny systemów na przedłożonych jako dowody ilustracjach stanowiłoby w istocie obejście postanowień SW Z w tym zakresie (pkt 15 SW Z i zał. nr 9 do SW Z czyli Regulamin prezentacji), a w konsekwencji – naruszenie zasad wskazanych w art. 16 ustawy Pzp. Tym bardziej, że nie wiadomo, czy złożone jako dowody ilustracje obrazują systemy w stanie takim, jak okazywany w trakcie prezentacji, czy też np. po

naprawieniu stwierdzonych przez Zamawiającego błędów. Dlatego Izba rozpoznając niniejsze odwołanie pominęła dowody złożone przez Odwołującego w postaci ww. ilustracji.

O kosztach postępowania orzeczono stosownie do wyniku, na podstawie art. 574 i art. 575 ustawy Pzp oraz w oparciu o § 8 ust. 1 i 2 zdanie pierwsze w zw. z § 5 pkt 1, rozporządzenia w sprawie szczegółowych rodzajów kosztów postępowania odwoławczego, ich rozliczania oraz wysokości i sposobu pobierania wpisu od odwołania (Dz.U. z 2020 r. poz. 2437).

Przewodnicząca

...…………………..