Wyrok KIO 3423/21 z 7 grudnia 2021

Zamawiający - Instytut Badań Edukacyjnych w Warszawie prowadzi na podstawie przepisów ustawy z dnia 11 września 2019r. - Prawo zamówień publicznych (Dz.U. z 2021r., poz. 1129 ze zm.; dalej: „Pzp”) postępowanie o udzielenie zamówienia publicznego w zakresie wykonania narzędzia do automatycznego wspomagania doradztwa, tj. usługi teleinformatycznej wspomagającej doradztwo zawodowe i wspomagające osoby w

planowaniu uczenia się przez całe życie za pomocą rozwiązań sztucznej inteligencji "Wirtualny asystent".

Ogłoszenie o zamówieniu zostało opublikowane w Dzienniku Urzędowym Unii Europejskiej pod numerem 2021/S 174-454136 w dniu 8 września 2021 r.

W dniu 22 listopada 2021r. wykonawcy wspólnie ubiegający się o udzielenie zamówienia Konsorcjum: Sages Sp. z o.o. z siedzibą w Warszawie, Instytut Podstaw Informatyki PAN z siedzibą w Warszawie oraz Talkie Sp. z o.o. z siedzibą w Gdańsku wnieśli do Prezesa Krajowej Izby Odwoławczej odwołanie, w którym zarzucili Zamawiającemu:

1. naruszenie art. 226 ust. 1 pkt. 5 Pzp, poprzez dokonanie nieprawidłowej czynności badania i oceny oferty wykonawców wspólnie ubiegających się o udzielenie zamówienia Konsorcjum: Emplocity S.A. z siedzibą w Warszawie oraz Ermlab sp. z o.o. z siedzibą w Olsztynie (dalej: „Przystępujący”) w zakresie spełniania warunków udziału w postępowaniu, a w konsekwencji zaniechanie dokonania czynności wykluczenia Przystępującego z postępowania i odrzucenia oferty złożonej przez tego wykonawcę, pomimo, iż Przystępujący nie wykazał, że spełnia wskazane w SWZ warunki udziału w postępowaniu w zakresie wymaganego doświadczenia oraz legitymowania się przez personel tego wykonawcy wyznaczony do realizacji zamówienia odpowiednimi kwalifikacjami,
2. naruszenie art. 239 ust. 1 Pzp, poprzez dokonanie nieprawidłowej czynności badania i oceny oferty Odwołującego oraz oferty Przystępującego w zakresie kryterium dotyczącego koncepcji funkcjonowania chatbota, poprzez nieuzasadnione obniżenie punktacji oferty Odwołującego w ramach ww. kryterium przy jednoczesnym bezpodstawnym zawyżeniu oceny Przystępującego w tym samym zakresie,
3. naruszenie art. 18 ust. 3 p.z.p. w zw. z art. 11 ust. 2 ustawy z 16 kwietnia 1993r. o zwalczaniu nieuczciwej konkurencji („dalej: „uznk”), poprzez zaniechanie odtajnienia całości dokumentacji złożonej przez Przystępującego w postępowaniu wraz z ofertą, pomimo niewykazania przez tego wykonawcę, iż dokumentacja złożona w postępowaniu stanowi tajemnicę jego przedsiębiorstwa.

W związku z powyższymi zarzutami Odwołujący wniósł o uwzględnienie odwołania w całości oraz nakazanie Zamawiającemu: a. odtajnienia pełnej treści wszelkich dokumentów złożonych w postępowaniu przez Przystępującego wraz z ofertą, b. dokonania ponownej oceny ofert złożonych w postępowaniu i w ramach tej ponownej oceny ofert: (i) dokonanie wyboru oferty Odwołującego jako najkorzystniejszej w postępowaniu w oparciu o obowiązujące w postępowaniu kryteria oceny ofert, a także (ii) wykluczenie Przystępującego z postępowania i odrzucenie oferty Przystępującego jako niespełniającej warunków określonych w SWZ,

Uzasadniając zarzuty odwołania, Odwołujący wskazał, że Zamawiający w § 7 SWZ wskazał na szereg warunków, które muszą zostać spełnione, aby wykonawca mógł skutecznie ubiegać się o udzielenie zamówienia w postępowaniu. W zakresie posiadania przez wykonawcę niezbędnych zdolności technicznych i zawodowych wskazanych w § 7 ust. pkt 4 SWZ Zamawiający wprowadził warunek dotyczący posiadania przez wykonawcę odpowiedniego doświadczenia oraz legitymowania się przez jego personel odpowiednimi kwalifikacjami. W ocenie Odwołującego oferta Przystępującego nie spełnia wskazanych przez Zamawiającego wymogów legitymowania się przez wykonawcę zarówno odpowiednim potencjałem w zakresie niezbędnego doświadczenia, jak i odpowiednimi kwalifikacjami personelu mającego realizować zamówienie.

Odwołujący wyjaśnił, że w ramach tego warunku Zamawiający w § 7 ust. 1 pkt 4 ppkt A (ii) SWZ wskazał, że wymaga od wykonawcy, aby wykazał, „że w okresie ostatnich trzech lat przed upływem składania ofert (a jeżeli okres prowadzenia działalności jest krótszy - w tym okresie), należycie wykonał: co najmniej 3 usługi polegające na zaprojektowaniu i wyprodukowaniu chatbota wykorzystującego NLP o łącznej wartości co najmniej 200.000,00 złotych” .

Na potwierdzenie spełniania ww. wymagań wykonawca zgodnie z § 8 ust. 2 pkt 7 SWZ zobowiązany był do przedstawienia m.in. „dowodów określających, czy te dostawy lub usługi zostały wykonane lub są wykonywane należycie, przy czym dowodami, o których

mowa, są referencje bądź inne dokumenty sporządzone przez podmiot, na rzecz którego dostawy lub usługi zostały wykonane”. Przystępujący w ramach swojej oferty przedstawił szereg referencji, które jednak w ocenie Odwołującego nie potwierdzają spełniania przez niego warunków wskazanych przez Zamawiającego w SWZ.

Odnosząc się do referencji wystawionej przez Grupę Żywiec S.A. Odwołujący wskazał, że nie wskazuje ona, że czatbot, który został zrealizowany przez Przystępującego dla tego podmiotu w jakikolwiek sposób wykorzystywał metody z dziedziny NLP wymaganej przez Zamawiającego. Dodatkowo nie zostało wskazane, że prace zrealizowane przez Przystępującego zostały wykonane w sposób „należyty”. Wątpliwości Odwołującego budzi także zakres zrealizowanych prac przez tego wykonawcę. Zamawiający w SWZ wymaga potwierdzenia wykonania prac w przedmiocie zaprojektowania i wyprodukowania chatbota.

Referencja przedstawiona przez Przystępującego wskazuje natomiast na wykonanie prac dotyczących zaprojektowania i wdrożenia chatbota, co nie jest spójne z warunkami SWZ.

Odnosząc się do referencji - JTI Polska sp. z o.o. Odwołujący również stwierdził, że nie wskazuje ona, że czatbot, który został zrealizowany przez Przystępującego dla tego podmiotu w jakikolwiek sposób wykorzystywał metody z dziedziny NLP wymaganej przez Zamawiającego. Dodatkowo nie zostało wskazane, że prace zrealizowane przez Przystępującego zostały wykonane w sposób „należyty”. Referencja ta w żaden też sposób nie wskazuje na zakres prac jaki został zrealizowany przez Przystępującego. Z tego względu nie jest możliwa weryfikacja czy wykonawca ten w rzeczywistości dysponuje doświadczeniem w zakresie projektowania i wyprodukowania czatbota wykorzystującego technikę NLP.

Również w opinii Odwołującego referencja wystawiona przez ING Bank Śląski S.A. nie wskazuje, że czatbot, który został zrealizowany przez Przystępującego dla tego podmiotu w jakikolwiek sposób wykorzystywał metody z dziedziny NLP wymaganej przez Zamawiającego. Dodatkowo nie zostało wskazane, że prace zrealizowane przez Przystępującego zostały wykonane w sposób „należyty”. Wątpliwości Odwołującego budzi także zakres zrealizowanych prac przez tego wykonawcę. Zamawiający w SWZ wymaga potwierdzenia wykonania prac w przedmiocie zaprojektowania i wyprodukowania czatbota.

Referencja przedstawiona przez Przystępującego wskazuje natomiast na wykonanie prac dotyczących zaprojektowania i wdrożenia chatbota, co nie jest spójne z warunkami SWZ.

Tożsame zastrzeżenia Odwołujący podniósł do referencji wystawionych przez MetLife TUnŻiR S.A. oraz PKO Bank Polski S.A. Transcom Worldwide Poland sp. z o.o.

Odwołujący podkreślił ponadto, że łączna wartość zrealizowanych prac wynosi 208 762,98 zł brutto. Zamawiający z kolei wymagał legitymowania się przez wykonawcę wykonaniem co najmniej 3 usług polegających na zaprojektowaniu i wyprodukowaniu chatbota wykorzystującego NLP o łącznej wartości co najmniej 200.000.00 zł. Oznacza to, że stwierdzenie, iż chociaż jedna (którakolwiek) z referencji przedstawionych przez Przystępującego w ramach swojej oferty nie potwierdza legitymowania się przez tego wykonawcę wymaganym doświadczeniem, prowadzi wprost do uznania, że Przystępujący nie spełnia warunku udziału w postępowaniu w zakresie koniecznego doświadczenia.

Łączna bowiem wartość pozostałych zrealizowanych projektów przez tego wykonawcę nie przekroczy wymaganej wartości 200 000,00 zł.

Dodatkowo Odwołujący wskazał, że referencje przedstawione przez spółkę Ermlab sp. z.o.o (członek konsorcjum Przystępującego) w ramach postępowania dotyczące (i) usługi anotacji danych oraz (ii) opracowania automatycznej sztucznej inteligencji wykorzystującej sieci neuronowej zostały wystawione przez spółkę Emplocity S.A., czyli konsorcjanta spółki Ermlab sp. z.o.o w postępowaniu. Oznacza to de facto, że te referencje były wystawiane w formule „samej sobie”, przez członka konsorcjum na rzecz drugiego członka tego samego konsorcjum. Co jeszcze istotne to fakt, że obie referencje zostały wystawione 21 października 2021 r. co wprost wskazuje, że zostało to przeprowadzone wyłącznie na potrzeby Postępowania i wykazania, że zostały spełnione warunki udziału w nim. W opinii Odwołującego powyższe sprawia, że referencje te są całkowicie niewiarygodne i w żaden sposób nie potwierdzają posiadania przez Ermlab sp. z o.o. odpowiedniego doświadczenia wymaganego przez Zamawiającego. Samo zaś udzielanie referencji wewnątrz konsorcjalnych celem uzyskania korzyści w postaci spełnienia warunku udziału w Postępowaniu powinno być przedmiotem szczególnie wnikliwego badania przez Zamawiającego.

Następnie Odwołujący wskazał, że Zamawiający w § 7 ust. 1 pkt 4 ppkt B (6) SWZ wskazał, że wymaga od wykonawcy, aby wykazał, „że dysponuje lub będzie dysponował

osobami które będą uczestniczyć w realizacji zamówienia, spełniającymi poniższe wymagania:

Anotator - Wymagane kwalifikacje: Posiada doświadczenie w realizacji co najmniej 2 (dwóch) usług polegających na anotacji danych (przygotowaniu danych tak, aby mogły one stanowić dane treningowe dla algorytmów uczenia maszynowego), które to usługi zostały ukończone w ciągu 3 lat przed terminem składania ofert” .

Odwołujący podkreślił, że Przystępujący na potwierdzenie spełniania ww. warunku przedstawiło wykaz osób, które uczestniczyłyby w wykonywaniu zamówienia wraz z informacją na temat ich kwalifikacji zawodowych, doświadczenia i wykształcenia niezbędnego do wykonania zamówienia, a także zakresu wykonywanych przez nie czynności: - M.S. (Programista z 4-letnim doświadczeniem. Ukończył studia informatyczne na Uniwersytecie Warmińsko-Mazurskim w Olsztynie. Zajmuje się tworzeniem i rozwojem oprogramowania systemów informatycznych przeznaczonych do przetwarzania i analizy zbiorów danych. Interesuję się hobbystycznie analizą numeryczną.) i. Przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i predykcji sytuacji kryzysowych w serwisach społecznościowych, ii. Przygotowanie zbiorów danych na potrzeby treningu algorytmów segmentacji użytkowników Internetu, - P.B. (Absolwentka Uniwersytetu Warmińsko - Mazurskiego w Olsztynie na kierunku dziennikarstwo i komunikacja społeczna. Specjalista ds. content marketingu, team lider i copywriter kreatywny. Łączy analityczne myślenie z twórczością kreatywną. Od kilku lat związana z branżą emarketingu) i. Przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i predykcji sytuacji kryzysowych w serwisach społecznościowych, ii. Przygotowanie zbiorów danych na potrzeby treningu algorytmów segmentacji użytkowników Internetu, - I.P. (Absolwentka studiów licencjackich na kierunku dziennikarstwo i komunikacja społeczna na Uniwersytecie Warmińsko - Mazurskim w Olsztynie. Redaktorka serwisów internetowych. Główne zainteresowania to social media, copywriting i content marketing.) i. Przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i predykcji sytuacji kryzysowych w serwisach społecznościowych, ii. Przygotowanie zbiorów danych na potrzeby treningu algorytmów segmentacji użytkowników Internetu W ocenie Odwołującego jednak żadna z ww. osób nie legitymuje się odpowiednim doświadczeniem oraz kwalifikacjami wymaganymi przez Zamawiającego i spełniającym warunki wskazane w SWZ. W powyższym bowiem zakresie - co należy wyraźnie podkreślić - nie każde przygotowanie zbiorów danych na potrzeby treningu algorytmów jest przeprowadzane w kontekście anotacji. Anotacja stanowi bowiem szczególny rodzaj specjalizacji i usługi. Anotator danych, w kontekście danych tekstowych jest bowiem osobą o wiedzy i doświadczeniu najczęściej z obszaru lingwistyki, językoznawstwa, wiedzy o języku, która postępując według ustalonych instrukcji anotacji dokonuje znakowania tekstu.

Znakowanie może polegać na: dzieleniu tekstu na paragrafy, zdania i segmenty, opisywania segmentów dodatkowymi informacjami, takimi jak znaczniki (tagi), łączenia segmentów relacjami (tworzeniu struktur grafowych), a także poprawiania istniejącego tekstu. Czynność ta wykonywana jest poprzez bezpośrednią pracę ręczną anotatora, z wykorzystaniem dedykowanego oprogramowania, może być też wspomagane przez sugestie generowane przez systemy automatyczne.

Odwołujący zauważył, że istotną częścią zamówienia opisaną w OPZ są prace anotacyjne, które przewidziane zostały do zrealizowania przez potencjalnego wykonawcę.

Zgodnie z OPZ (część II, p. 2) w celu realizacji funkcjonalności nazwanej Przewodnik po Zintegrowanym Systemie Kwalifikacji: „Zamawiający dostarczy zbiór dokumentów, które powinny służyć trenowaniu opisanego modułu - w serwisie znajdują się obecnie 54 publikacje: dokumenty w formacie PDF oraz MS Word. Zawierają one tekst, tabele oraz schematy (np. instrukcje postępowania, kolejne kroki instytucji wprowadzających kwalifikacje, itp.). Ocenia się, że zbiór publikacji posłuży do przygotowania około 200 intencji.

Zadaniem Wykonawcy jest anotowanie wskazanych publikacji. W tym celu Wykonawca opracuje klucz oraz wykorzystując opracowany klucz, pilotażowo anotuje 3 wskazane przez

Zamawiającego publikacje. Zarówno klucz, jak i wyniki pilotażowego anotowania będą przedmiotem konsultacji z Zamawiającym i posłużą opracowaniu ostatecznego rozwiązania, służącego anotowaniu przez Wykonawcę wszystkich 54 publikacji". Z kolei w celu realizacji funkcjonalności nazwanej „Wirtualne Doradztwo Zawodowe”: „(...) Wykonawca pod kierunkiem Zamawiającego dokona anotacji danych - ponad 10 000 kwalifikacji z ZRK - pod kątem zainteresowań i uzdolnień, które mogą stanowić podstawę dopasowania do wymagań czy oczekiwań użytkownika". W związku z powyższym Odwołujący wskazał, że z niezbędne jest wzbogacenie istniejących 54 publikacji dodatkowymi informacjami, służącymi do powiązania intencji użytkownika z informacjami znajdującymi się w publikacjach. Praca ta polega między innymi na: - oznaczeniu w tekście fragmentów, które odpowiadają na pytania użytkownika czatbota, - przekształceniu informacji zawartych w tabelach i schematach na postać tekstową, - ręcznym przygotowaniu odpowiedzi na pytania użytkownika na podstawie treści publikacji.

Zamawiający wymaga opracowania przez wykonawcę "klucza" - instrukcję anotacji i na tej podstawie oznakowania początkowo 3 publikacji, a następnie (po konsultacji pilotażu) wszystkich 54. Podobnie, należy zaanotować dodatkowymi informacjami ponad 10 000 kwalifikacji z ZRK. Proces przygotowania instrukcji anotacji, a następnie ręcznej pracy związanej ze wzbogacaniem informacji zawartych w tekście lub zbiorze tekstów jest definicyjnym określeniem roli anotatora w projekcie - osoby, która polegając na swoim wykształceniu dotyczącym wiedzy o języku, doświadczeniu i wykonując ręczną pracę znakowania jest w stanie przygotować dane do trenowania modeli uczenia maszynowego.

Odwołujący podkreślił, że Przystępujący przedstawia w swojej ofercie m.in. p. M.S. jako osobę, która miałaby realizować anotację w ramach zamówienia, samemu jednocześnie podkreślając, że p. Stefaniak jest programistą, a nie anotatorem, który w przeciwieństwie do programisty dodaje do zasobów tekstowych informacje za pomocą pracy ręcznej, bazując na swojej wiedzy językowej oraz wiedzy dziedzinowej. Programista przetwarza z kolei dane w sposób automatyczny: praca programisty w projekcie związanym z danymi tekstowymi może polegać na filtrowaniu danych, konwersji formatów i innych zadaniach związanych z przetwarzaniem danych, tworzeniu narzędzi do anotacji dla anotatorów, co jednak nie powoduje dodania do nich nowych informacji, które wcześniej się tam nie znajdowały.

Odwołujący podkreślił, że sam Zamawiający wyraźnie rozróżnia rolę programisty oraz rolę anotatora, oczekując od wykonawcy dokonania wyceny godziny pracy (przy realizacji modułu eksperymentalnego) w podziale na te dwa stanowiska. Tym samym w opinii Odwołującego Przystępujący nie wykazał dysponowania przez siebie personelem wymaganym treścią SWZ. Nie przedstawiono bowiem, aby osoby wymienione w złożonym wykazie personelu posiadały doświadczenie w pracy nad danymi w zakresie anotacji. Tymczasem ma to kluczowe znaczenie z punktu widzenia przedmiotu postępowania i czynności, które będą wykonywane w ramach realizacji zawartego kontraktu. Niewłaściwa bowiem obsada kluczowych pozycji w ramach zamówienia (tj. praca anotatora) uniemożliwia poprawną realizację jego przedmiotu. Zamawiający powinien zatem mieć gwarancję, iż osoby wskazane przez wykonawcę jako jego kluczowy personel mają kwalifikacje realnie odpowiadające przedmiotowi późniejszego świadczenia. W omawianym przypadku, w ocenie Odwołującego, okoliczność ta nie została jednak wykazana.

Uzasadniając zarzut dotyczący nieuzasadnionego zaniżenie punktacji oferty Odwołującego przy jednoczesnym bezpodstawnym zawyżeniu punktacji oferty Przystępującego w zakresie kryterium koncepcji, Odwołujący wskazał, że Zamawiający jako jedno z kryteriów oceny w ramach postępowaniu ustanowił konieczność sporządzenia przez wykonawców koncepcji funkcjonowania czatbota w ramach modułu Wirtualnego Asystenta Doradztwa Zawodowego. Zamawiający w SWZ wskazał, że: „Dla wybranego spośród 3 przytoczonych w załączniku nr 9 do SWZ przykładów opisów osób (person) korzystających z czatbota (jej potrzeb oraz oczekiwań) oraz przy wykorzystaniu źródła danych, na podstawie których czatbot powinien udzielać odpowiedzi na pytania tej osoby (kwalifikacje z ZRK oraz informacje z portalu ), należy przygotować koncepcję, która będzie zawierać: - proponowany schemat rozmowy (tzw. flow) osoby z czatbotem (dialog zawierający 30 par pytań i odpowiedzi) obejmujących: o pytania zadawane przez osobę korzystającą z czatbota; - pytania, które zada czatbot (pytania otwarte lub opcje wyboru) pozwalające doprecyzować zakres udzielanej odpowiedzi;

• propozycję treści odpowiedzi udzielanych przez czatbota (tekst, odesłania do materiałów, propozycje zapoznania się z treściami z ZRK - np. konkretny fragment opisu danej kwalifikacji, odesłania do zewnętrznych źródeł wiedzy, narzędzi lub aplikacji); - propozycję dodatkowych tematów rozmowy, które może zaproponować czatbot; - opis funkcjonalności czatbota, które zostały wykorzystane w rozmowie (np. pytania zamknięte, pozwalające doprecyzować zakres udzielanej odpowiedzi, odesłania do określonych źródeł informacji) z uzasadnieniem ich zastosowania oraz krótkim wskazaniem, w jaki sposób mogą zostać wdrożone (np. integracja z innymi aplikacjami, zastosowanie określonej technologii, itp.) - opis powinien zawierać do 5 funkcjonalności kluczowych z perspektywy opracowywanego schematu rozmowy i nie powinien być dłuższy niż 5400 znaków (3 strony znormalizowanego maszynopisu).

Z kolei w zakresie oceny koncepcji zrealizowanych przed wykonawców Zamawiający wskazał, że „każdy z członków Komisji Przetargowej dokona indywidualnie oceny w następujący sposób: - schemat rozmowy z czatbotem - 15 punktów, w tym: - adekwatność informacji udzielanych przez czatbota (na ile odpowiadają na potrzeby osoby korzystającej z czatbota) - 0-5 punktów; - wskazanie kluczowych dla danej osoby informacji wyjaśniających prezentowane przez czatbota treści (np. definicje, wyjaśnienia pojęć, wskazówki jak rozumieć dane treści) - 0-5 punktów; - zastosowanie adekwatnych sposobów pozwalających na doprecyzowanie zakresu informacji udzielanych osobie - 0-5 punktów punkty w zakresie 0-5 - przyznawane wg. skali szkolnej - opis funkcjonalności czatbota - 15 punktów, w tym: - 3 punkty za każdą funkcjonalność, która została wskazana, o ile uzasadniono jej zastosowanie w odniesieniu do potrzeb osoby korzystającej z czatbota (2 punkty) oraz wskazano, w jaki sposób może zostać wdrożona (1 punkt). Ocenie podlegać będzie 5 pierwszych opisanych funkcjonalności. Jeżeli w ofercie znajdzie się więcej niż 5 funkcjonalności, pozostałe nie będą brane pod uwagę przy ocenie oferty. - poprawność stosowania terminologii ZSK - 5 punktów (zasada odejmowania punktów za niepoprawnie używaną terminologię): - -1 punkt za każdy błąd w używaniu terminologii ZSK w dialogach, zawężając ocenę do wypowiedzi udzielanych przez czatbot”.

Odwołujący wyjaśnił, że Przystępujący uzyskał w ramach oceny przez Zamawiającego koncepcji funkcjonowania czatbota 33 punkty na 35 możliwych. W ocenie Odwołującego jest to skrajnie zawyżona punktacja, które nie oddaje realiów przygotowanej przez Przystępujący koncepcji. Podkreślił, że dla Zamawiającego kluczowym aspektem w realizacji zamówienia jest integracja „Wirtualnego Asystenta” z Zintegrowanym Rejestrem Kwalifikacji. Wskazuje na to wprost OPZ: „Przedmiotem zamówienia jest usługa polegająca na stworzeniu, wdrożeniu, dostarczeniu dostępu na czas realizacji zamówienia, utrzymaniu oraz instalacji na serwerach IBE i rozwoju czatbota - Wirtualnego Asystenta, zaimplementowanego w serwisie Zintegrowanego Rejestru Kwalifikacji (dalej: ZRK). Czatbot będzie pełnił role: 1) przewodnika po ZRK, 2) przewodnika po ZSK oraz 3) asystenta podstawowego doradztwa zawodowego ograniczonego dziedzinowo do zakresu ZRK”, „Czatbot będzie wspierać proces doradztwa zawodowego na podstawowym poziomie i w zakresie umożliwionym przez zawartość danych w ZRK, a w przyszłości może wykorzystywać do tego doradztwa także pozostałe aplikacje tworzone przez IBE”.

„Uruchomienie Wirtualnego Asystenta ma rozszerzyć możliwości doradztwa o praktyczny i intuicyjny w obsłudze dostęp do kwalifikacji zebranych w ZRK”, „Ujmując krótko zadanie Wirtualnego Asystenta, praca czatbota polega na zebraniu informacji / preferencji Użytkownika, następnie na tej podstawie ukierunkowanie dalszego dialogu i przekazanie informacji Użytkownikowi na zadane pytanie lub odniesienie się do poruszonego tematu w ramach wiedzy o ZSK, w tym ZRK". Tymczasem Przystępujący w zasadniczej mierze stworzył swoją koncepcję funkcjonowania czatbota w całkowitym oderwaniu od Zintegrowanego Rejestru Kwalifikacji. Przystępujący w przygotowanej koncepcji w zasadzie nie korzysta z terminologii ZRK. Umożliwia to co prawda uniknięcie przez tego Przystępującego punktów ujemnych w ramach oceny tego kryterium, jednak całkowicie wypacza sens przygotowanej koncepcji, która w istocie nie odpowiada celowi prowadzonego

przez Zamawiającego postępowania - realizacji Wirtualnego Asystenta zintegrowanego z ZRK. Powyższe, według Odwołującego, potwierdza, że Przystępującemu niesłusznie przyznano 33 punkty w kategorii "adekwatność" / "wskazanie kluczowych dla danej osoby informacji" / "zastosowanie adekwatnych sposobów pozwalających na doprecyzowanie zakresu informacji udzielanych osobie" / "poprawność stosowania terminologii ZRK", gdyż kluczowy zasób wymieniony w OPZ został zasadniczo pominięty w opisanym rozwiązaniu, co oznacza, że rozwiązanie to nie spełnia wymagań OPZ i nie jest z nim zgodne. W konsekwencji nie można tak wysoko jak Zamawiający punktować rozwiązania, które ignoruje integrację z ZRK, bowiem taki jest zasadniczy cel projektu opisanego w OPZ. Odwołujący zaznaczył, że kompleksowe omówienie błędów Przystępującego w swojej koncepcji jest jednak dla Odwołującego z uwagi na bezpodstawną odmowę Zamawiającego jej odtajnienia.

Ponadto, szeroka i kompleksowa wiedza rynkowa, którą dysponuje Odwołujący wprost wskazuje, że Przystępujący nie posiada odpowiednich kwalifikacji, kompetencji i doświadczenia, aby przygotować koncepcję funkcjonowania czatbotu w sposób, który umożliwiałby jej ocenienie na zasadzie maksymalną liczbą punktów. Podkreślił, że w relatywnie krótkim czasie jaki został wyznaczony przez Zamawiającego na złożenie ofert, nie jest możliwe, aby Przystępujący pozyskał dodatkowe kompetencje/doświadczenie w tym zakresie, których wcześniej nie posiadało. Oferta Przystępującego jedynie szczątkowo odnosi się do ZRK, gdyż podmiot ten nie posiada wystarczających doświadczeń w tym zakresie. Odmiennie natomiast kształtuje się doświadczenie Odwołującego - jeden z członków konsorcjum Odwołującego - IPIPAN zrealizował bowiem wiele podobnych projektów, dzięki czemu jest na polskim rynku ekspertem w tym zakresie. Nie jest zatem możliwe, aby Przystępujący nie posiadający porównywalnego doświadczenia do Odwołującego, a także podobnych kompetencji i kwalifikacji uzyskał istotnie wyższą ocenę w kryterium opracowania koncepcji funkcjonowania chatbota niż Odwołujący, który zrealizował co najmniej kilka podobnych projektów na rzecz Zamawiającego.

Dalej Odwołujący wskazał, że ocena jego koncepcji w zakresie kryterium (i) schemat rozmowy z czatbotem oraz (ii) poprawność stosowania terminologii ZSK została również błędnie przeprowadzona, z tym jednak zastrzeżeniem, że w przypadku Odwołującego Zamawiający zaniżył punktację realnie przysługującą Odwołującemu w ramach ww. kryteriów.

Kryterium - schemat rozmowy z czatbotem Oceniając ofertę złożoną przez Odwołującego w postępowaniu Zamawiający w zakresie koncepcji funkcjonowania czatbota i opisu funkcjonalności czatbota przyznał Odwołującemu maksymalną liczbę punktów - 15. Jednak już w kategorii schemat rozmowy z czatbotem Zamawiający przyznał jedynie 10 na 15 możliwych do zdobycia punktów wskazując przy tym, że:

Ocena 1:

„Adekwatność informacji - czatbot proponuje rozmówcy: 1) kwalifikację ze szkolnictwa zawodowego - archiwalną, a więc taką, której już nie można pozyskać, opis jest dostępny na stronie ZRK, czatbot nie reflektuje się, że ta informacja jest nieadekwatna i podaje dalsze informacje, 2) czatbot proponuje studia jednolite (5-letnie), jako przykład konkretnej realizacji studiów wskazuje jednak studia II stopnia (2-letnie), jako wymaganie do podjęcia wskazanych studiów podaje świadectwo ukończenia szkoły średniej - co nie jest precyzyjne, ponieważ są różne świadectwa, zapewne chodziło o świadectwo dojrzałości oraz certyfikat z języka obcego - nie wiadomo, na jakiej podstawie, opis kwalifikacji nie wprowadza takiej informacji - oba wymagania są błędne w kontekście studiów II stopnia, które podejmuje się po studiach I stopnia, a więc wymagają dyplomu ukończenia studiów I stopnia, 3) czatbot wskazuje kwalifikację ze szkolnictwa zawodowego, którą można uzyskać po ukończeniu 2-letniej szkoły policealnej oraz po uzyskaniu kwalifikacji poprzedzającej jest to nieadekwatna informacja dla rozmówcy, który już ukończył edukację (również policealną) i szuka pracy: 0,0 Objaśnianie prezentowanych treści: 5, 0 Adekwatność sposobów doprecyzowania:

5,0” Ocena 2:

„Adekwatność informacji - 0 pkt

1. Niezgodnie z opisem persony, rozmówca chatbota błędnie wskazuje posiadaną kwalifikację - wskazuje Świadczenie usług opiekuńczo - wspierających osobie starszej zamiast Opiekun w domu społecznym. Błąd ten determinuje dalszy przebieg wywiadu - osoba nie uzyskuje informacji adekwatnych do swoich potrzeb.
2. Błędnie wskazana kwalifikacja: Świadczenie usług pielęgnacyjno-

opiekuńczych osobie chorej i samodzielnej jest kwalifikacją archiwalną.

1. Błędnie wskazana kwalifikacja: Pielęgniarstwo studia II stopnia - chatbota nie wskazuje, że wymagane są studia I stopnia poprzedzające studia II stopnia
2. Błędnie wskazana kwalifikacja: Ratownik medyczny - szkolnictwo zawodowe nieadekwatnie do potrzeb, rozmówca szuka pracy, jest absolwentem szkoły policealnej Kluczowe informacje wyjaśniające - 5 pkt Sposoby doprecyzowania informacji - 5 pkt” Ocena 3:

„adekwatność - 0 informacje wyjaśniające - 5 adekwatność sposobów na doprecyzowanie - 5.

Za nieadekwatne rekomendacje należy uznać w zachowaniu czatbota: a) polecenie kwalifikacji archiwalnej Świadczenie usług pielęgnacyjnoopiekuńczych osobie chorej i samodzielnej (od 2019) - kwalifikacji tej nie można zdobyć, b) polecenie kwalifikacji Pielęgniarstwo ze szkolnictwa wyższego II stopnia osobie, która nie posiada dyplomu I stopnia (opisany użytkownik czatbota, absolwent szkoły policealnej, nie będzie w stanie jej zdobyć), c) czatbot udziela informacji o kwalifikacji II stopnia i podaje nieadekwatne informacje o wymaganiach dla tej kwalifikacji: znajomość języka obcego na poziomie B1 i świadectwo ukończenia szkoły średniej, d) udzielenie informacji o zarobkach na podstawie Ekonomicznych Losów Absolwentów dla kwalifikacji branżowej Świadczenie usług pielęgnacyjno-opiekuńczych osobie chorej i samodzielnej (od 2019) - ELA obejmuje informacje dotyczące kwalifikacji ze szkolnictwa wyższego, ale nie branżowego, e) czatbot błędnie uznaje, że M. posiada kwalifikację Świadczenie usług pielęgnacyjno-opiekuńczych osobie starszej. Zgodnie z opisem persony posiada on kwalifikację Opiekun w domu pomocy społecznej.

Za każdą nieadekwatność odjęto 1 punkt, łącznie 5.”

Odwołujący zauważył, że w przypadku dwóch ocen (rzekomo dokonanych niezależnie) pojawia się ten sam błąd - wskazanie kwalifikacji „Świadczenie usług pielęgnacyjno - opiekuńczych osobie chorej i samodzielnej”, choć ta kwalifikacja nie pojawia się w przygotowanym przez Odwołującego scenariuszu (pojawia się „Świadczenie usług pielęgnacyjno - opiekuńczych osobie chorej i niesamodzielnej”). Oceny nieprawidłowo stwierdzają, że chatbot „wskazuje Świadczenie usług opiekuńczo - wspierających osobie starszej zamiast Opiekun w domu społecznym”. Jest to wybór dokonywany przez Użytkownika i nie ma związku z rekomendacjami Systemu. Ponadto, Użytkownik ma prawo nie wiedzieć jaką dokładnie kwalifikację zdobył, nie jest to jednak wada oferowanego systemu, lecz wynik wyboru samego użytkownika. Za ten fakt odjęty został bezpodstawnie 1 punkt w dokonanej ocenie przez Zamawiającego. Według Odwołującego, oceny nieprawidłowo stwierdzają także, że chatbot poleca „Świadczenie usług pielęgnacyjno opiekuńczych osobie chorej i niesamodzielnej” - chatbot prezentuje tę kwalifikację jako jedną z dostępnych w ZRK. Podobnie kwalifikacja ta prezentowana jest na oficjalnych stronach Zintegrowanego Systemu Kwalifikacji . Za ten fakt został również bezpodstawnie odjęty 1 punkt w dokonanej ocenie.

Odwołujący podkreślił, że jeden z członków konsorcjum Odwołującego - Instytut Podstaw Informatyki PAN jest podmiotem posiadającym najszersze i całkowicie unikalne w skali kraju doświadczenie w zakresie realizacji projektów wymagających dokładnej analizy zawartości rejestru, utworzenia narzędzi do grupowania, klasyfikacji kwalifikacji, a także ich wyszukiwania. Instytut Podstaw Informatyki PAN w tym zakresie zrealizował projekty związane z Zintegrowanym Rejestrem Kwalifikacji dla Instytutu Badań Edukacyjnych dotyczące m.in.: - Analizy istniejących rozwiązań opisujących grupowanie kwalifikacji - ekspertyza dotycząca automatycznej analizy i porównywania kwalifikacji w celu ich grupowania ,

• Pilotażu rozwiązania grupowania kwalifikacji wraz z grupowaniem kwalifikacji , - Wykonania narzędzia analitycznego, umożliwiającego analizę dużej liczby kwalifikacji, ich porządkowanie i systematyzowanie .

Powyższe, według Odwołującego potwierdza, że doświadczenie w sposób oczywisty przekłada się na realizację koncepcji funkcjonowania czatbotu, jej jakość i kompletność, co powinno znaleźć odzwierciedlenie w przyznanej Odwołującemu odpowiedni wysokiej ocenie koncepcji. (ii.) Kryterium - poprawność stosowania terminologii ZSK W zakresie kategorii poprawności stosowania terminologii ZSK Zamawiający przyznał Odwołującemu jedynie 3 na 5 możliwych do zdobycia punktów uzasadniający to w następujący sposób: „3 pkt w tym: czatbot pyta: „którą kwalifikację zrealizowałeś?” - nie można „zrealizować” kwalifikacji - można ją pozyskać, posiadać -1,0; czatbot wymienia “świadectwo ukończenia szkoły średniej” w kontekście podjęcia studiów II stopnia - pojęcie takiego świadectwa jest zbyt szerokie, błąd terminologiczny polega na tym, że takiej kwalifikacji nie ma, w kontekście studiów powinien posługiwać się terminem świadectwo dojrzałości -1,0”.

Powyższa punktacja Zamawiającego jest również w ocenie Odwołującego błędna i w sposób nieuprawniony zaniża wynik punktowy przygotowanej koncepcji. Zamawiający w żaden sposób nie wyjaśnia na jakiej podstawie przyjmowane są konkretne rozstrzygnięcia terminologiczne wskazane w ocenie koncepcji. Publicznie dostępny "Słownik ZSK" jedynie wskazuje np. że "kwalifikację można zdobyć". Sformułowania wynikają jedynie z analizy stosowanych w dokumencie zwrotów, a lista sformułowań, które byłby dla Zamawiającego poprawne nie została w żaden sposób zawarta w jakimkolwiek obowiązującym wykonawców katalogu. Nie jest również wprost wykluczone użycie innego rodzaju sformułowania, jak na przykład "zrealizować kwalifikację", a słownikowo są to wyrazy bliskoznaczne: zrealizować: "sprawić, że jakieś plany, marzenia, zamiary itp. staną się rzeczywistością", zdobyć: "pozyskać coś, o co się zabiegało". Z tego względu użycie sformułowania zamiennego nie może być postrzegane jako błąd w przygotowaniu koncepcji i skutkować obniżeniem punktacji Odwołującego.

W konsekwencji Odwołujący stwierdził, że ocena oferty Odwołującego w zakresie koncepcji funkcjonowania „Wirtualnego Asystenta” została sporządzona w sposób błędny i nierzetelny. Dodatkowo wskazuje na to fakt, że dla tak skomplikowanego i złożonego przedmiotu zamówienia, ocena punktowa wszystkich trzech członków komisji była identyczna. Punktacja członków komisji nie różniła się w odniesieniu do któregokolwiek z kryteriów oceny, co może wskazywać na brak przeprowadzenia faktycznej i realnej oceny koncepcji przez każdego z członków komisji i oparcie się w tym zakresie wyłącznie na ustaleniach jednego członka komisji. Byłoby to sprzeczne z ideą komisyjnej oceny koncepcji przedkładanych przez wykonawców, a także świadczyłoby o nierzetelności i niskiej jakości przeprowadzonej oceny ofert w postępowaniu.

Zamawiający w odpowiedzi na odwołanie z dnia 29 listopada 2021r. oświadczył, że uwzględnia w części zarzuty przedstawione w przedmiotowym odwołaniu tj. w odniesieniu do zarzutu wskazanego w pkt. 3 odwołania, czyli naruszenia naruszenie art. 18 ust. 3 p.z.p. w zw. z art. 11 ust. 2 uznk, poprzez zaniechanie odtajnienia całości dokumentacji złożonej przez Przystępującego w postępowaniu wraz z ofertą, pomimo niewykazania przez tego wykonawcę, iż dokumentacja złożona w postępowaniu stanowi tajemnicę jego przedsiębiorstwa.

W dniu 1 grudnia 2021r. Zamawiający złożył kolejną odpowiedź na odwołanie wnosząc o oddalenie pozostałych zarzutów odwołania jako bezzasadnych.

Odnosząc się do zarzutów dotyczących niespełnienia przez Przystępującego warunków udziału w postępowaniu zauważył, że Odwołujący skierował zastrzeżenia jedynie do treści referencji przekazanych przez Konsorcjum, pomijając całkowicie treść złożonego wykazu. Zamawiający wskazał, że wszystkie zastrzeżenia Odwołującego w tym zakresie są niezasadne, ponieważ dokument referencji wystawiany przez kontrahenta nie musi zawierać określonych elementów np. w zakresie wartości, czy też elementów zrealizowanych w ramach potwierdzanej usługi - wystarczającym jest by była możliwa identyfikacja referencji z pozycją wskazaną w wykazie przygotowanym przez wykonawcę - tak w tym przypadku jest w odniesieniu do każdego dokumentu referencji. Co oczywiste - sprawdzenie spełnienia warunków udziału odbywa się poprzez analizę wykazu przygotowywanego na użytek danego postępowania - referencje mają jedynie charakter posiłkowy. Zamawiający stwierdził ponadto, że elementem referencji jest potwierdzenie należytości wykonania potwierdzanej usługi - przy czym nie musi to być zrealizowane - jak tego wymaga odwołujący - z

wykorzystaniem słowa „należyte”. Potwierdzeniem „należytości” jest każde sformułowanie świadczące o pozytywnym odbiorze przez kontrahenta wykonanych usług (dotychczasowej współpracy). Mając na względzie cel referencji - czyli swoistych listów polecających dla innych Zamawiających - za równoznaczne z pozytywnym odbiorem usługi (czyli należytości wykonania danej usługi) należy również uznać rekomendacje dla Wykonawcy - co ma miejsce w zdecydowanej ilości kwestionowanych przypadków.

Odnosząc się do zastrzeżeń Odwołującego co do zrealizowanego przez Przystępującego „przerobu” powyżej 200 tys. zł - z racji tego że żadne z zastrzeżeń dotyczące referencji nie okazało się zasadne - to również zarzut braku wymaganego przerobu - nie potwierdził się. Zamawiający podkreślił ponadto, że żaden przepis prawa nie wyklucza możliwości posłużenia się doświadczeniem w usługach zrealizowanych na rzecz innego konsorcjanta. Co więcej - współpraca i znajomość „biznesowa” pomiędzy konsorcjantami są oczywistą i naturalną bazą dla zawiązania konsorcjum. Zarzuty są gołosłowne i bezpodstawne.

Odnosząc się do zarzutów dotyczących braku kwalifikacji osób wskazanych na stanowiska anotatora, Zamawiający wskazał, że z racji nieokreśloności terminu oznaczającego tę czynność i osoby ją wykonujące Zamawiający w nawiasie doprecyzował co rozumie pod pojęciem anotacji. Co ważniejsze - Zamawiający przyjął szeroką definicję pomijając słowo „tekstowych” - czego nie zauważa Odwołujący, czyniąc z tego braku oś swoich twierdzeń o nieadekwatności doświadczenia ekspertów Przystępującego. Jak wyjaśnił Zamawiający to pominięcie jest świadome i ma na celu maksymalne otwarcie zamówienia na rynek. Zamawiający jest świadomy, że anotacją danych tekstowych w sensie wskazanym w odwołaniu zajmuje się w Polsce stosunkowo niewiele osób, z którymi konsorcjant odwołującego (IPI PAN) ma o wiele łatwiejszą możliwość nawiązania kontaktu i współpracy niż inne podmioty. Stąd też aby umożliwić realną konkurencję na rynku szeroko zdefiniował pojęcia anotacji - odnosząc je do każdego rodzaju danych - a nie tylko do - jak chce odwołujący - „danych tekstowych”. Ponadto Zamawiający podkreślił, że czym innym jest wymóg określony w OPZ - czyli w odniesieniu do tego co rzeczywiście będą robić anonatorzy, a czym innym są wymogi odnośnie spełnienia „minimalnych” warunków udziału.

Innymi słowy osoby spełniające minimalne warunki udziału - zdaniem Zamawiającego - po odpowiednim przeszkoleniu, co jest zakładane w zadaniach anotacji danych - są w stanie prawidłowo zrealizować zamówienie. W świetle tak zdefiniowanego wymogu - każda z osób wskazanych w ofercie Przystępującego spełnia wymogi SWZ.

Odnosząc się do zarzutów dotyczących nieuzasadnione zaniżenie punktacji oferty odwołującego przy jednoczesnym bezpodstawnym zawyżeniu punktacji oferty Przystępującego w zakresie kryterium koncepcji, Zamawiający stwierdził że są one gołosłowne. Nie wiadomo, na jakiej podstawie Odwołujący mówi o „skrajnie zawyżonej punktacji” (pkt. 50). Nie jest prawdą, że koncepcja funkcjonowania czatbota opracowana przez Przystępującego jest w całkowitym oderwaniu od Zintegrowanego Rejestru Kwalifikacji. Koncepcja czatbota przygotowana przez tego wykonawcę i przedstawiona w dialogu korzysta z terminologii i zasobów danych w ZRK, zakłada także integrację z portalem ZSK/ZRK.

Zamawiający podkreślił, że ten element koncepcji był oceniany za pomocą skali szkolnej - 0-5. Odejmowanie punktów za konkretne błędy wskazane w kartach ocen i przytoczone w odwołaniu ma charakter pomocniczy, wskazujący braki uzasadniające niską lub zerową ocenę. Podkreślenia wymaga że opracowanie dialogu z czatbotem - wbrew peanom na temat własnych kompetencji Odwołującego- jest minimalistyczne co do formy i treści i obarczone licznymi błędami merytorycznymi (wskazanymi w ocenie poszczególnych członków komisji). Niezależenie od powyższego, zwracamy uwagę że punkty zostały odjęte tylko w podkryterium adekwatności dialogu - właśnie ze względu na błędy merytoryczne, takie jak np. podpowiedź zdobycia kwalifikacji archiwalnej - tj. niemożliwej w danym miejscu i czasie do zdobycia - bądź też możliwości zdobycia kwalifikacji - której bez skończenia określonych studiów nie można pozyskać - co dla osoby szukającej pracy jest całkowicie nieprzydatne.

Zamawiający zauważył Odwołujący kwestionuje prawo do odjęcia punktów w sytuacji, gdy w schemacie rozmowy pojawia się błędny wybór użytkownika. Odwołujący twierdzi, że to nie jest błąd systemu (czyli Wykonawcy), lecz błąd użytkownika, który może się zdarzyć i nie powinien być oceniany negatywnie jako błąd Wykonawcy. Rzekomy błąd użytkownika czatbota (który wybiera nieposiadaną przez siebie kwalifikację) w scenariuszu przygotowanym przez Wykonawcę jest w istocie błędem Wykonawcy. Wykonawca przygotował swój dialog w sposób oparty na błędnym wyobrażeniu wybranej przez siebie do tego zadania jednej z trzech person posiadanych przez nią kwalifikacji, jej umiejętności i potrzeb. Z tego względu, według Zamawiającego, należy uznać dialog za nieadekwatny względem potrzeb persony przedstawionej w SWZ. Zamawiający wskazał, że z twierdzeniem Odwołującego można by się zgodzić, gdyby opracowany schemat rozmowy w przypadku takiego błędu wskazał ten błąd i naprowadził użytkownika z powrotem na właściwą ścieżkę -

zgodną z logiką postawionego zadania. Tutaj tego nie ma. Ponadto, Zamawiający wskazał, że błędem jest wskazanie - jako możliwej do uzyskania kwalifikacji archiwalnej - czyli niemożliwej do uzyskania w danym miejscu i czasie. Fakt, że oficjalny rejestr kwalifikacji prezentuje takie archiwalne możliwości, podobnie jak przyszłe możliwości (czyli kwalifikacje jeszcze niezatwierdzone, w trakcie procesu akceptacji) nie sanuje błędnych wyborów dokonanych przez Wykonawcę w rozmowie - mającej zaprezentować m.in. znajomość systemu ZSK.

W opinii Zamawiającego, gołosłowne jest również twierdzenie Odwołującego jakoby ocena ofert była jedynie „rzekomo” niezależna. Członkowie Komisji Przetargowej dokonali oceny indywidualnej, mieli również 2 spotkania uzgodnieniowe, nie jest wykluczone - w czasach google'a i pracy zdalnej - że korzystano z już istniejących fragmentów opracowań co nie znaczy, że ocena merytoryczna była niesamodzielna. O samodzielności ocen chociaż nie jest to zarzut, który został podniesiony w petitum odwołania, a skoro tak to KIO nie będzie go rozpatrywać - świadczą zacytowane w odwołaniu fragmenty ocen indywidualnych.

Odnosząc się do zarzutów dotyczących oceny w kryterium - poprawność stosowania terminologii ZSK, Zamawiający wskazał, że całość zarzutu jest oparta na obronie poprawności zastosowania w ofercie zwrotu „zrealizowania kwalifikacji”. Odwołujący nie widzi różnicy między "zrealizowaniem kwalifikacji" a "zdobywaniem kwalifikacji". Wynika to z faktu, że w języku potocznym wyraz "kwalifikacja" jest bliskoznaczny wyrazowi "umiejętność". Tymczasem w Zintegrowanym Systemie Kwalifikacji słowo "kwalifikacja" dotyczy zdobywanych w procesie potwierdzania umiejętności certyfikatów oraz świadectw i dyplomów, które są dokumentami urzędowymi, opisanymi przepisami prawa. Widać to na przykładzie używanych sformułowań: "zdobyć świadectwo dojrzałości", "potwierdzić kwalifikację przygotowanie deserów restauracyjnych" w odróżnieniu od niepoprawnych sformułowań: "zrealizować świadectwo dojrzałości", "zrealizować kwalifikację przygotowanie deserów restauracyjnych". Skutkiem "zdobycia", "potwierdzenia" kwalifikacji jest otrzymanie przez osobę zainteresowaną odpowiedniego świadectwa, dyplomu, certyfikatu, który uprawnia do podjęcia dalszej nauki lub pracy zawodowej. Odwołujący wymienia słowa “zrealizować” oraz “zdobyć” jako bliskoznaczne. Dopuszczalne jest powiedzenie “zrealizować marzenia”, ale nie jest poprawne sformułowanie “zdobyć marzenia”.

Bliskoznaczność słów nie przemawia za możliwością ich wymiennego stosowania w każdym kontekście. Inny przykład: słowa “funkcja” i “stanowisko” są bliskoznaczne, jednakże choć poprawne jest połączenie “pełnić funkcję”, nie jest poprawne “pełnić stanowisko” (poprawne jest z kolei “zajmować stanowisko”, ale nie “zajmować funkcję” - zob. np. Wielki słownik poprawnej polszczyzny).

Krajowa Izba Odwoławcza uwzględniając dokumentację z przedmiotowego postępowania o udzielenie zamówienia publicznego, jak również oświadczenia, stanowiska stron złożone w trakcie rozprawy, ustaliła i zważyła, co następuje: odwołanie nie zasługiwało na uwzględnienie.

Izba stwierdziła, iż nie została wypełniona żadna z przesłanek skutkujących odrzuceniem odwołania na podstawie art. 528 Pzp i skierowała sprawę na rozprawę.

Ponadto Izba ustaliła, że Odwołujący posiada interes we wniesienia odwołania wynikający z art. 505 Pzp.

Izba dopuściła do udziału w postępowaniu wykonawców wspólnie ubiegających się o udzielenie zamówienia Konsorcjum: Emplocity S.A. z siedzibą w Warszawie oraz ERMLAB Sp. z o.o. z siedzibą w Olsztynie zgłaszających przystąpienie do postępowania odwoławczego po stronie Zamawiającego, stwierdzając, iż spełnione zostały przesłanki, o których mowa w art. 525 ust. 1-3 Pzp.

Izba umorzyła postępowanie odwoławcze w zakresie zarzutu nr 3 odwołania dotyczącego naruszenia art. 18 ust. 3 Pzp w zw. z art. 11 ust. 2 uznk z uwagi na wycofanie go przez Odwołującego.

Izba dopuściła i przeprowadziła dowody z dokumentacji postępowania przekazanej przez Zamawiającego w tym m.in. z treści referencji złożonych przez Przystępującego, złożonego przez tego wykonawcę wykazu osób i usług, a także arkuszy ocen zarówno Odwołującego i Przystępującego.

Izba oddaliła wnioski dowodowe złożone przez Odwołującego z opinii prywatnych stwierdzając, że opinię prywatną uznać należy jedynie dowód tego, że osoba lub osoby, które ją podpisały wyraziły zawarty w niej pogląd, nie korzystają one natomiast z domniemania zgodności z prawdą zawartych w niej twierdzeń (por. wyrok KIO z dnia 22 maja 2020 r., sygn. akt KIO 342/20). Co ważne, taki dowód nie może mieć charakteru przesądzającego o zasadności zarzutu odwołania. W kontekście opinii prywatnych nie można bowiem wykluczyć swoistego „dopasowywania” opinii prywatnej do potrzeb zlecającego czy motywu finansowego (skoro zlecono komuś wykonanie za wynagrodzeniem stosownego opracowania w określonym celu, zleceniobiorca może czuć się w obowiązku wykonać zamówienie, by cel ten został osiągnięty).

Na podstawie ww. dokumentów Izba ustaliła, że stan faktyczny spraw nie jest sporny i został przedstawiony przez strony adekwatnie do treści przywołanych powyżej dokumentów.

Izba ustaliła:

Przystępujący w trakcie postępowania przetargowego złożył Zamawiającemu następujące referencje:

Referencja - Grupa Żywiec S.A.: „Potwierdzamy dotychczasową współpracę z firmą Emplocity S.A. Zrealizowana usługa polegała na zaprojektowaniu i wdrożeniu aplikacji, czyli chatbota do komunikacji wewnętrznej. Na nasze potrzeby przygotowana została aplikacja desktopowa dla Windows oraz mobilna dla Android oraz panel administracyjny do zarządzania bazą wiedzy i analizą statystyk. Prace wdrożeniowe rozpoczęły się w grudniu 2018, a wdrożenie chatbota miało miejsce w marcu 2019 roku”.

Ponadto Izba ustaliła, że Przystępujący w piśmie z dnia 27 października 2021r. złożył oświadczenie o współpracy: „oświadcza, że w marcu 2019 wykonało usługę polegającą na zaprojektowaniu i wyprodukowaniu chatbota wykorzystującego NLP i wspierającego komunikację wewnętrzną dla Grupy Żywiec S.A. Na potrzeby klienta przygotowana została aplikacja desktopowa dla Windows oraz mobilna dla Android oraz panel administracyjny do zarządzania bazą wiedzy i analizą statystyk. Wartość realizowanej przez Emplocity S.A. usługi wynosiła 102 367,98zł brutto.”. Do powyższego pisma został dołączony protokół odbioru, w którym w punkcie 1 wskazano, że „etap Aplikacji „Chatbot” został zrealizowany w ustalonym przez Strony terminie. W punkcie 2. Zlecający oświadczył, że: „w/w Etap został wykonany przez Wykonawcę zgodnie z zaleceniami Zlecającego”. W punkcie 3. Zlecający oświadczył, że „akceptuje sposób wykonania oraz funkcjonowania przedstawionego przez Wykonawcę Etapu prac”. W przedłożonym natomiast poświadczeniu z dnia 8 marca 2021r.

Grupa Żywiec S.A. potwierdziła, że spółka Emplocity sp. z o.o. z siedzibą w Warszawie dokonała wdrożenia aplikacji Chatbot.

Referencja - JTI Polska sp. z o.o.: „Od lipca 2021 roku, dzięki współpracy z Emplocity S.A., korzystamy z innowacyjnego narzędzia, zwanego Chatbofem, dzięki któremu osoby zainteresowane Japan Tobacco International mogą uzyskać sprawdzone i rzetelne informacje dotyczące naszej firmy, z dowolnego miejsca oraz urządzenia, w dowolnym czasie, zarówno w języku polskim, jak i angielskim.

Dzięki implementacji ChatBota możemy być dostępni dla kandydatów 24 godziny na dobę, co udowadnia, że jesteśmy przyjazną, otwartą i skupioną na ludziach organizacją.

Niniejszym rekomendujemy Emplocity S.A., jako godnego polecenia partnera biznesowego.”.

Referencja - ING Bank Śląski S.A.: „ING Bank Śląski S.A. potwierdza, iż współpracuje z Firmą Emplocity S.A. z siedzibą w Warszawie (00-695) przy ulicy Nowogrodzkiej 51. Z usług firmy Emplocity S.A. dotyczących projektowania i wdrażania chatbotów korzystamy od grudnia 2019 roku. Usługa chatbota w naszym banku wspiera procesy rekrutacyjne prowadzone głównie na stanowiska dedykowane młodym talentom i stanowiska związane z obsługą klienta. Współpraca przebiega w sposób prawidłowy, w związku z tym polecamy firmę Emplocity S.A. jako sprawdzonego dostawcę chatbotów.

Niniejszy list referencyjny obowiązuje przez okres trzech miesięcy od daty wystawienia. Po upływie tego terminu powinien być zaktualizowany.”

Referencja - MetLife TUnŻiR S.A.: „Pragniemy poinformować, że od sierpnia 2020 roku współpracujemy z firmą Emplocity S.A. W ramach współpracy został dla nas zaprojektowany chatbot rekrutacyjny zamieszczony na naszej stronie www, a profile dopasowanych kandydatów przekazywane są do naszego systemu rekrutacyjnego.

Dodatkowo wykonawca zapewnia ciągłość działania przygotowanego oprogramowania, gwarantując spełnienie założonych funkcjonalności aplikacji chatbota wraz z utrzymaniem pracy serwera, na którym hostowana jest aplikacja internetowa. Polecamy firmę Emplocity S.A. jako rzetelnego i sprawdzonego partnera biznesowego”.

Referencja - PKO Bank Polski S.A.: „(...) Firma zaprojektowała i wyprodukowała chatbota NLP dla PKO BP S.A. Jest to chatbot rekrutacyjny tzw. Emplobot, który prowadzi w sposób inteligentny rozmowę rekrutacyjną, tworzy unikatowy profil kandydata i dopasowuje go do jednej z wielu otwartych rekrutacji. (.) Dotychczasowa współpraca przebiega zadowalająco pod względem jakości świadczonych usług i rzetelnego podejścia pracowników Firmy do wykonywania przedmiotu umowy”.

Referencja - Transcom Worldwide Poland sp. z o.o.: „Informujemy, iż w listopadzie 2019r. firma Emplocity S.A. zaprojektowała i wyprodukowała chatbota rekrutacyjnego NLP dla naszej organizacji. W ramach zawartej umowy usługa wdrożenia obejmowała implementację aplikacji na naszej stronie www oraz pozostałych kanałach komunikacyjnych tj.: Facebook Ads, postach w social mediach, ogłoszeniach o pracę. Chatbot wykorzystując machine learning oraz przetwarzanie języka naturalnego, prowadził wstępną rozmowę rekrutacyjną z potencjalnymi kandydatami oraz analizował przesłane aplikacje.

Rekomendujemy Emplocity S.A. jako rzetelnego i godnego polecenia partnera biznesowego.”.

Uwzględniając powyższe ustalenia Izba zważyła:

Na wstępie wskazać należy, że zgodnie z § 9 ust. 1 pkt 2 rozporządzenia Ministra Rozwoju, Pracy i Technologii z dnia 23 grudnia 2020 r. w sprawie podmiotowych środków dowodowych oraz innych dokumentów lub oświadczeń, jakich może żądać zamawiający od wykonawcy (Dz.U. z 2020 r. poz. 2415), Zamawiający w celu potwierdzenia spełniania przez wykonawcę warunków udziału w postępowaniu lub kryteriów selekcji dotyczących zdolności technicznej lub zawodowej, może, w zależności od charakteru, znaczenia, przeznaczenia lub zakresu robót budowlanych, dostaw lub usług, żądać wykazu dostaw lub usług wykonanych, a w przypadku świadczeń powtarzających się lub ciągłych również wykonywanych, w okresie ostatnich 3 lat, a jeżeli okres prowadzenia działalności jest krótszy - w tym okresie, wraz z podaniem ich wartości, przedmiotu, dat wykonania i podmiotów, na rzecz których dostawy lub usługi zostały wykonane lub są wykonywane, oraz załączeniem dowodów określających, czy te dostawy lub usługi zostały wykonane lub są wykonywane należycie, przy czym dowodami, o których mowa, są referencje bądź inne dokumenty sporządzone przez podmiot, na rzecz którego dostawy lub usługi zostały wykonane, a w przypadku świadczeń powtarzających się lub ciągłych są wykonywane, a jeżeli wykonawca z przyczyn niezależnych od niego nie jest w stanie uzyskać tych dokumentów - oświadczenie wykonawcy; w przypadku świadczeń powtarzających się lub ciągłych nadal wykonywanych referencje bądź inne dokumenty potwierdzające ich należyte wykonywanie powinny być wystawione w okresie ostatnich 3 miesięcy.

Przechodząc do merytorycznego rozpoznania zarzutów odwołania dotyczących niewykazania przez Przystępującego spełnienia warunków udziału w postępowaniu w zakresie wymaganego doświadczenia, zauważyć należy, że sprowadzały się one do zakwestionowania jedynie treści referencji. Odwołujący wskazywał na fakt, że w treści wyżej przytoczonych referencji brak jest wskazania, że usługi bądź dostawy zostały zrealizowane w sposób „należyty”, a ponadto wskazywał, że ich treść nie wskazuje na zakres prac jaki został zrealizowany przez Przystępującego.

Podkreślić więc po pierwsze należy, że referencje nie są wystawiane na potrzeby konkretnego postępowania, ale mają charakter ogólny, nie można zatem wymagać i egzekwować od wykonawcy, aby z ich treści wynikało spełnienie konkretnego, zindywidualizowanego warunku. Dokument referencji nie musi też wprost zawierać stwierdzenia, że określona dostawa lub usługa została wykonana należycie, bowiem istotne jest, aby z treści dokumentu wynikała prawidłowość wykonania dostawy lub usług. Zauważyć należy, że przez należyte wykonanie zamówienia należy rozumieć zgodnie z art. 355 § 1 kodeksu cywilnego staranność ogólnie wymaganą w stosunkach danego rodzaju, przy czym ocena należytej staranności powinna uwzględniać całokształt zachowań dłużnika, a nie tylko prawidłowe techniczne wykonanie czynności. Dokument referencyjny musi posiadać treść, niezależnie czy w postaci stwierdzenia wprost czy też opisowy, ale pozwalający na wyciągnięcie wniosku wynikającego z przepisu § 9 ust. 1 pkt 2 ww. rozporządzenia o należytym wykonaniu lub wykonywaniu dostawy lub usługi.

W ocenie Izby analiza przedłożonych na wezwanie Zamawiającego referencji, a także protokołu odbioru i poświadczenia pochodzącego od spółki Grupa Żywiec S.A. pozwala uznać, że usługi w sposób szczegółowy opisane przez Przystępującego w złożonym wykazie usług zostały wykonane należycie, pomimo braku takiego właśnie określenia. Nawet bowiem jeśli w protokołach odbioru czy referencjach nie zamieszczono sformułowania „należyte wykonanie”, to należało ocenić, czy przedstawione tam informacje zawierają taką ocenę wyrażoną przy użyciu innych sformułowań. Jeśli odbiorca dostawy oświadcza, że odebrał ją bez zastrzeżeń, to znaczy to tyle, że nie było zastrzeżeń co do jakości jej wykonania, czyli że wykonano ją należycie. W ocenie Izby natomiast, z przedłożonych przez Przystępującego dokumentów powyższe okoliczności w sposób nie budzący żadnych wątpliwości wynikają.

Kolejno wskazać należy, że z treści referencji nie musi wynikać szczegółowy opis zakresu zamówienia. Zdaniem Izby Odwołujący błędnie i w sposób nieuzasadniony wymaga, aby treść referencji zawiera informacje, żądane przez Zamawiającego na potwierdzenie spełnienia warunku udziału w postępowaniu, albowiem potwierdzeniem spełnienia warunku jest oświadczenie wykonawcy w formie wykazu, a referencje mają za zadanie potwierdzać jedynie prawidłowość wykonywanej usługi referencyjnej. Powyższe potwierdzają wprost przepisy Pzp i ww. rozporządzenia. Nie może zatem ulegać najmniejszej wątpliwości, że dokumentem potwierdzającym zakres wykonanych usług jest wykaz usług wraz z podaniem ich wartości, przedmiotu, dat wykonania i podmiotów, na rzecz których dostawy lub usługi zostały wykonane.

Również za bezzasadny Izba uznała zarzut dotyczący wystawienia referencji przez drugiego członka Konsorcjum. Podkreślić należy, że jak wskazał na rozprawie Przystępujący, referencje zostały wystawione przez spółkę Ermlab za zrealizowanie usługi, która wykonana została przed zawarciem umowy Konsorcjum. Już to potwierdza więc, że w postępowaniu nie ma miejsca wystawienie referencji „samej sobie”.

Tym samym zarzuty Odwołującego w tym zakresie, należało uznać za bezzasadne.

Odnosząc się do zarzut dotyczącego niespełnienia przez Przystępującego warunku dotyczącego posiadania przez personel odpowiednich kwalifikacji, wskazać należy, że zgodnie z rozdziałem § 7 ust. 1 pkt 4 ppkt B.6 SWZ w zakresie kwalifikacji personelu Zamawiający wskazał, że uzna warunek za spełniony jeżeli Wykonawca wykaże, że dysponuje lub będzie dysponował osobami które będą uczestniczyć w realizacji zamówienia, spełniającymi poniższe wymagania: Anotator (4 osoby) - posiada doświadczenie w realizacji co najmniej 2 (dwóch) usług polegających na anotacji danych (przygotowaniu danych tak, aby mogły one stanowić dane treningowe dla algorytmów uczenia maszynowego), które to usługi zostały ukończone w ciągu 3 lat przed terminem składania ofert (lub jeżeli okres prowadzenia działalności jest krótszy, w tym okresie).

Izba ustaliła, że z złożonym przez Przystępującego wykazie wskazał on na stanowisko anotatora konkretne osoby, podając przy ich nazwiskach następujące doświadczenie: przygotowanie zbiorów danych na potrzeby treningu algorytmów dynamiki i predykcji sytuacji kryzysowych w serwisach społecznościowych, oraz przygotowanie zbiorów danych na potrzeby treningu algorytmów segmentacji użytkowników Internetu.

W opinii Izby doświadczenie to w pełni koresponduje z tak postawionym przez Zamawiającego warunkiem udziału w postępowaniu. Izba stwierdziła, że fakt, że p. Stefaniak jest programistą w żaden sposób nie wyklucza on możliwości wykonywania pracy anotatora.

W SWZ taki zakaz się nie znalazł. Co więcej Zamawiający nie postawił żadnych innych oczekiwań dotyczących wykształcenia tych osób, a więc jeżeli Przystępujący miał wątpliwości co do sformułowania brzmienia warunku, np. poprzez konieczność poszerzenia wymagań w tym zakresie winien był skorzystać w odpowiednim czasie z przysługujących w postępowaniu przetargowym środków ochrony prawnej. Zamawiający również - co istotne samodzielnie zdefiniował co należy rozumieć pod pojęciem anotacji, więc wszelkie wywody Odwołującego w tym zakresie, jak też formułowanie własnej definicji tego pojęcia są nieuprawnione. Podkreślić bowiem należy, że obowiązkiem Zamawiającego jest dokonanie oceny ofert przez pryzmat szczegółowych postanowień SWZ.

W konsekwencji powyższych rozważań Izba oddaliła ww. zarzut.

Izba za niezasadne uznała też zarzuty kwestionujące prawidłowość oceny jego oferty oraz oferty złożonej przez Przystępującego.

Izba ustaliła, że Zamawiający w § 16 pkt 3 SWZ „Kryterium 3 „Koncepcja (diagram w oparciu o zadanie z personą i przykładami kwalifikacji” (35 pkt)” Zamawiający ustalił, że zadaniem Wykonawcy jest opracowanie fragmentu koncepcji funkcjonowania czatbota w ramach modułu Wirtualnego Asystenta Doradztwa Zawodowego. Dla wybranego spośród 3 przytoczonych w załączniku nr 9 do SWZ przykładów opisów osób (person) korzystających z

czatbota (jej potrzeb oraz oczekiwań) oraz przy wykorzystaniu źródła danych, na podstawie których czatbot powinien udzielać odpowiedzi na pytania tej osoby (kwalifikacje z ZRK oraz informacje z portalu ), należy przygotować koncepcję, która będzie zawierać: - proponowany schemat rozmowy (tzw. flow) osoby z czatbotem (dialog zawierający 30 par pytań i odpowiedzi) obejmujących: - pytania zadawane przez osobę korzystającą z czatbota; o pytania, które zada czatbot (pytania otwarte lub opcje wyboru) pozwalające doprecyzować zakres udzielanej odpowiedzi; o propozycję treści odpowiedzi udzielanych przez czatbota (tekst, odesłania do materiałów, propozycje zapoznania się z treściami z ZRK — np. konkretny fragment opisu danej kwalifikacji, odesłania do zewnętrznych źródeł wiedzy, narzędzi lub aplikacji); o propozycję dodatkowych tematów rozmowy, które może zaproponować czatbot; opis funkcjonalności czatbota, które zostały wykorzystane w rozmowie (np. pytania zamknięte, pozwalające doprecyzować zakres udzielanej odpowiedzi, odesłania do określonych źródeł informacji) z uzasadnieniem ich zastosowania oraz krótkim wskazaniem, w jaki sposób mogą zostać wdrożone (np. integracja z innymi aplikacjami, zastosowanie określonej technologii, opis powinien zawierać do 5 funkcjonalności kluczowych z perspektywy opracowywanego schematu rozmowy i nie powinien być dłuższy niż 5400 znaków (3 strony znormalizowanego maszynopisu).

Jednocześnie Zamawiający ustalił, że każdy z członków Komisji Przetargowej dokona indywidualnie oceny w następujący o sposób:

ZRK Zintegrowany Rejestr Kwalifikacji - schemat rozmowy z czatbotem — 15 punktów, w tym: - adekwatność informacji udzielanych przez czatbota (= na ile odpowiadają na potrzeby osoby korzystającej z czatbota) — 0-5 punktów; - wskazanie kluczowych dla danej osoby informacji wyjaśniających prezentowane przez czatbota treści (np. definicje, wyjaśnienia pojęć, wskazówki jak rozumieć dane treści) — 0-5 punktów; - zastosowanie adekwatnych sposobów pozwalających na doprecyzowanie zakresu informacji udzielanych osobie — 0-5 punktów . punkty w zakresie 0-5 - przyznawane wg. skali szkolnej opis funkcjonalności czatbota — 15 punktów, w tym: - 3 punkty za każdą funkcjonalność, która została wskazana, o ile uzasadniono jej zastosowanie w odniesieniu do potrzeb osoby korzystającej z czatbota (2 punkty) oraz wskazano, w jaki sposób może zostać wdrożona (1 punkt). Ocenie podlegać będzie 5 pierwszych opisanych funkcjonalności. Jeżeli w ofercie znajdzie się więcej niż 5 funkcjonalności, pozostałe nie będą brane pod uwagę przy ocenie oferty. - poprawność stosowania terminologii ZSK— 5 punktów (zasada odejmowania punktów za niepoprawnie używaną terminologię): - -1 punkt za każdy błąd w używaniu terminologii ZSK w dialogach, zawężając ocenę do wypowiedzi udzielanych przez czatbot.

Izba ustaliła ponadto, że w karcie oceny sporządzonej przez p. Marcina Będkowskiego Przyznano w kryterium adekwatność - 0, informacje wyjaśniające - 5, adekwatność sposobów na doprecyzowanie - 5.

Oceniający za nieadekwatne rekomendacje uznał w zachowaniu czatbota: a) polecenie kwalifikacji archiwalnej Świadczenie usług pielęgnacyjno-opiekuńczych osobie chorej i samodzielnej (od 2019) - kwalifikacji tej nie można zdobyć, b) polecenie kwalifikacji Pielęgniarstwo ze szkolnictwa wyższego II stopnia osobie, która nie posiada dyplomu I stopnia (opisany użytkownik czatbota, absolwent szkoły policealnej, nie będzie w stanie jej zdobyć), c) czatbot udziela informacji o kwalifikacji II stopnia i podaje nieadekwatne informacje

o wymaganiach dla tej kwalifikacji: znajomość języka obcego na poziomie B1 i świadectwo ukończenia szkoły średniej, d) udzielenie informacji o zarobkach na podstawie Ekonomicznych Losów Absolwentów dla kwalifikacji branżowej Świadczenie usług pielęgnacyjno-opiekuńczych osobie chorej i samodzielnej (od 2019) - ELA obejmuje informacje dotyczące kwalifikacji ze szkolnictwa wyższego, ale nie branżowego, e) czatbot błędnie uznaje, że M. posiada kwalifikację Świadczenie usług pielęgnacyjno-opiekuńczych osobie starszej. Zgodnie z opisem persony posiada on kwalifikację Opiekun w domu pomocy społecznej.

Za każdą nieadekwatność odjęto 1 punkt, łącznie 5 (...)

W dialogu pojawia się błąd „zrealizować kwalifikację” - kwalifikację można zdobyć: -1 punkt. Czatbot wymienia jako kwalifikację „świadectwo ukończenia szkoły średniej”, podczas gdy w ZSK funkcjonuje kwalifikacja o nazwie „Świadectwo dojrzałości“: -1 punkt.

Izba ponadto ustaliła, że w karcie oceny sporządzonej przez p. M.K. wskazano w odniesieniu do schematu rozmowy z chatbotem, iż jest on częściowo adekwatny do opisu persony. Oceniająca przyznała w podkryterium adekwatność informacji - 0 pkt wskazując:

1. Niezgodnie z opisem persony, rozmówca chatbota błędnie wskazuje posiadaną kwalifikację - wskazuje Świadczenie usług opiekuńczo - wspierających osobie starszej zamiast Opiekun w domu społecznym. Błąd ten determinuje dalszy przebieg wywiadu - osoba nie uzyskuje informacji adekwatnych do swoich potrzeb.
2. Błędnie wskazana kwalifikacja: Świadczenie usług pielęgnacyjno opiekuńczych osobie chorej i samodzielnej jest kwalifikacją archiwalną
3. Błędnie wskazana kwalifikacja: Pielęgniarstwo studia II stopnia - chatbot nie wskazuje, że wymagane są studia I stopnia poprzedzające studia II stopnia
4. Błędnie wskazana kwalifikacja: Ratownik medyczny - szkolnictwo zawodowe nieadekwatnie do potrzeb, rozmówca szuka pracy, jest absolwentem szkoły policealnej Kluczowe informacje wyjaśniające - 5 pkt Sposoby doprecyzowania informacji - 5 pkt (.) Zrealizować kwalifikację - błędnie użyto sformułowanie, świadectwo szkoły średniej zamiast świadectwo dojrzałości - błędnie użyto sformułowanie.

W karcie oceny sporządzonej przez p. J.R.-W. wskazano: „Adekwatność informacji czatbot proponuje rozmówcy: 1) kwalifikację ze szkolnictwa zawodowego - archiwalną, a więc taką, której już nie można pozyskać, opis jest dostępny na stronie ZRK, czatbot nie reflektuje się, że ta informacja jest nieadekwatna i podaje dalsze informacje, 2) czatbot proponuje studia jednolite (5-letnie), jako przykład konkretnej realizacji studiów wskazuje jednak studia II stopnia (2-letnie), jako wymaganie do podjęcia wskazanych studiów podaje świadectwo ukończenia szkoły średniej - co nie jest precyzyjne, ponieważ są różne świadectwa, zapewne chodziło o świadectwo dojrzałości oraz certyfikat z języka obcego nie wiadomo, na jakiej podstawie, opis kwalifikacji nie wprowadza takiej informacji - oba wymagania są błędne w kontekście studiów II stopnia, które podejmuje się po studiach I stopnia, a więc wymagają dyplomu ukończenia studiów I stopnia, 3) czatbot wskazuje kwalifikację ze szkolnictwa zawodowego, którą można uzyskać po ukończeniu 2-letniej szkoły policealnej oraz po uzyskaniu kwalifikacji poprzedzającej - jest to nieadekwatna informacja dla rozmówcy, który już ukończył edukację (również policealną) i szuka pracy:

0,0”. Ponadto oceniająca wskazała: „czatbot pyta: „którą kwalifikację zrealizowałeś?” - nie można „zrealizować” kwalifikacji - można ją pozyskać, posiadać -1,0 czatbot wymienia “świadectwo ukończenia szkoły średniej” w kontekście podjęcia studiów II stopnia - pojęcie takiego świadectwa jest zbyt szerokie, błąd terminologiczny polega na tym, że takiej kwalifikacji nie ma, w kontekście studiów powinien posługiwać się terminem świadectwo dojrzałości -1,0”.

Izba uznała po pierwsze, że Odwołujący w żaden sposób nie wykazał, że koncepcja funkcjonowania czatbota opracowana przez Przystępującego jest w całkowitym oderwaniu

od Zintegrowanego Rejestru Kwalifikacji. Fakt, że według Odwołującego, Przystępujący nie posiada odpowiednich kwalifikacji, kompetencji i doświadczenia, aby przygotować koncepcję funkcjonowania czatbotu w sposób, który umożliwiałby jej ocenienie na zasadzie maksymalną liczbą punktów nie może uzasadniać postawionego zarzutu. Izba podzieliła stanowisko Zamawiającego, że koncepcja czatbota przygotowana przez Emplocity i przedstawiona w dialogu korzysta z terminologii i zasobów danych w ZRK, zakłada także integrację z portalem ZSK/ZRK, jednakże z uwagi na objęcie tajemnicą przedsiębiorstwa całości koncepcji, niemożliwe jest na tym etapie odniesienie się do jej treści i założeń.

W odniesieniu do oceny oferty Odwołującego dla „kryterium adekwatność" to jak wynika z SWZ oceniana była w tym kryterium adekwatność informacji udzielanych przez czatbota, tzn. na ile odpowiadają na potrzeby osoby korzystającej z czatbota. W ocenie Izby skoro np. jak wynika z karty oceny czatbot w sposób nieprawidłowy udzielał informacji o kwalifikacji II stopnia i podawał nieadekwatne informacje o wymaganiach dla tej kwalifikacji: znajomość języka obcego na poziomie B1 i świadectwo ukończenia szkoły średniej, to istniały podstawy do uznania, że informacje te są dla użytkownika nieadekwatne. W opinii Izby wszelkie przytoczone w kartach ocen zarzuty co do nieadekwatności przygotowanej koncepcji uzasadniały brak przyznania. Członkowie komisji w sposób wyraźny wskazali w kartach ocen, że w ich ocenie uwzględnione zostały stwierdzone przez nich nieprawidłowości, mankamenty w przygotowaniu koncepcji.

Izba stwierdziła ponadto, że fakt, iż w kartach ocen sporządzonych przez różne osoby znalazły się podobne argumenty w zakresie nieprawidłowości koncepcji, świadczy jedynie o tym, że każda z osób oceniających dostrzegła te same mankamenty przygotowanej koncepcji, co jednoznacznie potwierdza, że nieprawidłowości te były od razu zauważalne i istotne. Nie świadczyły natomiast o niesamodzielnej ocenie.

Ponadto Izba stwierdziła, że skoro w kryterium „poprawność stosowania terminologii ZSK” oceniane było jak wynika z SWZ wskazanie kluczowych dla danej osoby informacji wyjaśniających prezentowane przez czatbota treści (np. definicje, wyjaśnienia pojęć, wskazówki jak rozumieć dane treści), to w ocenie Izby posługiwanie się przez Odwołującego pojęciami jak np. „zrealizowanie kwalifikacji” było nieprawidłowe, z uwagi na fakt, że powyższe sformułowanie nie występuje w takiej konfiguracji w języku potocznym. W związku z czym nie można uznać, że Odwołujący w sposób prawidłowy zastosował określoną terminologię, a wszelkie odstępstwa od wymagań Zamawiającego musiały być oceniane proporcjonalnie do ich znaczenia i wagi przewidzianej w SWZ.

Izba nie stwierdziła zatem nieprawidłowej oceny przez Komisję przetargową oferty Przystępującego i Odwołującego stwierdzając, że przyznane punkty uwzględniały popełnione błędy, a więc nie doszło do naruszenia przepisu art. 239 ust. 1 Pzp.

Mając powyższe na względzie orzeczono jak w sentencji.

O kosztach postępowania odwoławczego Izba orzekła na podstawie art. 557 i 575 Pzp.

Przewodniczący

............................................................

27