Ścieżka SMART

Zadanie 1: Przedmiotem będzie Wsparcie Zamawiającego w badaniach mających na celu stworzenie automatycznego systemu generowania, annotacji i augmentacji danych na potrzeby tworzonego sys-temu sztucznej inteligencji dla wsparcia klientów Zamawiającego w obsłudze zapytań dedykowanych obszarów tematycznych, w tym: 1) implementacja narzędzia do generowania danych – Podwykonawca odpowiedzialny będzie za zaimplementowanie narzędzie, które umożliwi generowanie danych służących do trenowania modeli generatywnych. Dane będą zawierały instrukcje lub zapytanie napisane w języku natu-ralnym wraz z odpowiedzią i możliwością oceny. Narzędzie powinno umożliwić przypisanie uzupełniającej informacji lub kontekstu do instrukcji w dodatkowym polu; 2) generowanie danych – zadaniem podwykonawcy będzie przygotowanie zbioru danych skła-dających się przynajmniej z 250 000 instrukcji. Każdy z elementów zbioru powinien zawierać instrukcję, prawidłową odpowiedź na zadany problem i opcjonalnie pomocniczy tekst do za-pytania; 3) dostosowanie wygenerowanych danych – Wykonawca opracuje specyficzne obszary roz-mów, w których chatbot powinien udzielać odpowiedzi. Zostaną także wyodrębnione domeny rozmowy, w przypadku których eksperymentalny moduł konwersacyjny nie będzie udzielał wygenerowanej odpowiedzi, a jedynie wcześniej zdefiniowaną przez podwykonawcę formułę. Po określeniu obszarów rozmowy, podwykonawca przetworzy wygenerowane wcześniej dane tak, aby ograniczyć je jedynie do pożądanych tematów dialogów. Następnie wykona procedu-rę zwiększenia jakości danych poprzez przeprowadzenie takich czynności, jak usuwanie dupli-katów, formatowanie, indeksowanie i zwielokrotnianie danych; 4) przygotowanie zbioru danych pozwalających na wzmocniony trening na podstawie in-formacji zwrotnych od użytkowników (RLHF) – Wykonawca przeprowadzi anotację danych, która pozwoli ocenić poprawność odpowiedzi chatbota według rozmówcy. Tak uzyskane da-ne od użytkowników pozwolą na trening modelu techniką ze wzmocnieniem przy użyciu od-powiedzi użytkownika (Reinforcement Learning from Human Feedback (RLHF); 5) dodatkowa anotacja danych wytrenowanych modeli – Wykonawca oznaczy przynajmniej 3000 przykładów danych z wygenerowanego w poprzednich podzadaniach zbioru. Pomocni-cza anotacja będzie wskazywać, czy na podstawie instrukcji model powinien wygenerować odpowiedź w sposób jednoznaczny. Zebrane w ten sposób dane zostaną oddzielone od zbioru treningowego i oznaczone jako zbiór walidacyjny. Umożliwi to w kolejnym etapie auto-matyczne porównanie jakości wytrenowanych modeli. Zadanie 2: Przedmiotem Zadania 2 będą badania i eksperymenty w zakresie wytworzenia i wytrenowa-nia modeli sieci neuronowej typu transformer, które będą trenowane na danych powstałych w po-przednim etapie. W szczególności Wykonawca odpowiedzialny będzie za wykonanie następujących prac: 1) opracowanie i implementacja architektury sieci neuronowej typu transformer z wykorzy-staniem danych zawierających instrukcje – zadaniem Wykonawcy będzie opracowanie i im-plementacja optymalnej architektury modelu opartej na sztucznych sieciach neuronowych. Za-projektowany w ten sposób model ma odpowiedni dla danych przygotowanych w ramach poprzedniego etapu i umożliwiać dotankowywanie instrukcjami; 2) implementacja metod adaptacyjnych – zadaniem Wykonawcy będzie integracja metod z wy-korzystaniem adapterów do zaimplementowanego wcześniej modelu. Podwykonawca zgodnie z testami i ich wynikami wybierze odpowiednia metode adapterów np. metodę Low-Rank Ad-aptation albo metodę (IA)^3. Wybrana metoda wykorzystania adapterów musi poprawić szyb-kości treningu modelu przy mniejszym obciążeniu obliczeniowym; 3) kwantyzacja wytrenowanego modelu opartego na architekturze transformer – zadaniem Wykonawcy będzie optymalizacja modelu przy użyciu metody kwantyzacji zmieniając dokład-ność parametrów modelu z 32-bitowych do wybranych wartości optymalnych wybranych w trakcie testów i eksperymentów. Podwykonawca powinien wykazać wpływ z zastosowania tej techniki na rozmiar modelu, a także na czas inferencji; 4) implementacja architektury modelu RLHF – Wykonawca zaimplementuje model językowy oparty na architekturze transformera, dla którego możliwe będzie iteracyjne dotrenowywanie na podstawie danych zwrotnych uzyskiwanych od annotatorów a następnie użytkowników. Taki sposób treningu będzie prowadził do uzyskiwania większej precyzji generowanego tekstu przez model; 5) implementacja metryk porównujących modele z różnymi adapterami i modele przed i po kwantyzacji – zadaniem Wykonawcy będzie zaimplementowanie metryk określających jakość wytrenowanych modeli. Wykonawca odpowiedzialny będzie także za porównanie wytrenowa-nych w poprzednich zadaniach modeli na zaazotowanym w pierwszym etapie zbiorze walida-cyjnym, aby określić najbardziej skuteczną metodę odpowiedzi przez chatbota; 6) detekcja nieadekwatynch wiadomości użytkownika – zadaniem Wykonawcy będzie imple-mentacja modelu, który będzie określał, czy wiadomość wpisana przez użytkownika jest zgodna z określonymi tematami rozmów. W przeciwnym przypadku chatbot powinien zwrócić zdefiniowaną przez podwykonawcę wiadomość. Zadanie 3: Wykonawca odpowiedzialny będzie za wykonanie następujących prac: 1) optymalizacja głębokich modeli językowych – w ramach tego podzadania Wykonawca za-pewni wsparcie merytoryczne i programistyczne w zakresie optymalizacji stworzonych w ra-mach prac badawczych głębokich modeli językowych, tj.: opracowanie architektury mikroser-wisów funkcjonujących w ramach środowiska Docker Swarm (lub analogicznego, np. Kuber-netes), 2) wsparcie w operacjonalizacji modeli – Wykonawca wesprze Zamawiającego w procesie wyodrębniania jednostek egzekucji dla poszczególnych modeli i opracowanie modelu prze-pływu komend, komunikatów i danych pomiędzy mikroserwisami; 3) testy wydajności i optymalizacja – Wykonawca odpowiedzialny będzie za przeprowadzenie testów wydajności systemu zgodnie z przedstawionymi przez Zamawiającego scenariuszami i na podstawie dostarczonych przez Zamawiającego zbiorze danych (w tym wydajności proce-su trenowania). Na podstawie opracowanych architektur w ramach prac badawczych Podwy-konawca przeprowadzi eksperymenty z zakresu ekstrakcji wiedzy do modeli z mniejszą liczbą parametrów.

Warszawa, Warszawa, mazowieckie

W ramach realizacji części 2 zamówienia, przez cały okres trwania projektu podwykonawca zapewni na dostępność na każde żądanie Zamawiającego: 1) serwery CPU Wymagania sprzętowe węzłów obliczeniowych: a) min. 8 rdzeni x486, 3.2 Ghz, procesor klasy Intel (lub analogiczny), b) 64 gb pamięci RAM, c) min. 100 gb dysk ssd, d) łącze min. 1gb. Inne wymagania dotyczące usługi (co do sieci): a) usługa konternerowa - obsługa kontenerów Docker, b) dostarczenie w ramach usługi środowiska Docker Swarm obsługiwanego za pomocą panelu administracyjnego, c) centralne zarządzanie logami systemowymi w zakresie min. logów uruchomionych kontenerów oraz logów systemowych node’ów, d) mikrosegmentacja polityk bezpieczeństwa i tworzenie podsieci dla kontenerów, w których uruchomione będa mikroserwisy, e) możliwość odnalezienia serwera poprzez API, gdy jego IP ulegnie zmianie, f) udostępnienie panelu administracyjnego Zamawiającemu, g) możliwość alokacji i dealokacji serwerów na żądanie Zamawiającego w czasie poniżej 10 minut, h) SLA na dostępność 99,9%, i) zagwarantowanie warunków utrzymania sprzętu IT, w tym odpowiedniego chłodzenia, nieprzerwanej pracy oraz dostępności 24/7, j) dostęp fizyczny do urządzeń w trybie 24/7 na żądanie, w tym święta i dni wolne od pracy, k) monitoring działania infrastruktury, statystyki obciążenia infrastruktury, tj. serwerów (min. CPU, GPU) oraz sieci (min. wielkość ruchu sieciowego) danego serwera, l) możliwość zapisu obrazu dysków (snapshots) i ich odtwarzanie poprzez interfejs użytkownika, m) brak dodatkowych opłat, w tym m.in. za transfer danych i wykorzystanie dysków, n) monitorowanie i raportowanie incydentów bezpieczeństwa w trybie 24/7, o) zagwarantowanie wyłączności wykorzystywanych maszyn fizycznych – grupowanie maszyn wirtualnych Zamawiającego na tych samych maszynach fizycznych. W przypadku niepełnego wykorzystania maszyn fizycznych maszynami wirtualnymi Zamawiającego, Zamawiający oczekuje możliwości decydowania – ad hoc – na których maszynach fizycznych będą znajdować się poszczególne node’y obliczeniowe Zamawiającego (tj. poszczególne maszyny wirtualne) tak, by mniej krytyczne pod względem bezpieczeństwa node’y alokować na współdzielone maszyny fizyczne. Założenia dotyczące wykorzystania zasobów – Zamawiający nie deklaruje minimalnych po-ziomów wykorzystania usługi. Wykonawca zobowiązuje się do dostarczenia do 20 serwerów ad hoc. 2) serwery GPU Wymagania sprzętowe węzłów obliczeniowych: a) karta graficzna GPU:  wsparcie dla bibliotek deep-learningowych,  możliwość wykorzystania do trenowania modeli,  min. 40 GB RAM,  magistrala: min. 384-bit,  wsparcie dla PCI-e v.4,  sprzętowe wsparcie przyspieszające operacje na tensorach, b) min. 8 rdzeni x486, 3.2 Ghz, procesor klasy Intel (lub analogiczny), c) 64 gb pamięci RAM, d) min. 100 gb dysk ssd, e) łącze min. 1gb. Inne wymagania dotyczące usługi (co do sieci): a) usługa konternerowa – obsługa kontenerów Docker, b) dostarczenie w ramach usługi środowiska Docker Swarm obsługiwanego za pomocą panelu administracyjnego, c) centralne zarządzanie logami systemowymi w zakresie min. logów uruchomionych kontenerów oraz logów systemowych node’ów, d) mikrosegmentacja polityk bezpieczeństwa i tworzenie podsieci dla kontenerów, w których uruchomione będa mikroserwisy, e) możliwość odnalezienia serwera poprzez API, gdy jego IP ulegnie zmianie, f) udostępnienie panelu administracyjnego Zamawiającemu, g) możliwość alokacji i dealokacji serwerów na żądanie Zamawiającego w czasie poniżej 10 minut, h) SLA na dostępność 99,9%, i) zagwarantowanie warunków utrzymania sprzętu IT, w tym odpowiedniego chłodzenia, nieprzerwanej pracy oraz dostępności 24/7, j) dostęp fizyczny do urządzeń w trybie 24/7 na żądanie, w tym święta i dni wolne od pracy, k) monitoring działania infrastruktury, statystyki obciążenia infrastruktury, tj. serwerów (min. CPU) oraz sieci (min. wielkość ruchu sieciowego) danego serwera, l) możliwość zapisu obrazu dysków (snapshots) i ich odtwarzanie poprzez interfejs użytkownika, m) brak dodatkowych opłat, w tym m.in. za transfer danych i wykorzystanie dysków. n) monitorowanie i raportowanie incydentów bezpieczeństwa w trybie 24/7. Wykonawca zobowiązuje się do dostarczenia do 8 serwerów ad hoc. W przypadku zmiany wymagań projektowych i konieczności zastosowania kart graficznych o większych parametrach, Podwykonawca będzie zobowiązany do dostarczenia przynajmniej 4 z 8 serwerów z kartami GPU o pamięci min. 80 GB. W związku z wykorzystaniem serwerów do prowadzenia innowacyjnych badań, które mogą zawierać dane osobowe, z wybranym dostawcą podpisana będzie także umowa NDA oraz umowa o powierzenie danych osobowych. Zamawiający oczekuje zapewnienia przez Wykonawcę 99,9% dostępności – w przypadku wystąpienia Awarii serwera lub łączy Wykonawca zobowiązany jest do przystąpienia do usuwania Awarii w następujących terminach, liczonych od momentu otrzymania przez Oferenta informacji o jej wystąpieniu: a) czas reakcji w trybie standardowym (dni robocze od 9.00 do 17.00) – 30 minut; b) czas reakcji w sytuacjach nadzwyczajnych (poza trybem standardowym) – 2 h.

Warszawa, Warszawa, mazowieckie