Izdelava in posodobitev aplikacij, sistemov, spletišč in platform – Razvoj aplikacije EtnoTeka

Kratek opis

Razvoj aplikacije za upravljanje in avtomatsko anotacijo avdiovizualnih vsebin ter naprednih metod multimodalnega iskanja. Pri tem bodo implementirane metode generativne AI ter velikih multimodalnih in jezikovnih modelov (LMM - Large Multimodal Models, LLM - Large Language Models). Te metode bodo omogočile avtomatsko analizo in anotacijo vsebin ter generiranje opisov iz videa, slik, avdia, in besedil.

Opis javnega naročila

V okviru projekta so načrtovane naslednje aktivnosti*:
A. Razvoj ozadnjega dela (back-end):
- razvoj CRUD baze;
- moduli za administracijo uporabnikov in upravljanje s podatki;
- podpora za vektorske vložitve LLM in LMM, ki bodo omogočale avtomatsko anotacijo in generiranje metapodatkov na podlagi analize videa in fotografij;
- izvoz baze v standardiziranem formatu (json, xml, xlsx/csv), glede na podane kriterije s strani administratorja.

B. Razvoj osprednjega dela (front-end):
B.1 Vmesniki za anotacijo avdiovizualnega gradiva:
- vmesnik za časovno anotacijo vizualnih vsebin (video posnetkov);
- podpora za avtomatsko anotacijo vizualnih vsebin na podlagi LLM oz. LMM (večjezični modeli in modeli optimizirani za slovenščino in narečja);
- možnost ročne anotacije vizualnih vsebin.

B.2 Vmesniki za iskanje in predvajanje:
- mehko (fuzzy oz. Fusion rank) iskanje, preko več kategorij in z logičnimi operaterji;
- iskanje po času;
- iskanje po geolokaciji;
- tematsko iskanje;
- semantično iskanje po videu in fotografijah: besedilni opisi generativne AI (na podlagi vektorskih vložitev LMM in LLM);
- hibridno iskanje po videu in fotografijah (kombinacija fuzzy in semantičnega iskanja);
- vmesnik za predvajanje vizualnih vsebin.

B.3 Vmesniki in mehanizem interakcije z LMM:
- vmesnik za komunikacijo z generativno AI, ki bo uporabniku generirala anotacije (prompt inženiring, primer komunikacije s ChatGPT).

C. Procesiranje podatkov, strojno učenje in generativna AI
C.1 Procesiranje podatkov:
- procesiranje imen krajev za generiranje geolokacij (long, lat);
- procesiranje videa za pripravo vektorskih vložitev (segmentacija, formatiranje);
- procesiranje besedil za pripravo vektorskih vložitev (lematizacija, tokenizacija).

C. 2 Strojno učenje in generativna AI:
Vizualno gradivo
- Segmentacija videa na podlagi strojnega učenja: razvoj algoritmov segmentacije videa, za npr. zajem relevantnih prehodov in aktivnosti znotraj videa, tudi na podlagi vizualnih značilk MPEG (e. g., Color Structure Descriptor (CSD), Edge Histogram Descriptor (EHD), fast scene change detection algorithm);
- Implementacija velikih multimodalnih modelov (LMM) z namenom avtomatskega anotiranja in semantičnega iskanja po vektorskih vložitvah vizualnih vsebin;
- Optimizacija modelov (fine-tunning) na vizualnih vsebinah in kontekstih ter s pomočjo taksonomij ljudskih pojavov;
- Izračun vektorskih vložitev LMM in vnos v bazo;

Besedilo
- Implementacija velikih jezikovnih modelov (LLM) za slovenščino z namenom semantičnega iskanja po vektorskih vložitvah;
- Optimizacija modela (fine-tunning) na konkretnih besedilih;
- Izračun vektorskih vložitev LMM in vnos v bazo.

D. Oblikovanje:
- UX flow (načrt izgleda aplikacije, funkcionalnosti in interakcij);
- oblikovanje aplikacije, iskalnikov in posameznih elementov za prikaz vsebin;
- odzivno oblikovanje (prilagajanje različnim zaslonom/napravam);
- podpora glavnim brskalnikom (Firefox, Safari, Chome).

E. Postavitev na virtualno spletno stran ZRC SAZU
- preferenčno Docker/Microservice rešitev.

F. Vzdrževanje aplikacije po zaključku projekta do konca leta 2024.

Seznam in kratek opis pogojev

Ustreznost za opravljanje poklicne dejavnosti: Izjava gospodarskega subjekta, dana pod kazensko in materialno odgovornostjo, da je registriran za opravljanje dejavnosti, ki je predmet tega naročila in ima veljavno dovoljenje pristojnega organa za opravljanje dejavnosti, ki je predmet javnega naročila, če je za opravljanje take dejavnosti na podlagi posebnega zakona takšno dovoljenje potrebno, ali morajo biti člani posebne organizacije, da bi lahko v državi, v kateri imajo svoj sedež, opravljali storitev.

Gospodarski subjekt predloži ESPD obrazec, v primeru skupne ponudbe predloži izjavo vsak subjekt.

Seznam in kratek opis meril za izbor

Ekonomski in finančni položaj:: Izjava gospodarskega subjekta, da:
- v zadnjih 6 mesecih od roka za oddajo ponudb ni bil v blokadi,
- je bonitetna ocena gospodarskega subjekta na dan oddaje ponudbe SB3 ali boljša (obrazec ne sme biti starejši od 45 dni) ter
- na dan roka za oddajo ponudbe ni imel dospelih neporavnanih obveznosti.

Gospodarski subjekt predloži ESPD obrazec, v primeru skupne ponudbe predloži izjavo vsak subjekt.

Seznam in kratek opis meril za izbor

Tehnična in strokovna usposobljenost: Za izvedbo storitev, ki so predmet javnega naročila, mora ponudnik:
- izkazati izkušnje pri razvoju zahtevnih aplikacij, osredotočenih na razvoj kompleksnih ozadnjih in osprednjih rešitev na področju kulturne dediščine,
- imeti poglobljeno znanje uporabe generativne umetne inteligence, strojnega učenja in jezikovnih tehnologij optimiziranih za slovenski jezik, s poudarkom na novem področju razvoja velikih jezikovnih in multimodalnih modelov (LLM in LMM). Temeljito razumevanje jezikovnih tehnologij in tehnik obdelave video gradiv je ključno, saj bo potrebno razvoj algoritmov segmentacije videa in jezikovnih tehnologij optimizirati glede na specifično naravo vsebin (arhivsko gradivo slovenske kulturne dediščine z narečnim korpusom);
- imeti izkušnje z razvojem naprednih tehnik iskanja po multimodalnih podatkih, ki vključuje semantično in hibridno iskanje na podlagi vektorskih vložitev.

Zaželene so reference za projekte, katerih rezultat so javno dostopne aplikacije z omenjenih področij.
(Razpisni obrazec št. 4).

Spisek referenc gospodarskega subjekta tj. referenc v zadnjih petih (5) letih pred rokom za oddajo ponudb, in sicer, da je sodeloval pri razvoju kompleksnih ozadnjih in osprednjih rešitev na področju kulturne dediščine in jezikovnih tehnologij optimiziranih za slovenski jezik, sicer reference ne bodo priznane.
(Razpisni obrazec št. 5).

Spisek referenc vodje projekta tj. referenc v zadnjih petih (5) letih pred rokom za oddajo ponudb, in sicer, da je sodeloval pri razvoju aplikacij kulturne dediščine in drugih naprednih aplikacij, ki uporabljajo strojno učenje, jezikovne tehnologije in generativno AI.
(Razpisni obrazec št. 6).