Ohrozí rozhodnutí EU o umělé inteligenci evropské startupy?

V červnu proběhlo v Evropském parlamentu první jednání o schválení souboru pravidel pro řízení rizik, jež mohou být potenciálně spojovány s umělou inteligencí. Projednána byla omezení spjatá s detekcí emocí, identifikací a transparencí vývoje.

Vyjednávací pozici k Aktu o umělé inteligenci Evropský parlament zaujal s 499 hlasy pro a 28 proti. Dalších 93 poslanců se při jednání o konečné podobě zákona zdrželo hlasování. Ačkoli podle Evropského parlamentu umělá inteligence může přinést mnoho výhod, jako je například lepší zdravotní péče, bezpečnější doprava, efektivnější výroba i levnější a udržitelnější energie, skýtá i rizika, jež jsou spojována s určitými postupy. Na základě zmíněné schůze Evropského parlamentu nyní začnou jednání se zeměmi EU v Radě o konečné podobě zákona. Cílem EU je dosáhnout dohody do konce roku 2023.

LabRulez/AI: Ohrozí rozhodnutí EU o umělé inteligenci evropské startupy?

Zakázané postupy umělé inteligence

Pravidla, jež budou součástí Aktu o umělé inteligenci, stanoví povinnosti pro poskytovatele a subjekty zavádějící systémy umělé inteligence v souladu s jejími možnými riziky. Systémy s nepřijatelně vysokým rizikem proto budou zakázány. Jedná se o postupy, na jejichž základě je například možné provést sociální skórování – klasifikace lidí podle sociálního chování či dalších osobních charakteristik.

Poslanci dále rozšířili seznam obsahující tyto postupy, jež v praxi mohou vést k diskriminaci. Ve zmíněném výčtu lze nalézt dálkové „real-time“ systémy (tedy systémy zachycující prvky v přítomném čase) operující s biometrickou identifikací na veřejně přístupných místech; dálkové „post“ systémy (tedy systém vyhodnocující výsledky retrospektivně) také spojené s biometrickou identifikací, avšak výjimečně povolené v případě stíhání závažných trestných činů a pouze po soudním povolením.

Dále na seznamu mají své místo biometrické kategorizační systémy využívající citlivé charakteristiky, jako je pohlaví, rasa, etnický původ, občanský stav, náboženství, politická orientace, a prediktivní policejní systémy založené na profilování, poloze nebo minulém kriminálním chování.

V souladu nejen se zmíněnými pravidly, ale i lidskými právy a právy na soukromí pak není ani necílené získávání záznamů obličejů z internetu nebo záznamů průmyslových kamer za účelem vytvoření databází pro jejich rozpoznávání.

Poslední položka rizikových postupů, jež zakazuje určité systémy rozpoznávání emocí v oblasti vymáhání práva, správy hranic, na pracovišti a v oblasti vzdělávání, bude platit opět jak pro zmíněné instituce, tak například i pro startupy. V tomto případě však řada startupů vidí možné ohrožení vlastní existence, neboť se předpokládalo, že jejich rozběhlé projekty budou moci bez problému realizovat zmíněné postupy.

Zákonu neunikne ani generativní AI

Evropský parlament dále v rámci obsahu generovaného umělou inteligencí určil povinnost vždy označit tento obsah. Zákon dále určí, aby se zveřejňovaly generativní modely umělé inteligence obsahující tréninková data chráněná autorským právem. Tento požadavek se bude vztahovat například na modely ChatGPT či Bard.

Obsah generovaný umělou inteligencí dále budí čím dál tím větší rozruch zejména v souvislosti s tvorbou deepfake materiálu – zejména v oblasti audiovizuálního obsahu. Přestože je dokonale přesvědčivá deepfake videa stále relativně obtížné vytvořit, do roka a do dne by tomu tak podle odborníků být nemuselo.

„Vytvořit skutečně kvalitní deepfake stále vyžaduje značnou míru jak odborných, tak postprodukčních znalostí, aby bylo možné upravit výstup, který umělá inteligence vygeneruje. Video je skutečně další hranicí v oblasti generativní umělé inteligence,“ říká Henry Ajder, vedoucí oddělení komunikace a výzkumné analýzy nizozemského startupu Deeptrace, který pracuje na vytvoření antiviru proti deepfakes.

„Nemyslím si, že existuje webová stránka, na které by bylo možné zadat povel: ‚Vytvořte mi video, ve kterém Joe Biden říká X. ' To zatím neexistuje, ale bude. Je to skutečně jen otázkou času. Vývojáři už na převodu textu na video pracují,“ shrnuje problematiku Hany Farid, profesor informatiky na University of California v Berkeley.

V posledních letech jsou deepfakes užívány jako dezinformace v oblasti politiky. V roce 2022 se zejména na Twitteru rozšířilo deepfake video, ve kterém údajně ukrajinský prezident Volodymyr Zelenskyj vyzýval své vojsko, aby se vzdalo. Deepfake video, které bylo na Facebooku a Instagramu velmi rychle odstraněno společností Meta, stejně tak bylo staženo i z platformy YouTube, však dosáhlo vysokého počtu zhlédnutí na Twitteru.

Vzhledem k tomu, jak rychle se vyvíjejí další formy generativní umělé inteligence, je jen otázkou času, kdy se podobných videí s politickou motivací objeví více. Kvůli neustálému pokroku na poli generativní umělé inteligence však tyto formy dezinformací budou mnohem sofistikovanější, přesvědčivější a díky méně komplikované výrobě i mnohem četnější. Schválené stanovisko k transparentnosti a ověřování tohoto obsahu ze strany EU se tak v této souvislosti jeví jako podstatný a nutný krok v oblasti bezpečnosti.

LabRulez/AI: Ohrozí rozhodnutí EU o umělé inteligenci evropské startupy?

Ohrožené evropské startupy?

Výčet zakázaných postupů však vyvolává u řady evropských startupů oprávněné obavy. Znamená totiž, že určité projekty, u kterých aktuálně pokračuje vývoj, nebude možné dokončit.

„V podstatě nám místo podpory našeho vývoje hrozí zánik. Jsme svědky četných zastavení projektů, které jsme u významných klientů pečlivě iniciovali. Právě tito klienti se obávají chystaných nařízení jako potenciálního rizika pro pověst své značky. Máme tak potíže se získáváním kapitálu, protože naše společnost může potenciálně patřit k těm, které budou brzy výrazně omezeny ve svém rozvoji, nebo dokonce může dojít k likvidaci jejich podnikatelských aktivit,“ vyjádřil se k situaci Stefano Bargagni, zakladatel a výkonný ředitel italského startupu MorphCast, který vyvíjí systém AI pro digitální videokomunikaci.

Technologie společnosti MorphCast dokáže v reálném čase detekovat a analyzovat emocionální reakce diváků. Jedná se tak o využití „real-time“ systému, jehož implementování je jednou z položek na seznamu zakázaných postupů AI. Tyto (pravděpodobně brzy zakázané) postupy umožňují vytvářet videa, která mají komunikovat s emocemi diváků, a zajistit tak uživateli empatický obsah na míru. V návaznosti na to je další ambicí projektu společnosti MorphCast měřit pozornost diváků jak u sledování zábavního obsahu, tak reklam a vzdělávacího obsahu.

Některé startupy Akt o AI pravidla vítají

Oproti startupům, jako je MorphCast, však další začínající firmy a subjekty vyvíjející aplikace, jež pracují s emoční detekcí spojenou s umělou inteligencí, operují ve vysoce kontrolovaných podmínkách. Omezení zavedená Evropským parlamentem tak jejich existenci s největší pravděpodobností neohrozí.

Jako příklad lze uvést společnost Beyond Emotion, spinoff Hamburg University, která vyvíjí systém umělé inteligence, jenž sleduje náladu starších lidí a upozorňuje příbuzné na jejich silné negativní emoce nebo dlouhodobou nečinnost a příznaky deprese. Systém je zabudován do rámečku, který zobrazuje obrázky, na něž se dotyčný může dívat – například rodinné fotografie. Aplikace tak zároveň sleduje výraz uživatelova obličeje. „Software, jenž provádí analýzu, je v zařízení. Získaná data se tak neodesílají do sdíleného cloudu, ani nikam jinam. Jedná se tedy o ochranu dat prostřednictvím edge computingu,“ uvedla Hanne Butting, spoluzakladatelka společnosti.

Podobným způsobem využívá umělou inteligenci i polský startup UX Mining, který vyvíjí nástroje pro testování použitelnosti produktů. V rámci systému jsou dobrovolníci po souhlasu nahráváni při používání nového produktu či služby. Přepis je následně analyzován prostřednictvím umělé inteligence s cílem vyhodnotit jejich pocity.

Společnost zároveň pracuje na sofistikovanějším systému, jenž se zaměří na hlas, výrazy obličeje a pohyby těla. Ten bude označovat místa ve videozáznamu rozhovoru v případě detekce určitých emocí. Například pokud systém zaznamená nepohodlí dobrovolníka při plnění úkolu, lidští analytici budou moci zachytit klíčové momenty testu, aniž by museli trávit hodiny sledováním nahrávek.

„Procesy aplikace probíhají v kontrolovaném prostředí a souhlas je zcela jasný. Dbalo se na to, aby byly zabudovány přísné kontroly toho, jak jsou data využívána a kdo k nim může přistupovat. Důležitá je také úloha systému. Používáme umělou inteligenci jako pomocníka, nikoliv jako finálního rozhodovatele,“ zmiňuje Jean-Luc Momprivé spoluzakladatel společnosti.

Jak Butting, tak Momprivé považují Akt o umělé inteligenci za užitečnou hranici vývoje technologie, která má potenciál budovat důvěru v užívání umělé inteligence.