Přelom v regulaci: Jak Akt o umělé inteligenci možná změní hru v Evropě

Akt o umělé inteligenci přinese harmonizovaná pravidla pro vývoj a používání systémů umělé inteligence (UI) v Evropě. Jako první komplexní pravidla regulující UI však mohou ovlivnit i zbytek světa (tzv. bruselský efekt[1]).

Návrh znění nařízení vypracovaný Evropskou komisí je dostupný již od dubna roku 2021. Ve čtvrtek 11. 5. 2023 přijal Výbor pro vnitřní trh a Výbor pro občanské věci pozměňovací návrh k návrhu Komise[2], který reaguje především na rychlý technologický vývoj jazykových modelů typu ChatGPT. O finální podobě nařízení budou europoslanci hlasovat na plenárním zasedání, které má proběhnout 12. 6. 2023.[3]

Pokud bude znění nařízení schváleno, nastane závěrečná fáze legislativního procesu, tzv. trialogy, kdy se k jednání připojí Evropská komise a Rada EU.

Cílem nařízení je podpořit inovace a zavádění důvěryhodných a bezpečných systémů umělé inteligence, které bude člověk schopen kontrolovat a vysvětlit. Tím má být dle oficiálních materiálů zajištěna vysoká úroveň ochrany zdraví, bezpečnosti, principů právního státu a jiných základních lidských práv a svobod před škodlivými účinky umělé inteligence.

Reklama

ChatGPT od A do Z v právní praxi (online - živé vysílání) - 5.8.2025

5.8.2025 13:003 975 Kč s DPH
3 285 Kč bez DPH

Koupit

Nařízení definuje systém umělé inteligence jako systém, který je navržen tak, aby mohl pracovat na různých úrovních autonomie, a který je schopen generovat výstupy (např. předpovědi, doporučení nebo rozhodnutí), které ovlivňují fyzické nebo virtuální prostředí.[4]

Klasifikace systémů UI podle míry rizika

Nařízení třídí systémy umělé inteligence podle míry rizika, které vytváří, a to na systémy s nízkým nebo minimálním rizikem, vysoce rizikové a nepřijatelné systémy UI.

Systémy umělé inteligence s nepřijatelnou mírou rizika[5] jsou striktně zakázané vzhledem k tomu, že jsou v rozporu s hodnotami Evropské unie. Je například nepřípustné používání systémů UI, které využívají podprahových, manipulativních nebo podvodných technik nebo zranitelnosti určité skupiny osob s cílem podstatně ovlivnit chování a rozhodování těchto osob. Dále je stanoven zákaz používání systémů UI pro přidělování sociálního kreditu, za účelem rozpoznávání emocí nebo biometrické identifikace.

Vysoce rizikové systémy UI jsou systémy, které představují vysoké riziko pro život, zdraví, bezpečnost nebo jiná základní práva fyzických osob. Tyto systémy bude povoleno uvést na evropský trh jen při splnění souboru na ně kladených požadavků.

Mezi tyto systémy můžeme řadit například systém určený k použití jako bezpečností součást při řízení a provozu silniční dopravy, při zásobování vodou, plynem, teplem a elektřinou nebo systém používaný při vzdělávání či zaměstnávání, zejména při výběru osob, jejich hodnocení a určování jejich práv a povinností.

Pro vysoce rizikové systémy stanoví nařízení například tyto požadavky:

1. Zavedení a uplatňování systému řízení rizik, který zahrnuje mimo jiné přijetí vhodných opatření řízení rizik
2. Vypracování technické dokumentace před uvedením systému na trh[6] a její průběžná aktualizace
3. Vypracování systémů tak, aby v průběhu své činnosti umožňovaly automatické zaznamenávání událostí (protokoly)[7], které musí být uchovávány alespoň po dobu 6 měsíců[8]
4. Fungování systému musí být transparentní[9]
5. Opatření systému návodem k použití obsahující relevantní informace pro uživatele, například totožnost a kontaktní údaje poskytovatele, vlastnosti, schopnosti a omezení výkonnosti systému, včetně jeho zamýšleného účelu, úrovně přesnosti, spolehlivosti a kybernetické bezpečnosti
6. Lidský dohled nad používáním těchto systémů[10]
7. Pokud poskytovatel sídlí mimo EU má povinnost jmenovat zplnomocněného zástupce sídlícího v EU formou písemného pověření
8. Povinnost registrace do databáze EU před uvedením na trh nebo do provozu[11]
9. Povinnost ohlásit každý závažný incident nebo chybné fungování těchto systémů představující porušení povinností podle práva Unie, a to neprodleně nebo nejpozději do patnácti dnů poté, co se poskytovatelé o daném závažném incidentu nebo chybném fungování dozví[12]

Uživatelé vysoce rizikových systémů mají povinnost tyto systémy užívat v souladu s návodem k použití[13] a monitorovat jejich provoz. V případě, že se domnívají, že systém UI představuje riziko, uvědomí o tom poskytovatele nebo distributora a používání systému pozastaví.

Základní modely

V reakci na rychlý technologický vývoj velkých jazykových modelů typu ChatGPT byla zavedena kategorie tzv. základních modelů (foundation models), které jsou podkategorií modelů pro obecné užití. Jedná se o modely, které jsou trénovány na obrovském množství rozličných dat, jsou navrženy pro poskytování obecných výstupů a mohou být přizpůsobeny široké škále úloh.

Poskytovatelé těchto modelů mají nařízením stanoven soubor povinností, například povinnost jejich registrace v databázi základních modelů, vytvoření technické dokumentace a instrukcí k použití.[14]

Poskytovatelé základních modelů používaných ke generování obsahu jako je text, obrázky, audio nebo video (tzv. generativní systémy UI) mají navíc povinnost uvádět, že byl daný obsah generován UI a zároveň systém vytvořit a trénovat tak, aby bylo zamezeno generování nezákonného obsahu.

Nejvíce kontroverzní a diskutovanou povinností je povinnost zveřejnění seznamu dat, která byla použita při tréninku daného systému, pokud jsou tato předmětem ochrany autorského práva. Tato povinnost výrazně zlepší postavení umělců bránících se proti porušování jejich autorských práv systémem UI, neboť tito nemají informace o procesu vytváření a trénování tohoto systému, takže by jinak jen velmi těžko prokazovali, že se systém učil na jejich autorských dílech.

Evropský úřad pro umělou inteligenci

Nařízení zřizuje Evropský úřad pro umělou inteligenci (AI Office)[15], který bude nezávislým orgánem s právní osobností a sídlem v Bruselu. Strukturu tohoto úřadu bude tvořit správní rada, sekretariát a poradní fórum.

Na vnitrostátní úrovni budou členské státy povinny pro účely dohledu nad uplatňováním a prováděním nařízení určit národní dozorový orgán.

Opatření na podporu inovací

Členské státy budou mít povinnost vytvořit kontrolované prostředí pro bezpečné testování systémů UI (tzv. regulační pískoviště UI), a to nejpozději ke dni účinnosti tohoto nařízení.

Prostředky nápravy

Nařízení nově upravuje specifické prostředky nápravy, zejména právo každé fyzické osoby nebo jejich skupiny podat stížnost u národního dozorového orgánu a právo na opravný prostředek proti rozhodnutí tohoto orgánu. Dále je stanoveno právo na vysvětlení rozhodnutí, které bylo přijato na základě výstupu vysoce rizikového systému.

Závěr

Umělá inteligence s sebou kromě velkých příležitostí přináší i velká rizika a ovlivňuje každodenní život lidí. Je tedy nepochybné, že je její regulace třeba.

Evropská regulace umělé inteligence by byla jednou z prvních tohoto druhu na celém světe, Evropská unie tak může inspirovat ostatní státy při zavádění pravidel pro umělou inteligenci a podnítit debatu na světové úrovni. Je zde však riziko, že pokud ostatní státy přijmou regulaci, která nebude klást na poskytovatele systémů UI tak přísné požadavky, budou tito poskytovatelé systémy vyvíjet a uvádět na trh právě v těchto ostatních státech.

Autoři pozměňovacího návrhu k nařízení jsou však přesvědčeni, že toto vyvažuje ochranu základních práv s potřebou poskytnout podnikům právní jistotu a podnítit inovace v Evropě.[16]