Zakázané praktiky umělé inteligence dle AI Aktu

Obecně

Zakázané praktiky umělé inteligence známe již z Nařízení (EU) 2024/1689 (AI Akt), které rozdělilo AI systémy do čtyř kategorií rizikovosti a to:

• nízké nebo minimální,
• omezené,
• vysoké a
• nepřijatelné.

AI systémy, které spadaly do kategorie nepřijatelné rizikovosti dle článku 5 AI Aktu jsou považovány za zakázané praktiky. Zákaz těchto praktik vstoupil v platnost 2. 2. 2025.

Reklama

ChatGPT od A do Z v právní praxi (online - živé vysílání) - 5.8.2025

5.8.2025 13:003 975 Kč s DPH
3 285 Kč bez DPH

Koupit

Pokyny

Na zákaz uvedených praktik Komise přímo navázala a 4. 2. 2025, tedy pouhé dva dny poté, zveřejnila Pokyny Komise o zakázaných praktikách umělé inteligence stanovené nařízením (EU) 2024/1689 (AI Akt). Pokyny byly schváleny Komisí, ale dosud nebyly formálně přijaty, jsou tedy v současnosti ve stádiu návrhu neboli „draft“ (dále jen „Pokyny“).

Zde je podstatné si připomenout, že obecně jsou pokyny Komise právně nezávazné, jedná se o dokument, který slouží zejména k dalšímu vysvětlení a dodání kontextu v konkrétní oblasti práva EU.

V tomto případě Pokyny rozvíjí detailně článek 5 AI Aktu, zejména pro aplikační praxi dozorových orgánů členských států EU a povinných subjektů dle AI Aktu. Ačkoli tedy Pokyny nejsou závazné, jejich cílem je zásadně podpořit jednotný výklad a aplikaci AI Aktu v EU.

Co Pokyny konkrétně upravují?

Pokyny jsou poměrně obsáhlý dokument a nebylo by možné zde obsáhnout veškerou úpravu téměř 140 stran, zaměříme se tedy alespoň na část podstatných příkladů. Ve zkratce: pokyny se zaměřují na jednotlivé systémy umělé inteligence, které představují nepřijatelná rizika, jež jsou zakázána podle článku 5 AI Aktu. Tyto zákazy mají chránit základní práva, včetně lidské důstojnosti, soukromí a zákazu diskriminace. K jednotlivý zakázaným praktikám uvádí Pokyny klíčové poznatky a příklady z praxe, které v tomto článku přiblížíme.

Podprahové techniky, škodlivá manipulace a klamání (čl. 5 odst. 1 písm. a) AI Aktu)

V tomto případě se jedná o AI, které používá podprahové, záměrně manipulativní nebo klamavé techniky s cílem nebo účinkem podstatného narušení chování tím, že výrazně zhorší schopnost osoby učinit informované rozhodnutí a přiměje ji učinit rozhodnutí, které by jinak neučinila, způsobem, který by mohl způsobit jí nebo jinému závažnou újmu. Jedná se tedy zejména o AI, které slouží k podprahovému, manipulativnímu ovlivňování člověka.

Můžeme tak chápat následující AI systémy:

• AI systém zobrazující rychle problikávající text ve videu, který je sice viditelný, ale bliká příliš rychle, než aby ho vědomí zaregistrovalo ale přitom je schopen podprahově ovlivnit postoje či chování osoby, která video sleduje, nebo obdobně AI, které vkládá obrázky do jiného vizuálního obsahu.
• AI algoritmus na sociálních sítích, který skrytě využívá psychologické triky k prodloužení doby, kterou uživatel tráví na platformě, čímž může způsobit závislost nebo psychické problémy.
• AI chatbot, který je schopen se vydávat za přítele či příbuzného za pomoci syntetického napodobení hlasu a tímto způsobem se dopouští podvodů a značných škod.

K těmto typům využití AI lze zvážit např. následující pokyny:

• Není vyžadován lidský úmysl klamat člověka prostřednictvím AI systému, stačí aby bylo AI schopno těchto podprahových, manipulativních technik a klamavých technik.
• Výslovné viditelné označení „deep fakes“ výrazně zmírňuje rizika škodlivých rušivých účinků těchto AI.
• Výklad pojmu „podstatné narušení chování“ odkazuje na úpravu ochrany spotřebitele v rámci práva EU, tedy AI praktika má za následek to, že vede člověka k rozhodnutí, které by jinak neučinil.

Využívání zranitelností uživatelů (Článek 5(1)(b) AI Aktu)

Zjednodušeně řečeno, jsou zakázány AI systémy, které zneužívají věk, kognitivní nebo tělesné postižení nebo sociální nebo ekonomické znevýhodnění uživatele a na tyto uživatele takto cílí.

Prakticky může jít například o:

• AI systém používaný k cílení na starší lidi s klamavými personalizovanými nabídkami nebo podvody – např. k ovlivnění, aby si koupili „drahé lékařské ošetření“ nebo „klamavé investiční programy“.
• AI systém v rámci aplikace, který se zaměřuje na mladé uživatele a používá zvlášť návyková schémata fungování, s cílem vytvořit závislost uživatelů na aplikaci.
• AI platforma, která personalizuje nabídky tak, že lidem ve finanční nouzi systematicky nabízí nevýhodné půjčky s vysokými úroky.

K těmto typům AI můžeme zvažovat například následující klíčové poznatky:

• Pokyny definují „zranitelnost“ široce jako zranitelnost kognitivní, emocionální, fyzické a jiné formy náchylnosti uživatele.
• Náchylnost musí být důsledkem příslušnosti osoby k jedné z vyjmenovaných skupin: věk, zdravotní postižení nebo socioekonomická situace.

Social scoring (Článek 5(1)(c) AI Aktu)

Social scoring nebo v překladu sociální bodování/skórování je kategorie AI, která už není realitou pouze v epizodě sci-fi seriálu Black Mirror.

Jedná se o skutečné AI systémy, které hodnotí nebo klasifikují osoby podle sociálního chování nebo osobních vlastností a vedou následně k neférovému zacházení v nesouvisejících situacích (například zákaz vstupu do sociálního zařízení na základě nízkého počtu sledujících na sociálních sítích).

Zakázány jsou tedy například následující AI systémy:

• AI systém, kdy by zdravotní pojišťovna hodnotila klienty na základě jejich stravovacích a fitness návyků a poskytovala méně výhodné podmínky těm, kteří neodpovídají „ideálnímu“ profilu.
• Daňový úřad, který by používal prediktivní nástroj s AI (zohledňující příjmy i nesouvisející údaje, například sociální návyky) na všech daňových přiznáních daňových poplatníků, aby vybral daňová přiznání k podrobnější kontrole.

K těmto typům AI zvažujeme například následující klíčové poznatky:

• Profilování fyzických osob podle práva EU na ochranu osobních údajů, pokud je prováděno pomocí AI systémů, může spadat pod tento zákaz.
• Nemusí se jednat pouze o AI, ale AI musí hrát významnou roli při vytváření sociálního skóre.
• Tento zákaz platí i v případě, že sociální skóre vytváří jiná organizace, než která ho následně využívá.

Predikce kriminality na základě profilování (Článek 5(1)(d) AI Aktu)

Tato kategorie je poměrně přímočará. Zakázány jsou AI systémy, které předpovídají pravděpodobnost spáchání trestného činu na základě osobnostních rysů nebo profilování, používají diskriminační vzory k identifikaci potenciálních pachatelů či automaticky označují jednotlivce jako rizikové bez objektivních a ověřitelných důkazů.

Prakticky může jít například o:

• AI systém Policie, který na základě historických dat označuje určité etnické skupiny jako pravděpodobnější pachatele kriminality.

K těmto typům AI zvažujeme například následující klíčové poznatky:

• Ačkoli je pozornost zaměřena na vymáhání práva, zákaz se vztahuje i na soukromé subjekty, zejména pokud jednají jménem orgánů činných v trestním řízení nebo vyhodnocují nebo předpovídají riziko, že osoba spáchá trestný čin, pro účely dodržování právních předpisů (např. v oblasti boje proti praní špinavých peněz).

Další příklady

Vzhledem k rozsahu úpravy a množství příkladů zakázaných praktik AI u následujících kategorií uvádíme jen pár praktických příkladů.

Článek 5 AI Aktu dále upravuje:

1. Necílené vyhledávání obličejů za účelem vývoje databází pro rozpoznávání obličejů (Článek 5(1)(e) AI Aktu)
2. Rozpoznávání emocí na pracovišti nebo ve vzdělávacích institucích (čl. 5 odst. 1 písm. f) AI Aktu)
3. Biometrickou klasifikaci k určení nebo odvození statusu v rámci citlivých skupin (čl. 5 odst. 1 písm. g) AI Aktu)
4. Biometrickou identifikaci v reálném čase ve veřejném prostoru (Článek 5(1)(h) AI Aktu)

Mezi zajímavé příklady zakázané praxe by v rámci těchto kategorií například patřily:

• Společnost hodnotící emocionální stav zaměstnanců pomocí kamer a na základě jejich výrazů upravuje jejich pracovní vytížení. Co by ale naopak zakázáno nebylo v této kategorii by byla situace, kdy zaměstnavatel, který na pracovišti používá zařízení s umělou inteligencí k měření úzkosti na základě naměřené úrovně stresu při nasazování nebezpečných strojů nebo při práci s nebezpečnými chemickými látkami (z důvodu výjimek z bezpečnostních a zdravotních důvodů).
• AI systém, který automaticky kategorizuje lidi podle rysů obličeje a přiřazuje jim pravděpodobné náboženské přesvědčení.
• AI systém, který na základě biometrické kategorizace tvrdí, že dokáže určit rasu člověka na základě jeho hlasu.

Závěrem

Vzhledem k dynamickému rozvoji AI a nástrojů, které se v praxi začínají dennodenně využívat, je vysoce pravděpodobné, že tyto výklady kategorií zakázaných AI praktik a jejich náležitostí se budou jen rozrůstat.

Pokyny Komise poskytují zásadní vyjasnění v oblasti zakázaných praktik AI, s cílem chránit základní práva a zároveň podporovat inovace.

Využívání zakázaných praktik AI může vést ke značným sankcím, které budou platit od 2. 8. 2025 a zahrnují pokuty až do výše 35 milionů EUR nebo 7 % celkového celosvětového ročního obratu podniků.

Do té doby platí tzv. přechodné období a tyto konkrétní sankce se neuplatní, vzhledem k prozatímní absenci kontrolních orgánů. Společnosti, které nabízejí nebo používají umělou inteligenci v EU, by AI Aktu i těmto Pokynům měli věnovat pozornost a své AI systémy důsledně přezkoumat, aby v tomto přechodném období odstranily případné nedostatky a možné nezákonné praktiky.

Mgr. Jakub Málek,
managing partner

Mgr. Tereza Pechová
advokátní koncipientka