Nařízení EU o umělé inteligenci a jeho dopady na využití jazykových modelů v advokátní praxi
Nařízení Evropského parlamentu a Rady (EU) 2024/1689 ze dne 13. června 2024 o umělé inteligenci (dále jen „AI Act") představuje první komplexní právní rámec regulace systémů umělé inteligence na světě. Pro advokátní praxi má tento předpis zásadní význam ze dvou důvodů: advokáti budou v mnoha případech vystupovat jako „provozovatelé" AI systémů ve smyslu čl. 3 odst. 4 AI Act, a zároveň budou poskytovat právní poradenství klientům, kteří tyto systémy nasazují.
Článek se věnuje analýze povinností, které nařízení EU o umělé inteligenci, tzv. AI Act, ukládá advokátům při nasazení generativních AI systémů v právní praxi. Autor upozorňuje, že advokát či advokátní kancelář využívající AI nástroj třetí strany bude zpravidla kvalifikována jako provozovatel ve smyslu AI Act, a tedy ponese konkrétní povinnosti včetně posouzení rizik před nasazením a zajištění auditovatelnosti výstupů. Zvláštní pozornost je věnována technickým ... více
Tento článek analyzuje klíčové povinnosti plynoucí z AI Act relevantní pro advokátní praxi a specifické technické vlastnosti generativních AI systémů, které mají přímý dopad na jejich právní hodnocení. Cílem není poskytnout vyčerpávající výklad nařízení, ale upozornit na praktické důsledky, které by měl každý advokát před nasazením AI nástrojů znát.
Čtyřstupňová klasifikace rizik a její dopad na advokátní praxi
AI Act zavádí klasifikaci AI systémů podle míry rizika, která určuje rozsah povinností provozovatelů. Systémy představující nepřijatelné riziko jsou dle čl. 5 zakázány — patří sem například systémy pro sociální skórování nebo manipulaci podprahového charakteru. Systémy vysokého rizika podléhají dle čl. 6 a přílohy III přísným požadavkům před uvedením na trh i během provozu. Příloha III AI Act explicitně uvádí jako potenciálně vysoce rizikové systémy používané v oblasti přístupu ke spravedlnosti a demokratické účasti. Systémy s omezeným rizikem podléhají dle čl. 50 povinnostem transparentnosti, zatímco systémy minimálního rizika nejsou specificky regulovány. Otázka klasifikace AI nástrojů určených pro podporu právní analýzy nebo přípravu dokumentů není jednoznačná a závisí na konkrétním způsobu nasazení. Systém, jehož výstupy mají přímý dopad na práva konkrétních osob, může spadat do kategorie vysokého rizika. Advokát, který takový systém nasazuje, by měl klasifikaci konzultovat s výrobcem a případně s odborníkem na regulaci AI. Advokát jako provozovatel ve smyslu AI Act Čl. 3 odst. 4 AI Act definuje provozovatele jako fyzickou nebo právnickou osobu, orgán veřejné moci, agenturu nebo jiný subjekt, který používá AI systém pod svou vlastní odpovědností. Advokát nebo advokátní kancelář, která nasazuje AI systém třetí strany pro zpracování klientských dokumentů, analýzu smluv nebo přípravu právních stanovisek, bude zpravidla kvalifikována jako provozovatel — nikoli pouze jako koncový uživatel.
Toto rozlišení má zásadní praktický dopad. Provozovatelům vysoce rizikových AI systémů ukládá čl. 26 AI Act konkrétní povinnosti, včetně posouzení dopadů před nasazením, zajištění technické dokumentace dle čl. 11 a logování výstupů dle čl. 12. Advokát, který nasadí AI systém bez tohoto due diligence, riskuje nejen porušení AI Act, ale i porušení stavovských povinností vůči České advokátní komoře.
Povinnost transparentnosti a její vztah k mlčenlivosti advokáta
Čl. 50 AI Act stanoví povinnost informovat fyzické osoby o tom, že komunikují s AI systémem nebo že obsah byl generován umělou inteligencí. V advokátní praxi se tato povinnost překrývá s obecnou informační povinností vůči klientovi a s povinností mlčenlivosti dle § 21 zákona č. 85/1996 Sb., o advokacii.
Z výkladu § 21 zákona o advokacii ve spojení s čl. 50 AI Act lze dovodit, že advokát je povinen klienta informovat o použití AI nástroje při zpracování jeho věci — zejména pokud AI systém zpracovává důvěrné informace klienta v cloudovém prostředí třetí strany. Mandátní smlouva by proto měla obsahovat výslovné ustanovení o případném použití AI nástrojů a způsobu zpracování klientských dat. [1]
Non-determinismus jazykových modelů jako právní problém
Na rozdíl od klasického softwaru, kde stejný vstup vždy produkuje stejný výstup, generativní jazykové modely pracují na principu pravděpodobnostního výběru tokenů. Výstup AI systému pro identický dotaz může být při každém spuštění odlišný — což komplikuje požadavek AI Act na konzistentní úroveň výkonu dle čl. 9 a auditovatelnost výstupů dle čl. 12.
Tato vlastnost má přímý dopad na odpovědnost advokáta za výkon právní služby dle § 24 zákona o advokacii. Výstup jazykového modelu nelze považovat za reprodukovatelný výsledek, jehož správnost byla jednou ověřena. Každé použití vyžaduje samostatný odborný přezkum — stejně jako advokát samostatně ověřuje každý výstup právní databáze nebo vyhledávače judikatury, a to bez ohledu na to, že takový výstup byl v minulosti shledán správným.
Halucinace jako právně relevantní riziko
Fenomén halucinací — generování fakticky nepravdivých, avšak lingvisticky věrohodných výstupů — představuje z pohledu právní praxe jedno z nejvážnějších rizik spojených s nasazením jazykových modelů. Jazykový model může vygenerovat neexistující soudní rozhodnutí nebo nepřesnou citaci právního předpisu s takovou přesvědčivostí, že netrénovaný uživatel chybu neodhalí. Pokud advokát takový výstup nekriticky použije, vzniká otázka odpovědnosti v rovině jak AI Act, tak § 24 zákona o advokacii. [2]
Varující precedent přišel ze Spojených států. Ve věci Mata v. Avianca rozhodované před federálním soudem Jižního distriktu New Yorku v roce 2023 předložili advokáti soudu procesní podání obsahující citace šesti neexistujících soudních rozhodnutí generovaných systémem ChatGPT. Federální soudce Jesse M. Furman uložil advokátům sankci ve výši 5 000 USD a věc postoupil disciplinárnímu orgánu. Advokáti se hájili tím, že nevěděli, že AI systém může generovat smyšlené judikáty. Soud tento argument odmítl jako nedostatečný. [3]
Ačkoli se tento případ odehrál v americkém právním prostředí, jeho implikace jsou univerzální: advokát nese plnou odpovědnost za obsah podání bez ohledu na to, jakým nástrojem byl text připraven. V českém právním prostředí tato odpovědnost plyne z § 24 zákona o advokacii a z obecné prevenční povinnosti dle § 2900 zákona č. 89/2012 Sb., občanský zákoník.
Z pohledu řízení rizik dle čl. 9 AI Act se jako nezbytné ukazuje nasazení systémů, které negenerují odpovědi z obecných tréninkových dat, ale vyhledávají je v uzavřené a verifikovatelné znalostní bázi — například v aktuálním znění právních předpisů. Ani taková architektura však neodstraňuje potřebu odborného přezkumu výstupu kvalifikovaným právníkem.
Zpracování dat a povinnost mlčenlivosti
Jazykové modely zpracovávají vstupní data jako součást kontextového okna — dočasné pracovní paměti modelu. U cloudových řešení provozovaných třetími stranami mimo Evropskou unii vyvstává otázka, zda toto zpracování splňuje požadavky čl. 10 AI Act týkající se správy dat a zároveň povinnost mlčenlivosti advokáta dle § 21 zákona o advokacii.
Nahráním klientského dokumentu do cloudového AI systému může advokát — byť neúmyslně — porušit povinnost mlčenlivosti, pokud smlouva s poskytovatelem neobsahuje odpovídající záruky o způsobu zpracování a ukládání dat. Relevantní je rovněž čl. 28 nařízení Evropského parlamentu a Rady (EU) 2016/679 o ochraně osobních údajů (GDPR), který ukládá povinnost uzavřít smlouvu o zpracování osobních údajů s každým zpracovatelem — včetně poskytovatele AI systému. [4]
Verifikace dat přes veřejné registry jako vrstva snížení rizik
Specifickým příkladem snížení rizik v české smluvní praxi je využití systémů, které dokáží deterministicky ověřovat identifikační údaje smluvního partnera proti veřejným registrům — konkrétně Administrativnímu registru ekonomických subjektů (ARES) dle zákona č. 304/2013 Sb., o veřejných rejstřících právnických a fyzických osob, a Insolvenčnímu rejstříku dle zákona č. 182/2006 Sb., o úpadku a způsobech jeho řešení.
Taková architektura snižuje riziko, že jazykový model vygeneruje nesprávné nebo zastaralé identifikační údaje — riziko právně relevantní z pohledu § 24 zákona o advokacii a povinností dle zákona č. 253/2008 Sb., o některých opatřeních proti legalizaci výnosů z trestné činnosti a financování terorismu. Ani propojení s veřejnými registry však nenahrazuje právní posouzení advokátem — slouží jako technická vrstva snižující pravděpodobnost faktické chyby. [5]
Praktická doporučení pro mandátní smlouvu
Na základě čl. 50 AI Act ve spojení s obecnou informační povinností advokáta doporučujeme zvážit zahrnutí výslovného ustanovení do mandátní smlouvy, které by obsahovalo informaci o případném použití AI nástrojů jako podpůrného prostředku pro analýzu dokumentů a přípravu podkladů, ujištění, že veškeré výstupy těchto nástrojů jsou před použitím podrobeny odbornému přezkumu advokáta, a potvrzení, že klientská data jsou zpracovávána výhradně v souladu s GDPR a povinností mlčenlivosti dle § 21 zákona o advokacii.
Toto ustanovení plní dvojí funkci: informuje klienta v souladu s čl. 50 AI Act a zároveň dokumentuje, že advokát zachovává odborný dohled nad AI výstupy — což je relevantní pro posouzení odpovědnosti dle § 24 zákona o advokacii.
Závěr
AI Act nepředstavuje zákaz využití jazykových modelů v advokátní praxi — ale klade na advokáty jako provozovatele těchto systémů konkrétní povinnosti, jejichž nesplnění může mít závažné profesní i právní důsledky. Klíčovým předpokladem odpovědného nasazení AI nástrojů je porozumění jejich technickým vlastnostem — zejména non-deterministické povaze výstupů a riziku halucinací — jako právně relevantním faktům, nikoli pouze technickým kuriozitám.
Případ Mata v. Avianca ukazuje, že soudy ani disciplinární orgány neakceptují neznalost technické povahy nástroje jako okolnost vylučující odpovědnost. Advokáti, kteří se s touto problematikou vypořádají proaktivně — prostřednictvím due diligence při výběru nástrojů, úpravy mandátních smluv a zavedení interních postupů odborného přezkumu AI výstupů — budou lépe připraveni na nevyhnutelnou digitalizaci právní praxe a zároveň minimalizují regulatorní a disciplinární rizika plynoucí z AI Act.
Dialog mezi právními profesionály a odborníky na AI systémy je v tomto kontextu nezbytností, nikoli volbou.
Mgr. Evžen Kutsenko
AI engineer se specializací na spolehlivost jazykových modelů v regulovaných odvětvích.
Tel.: +420 776 383 881
E-mail: evzen@lexpilot.cz
[1] Srov. čl. 13 nařízení Evropského parlamentu a Rady (EU) 2016/679 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů (GDPR), který ukládá povinnost informovat subjekty údajů o způsobu zpracování jejich osobních údajů.
[2] Srov. § 16 odst. 1 zákona č. 85/1996 Sb., o advokacii: „Advokát je povinen chránit a prosazovat práva a oprávněné zájmy klienta a řídit se jeho pokyny. [...] Advokát postupuje při výkonu advokacie tak, aby nesnižoval důstojnost advokátního stavu."
[3] Mata v. Avianca, Inc., No. 22-cv-1461 (PKC), 2023 WL 4114965 (S.D.N.Y. June 22, 2023). Rozhodnutí je veřejně dostupné v databázi federálních soudních rozhodnutí PACER.
[4] Nařízení Evropského parlamentu a Rady (EU) 2016/679 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů a o volném pohybu těchto údajů, čl. 28 odst. 3: „Zpracování zpracovatelem se řídí smlouvou nebo jiným právním aktem podle práva Unie nebo členského státu."
