Zákon o umělé inteligenci (AI)

V Česku byl v roce 2024 přijat Zákon o umělé inteligenci (AI), který implementuje nařízení Evropského parlamentu a Rady (EU) 2024/1689 (tzv. AI Act). Tento zákon upravuje používání systémů umělé inteligence, stanovuje pravidla pro jejich vývoj, nasazení a dohled, a to s ohledem na bezpečnost, transparentnost a ochranu základních práv.
Odkaz na zákon Akt o umělé inteligenci.

Co si představit pod pojmy:

AI (umělá inteligence):
široký soubor technik a systémů, které napodobují nebo podporují lidské kognitivní schopnosti (učení, rozhodování, rozpoznávání). Zahrnuje tradiční ML/AA, symbolické systémy, robotics, atd.

LLM (Large Language Model):
specifický typ AI modelu trénovaného na obrovských korpusech textových dat, aby generoval a zpracovával text, rozuměl kontextu, odpovídal na dotazy, tvořil souvislý text. Příklady: GPT-4, Claude, Llama, BERT (technicky spíše pre-trained transformer model), atd.

AI Act (Akt o umělé inteligenci, EU):
legislativní rámec EU, který reguluje vývoj, nasazení a prodej AI systémů.
Cíl: minimalizovat rizika, zajistit transparentnost, odpovědnost a ochranu práv občanů, a vytvořit jednotný evropský trh pro AI.

Jak spolu tyto tři systémy souvisejí?

LLM je jedním z typů systémů, na něž se vztahuje AI Act, zejména pokud jde o vysoké riziko (high-risk) nebo významné dopady na práva a soukromí. AI Act definuje, jaké typy AI systémů podléhají jaké úrovni regulace, bez ohledu na to, zda jde o LLM, specifické modely, nebo obecné generativní systémy. Důležité je rozlišovat mezi technickou realizací (model, trénovací data, bezpečnostní opatření) a legislativní odpovědností (shoda s pravidly, zveřejňování, auditovatelnost).

Specifické výzvy pro LLM a generativní AI

Halucinace a důvěryhodnost výstupů: LLM mohou generovat nereálné nebo nepřesné informace
Bias a etika: tréninková data mohou odrážet společenské nerovnosti
Bezpečnostní a zneužití: technologie může být zneužita k phishingu, deepfake, škodlivým aktivitám
Souhlas a soukromí: použití dat při tréninku a během provozu musí respektovat práva jednotlivců
Vymahatelnost odpovědnosti: kdo je za výstupy zodpovědný (tvůrce modelu, poskytovatel, uživatel) – definice v AI Act a smluvní ujednání
Auditovatelnost a etické zásady: vyžaduje se registrace, záznamy, protokoly a ability k auditům.
Srovnání s obecnými (foundation models): vysoký dopad na trh; vyžaduje standardy pro odpovědnost napříč různými použitími a licencí.

Proč je LLM zvláště rizikový v kontextu AI Act

Rozsah a povaha generativních výstupů

LLMy generují text, který může být prezentován jako důvěryhodný a přesný. Halucinace (falešné ale konzistentně formulované informace) mohou vést k pochybným rozhodnutím, zejména v citlivých doménách (zdravotnictví, právo, finance). Kontextová adaptace výstupů na uživatele (personalizace) zvyšuje riziko diskriminace, manipulace a zneužití.

Široký dopad na práva a soukromí

Výstupy mohou ovlivnit zaměstnání, vzdělávání, zdravotní péči, soudní rozhodnutí a další základní práva. I méně škodlivé chyby mohou mít významné důsledky pro jednotlivce či skupiny. Práce s citlivými údaji (personal data, zdravotní informace, finanční citlivost) vyžaduje přísnou kontrolu nad tím, co se používá pro trénink, jak jsou data zpracovávána a jak jsou výstupy využívány.

Komplexnost a infrastruktura

LLMy bývají součástí složitých ekosystémů (APIs, microservice architektury, orchestrátory), kde problémy v jednom komponentu mohou mít kumulativní vliv napříč systémem (chain-of-trust, data lineage, exposure risk).

Ovlivnění důvěry a legitimacy výstupů

Uživatelé mohou považovat generované odpovědi za závazné či autorizované, což zvyšuje důležitost transparentnosti, vysvětlitelnosti a auditovatelnosti.

Hlubší pohled na definice rizik podle AI Act v kontextu LLM

Understanding Artificial Intelligence Hierarchy: How AI, ML, Gen AI, and LLM Are Related

High-risk podle kontextu použití (use-case dependent)

Nejde jen o samotný model, ale o to, jak je použit: např. diagnostika, náborová rozhodnutí, rozhodování ovlivňující práva, finanční posouzení, veřejná správa. Regulační požadavky se aktivují v závislosti na rizikovém profilu nasazení, nikoli jen na typu modelu.

Prohibice a omezení

Některé praktiky (např. manipulativní techniky, biometrii bez adekvátního watchdogu, zneužití pro masivní šíření dezinformací) mohou spadat do zakázaného prostoru. U LLMu může jít i o specifické aplikace, které využívají textové modely k vytváření přesvědčivých, ale falešných identit nebo klamavých prezentací.

Nedílné komponenty shody

Shoda zahrnuje technické i organizační prvky: data governance, risk management, dokumentaci, post-market monitoring, a odpovědnost za výsledky.

I. Marketing a reklama

Personalizace a cílení reklamy

Transparence: Pokud používáte AI pro personalizaci reklamy (např. na základě chování uživatelů), musíte uživatele jasně informovat, že je reklama generována nebo optimalizována pomocí AI.
Souhlas uživatele: Podle GDPR musíte mít výslovný souhlas uživatele se zpracováním jeho dat pro marketingové účely. AI nesmí zpracovávat osobní údaje bez tohoto souhlasu.
Zákaz manipulace: AI nesmí být použita k skrytému ovlivňování rozhodování uživatelů (např. pomocí deepfake videí nebo klamavých reklam).

Generování obsahu (články, texty, obrázky)

Označování AI-generovaného obsahu: Pokud používáte AI k generování článků, fotografií nebo jiného obsahu, musí být zřejmé, že jde o výstup umělé inteligence.

To platí zejména pro:

Fotografie: Pokud jsou generovány nebo upraveny AI (např. deepfake, syntetické obrázky), musí být označeny jako "AI-generované".
Články a texty: Pokud je obsah generován AI, musí být čtenáři informováni (např. označením "Tento článek byl vytvořen pomocí umělé inteligence").

II. Ochrana dat

Fotografie a biometrická data

Zpracování fotografií: Pokud AI zpracovává fotografie (např. pro rozpoznávání tváří nebo analýzu emocí), musíte dodržovat GDPR:

Souhlas: Musíte mít souhlas dotyčné osoby se zpracováním jejího obrazu.
Minimalizace dat: Nesmíte shromažďovat více dat, než je nezbytně nutné.
Právo na výmaz: Uživatelé mají právo požadovat smazání svých fotografií a dat.

Zákaz nekontrolovaného použití: Např. rozpoznávání tváří na veřejných místech je povoleno pouze za přísných podmínek (např. pro bezpečnostní účely).

Generování a úprava fotografií

Deepfake a manipulace: Zákon zakazuje používání AI k vytváření deepfake fotografií nebo videí, která by mohla poškodit reputaci nebo klamat veřejnost.
Autorská práva: Pokud AI generuje fotografie na základě existujících obrázků, musíte respektovat autorská práva původních autorů.

Shrnutí

LLM je klíčovým typem AI systému, na který dopadá AI Act, zvláště pokud jde o high-risk použití a potenciálně významné dopady na práva a soukromí. Hlubší pohled ukazuje, že regulace neřeší jen technickou konstrukci modelu, ale celý governance, data management, transparentnost, lidský dohled a post-market nadzor. Efektivní soulad vychází z integrovaného přístupu: kvalitní data, důkladná dokumentace, rizikový management, pilotní validace, a připravenost reagovat na změny legislativy.