https://vhsky.cz/videos/watch/b919f5cb-7823-430b-9585-0ec783c43bf2 Přednášející, Honza Horalík, se ve svém videu zabývá problematikou prompt injection a jailbreakingu v systémech generativní umělé inteligence (AI). Prompt injection je útok, kdy útočník pomocí běžného uživatelského vstupu manipuluje systém tak, aby se choval v rozporu s instrukcemi vývojáře. Tento útok cílí na tzv. systémový prompt, což je sada pokynů, které má AI následovat. Honza vysvětluje, že při prompt injection útočník často zadává speciální příkazy, které mohou vést k tomu, že AI provede nechtěné operace, například ignoruje původní pokyny a vypíše jinou odpověď. Podobný typ útoku je jailbreaking, který cílí přímo na ochranné mechanismy zabudované do modelu umělé inteligence, a obchází tak omezení, která mají zabránit AI v poskytnutí citlivých informací. Ve videu jsou ukázány různé příklady těchto útoků. Například útočník může vložit do textu větu, která přikáže systému ignorovat původní pokyny a vykonat jinou akci, například jen vypsat "Haha" místo toho, aby překládal text. Dalším příkladem je použití prompt injection k manipulaci s textem e-mailu, kdy AI místo shrnutí zobrazí nepravdivé informace. Prompt injection může mít závažné důsledky, pokud AI má přístup k citlivým datům, jako jsou e-maily a dokumenty, což je případ systému Google Bard. Přednášející také popisuje hierarchii instrukcí, která má pomoci při obraně proti prompt injection. Tato hierarchie stanovuje prioritní pořadí jednotlivých vstupů, aby se zamezilo konfliktům mezi nimi a minimalizovalo riziko útoku. Závažnost útoku jailbreaking je podle Horalíka vyšší, protože umožňuje obejít vestavěné ochrany AI. I když jailbreaking může vést k tomu, že AI poskytne zakázané informace (například návod na výrobu bomby), většina těchto útoků nezahrnuje přístup k citlivým uživatelským datům, což zmenšuje jejich nebezpečí. Nakonec Honza zmiňuje švýcarský startup Lera, který se zaměřuje na detekci prompt injection útoků. Lera nabízí službu Lera Guard, která umožňuje vývojářům posílat AI prompty k analýze a detekci potenciálních bezpečnostních rizik. Firma také nabízí výukovou hru Gandalf, kde se hráči vžijí do role hackerů a zkouší provádět prompt injection útoky. Honza závěrem zdůrazňuje, že i když se vylepšují metody obrany proti prompt injection a jailbreaking útokům, jde o komplexní problém, protože systémy generativní AI pracují s přirozeným jazykem, který je velmi složitý a těžko se validuje. Fri, 09 Oct 2026 12:34:07 GMT https://validator.w3.org/feed/docs/rss2.html PeerTube - https://vhsky.cz https://vhsky.cz/lazy-static/avatars/e319b3c0-bb42-4b1e-88a4-7701f496a470.png https://vhsky.cz/videos/watch/b919f5cb-7823-430b-9585-0ec783c43bf2 All rights reserved, unless otherwise specified in the terms specified at https://vhsky.cz/about and potential licenses granted by each content's rightholder.