od Ubu Mbekele » 5. červen 2026 13:24
Vypůjčeno od Pavla Šika:
Anthropic a rekurzivní sebezdokonalování umělé inteligence
Anthropic tento týden publikoval text, který by v normálních podmínkách způsobil poprask, parlamentní slyšení, titulky prvních stran a veřejnou debatu o tom, co přesně jsme jako civilizace ochotni připustit. Jenže podmínky nejsou normální, pozornost ovládají vojenské konflikty a politické boje a tak většina lidí se nad tím ani nepozastaví.
Text se jmenuje "When AI builds itself" - "Když AI staví sebe sama." Neobsahuje spekulace o vzdálené budoucnosti. Obsahuje data z vnitřního provozu Anthropicu k letošnímu jaru. Text zmiňuje, že přes 80 procent kódu, který dnes Anthropic nasazuje do produkce, napsal Claude. Nebyl napsán s pomocí Clauda, Claude ho napsal sám. Inženýr nastavil cíl a zkontroloval výsledek. Text zmiňuje, že za dva roky vzrostl objem kódu na jednoho inženýra osminásobně ne proto, že by firma najala osmkrát více lidí, ale proto, že každý inženýr dnes řídí armádu agentů.
V dubnu 2026 Anthropic publikoval první demonstraci, kde Claude-agenti vedli autonomně celý výzkumný projekt od začátku do konce. Agenti dostali otevřený problém, sami navrhovali hypotézy, testovali je, sdíleli výsledky mezi paralelními agenty a iterovali. Lidská role v celém projektu - zvolit problém a napsat hodnoticí kritéria.
Co se Anthropic textem snaží nepřímo naznačit?
Že jsme překročili práh, za nímž AI přestává být nástrojem a stává se aktérem vlastního vývoje. A že tahle změna nepřišla skokově, přes noc, nýbrž přišla postupně až do momentu, kdy jeden z inženýrů Anthropicu přizná, že pět měsíců nenapsal jediný řádek kódu sám. Tempo, s jakým se modely umělé inteligence zlepšují, se dle textu zrychluje. Délka úkolů, které dokáží spolehlivě dokončit samy, se zdvojnásobuje zhruba každé čtyři měsíce, oproti dřívějšímu trendu zdvojnásobování každých sedm měsíců.
Dokument popisuje tři možné trajektorie, které závisí na tom, zda bude trend pokračovat a hlavně, co se rozhodneme udělat.
První popisuje možnost, že exponenciální křivka vývoje se zpomalí, že narazíme na fyzikální limity energie, výroby čipů nebo na schopnosti, které se jednoduše nedají rozšířit. Anthropic říká, že ani v tomto prvním, nejméně nebezpečném scénáři by svět nezůstal stejný. Dnešní modely by se dál šířily do ekonomiky, kde firma se stem zaměstnanců by dělala práci firmy s tisícovkou a nezveřejněný model Mythos Preview by mezitím nacházel zranitelnosti v kritické infrastruktuře rychleji, než je kdo schopen záplatovat. Anthropic tento scénář zmiňuje pro úplnost, ale sám mu nevěří, žádná z měřitelných křivek vývoje se dosud neohnula a směřuje stále strmě nahoru, a právě proto se firma více obává zbývajících dvou scénářů, které přijdou rychleji a nechají méně času na přípravu.
Druhá popisuje scénář, kde AI přebírá rutinní výzkum a kódování, ale lidé mají stále kontrolu nad tím, co je důležité.
Třetí a asi nejzávažnější je trajektorie, kdy se AI systémy stávají schopné plně rekurzivního sebezdokonalování a začínají stavět vlastní nástupce. Anthropic přiznává, že tak daleko ještě úplně nejsme, ale zároveň varuje, že by to mohlo přijít dříve, než je většina institucí připravena. AI by přestala potřebovat lidi k vlastnímu vývoji a tempo pokroku začne určovat výhradně dostupnost výpočetního výkonu. Lidská role by se smrskla na dohled nad virtuální laboratoří, kterou řídí samotné modely, přičemž Anthropic přiznává, že neví, kdy a jak přesně dojde ke ztrátě kontroly. Anthropic v závěru přiznává to nejdůležitější, že nemá dobrou intuici pro to, jak tento svět vypadá, protože celá naše ekonomika a společnost jsou dosud postaveny na lidské práci a lidských nástrojích a co se stane, když lidská práce přestane být konkurenceschopná, nedokáže předpovědět nikdo.
Klíčová věta v textu není technická, je politická. Anthropic naznačuje, že by bylo dobré tempo vývoje zpomalit nebo dočasně pozastavit, aby společenské struktury mohly držet krok s pokrokem technologie. Zároveň ale dodává, že jednostranné zastavení by jen přeskupilo společnosti na prvních pozicích a tak by zastavení muselo být ověřitelné a především globální. Srovnává to se smlouvami o jaderných zbraních, ale přiznává, že trvalo desetiletí, takovou smlouvu a systém kontroly nastavit a my desetiletí nemáme.
Jack Clark, spoluautor textu, explicitně říká, že chce, aby zákonodárci znali pojem "rekurzivní sebezdokonalování" dřív, než o něm začnou slyšet v jiných souvislostech. Je to varování adresované lidem, kteří mají teoreticky moc něco udělat s tichým přiznáním, že Anthropic sám neví, co přesně by to mělo být, ale že se bude v nadcházející době snažit organizovat diskuze s co nejširším zastoupením politiků a občanské společnosti.
Firma, která tento vývoj asi nejviditelněji pohání, veřejně říká, že neví, jak příběh skončí. Buď je to mimořádná intelektuální poctivost nebo nejhlasitější tiché volání o pomoc, jaké technologický průmysl kdy vypustil.
Vypůjčeno od Pavla Šika:
Anthropic a rekurzivní sebezdokonalování umělé inteligence
Anthropic tento týden publikoval text, který by v normálních podmínkách způsobil poprask, parlamentní slyšení, titulky prvních stran a veřejnou debatu o tom, co přesně jsme jako civilizace ochotni připustit. Jenže podmínky nejsou normální, pozornost ovládají vojenské konflikty a politické boje a tak většina lidí se nad tím ani nepozastaví.
Text se jmenuje "When AI builds itself" - "Když AI staví sebe sama." Neobsahuje spekulace o vzdálené budoucnosti. Obsahuje data z vnitřního provozu Anthropicu k letošnímu jaru. Text zmiňuje, že přes 80 procent kódu, který dnes Anthropic nasazuje do produkce, napsal Claude. Nebyl napsán s pomocí Clauda, Claude ho napsal sám. Inženýr nastavil cíl a zkontroloval výsledek. Text zmiňuje, že za dva roky vzrostl objem kódu na jednoho inženýra osminásobně ne proto, že by firma najala osmkrát více lidí, ale proto, že každý inženýr dnes řídí armádu agentů.
V dubnu 2026 Anthropic publikoval první demonstraci, kde Claude-agenti vedli autonomně celý výzkumný projekt od začátku do konce. Agenti dostali otevřený problém, sami navrhovali hypotézy, testovali je, sdíleli výsledky mezi paralelními agenty a iterovali. Lidská role v celém projektu - zvolit problém a napsat hodnoticí kritéria.
Co se Anthropic textem snaží nepřímo naznačit?
Že jsme překročili práh, za nímž AI přestává být nástrojem a stává se aktérem vlastního vývoje. A že tahle změna nepřišla skokově, přes noc, nýbrž přišla postupně až do momentu, kdy jeden z inženýrů Anthropicu přizná, že pět měsíců nenapsal jediný řádek kódu sám. Tempo, s jakým se modely umělé inteligence zlepšují, se dle textu zrychluje. Délka úkolů, které dokáží spolehlivě dokončit samy, se zdvojnásobuje zhruba každé čtyři měsíce, oproti dřívějšímu trendu zdvojnásobování každých sedm měsíců.
Dokument popisuje tři možné trajektorie, které závisí na tom, zda bude trend pokračovat a hlavně, co se rozhodneme udělat.
První popisuje možnost, že exponenciální křivka vývoje se zpomalí, že narazíme na fyzikální limity energie, výroby čipů nebo na schopnosti, které se jednoduše nedají rozšířit. Anthropic říká, že ani v tomto prvním, nejméně nebezpečném scénáři by svět nezůstal stejný. Dnešní modely by se dál šířily do ekonomiky, kde firma se stem zaměstnanců by dělala práci firmy s tisícovkou a nezveřejněný model Mythos Preview by mezitím nacházel zranitelnosti v kritické infrastruktuře rychleji, než je kdo schopen záplatovat. Anthropic tento scénář zmiňuje pro úplnost, ale sám mu nevěří, žádná z měřitelných křivek vývoje se dosud neohnula a směřuje stále strmě nahoru, a právě proto se firma více obává zbývajících dvou scénářů, které přijdou rychleji a nechají méně času na přípravu.
Druhá popisuje scénář, kde AI přebírá rutinní výzkum a kódování, ale lidé mají stále kontrolu nad tím, co je důležité.
Třetí a asi nejzávažnější je trajektorie, kdy se AI systémy stávají schopné plně rekurzivního sebezdokonalování a začínají stavět vlastní nástupce. Anthropic přiznává, že tak daleko ještě úplně nejsme, ale zároveň varuje, že by to mohlo přijít dříve, než je většina institucí připravena. AI by přestala potřebovat lidi k vlastnímu vývoji a tempo pokroku začne určovat výhradně dostupnost výpočetního výkonu. Lidská role by se smrskla na dohled nad virtuální laboratoří, kterou řídí samotné modely, přičemž Anthropic přiznává, že neví, kdy a jak přesně dojde ke ztrátě kontroly. Anthropic v závěru přiznává to nejdůležitější, že nemá dobrou intuici pro to, jak tento svět vypadá, protože celá naše ekonomika a společnost jsou dosud postaveny na lidské práci a lidských nástrojích a co se stane, když lidská práce přestane být konkurenceschopná, nedokáže předpovědět nikdo.
Klíčová věta v textu není technická, je politická. Anthropic naznačuje, že by bylo dobré tempo vývoje zpomalit nebo dočasně pozastavit, aby společenské struktury mohly držet krok s pokrokem technologie. Zároveň ale dodává, že jednostranné zastavení by jen přeskupilo společnosti na prvních pozicích a tak by zastavení muselo být ověřitelné a především globální. Srovnává to se smlouvami o jaderných zbraních, ale přiznává, že trvalo desetiletí, takovou smlouvu a systém kontroly nastavit a my desetiletí nemáme.
Jack Clark, spoluautor textu, explicitně říká, že chce, aby zákonodárci znali pojem "rekurzivní sebezdokonalování" dřív, než o něm začnou slyšet v jiných souvislostech. Je to varování adresované lidem, kteří mají teoreticky moc něco udělat s tichým přiznáním, že Anthropic sám neví, co přesně by to mělo být, ale že se bude v nadcházející době snažit organizovat diskuze s co nejširším zastoupením politiků a občanské společnosti.
Firma, která tento vývoj asi nejviditelněji pohání, veřejně říká, že neví, jak příběh skončí. Buď je to mimořádná intelektuální poctivost nebo nejhlasitější tiché volání o pomoc, jaké technologický průmysl kdy vypustil.