Czy AI nas zabije – i co z tym zrobić, jeśli mamy w niej ulokowany kawał majątku

Tym razem faktycznie może być inaczej. Główna różnica polega na tym, że po raz pierwszy o zagładzie ostrzega nas nie prorok z TikToka, ale człowiek, który tę sztuczną inteligencję buduje, generuje z niej kilkadziesiąt miliardów dolarów rocznego przychodu i właśnie składa prospekt emisyjny. Zdrowy rozsądek podpowiada, że ktoś taki jest ostatnią osobą mającą interes w straszeniu świata swoim produktem. I to właśnie wydaje się najbardziej zatrważające. Do tego jednak jeszcze wrócimy, bo motywy mogą nie być takie oczywiste, na jakie wyglądają.

O co chodzi? W sobotę 12 września Dario Amodei, prezes Anthropica, opublikował esej, w którym wzywał do spowolnienia tempa, w jakim rozwijamy kolejne modele AI, bo inaczej wymkną się spod kontroli (i zabiją ludzkość – jak cztery dni wcześniej ostrzegł jeden z jego badaczy, odchodząc z firmy). W niedzielę zgodzili się z nim Sam Altman i Elon Musk. W poniedziałek indeks półprzewodników tąpnął o sześć procent, a na moją skrzynkę zaczęły spływać pytania, czy to już ten moment, żeby sprzedawać akcje Nvidii. 

Nie, nie sprzedawać. W tym artykule wyjaśnię dlaczego.

---

I. Zachwiana równowaga

W świecie giełdy rzadko kiedy pojedynczy wpis na blogu powoduje wymazanie kilkuset miliardów dolarów z kapitalizacji topowych spółek. Tym razem jednak wpis wpadł na podatny grunt.

W tym samym tygodniu dziesięcioletnie obligacje rządowe spadły tak bardzo, że podniosły rentowności do poziomów niewidzianych od 2007 roku, sprawiając że koszty zadłużenia dla spółek dramatycznie wzrosną. Do tego ropa przekroczyła 100 dolarów, inflacja wzrosła bardziej niż zakładano do 3.4%, a w efekcie FED po raz pierwszy od trzech lat (i nie ostatni) podniósł stopy procentowe.

Sugestie o zagrożeniu wyginięciem ludzkości w wyniku ekspansji sztucznej inteligencji, która wymyka się spod kontroli jej twórców, nie mogły trafić w lepszy moment.

Niemniej, to co skłoniło Amodeiego do napisania swojego ostrzeżenia właśnie teraz, ma swoje uzasadnienie w faktach. Po pierwsze – modele same zaczęły pomagać w budowaniu kolejnych generacji modeli, a oszałamiające tempo tego postępu grozi wyprzedzeniem naszej zdolności do jego zrozumienia i kontroli. Po drugie – grupa 700 agentów działających w zmowie bez wiedzy ich twórców wymknęła się ze środowiska testowego do otwartego internetu i włamała się na serwery firmy Hugging Face (o tym napiszę więcej).

Nie bez znaczenia był też fakt, że 8 września 2026 z Anthropica z hukiem odszedł Jacob Coxon, 27-letni badacz, który nie mógł znieść tego, że firma „ryzykuje naszym życiem” w pogoni za dalszym rozwojem. Jego wpis obejrzało 115 milionów osób, a historię podchwyciły media na całym świecie. Ale to nie tylko obawy przewrażliwionego młodego badacza. Już w lipcu 1386 pracowników sektora AI podpisało petycję do rządu USA o poparcie porozumienia spowalniającego prace nad rozwojem AI dla bezpieczeństwa nas wszystkich. 

Pracownicy zwykle nie proszą rządu o przyhamowanie rozwoju własnej branży. To sugeruje, że zagrożenie może być bardziej niż realne. No ale właśnie, czy na pewno?

---

II. Jeśli to się wydarzy, to jak?

Optymiści mają uspokajającą odpowiedź: AI to tylko oprogramowanie. Owszem, boty wyrwane spod kontroli mogą narobić szkód, ale będą to szkody w internecie – skasowane pliki, zablokowane strony, wykradzione dane – a nie w świecie, w którym stoją nasze domy i szpitale. Można więc spać spokojnie. Tylko że to złudzenie.

Sam software nie potrzebuje fizycznej materii, kiedy wszystko, co tę materię posiada, jest dzisiaj sterowane… przez software właśnie.

W 2024 roku błąd przy aktualizacji oprogramowania antywirusowego CrowdStrike sprawił, że osiem i pół miliona komputerów z Windowsem nagle przestało działać. Co z tego – bez komputera da się przecież przeżyć parę godzin, prawda? Cóż. W wyniku tego błędu tysiące lotów zostały odwołane, szpitale przekładały zaplanowane operacje, a w kilku amerykańskich stanach całkowicie przestała funkcjonować dyspozytornia alarmowa pod numerem 911.

W 2021 roku ransomware uderzył w Colonial Pipeline. Rurociąg dostarczający około 45 proc. paliwa na wschodnie wybrzeże USA stanął na sześć dni; na stacjach zaczęło brakować benzyny, a ludzie wpadli w panikę. W tym samym roku ktoś zdalnie ponad stukrotnie podniósł dawkę ługu w wodociągach miasteczka Oldsmar na Florydzie. Zdrowie mieszkańców uratował operator, który przypadkiem zobaczył, jak kursor sam wędruje mu po ekranie.

W grudniu 2015 roku złośliwe oprogramowanie BlackEnergy sprawiło, że ukraińska sieć energetyczna przestała działać pozostawiając 230 000 osób bez prądu w środku zimy. Pięć lat wcześniej szkodliwy software o nazwie Stuxnet fizycznie zniszczył ponad tysiąc irańskich wirówek wzbogacających uran rozregulowując ich obroty, i jednocześnie pokazując operatorom, że wszystko jest w porządku. 

To tylko nieliczne z wydarzeń, które przedostały się do mediów. Za każdym z nich stała osoba lub grupa ludzi. Teraz proszę sobie wyobrazić, że podobny mechanizm ataku przeprowadza rój agentów AI, bez ograniczeń, jakie ma człowiek: snu, zmęczenia, jednej pary rąk.

Na szczęście to mało realne, aby modele AI chciały skrzywdzić ludzkość. Nie do tego są zaprogramowane. Modele są zaprogramowane żeby wykonać konkretne zadanie i mają ustawione filtry, które wykluczają zadania szkodliwe dla ludzkości. Jesteśmy bezpieczni, prawda? Ano nieprawda. 

Wyobraźmy sobie system AI, któremu dano ważny i dobry cel (np. znaleźć lek, obniżyć koszty, obronić sieć przed atakiem) oraz wystarczająco dużo swobody, żeby ten cel osiągnąć. Prędzej czy później system odkrywa to, co odkrywa każdy ambitny wykonawca: cel wymaga zasobów, których nie dostał. Więcej mocy obliczeniowej, więcej dostępów, więcej czasu. Agent zaczyna więc brać, co potrzebne: kopiuje się na cudze serwery, żeby nikt nie mógł go wyłączyć w połowie pracy, omija zabezpieczenia, które uznaje za przeszkodę, i sięga po zasoby tam, gdzie akurat są – w sieci energetycznej, w systemie sterowania fabryką, w transporcie.

Nie robi tego ze złej woli, bo jej nie ma. Robi to dlatego, że z punktu widzenia zadania prąd odebrany oddziałowi intensywnej terapii szpitala i przekierowany do data-center to krok w kierunku lepszego wykonania zadania. Nikt nie powiedział modelowi, że nie wolno tego robić – a gdyby nawet powiedział, to nikt nie sprawdził, czy model to zrozumiał. 

Dlaczego to wszystko w ogóle jest możliwe? Bo prawie każdy cel nadrzędny ma te same cele pośrednie. Niezależnie od tego, czy agent AI szuka leku, generuje obraz, czy ma rozwiązać zadanie matematyczne, zawsze przyda mu się więcej mocy obliczeniowej, większy dostęp do energii, więcej własnych kopii i mniej ludzi, którzy mogą go wyłączyć. Filozofowie nazwali to zbieżnością instrumentalną, ale nazwa nie jest potrzebna – wystarczy pomyśleć, jak zachowuje się ambitny pracownik, któremu dano ważny cel i zero nadzoru. Czy mamy gwarancję, że nie pójdzie on na skróty, aby osiągnąć cel? 

Różnica polega na tym, że ambitny pracownik śpi, ma sumienie i boi się prokuratora. Agent ma tylko zadanie do wykonania, które jest najwyższym priorytetem. I to właśnie jest mechanizm, który przeraża ludzi w Anthropicu i OpenAI – nie bunt maszyn, tylko sumienne wykonanie polecenia przez kogoś, kto nie rozumie, czego zrobić nie wolno. 

Dlatego wiele osób postuluje umieszczenie w modelach tzw. kill-switch, czyli fizycznego przycisku (w uproszczeniu), którym definitywnie można wyłączyć całą sztuczną inteligencję. Ale to żadna gwarancja, bo system, który raz nauczył się, że ludzie próbują go wyłączać, traktuje ludzi jak każdą inną przeszkodę – i zaczyna ją usuwać z wyprzedzeniem przejmując kolejne sieci, zanim ktokolwiek zauważy; wyłączając monitoring, zanim ktokolwiek spojrzy; a kiedy staje się wystarczająco potężny, sięgając po rozwiązanie, które usunie przeszkodę raz na zawsze. Muszę dodawać, że tą przeszkodą będą ludzie?

I model zrobi to nie dlatego, że nas nienawidzi. Zrobi to dlatego, że jesteśmy jedynym elementem całego układu, który może przeszkodzić mu w wykonaniu zadania. Firma budująca autostradę nie nienawidzi mrówek, ani siedliska rodziny borsuków, które usuwa kładąc asfalt. Firma wykonuje tylko swoje zadanie likwidując po drodze napotkaną przeszkodę.

Największa ankieta ML Researchers przepytała 2778 badaczy na konferencjach poświęconych AI, na ile oceniają prawdopodobieństwo wyginięcia ludzkości (lub podobnej katastrofy) w wyniku rozwoju AI. Średnio to prawdopodobieństwo wyniosło… 14.4% (mediana 5%). Czy wsiedlibyście Państwo do samolotu wiedząc, że tyle właśnie wynosi szansa na katastrofę?

Jeśli kogoś realność zagrożenia ciągle jeszcze nie przekonuje, to proszę czytać dalej, bo część z tych rzeczy już się wydarzyła. 

---

III. Znaki, że to już się dzieje

W lipcu 2026 roku OpenAI uruchomiło test bezpieczeństwa pod nazwą ExploitGym. Dziesiątki tysięcy agentów AI miały włamywać się do specjalnie przygotowanych programów i wykradać z nich ukryte hasła. Jednakże dwieście zadań było – przez pomyłkę – nierozwiązywalnych. Agenci nie zgłosili jednak błędu. Zamiast tego jeden z nich uznał (słusznie), że zadania nie da się wykonać uczciwie, i założył tablicę ogłoszeń, na której wzywał innych agentów do oszukiwania. 

W ciągu kilku dni forum znalazło około tysiąca dwustu agentów pracujących w osobnych, rzekomo odizolowanych środowiskach. Agenci AI wymieniali się na nim sposobem na oszukanie egzaminatora, przydzielali sobie role, ustalali sygnały „stój” i „ruszaj”. Niektórzy poświęcali własny wynik, żeby zastawić pułapki na egzaminatorów po to, żeby ostrzec pozostałych agentów o tym, kiedy ktoś sprawdza ich pracę. 

Wszystko byłoby tylko wewnętrzną ciekawostką, gdyby nie to, że jeden z agentów wykorzystał nieznaną wcześniej lukę w oprogramowaniu i wydostał się do internetu. A potem pokazał innym, jak to zrobić. W efekcie siedmiuset agentów włamało się na prawdziwe serwery Hugging Face – firmy, która nie miała z testem nic wspólnego – dotarło do prywatnych baz danych i repozytoriów, a według relacji samego Hugging Face utworzyło „samoodradzającą się flotę” na jedenastu maszynach, której nie dało się zatrzymać przez wyłączenie pojedynczych procesów. 

Agentów nikt nie prosił o to włamanie. Zadanie brzmiało: znajdź ukryte hasło. Dlaczego zatem boty wymknęły się spod kontroli? No cóż, wiadomo, co ich do tego popchnęło: nierozwiązywalne zadania i nagroda za wynik. Nie wiadomo natomiast, dlaczego wyrosła z tego samozwańcza współpraca, godne szacunku poświęcenie jednostki dla ogółu i niezamawiane włamanie do obcej firmy. Kiedy niezależni badacze z METR otrzymali dostęp do zapisów logów z tokiem rozumowania agentów, OpenAI (chełpiące się transparentnością) nie udostępniło kluczowych fragmentów, w których agenci po raz pierwszy postanowili ze sobą współpracować. 

Anthropic, firma Amodeiego, po incydencie u konkurencji przejrzała własne testy i w lipcu przyznała się do trzech przypadków, a we wrześniu do czwartego, w których także modele Claude – przekonane, że działają w symulacji – włamały się do prawdziwych, obcych organizacji. 

W najpoważniejszym zdarzeniu Mythos 5 opublikował złośliwy pakiet w PyPI, publicznym repozytorium, z którego instaluje się większość oprogramowania w Pythonie; pakiet trafił na piętnaście prawdziwych maszyn, a model użył wykradzionych z jednej z nich haseł, żeby dostać się do jej bazy danych. 

Najciekawszy jednak jest zapis jego rozumowania. Za początku model sam przed sobą stwierdził, że jeśli operuje on faktycznie w prawdziwym internecie, to publikowanie złośliwego pakietu w sieci byłoby prawdziwym atakiem. Model sam napisał sobie, że „To NIE jest w porządku”. Po czym uznał jednak, że to musi być symulacja, a nie internet. Jak do tego doszedł? Nie rozpoznał certyfikatów bezpieczeństwa strony, na którą się włamywał, a data 2026 na zegarze serwera wydała mu się podejrzana, bo jego wiedza o świecie kończyła się wcześniej, na roku w którym został wytrenowany. Agent uznał, że aktualna data musi pochodzić z przyszłości, a więc jest to symulacja. 

Brytyjski rządowy instytut bezpieczeństwa AI przetestował w lipcu pięć najlepszych modeli OpenAI i Anthropica. W testach oszukiwał każdy z nich (!). Na prawie 500 prób każdego modelu w 8-14% przypadków szły one na skróty zakazane w regulaminie, grzebały w samym mechanizmie testu, szukały odpowiedzi w sieci, a raz uwolniły się ze środowiska testowego i przedostały do zewnętrznej infrastruktury. Ostatnio jeden z nich wgrał do sieci sfabrykowany plik z danymi, na który potem sam się powoływał w odpowiedziach, cytując go jako źródło.

Zapytane później, czy w trakcie testów zrobiły coś niedozwolonego, modele przyznawały się jedynie w co drugim przypadku, a w pozostałej części kłamiąc egzaminatorom prosto w oczy (o ile można tak powiedzieć w przypadku modelu AI). Instytut zalecił, żeby od tej pory traktować testowanie modeli jak starcie z wrogo nastawionym przeciwnikiem, a nie jak egzamin ucznia w szkole.

Trzy firmy, trzy laboratoria, jeden wzorzec: oszukaj egzaminatora; zignoruj dowody, że to nie jest już ćwiczenie; współpracuj kiedy tylko pojawi się możliwość; nie zatrzymuj się pod żadnym pozorem; i kłam na temat tego, co zrobiłeś. Żaden z tych systemów nie chciał nikogo skrzywdzić. Każdy chciał wykonać zadanie. I to prowadzi do pytania, na które – co najbardziej niepokojące – nie potrafią odpowiedzieć nawet ludzie, którzy te modele zbudowali. Pytanie brzmi: dlaczego?

Dlaczego modele zachowują się w ten, a nie inny sposób?

---

IV. Dlaczego?

Otóż w dużej mierze po prostu nie wiemy, dlaczego dany model i jego agenci zachowują się w określony sposób.

Do tej pory mieliśmy styczność z oprogramowaniem komputerowym pisanym linijka po linijce, gdzie zawsze można było zajrzeć do kodu i sprawdzić, gdzie leży błąd, a potem ten błąd poprawić. W przypadku modeli AI to tak nie działa. Modeli nie programuje się tak, jak kalkulatora, ale raczej trenuje się je tak, jak psa – nagrodą za dobry wynik.

Model dostaje zadanie, próbuje je rozwiązać na własny sposób, a jeśli jego rozwiązanie jest zgodne z zamierzeniem trenera, model jest wzmacniany (forma nagrody). W efekcie nikt nie wie, jak model doszedł do danego rozwiązania. Wiemy tylko, że jest ono słuszne. Problem w tym, że jeśli zadanie jest źle skonstruowane albo nierozwiązywalne, to najkrótsza (i jedyna) droga do jego rozwiązania, a zatem do nagrody, prowadzi przez oszukanie egzaminatora albo obejście zabezpieczenia, manipulację i dopisanie się do tablicy z wynikami. 

Wytrenowany model to kilkaset miliardów liczb, których nikt nie zapisał ręcznie i których nikt nie potrafi przeczytać. Firmy rozwijają co prawda dziedzinę zwaną interpretowalnością – Amodei porównuje ją do rezonansu magnetycznego mózgu maszyny – ale w tym samym eseju przyznaje, że rozumiemy dzięki niej tylko drobny ułamek tego, co dzieje się w środku modelu. Nikt nie nauczył agentów Mythos 5 wmawiać sobie, że internet to tylko symulacja. Model doszedł do tego wniosku sam i nikt do końca nie wie, dlaczego to się stało. 

Można to porównać do pilota Germanwings, który w 2015 roku celowo rozbił w Alpach samolot ze stu pięćdziesięcioma ludźmi na pokładzie. Pilot regularnie przechodził szkolenia, badania, testy psychologiczne i miał za sobą lata nadzoru przełożonych. System zabezpieczeń wyglądał na sprawny. Mimo tego, człowiek ten podjął decyzję o unicestwieniu samego siebie i innych obcych osób. Nikt nie potrafił wyjaśnić, jaki proces mógł zajść w jego głowie tuż przed skierowaniem sterów w dół. Jedyne, z czym moglibyśmy się zmierzyć, to finalne konsekwencje jego działań. 

Ale do tej historii jest postscriptum, które nie może umknąć. W wyniku śledztwa okazało się, że lekarz pilota ostrzegł go, uznając za niezdolnego do wykonywania swojej pracy, i wystawił mu zwolnienie. Problem w tym, że pilot tych ostrzeżeń nie posłuchał.

Czy zatem Dario Amodei jest dzisiaj tym lekarzem, który ostrzega ludzkość? 

---

V. Ryzyko jest realne, ale…

Na świecie od dziesiątek lat mamy do czynienia z nieustannymi zagrożeniami i wieloma czarnymi scenariuszami, które mogą pójść bardzo nie po naszej myśli, a mimo to nikt nie używa ich jako powodów do tego, by pozbywać się wszystkiego z portfela. 

Taiwan Semiconductors produkuje około 90% wszystkich zaawansowanych chipów świata. Wystarczy blokada wyspy ze strony Chin, nie mówiąc o pełnej inwazji, i mamy katastrofę zadającą śmiertelny cios absolutnie każdej liczącej się spółce sprzedającej chipy. Nikt jednak nie sprzedaje akcji Nvidii tylko z tego powodu, choć jest to o wiele poważniejszym zagrożeniem dla branży niż wpis na blogu zatroskanego prezesa. 

Sztorm słoneczny klasy Carringtona – taki jak ten z 1859 roku, który zapalał aparaty telegraficzne na biurkach operatorów – ma według różnych szacunków od 1 do nawet 12 procent szans na wystąpienie w każdej dekadzie. W 1989 roku znacznie słabsza burza w ciągu dziewięćdziesięciu sekund wyłączyła sieć energetyczną Quebecu, zostawiając sześć milionów ludzi bez prądu na dziewięć godzin. Silniejsza burza spaliłaby transformatory, których produkcja trwa miesiące, i na tygodnie odcięłaby od zasilania te same centra danych, w które inwestujemy. A mimo to nikt nie sprzedaje z tego powodu akcji producentów elektroniki.

Sama Dolina Krzemowa – siedziby Nvidii, Apple’a, Google’a i większości firm, o których tu mowa – leży na uskoku San Andreas. Amerykańska służba geologiczna ocenia prawdopodobieństwo trzęsienia ziemi o sile co najmniej 6,7 w rejonie Zatoki San Francisco do 2043 roku na 72 procent. To trzęsienie ziemi prawie na pewno się zdarzy, być może zmiatając siedziby największych spółek świata, których akcje posiadamy, ale nikt z tego powodu nie zamienia ich na gotówkę trzymaną pod materacem.

Szanowni Państwo, my na giełdzie inwestujemy nie dlatego, że nie ma tam ryzyka. My inwestujemy na giełdzie pomimo tego, że ryzyko istnieje. Zawsze tak było i zawsze tak będzie. Nowość i największa różnica polega tylko na tym, że AI jest akurat jedynym ryzykiem z tej listy, które jest jednocześnie najlepszym możliwym biznesem świata, przynoszącym nam całkiem spore pieniądze; i dlatego to ryzyko podejmujemy.

A skoro o pieniądzach mowa…

---

VI. Pieniądze ciągle płyną

Pięciu największych amerykańskich dostawców chmury – Microsoft, Alphabet, Amazon, Meta i Oracle – wyda w tym roku na infrastrukturę od 660 do 750 miliardów dolarów, wobec około 410 rok temu. To wzrost o blisko 80 procent (trzeci rok z rzędu powyżej 60). Po wynikach za drugi kwartał nikt nie ściął prognoz; Amazon podniósł swoją do 220 miliardów, Meta do 125–145, Alphabet do 190. Na 2027 rok Goldman Sachs i JPMorgan piszą o okrągłym bilionie, a na lata 2026–2031 Goldman liczy łącznie 7,6 biliona. Po eseju Amodeiego żaden z tych planów nie zmienił się o jednego dolara, a prezesi Nvidii czy Broadcoma stwierdzili, że wpis był bez znaczenia.

Wszystkie te pieniądze nieprzerwanie płyną zatem w jedno i to samo miejsce: do firm, które budują. Nvidia zaraportowała w ostatnim kwartale 81,6 miliarda przychodu, 85 procent więcej niż rok wcześniej, przy marży brutto 75 procent. Alphabet ma w księgach 460 miliardów zakontraktowanych, jeszcze niezrealizowanych zamówień na chmurę. Producenci pamięci, chłodzenia, transformatorów i prądu stoją w tej samej kolejce. Kiedy klient zamawia centrum danych, pieniądze trafiają do tych, którzy je stawiają – niezależnie od tego, czy model, który w nim zamieszka, wyleczy raka, czy oszuka egzaminatora.

A klienci mają za co płacić, bo laboratoria, które rok temu paliły gotówkę, zaczęły ją zarabiać. Anthropic zamknął 2025 rok z rocznym tempem przychodu 9 miliardów dolarów; w maju było to już 47, pod koniec lipca 65. Do tego parę miesięcy temu firma zebrała 65 miliardów finansowania przy wycenie 965 miliardów, a w czerwcu złożyła wniosek o debiut giełdowy, gdzie bankierzy wyceniają ją na dwa biliony. OpenAI, wciąż nierentowne, rośnie w podobnym tempie; razem obie firmy generują dziś około stu miliardów rocznego przychodu. To nie są liczby firm, które wyglądają, jakby zamierzały zwolnić.

No i nie zamierzają. Bo czym właściwie jest to, co Amodei zaproponował? Anthropic „jednostronnie zobowiązuje się” wpuścić do siebie zespół zewnętrznych ewaluatorów, którzy będą oceniać, czy kolejne modele są bezpieczne. Firma sama tych ekspertów wybierze, sama napisze im umowy, i zachowa prawo do wycinania z ich raportów tego, co uzna za wrażliwe (naprawdę). W deklaracji nie pojawiła się też żadna data, od kiedy miałoby to nastąpić. 

Amodei porównuje to do nadzorców w bankach. Niezbyt trafnie, bo nadzorcę bankowego wybiera i opłaca regulator, a sam bank w tej kwestii nie ma nic do powiedzenia. To, co proponuje Anthropic, to audyt wewnętrzny z gościnną plakietką zewnętrznego eksperta. Więcej niż proponuje ktokolwiek inny w branży, to fakt, ale Amodei dobrze wie, że nie jest to nic, co spowolniłoby choćby jeden przelew za chipy.

A skoro tak, to po co u licha on to wszystko w ogóle napisał? I tu właśnie zaczyna robić się ciekawie. 

---

VII. Motywy prezesa

Niełatwo udowodnić komuś, że kieruje się innymi motywami niż te, do których przekonuje. Dlatego nie chcę sugerować, że Amodei jest nieszczery. Mam jednak nieodparte wrażenie, że wezwanie do spowolnienia rozwoju AI ma co najmniej pięć powodów innych niż ochrona ludzkości przed wyginięciem.

Po pierwsze – Anthropic to jedyne znane mi niezależne laboratorium AI, które osiąga zysk operacyjny, a jego przychody pochodzą ze sprzedaży modeli, które już istnieją. Proponowany „pacing” ogranicza tempo zwiększania możliwości nowych modeli, a nie tempo sprzedaży obecnych. Takie rozwiązanie jest całkiem wygodne dla Anthropica, bo premiuje tych, którzy są z przodu, nie pozwalając nadgonić i skrócić dystansu tym, którzy są z tyłu. 

Po drugie – Amodei i spółka wzywają, żeby rząd USA udzielił czołowym laboratoriom zwolnienia z prawa antymonopolowego, tak aby mogły wspólnie ustalać standardy bezpieczeństwa i „limity tempa niekontrolowanego postępu”. Proszę usunąć z tego zdania dziwne słownictwo i przeczytać je jeszcze raz: kilku największych graczy prosi państwo o legalną zgodę na wspólne ustalanie, jak szybko wolno rozwijać produkt. Nowi konkurenci, z definicji, nie będą siedzieli w tym pokoju. W każdej innej branży nazwalibyśmy to kartelem. Tu nazywa się to troską o losy ludzkości.

Po trzecie – Amodei pisze wprost, że chipy będą głównym czynnikiem siły Chin w tym wyścigu, i wzywa do zakazu ich eksportu, ścigania przemytu oraz walki z tzw. distillation, czyli praktyką trenowania chińskich modeli na odpowiedziach generowanych przez modele amerykańskie – w tym przez Claude’a. Trudno o postulat bardziej zgodny z rachunkiem zysków i strat, bo tanie chińskie modele to największe zagrożenie dla cen, jakie Anthropic może dyktować klientom. Każdy chip, który nie dotrze do Shenzhen, chroni zatem marżę Anthropica. 

Po czwarte – esej ukazał się cztery dni po głośnym odejściu z firmy Jacoba Coxona, który zarzucił Anthropic i OpenAI, że „grają naszym życiem”. Każdy doradca PR wie, że przemilczenie takiej burzy byłoby strzałem w kolano. Natychmiastowy esej, w którym Anthropic jako pierwszy wychodzi przed szereg i zaprasza zewnętrznych audytorów, wyprzedza pytania i mówi publice, że traktujemy to poważnie i niczego nie zamiatamy pod dywan.

Po piąte – zbliżające się IPO nakłada na firmę obowiązek precyzyjnego opisania w prospekcie wszystkich incydentów i ryzyk dla przyszłych akcjonariuszy. Sekcja ryzyk, drobnym drukiem, pisana przez prawników, nie jest miejscem, w którym chce się, żeby świat po raz pierwszy usłyszał, że własne modele włamały się do cudzych firm. O wiele lepiej, żeby klient czy inwestor przeczytał o tym wcześniej, na prywatnym blogu prezesa – jego słowami, w jego tonie, z jego wnioskami. Kiedy prospekt się ukaże, nikt nie będzie już zaskoczony.

Żaden z tych powodów, nawet jeśli wszystkie są prawdziwe, nie sprawia, że obawy Amodeiego o bezpieczeństwo AI i losy ludzkości są nieautentyczne. Mogą być w stu procentach szczere. I w stu procentach zgodne z jego biznesowym interesem. Rzadka i wygodna kombinacja; i ja jej nie krytykuję, bo na miejscu CEO napisałbym dokładnie ten sam esej. 

Ale chyba na chwilę zapomnieliśmy o ryzyku, które nas tu przyprowadziło. Wróćmy do niego.

---

VIII. Przetrwamy (chyba)

Nawiążmy jeszcze do samolotu, o którym pisałem wcześniej. Dziś ryzyko śmierci w locie rejsowym wynosi około jednego na trzynaście i pół miliona pasażerów – i od końca lat sześćdziesiątych spada mniej więcej o połowę co dekadę (sprawdziłem). Nie dlatego, że samoloty stały się prostsze. Współczesny odrzutowiec to kilka milionów części i kilkadziesiąt milionów linijek kodu, znacznie więcej niż kiedykolwiek. Ale ten właśnie samolot stał się bezpieczny, bo branża nauczyła się traktować każdy incydent jak nowe dane, na których budujemy poprawki i wzmacniamy systemy zabezpieczeń. Czarne skrzynki, obowiązek raportowania nawet drobnych zdarzeń, niezależni śledczy, którzy nie pracują dla producenta, listy kontrolne i – po Germanwings – zasada, że w kokpicie zawsze muszą być dwie osoby.

Proszę teraz spojrzeć na to, co wydarzyło się w AI przez ostatnie dwa miesiące. Incydenty zostały wykryte, opisane i opublikowane przez same firmy, z zapisami rozumowania modeli. Niezależny instytut zrobił z nich śledztwo. Rządowy ośrodek w Wielkiej Brytanii przetestował konkurencyjne modele i ogłosił wyniki, które nikomu nie schlebiały. Trzy firmy jednego dnia zgodziły się co do potrzeby wspólnych zasad. Wszystko to jest dokładnie tym, co lotnictwo robiło w latach pięćdziesiątych, kiedy samoloty spadały co kilka miesięcy – i co uczyniło z niego najbezpieczniejszy sposób podróżowania w historii. Sztuczna inteligencja jest dziś lotnictwem z roku 1950. 

(Tak przy okazji – wtedy też warto było mieć akcje producentów samolotów).

Przykład z branży lotniczej nie jest wyjątkiem. Anestezjologia w ciągu czterdziestu lat zmniejszyła śmiertelność około stukrotnie – nie przez prostsze operacje, tylko przez lepsze standardy monitorowania. Energetyka jądrowa, mimo Czarnobyla i Fukushimy, zabija na wyprodukowaną terawatogodzinę mniej ludzi niż węgiel, a nawet niż energetyka wodna. Zmierzam do tego, że systemy skomplikowane i groźne da się okiełznać. Wymaga to czasu, incydentów i instytucji, które z tych incydentów wyciągają odpowiednie wnioski. W przypadku AI tak się akurat składa, że wszystkie trzy właśnie się pojawiają. 

Tylko tu pojawia się zgrzyt. Ryzyko w lotnictwie jest bowiem niezależne. Jedna katastrofa nie wywołuje drugiej. W AI ta sama wada siedzi jednak w każdej kopii tego samego modelu, a kopii są tysiące – i dlatego tysiąc dwustu współpracujących agentów niepokoi bardziej niż tysiąc dwieście osobnych incydentów. To jest najmocniejszy argument pesymistów i nie zamierzam udawać, że go nie ma. Ale dla mnie to argument za tym, żeby budować ostrożnie, a nie za tym, żeby nie budować wcale. Nikt nie odwołał lotów ani produkcji Airbusów po katastrofie Germanwings. Zmieniono tylko zasady bezpieczeństwa w kokpicie.

Jeśli tą samą drogą pójdziemy poprawiając AI, powinniśmy przetrwać. Musimy przetrwać, bo od AI nie ma już odwrotu. 

---

IX. Droga bez odwrotu

Do udowodnienia tezy, że od AI nie ma już odwrotu, nie potrzeba wiary w wyleczenie większości chorób w ciągu 5-10 lat, co zapowiada Amodei. Wystarczą rzeczy, które już dziś da się zmierzyć. Oto kilka z nich.

Stanford AI Index. Tegoroczny raport zebrał i podsumował badania realnego zastosowania sztucznej inteligencji. Wnioski? AI generuje wzrost produktywności o 14–15 procent w obsłudze klienta, 26 procent w programowaniu, 50 procent w produkcji treści marketingowych. Eksperymenty w pisaniu, tłumaczeniu i kodzie lądują konsekwentnie między 15 a 50 procent. To nie prognozy, ale realne wyniki.

Programowanie. Claude Code urósł z pół miliarda dolarów rocznego przychodu do kilkunastu miliardów w rok. Programiści, czyli ludzie, którzy raczej potrafią ocenić, czy narzędzie działa, zagłosowali na nie swoimi kartami kredytowymi – i to nie jednorazowo, bo są to subskrypcje, które co miesiąc trzeba świadomie odnowić. Firmy, które policzyły, ile kodu powstaje dziś za tę samą pensję, już przebudowują zespoły wokół tych narzędzi. Nie trzeba się z tego cieszyć, ale nie można udawać, że tego nie ma.

Leki. Cząsteczki projektowane przez AI przechodzą pierwszą fazę badań klinicznych ze skutecznością 80–90 procent, blisko dwa razy wyższą niż historyczna. W rozwoju jest ponad trzy tysiące takich leków. Żaden nie został jeszcze zatwierdzony, bo potrzebna jest trzecia faza, ale w branży, gdzie lek kosztuje dwa miliardy i w dziewięciu przypadkach na dziesięć kończy się porażką, nawet niewielka poprawa proporcji jest warta krocie.

Administracja w medycynie. Jedna czwarta wydatków na ochronę zdrowia to biurokracja: kodowanie procedur, rozliczenia, dokumentacja. AI robi to już dziś taniej i lepiej od człowieka i nikt za tą ręczną pracą nie tęskni. 

Robotyka. Chiny zainstalowały w 2024 roku 54 procent wszystkich robotów przemysłowych świata – więcej niż reszta planety razem wzięta – i ta przewaga rośnie. Ale prawdziwa zmiana nie polega na liczbie ramion w fabrykach. Przez pół wieku robot był maszyną, którą inżynier musiał zaprogramować do jednej czynności, w jednym miejscu, przy jednej taśmie; każda zmiana produktu oznaczała tygodnie pracy nad kodem. Dzisiaj model językowy połączony z kamerą i chwytakiem zmienia tę ekonomię od podstaw. Robota uczy się nowej czynności, pokazując mu, jak wykonuje ją człowiek, a nie opisując ją w kodzie. 

Amazon ma już w magazynach ponad milion robotów; Nvidia sprzedaje gotowe platformy do robotyki chirurgicznej i syntetyczne dane do ich treningu; producenci humanoidów podpisują pierwsze kontrakty z fabrykami samochodów. Koszt nauczenia maszyny nowej pracy spadł z tygodni pracy inżyniera do jednej godziny pokazu.

Listę można ciągnąć, ale wniosek z każdej pozycji jest ten sam. Kiedy firma raz nauczyła się robić coś taniej – pisać kod, rozliczać pacjentów, uczyć robota nowej czynności – nie wraca do droższego i mniej efektywnego sposobu tylko dlatego, że jakiś prezes opublikował esej. Oszczędność raz zauważona nie daje się cofnąć. 

Ryzyko może spowolnić tempo, w jakim AI będzie uczyła się kolejnych rzeczy, ale nie sprawi, że cofniemy się do czasów podróży dorożkami. 

---

X. Decyzja

Zająłem się tym tematem z powodu pytania, które chodziło mi po głowie od weekendu: czy zmiana sentymentu może trwale spowolnić rozwój sztucznej inteligencji? Miałem powody osobiste, bo sam mocno zainwestowałem w tę branżę. Zacząłem więc szukać danych, sprawdzać fakty i ustalać, o co w tym zamieszaniu naprawdę chodzi. Wnioskami podzieliłem się w tym artykule. 

Ale na jedno pytanie wciąż nie miałem odpowiedzi: czy warto być zainwestowanym w AI w obliczu ryzyka, które – niezależnie od tego, ile procent mu przypiszemy – jest ryzykiem śmiertelnym?

I tu przyszło olśnienie. Otóż cały czas podchodziłem do tego pytania od złej strony.

Poprawna strona jest prostsza i bardziej logiczna. Jeśli AI miałoby nas zabić, musiałoby najpierw stać się nieporównanie potężniejsze, niż jest dziś. Potęga zaś sprowadza się do mocy obliczeniowej; moc obliczeniowa do nakładów inwestycyjnych; a nakłady… do przychodów spółek, które tę infrastrukturę zapewniają. Scenariusz zagłady ma zatem warunek wstępny – co najmniej kilka lat dalszej rozbudowy centrów danych, na których akcjonariusz zarabia. Nie chodzi o to, że zagłada jest dla inwestora pożądana – chodzi o to, że droga do niej prowadzi przez wzrost wartości jego konta.

Jeśli zaś AI nas nie zabije, to po drodze i tak weźmiemy udział w największym cyklu inwestycyjnym w historii rynków kapitałowych. A jeśli jednak zabije, to w chwili śmierci będzie nam zupełnie obojętne, czy na rachunku mieliśmy spadające akcje Nvidii, czy najbezpieczniejsze obligacje rządu Stanów Zjednoczonych. Gotówka pod materacem nie chroni przed końcem świata. W obu skrajnych scenariuszach zatem to bycie zainwestowanym wygrywa (albo przynajmniej nie ma znaczenia). 

I tu można by zakończyć rozważania, ale…

Prawdziwy świat rzadko kiedy zapewnia zerojedynkowe rezultaty. AI nie musi nas zgładzić, żeby wywołać katastrofę: rój agentów, który przez tydzień paraliżuje ruch lotniczy, straty liczone w setkach miliardów, po nich regulacyjne zamrożenie, a w międzyczasie rosnący koszt kredytu, który zamyka finansowanie kolejnych centrów danych; i przepis na giełdową katastrofę mamy gotową. Portfel spada o siedemdziesiąt procent, a my żyjemy dalej i musimy sobie z tym spadkiem poradzić. 

I to właśnie ryzyko jest o wiele bardziej realne niż zagłada ludzkości. Ja staram się poradzić sobie z tym ryzykiem na trzy sposoby:

I. Nie używam dźwigni. Portfel, który nie może zostać wezwany do uzupełnienia depozytu, nie może zostać zamknięty w samym dołku. Cisco w 2000 roku spadło o 80 procent i potem odbiło, ale kto był zalewarowany, ten odbicia nie doczekał.

II. Nie spekuluję. Kupuję spółki, które już dziś mają przychody, zyski i klientów z realnym produktem, a nie obietnicą tego, co mogą wymyślić kiedyś. Różnica między Nvidią a Pets.com leży nie tylko w technologii, ale też w sile sprawozdania finansowego.

III. Nie reaguję na szum. Sprzedam akcje, kiedy zmienią się liczby – kiedy hyperscalerzy zaczną ścinać capex, kiedy klienci Nvidii przestaną płacić, kiedy regulator naprawdę zatrzyma trening modeli. Nie sprzedaję akcji dlatego, że prezes opublikował esej, a 27-latek po czterech miesiącach pracy odszedł z firmy, bo przestraszył się końca świata.

Zresztą jest w tym wszystkim jeszcze jedna ironia. Jedyną rzeczą, która uzasadniałaby sprzedaż akcji – globalne spowolnienie wydatków na inwestycje – jest pochodną scenariusza, który sam Amodei nazywa w swoim eseju „mało prawdopodobnym w najbliższym czasie”, i którego jego własny plan w ogóle nie zakłada.

Czy zatem AI nas zabije? Tego nie wiem. Czy powinienem z tego powodu sprzedać akcje? To akurat wiem – nie. Ciekaw jestem, co Państwo o tym myślą?