Ilya Sutskever gründet Safe Superintelligence Inc.
Ilya Sutskever, Mitbegründer und ehemaliger Chef-Wissenschaftler von OpenAI, hat ein neues Unternehmen für künstliche Intelligenz namens Safe Superintelligence Inc. (SSI) gegründet. Das erklärte Ziel des Unternehmens ist die Entwicklung eines superintelligenten KI-Systems, bei dem Sicherheit oberste Priorität hat.
Die Gründung von Safe Superintelligence Inc. wurde am 19. Juni 2024 offiziell über einen Beitrag von Ilya Sutskever auf X (ehemals Twitter) bekannt gegeben, wie unter anderem von The New York Times, Time und CNBC berichtet wurde. Die einzige Mission von SSI ist die Entwicklung von KI, die die menschliche Intelligenz deutlich übertrifft und gleichzeitig sicher und nützlich bleibt. SSI beabsichtigt, sich ausschließlich auf dieses eine Ziel zu konzentrieren – die Schaffung sicherer Superintelligenz – und seine Arbeit vor kurzfristigem kommerziellen Druck, Management-Overhead oder Produktzyklen zu schützen, die viele derzeitige KI-Labore beeinträchtigen. Das Unternehmen zielt darauf ab, die technischen Kernherausforderungen beim Aufbau sicherer Superintelligenz anzugehen, wobei der Fokus auf Sicherheit möglicherweise von verwandten Konzepten wie operativem Vertrauen und Sicherheit oder sogar nuklearen Sicherheitsmodellen abweicht.
Zu den Mitbegründern von Safe Superintelligence Inc., die sich Ilya Sutskever anschließen, gehören:
- Daniel Gross: Ehemaliger KI-Chef bei Apple, wo er bis 2017 an den KI- und Suchinitiativen des Unternehmens arbeitete, und bekannter Investor/Unternehmer.
- Daniel Levy: Ein ehemaliger technischer Mitarbeiter und Forscher bei OpenAI, der zuvor mit Sutskever zusammengearbeitet hat.
Sutskever wird als Chief Scientist von SSI bahnbrechende Fortschritte beaufsichtigen. Das Unternehmen hat Büros in Palo Alto, Kalifornien, und Tel Aviv, Israel, eröffnet.
Sutskever's Ausscheiden von OpenAI im Mai 2024 folgte seiner Beteiligung an einem Versuch, CEO Sam Altman im November 2023 abzusetzen. Nachdem Altman wieder eingesetzt worden war, bedauerte Sutskever sein Vorgehen und unterstützte die Entscheidung des Vorstands, verlor jedoch anschließend seinen Sitz im Vorstand und seine Rolle wurde geschmälert. Vor seinem Ausscheiden leitete Sutskever gemeinsam mit Jan Leike das „Superalignment“-Team von OpenAI, eine Gruppe, die sich speziell mit den langfristigen Sicherheitsherausforderungen hochleistungsfähiger KI befasste. Leike trat kurz vor Sutskever zurück und äußerte öffentlich Bedenken, dass die Sicherheitskultur und -prozesse bei OpenAI „glänzenden Produkten in den Hintergrund getreten“ seien.
Die Gründung von SSI erfolgt inmitten wachsender Bedenken in der KI-Community hinsichtlich der Sicherheit und der ethischen Implikationen fortschrittlicher KI-Systeme. Sutskever's neues Unternehmen unterstreicht die entscheidende Bedeutung der Sicherheit in der KI-Entwicklung und zielt darauf ab, die technischen Hürden bei der Schaffung nachweislich sicherer Superintelligenz direkt anzugehen. Dieser starke Fokus auf Sicherheit ist besonders relevant angesichts der jüngsten hochkarätigen Abgänge von OpenAI, wie dem von Jan Leike, die Spannungen zwischen schnellem Fähigkeitsfortschritt und langfristiger Risikominimierung verdeutlichten.