Anthropic, ein Startup für künstliche Intelligenz, gab heute bekannt, dass sein beliebtes LLM-Modell Claude Sonnet 4 jetzt bis zu 1 Million kontextbezogene Token unterstützt. Nach Google Gemini ist Anthropic der zweite große Modellanbieter, der 1 Million kontextbezogene Token bereitstellt.
Bisher unterstützte die Claude Sonnet 4 API nur 200.000 kontextbezogene Token. Mit dieser fünffachen Erweiterung können Entwickler ihre gesamte Codebasis von mehr als 75.000 Codezeilen in einer einzigen Anfrage senden.
Die erweiterte Kontextunterstützung wird derzeit öffentlich auf der Anthropic API und Amazon Bedrock getestet, Google Cloud Vertex AI folgt bald. Allerdings ist die Unterstützung für lange Kontexte derzeit auf Tier-4-Entwickler beschränkt und erfordert benutzerdefinierte Ratenbegrenzungen. Anthropic weist darauf hin, dass diese Funktion in den kommenden Wochen weiteren Entwicklern zur Verfügung gestellt wird.
Da größere Token-Fenster eine höhere Rechenleistung erfordern, hat Anthropic Sonderpreise eingeführt. Für Eingabeaufforderungen mit weniger als 200.000 Token kostet Sonnet 4 3 US-Dollar pro Million Eingabetoken und 15 US-Dollar pro Million Ausgabetoken. Für Eingabeaufforderungen mit mehr als 200.000 Token betragen die Kosten 6 USD pro Million Eingabe-Tokens und 22,50 USD pro Million Ausgabe-Tokens.
Entwickler können die Kosten senken, indem sie schnelles Caching und Stapelverarbeitung nutzen. Beispielsweise kann die Stapelverarbeitung einen Rabatt von 50 % auf die Preise für 1 Mio. Kontextfenster bieten.
In einer aktuellen Reddit-AMA-Sitzung diskutierten OpenAI-Führungskräfte die Unterstützung langer Kontextfenster für ihre Modelle. Sam Altman, CEO von OpenAI, sagte, dass OpenAI keine starke Benutzernachfrage nach langen Kontextlängen sehe, aber wenn genügend Interesse bestehe, seien sie bereit, es zu unterstützen. Da die Rechenleistung begrenzt ist, möchten sie sich auf andere Prioritäten konzentrieren.
Michelle Pokrass vom OpenAI-Team schrieb, dass sie in GPT-5 gerne einen längeren Kontext bereitgestellt hätten, bis zu 1 Million Token, insbesondere für API-Anwendungsfälle, dies jedoch aufgrund der hohen GPU-Anforderung nicht getan haben.
Durch die 1M-Kontextunterstützung steht Anthropic in direkter Konkurrenz zu Google Gemini um Funktionen für lange Kontexte und setzt OpenAI unter Druck, seine Roadmap zu überdenken.
