OpenAI hat vor Kurzem eine Reihe von Updates für seine API-Angebote angekündigt. Sie sollen Entwicklern die Arbeit erleichtern und KI in unterschiedlichen Branchen zugänglicher machen. Im Mittelpunkt stehen Multimodalität, Kosteneffizienz und bessere Workflows, und Entwickler bekommen mehr Flexibilität und Kontrolle beim Bau anspruchsvoller KI-Anwendungen.
Die wichtigsten Themen:
1. Multimodalität: OpenAI arbeitet auf multimodale KI-Erlebnisse hin, bei denen Text-, Bild- und Audiodaten einheitlich verarbeitet werden. Das eröffnet neue Möglichkeiten für Anwendungen von der visuellen Suche bis zur Konversations-KI.
2. Kosteneffizienz: Neue Werkzeuge wie Model Distillation und Prompt Caching helfen Entwicklern, die Kosten zu optimieren, vor allem wenn sie ihre Anwendungen hochskalieren.
3. Developer Experience: OpenAI hat Aufgaben wie Datenaufbereitung, Fine-Tuning von Modellen und Leistungsbewertung vereinfacht. Dadurch läuft die Entwicklung reibungsloser und effizienter.
Die wichtigsten Updates:
1. Realtime API (Public Beta)
Diese neue API ermöglicht Speech-to-Speech mit geringer Latenz und damit natürliche Gespräche mit sechs voreingestellten Stimmen. Sie ist auf flüssige Interaktion ausgelegt: Sie kommt mit Unterbrechungen zurecht und löst über Function Calling externe Aktionen aus.
Anwendungsfälle:
• Healthify nutzt sie für Fitness-Coaching im Gespräch.
• Speak setzt sie für Rollenspiele beim Sprachenlernen ein.
Preise:
• Text: 5 Dollar pro 1 Mio. Token (Input), 20 Dollar pro 1 Mio. Token (Output).
• Audio: 100 Dollar pro 1 Mio. Token (Input), 200 Dollar pro 1 Mio. Token (Output).
2. Vision Fine-Tuning für GPT-4o
Entwickler können GPT-4o jetzt mit Bildern und Text per Fine-Tuning anpassen. Damit lassen sich Aufgaben wie Objekterkennung und medizinische Bildanalyse schon mit minimalen Datensätzen verbessern.
Anwendungsfälle:
• Grab verbessert damit die Erkennung von Verkehrszeichen für die Kartierung.
• Automat trainiert das Modell darauf, UI-Elemente zu erkennen, und verbessert so die robotergestützte Prozessautomatisierung (RPA).
Preise:
• Kostenloses Training bis 31. Oktober 2024.
• Danach: 25 Dollar pro 1 Mio. Trainings-Token, 3,75 Dollar pro 1 Mio. Input-Token.
3. Model Distillation
OpenAI hat Model Distillation eingeführt. Damit können Entwickler große Modelle zu kleineren, kostengünstigeren destillieren, ohne Leistung einzubüßen. Das ist ideal für kostensensible Projekte, bei denen die KI trotzdem hohe Qualität liefern muss.
Preise:
• Für alle Entwickler verfügbar, Stored Completions und Evals sind bis Ende 2024 kostenlos.
4. Prompt Caching
Um die Kosten weiter zu senken, hat OpenAI ein automatisches Caching für kürzlich verwendete Input-Token eingeführt. Wiederholte Prompts bekommen 50 % Rabatt, was wiederkehrende Aufgaben deutlich günstiger und schneller macht.
Fazit:
Mit diesen Updates werden multimodale KI-Anwendungen für Entwickler in allen Branchen leichter zugänglich. OpenAI setzt auf Leistungsoptimierung, Kostenkontrolle und eine stärker integrierte Developer Experience. Das Unternehmen verschiebt damit die Grenzen dessen, was mit KI möglich ist, und bietet eine Reihe von Werkzeugen, die komplexe Aufgaben vereinfachen und neue Anwendungsfälle erschließen sollen.
Aus dem Englischen übersetzt: zum Originalbeitrag