Lancement des modèles o1 d’OpenAI : raisonnement avancé et spécialisation STEM

OpenAI continue d’innover à une vitesse impressionnante. On se souvient que ce n’est qu’en mai 2024 qu’OpenAI a lancé GPT-4o.

Le 12 septembre 2024 dernier, le suspense derrière le projet du nom de code Strawberry a été levé avec le lancement d’une nouvelle famille de modèles LLM appelée la o1, dont la caractéristique clé est la capacité de raisonnement avancé.

La famille OpenAI o1 comprend deux principaux modèles : o1-preview, conçu pour les tâches de raisonnement avancé et résolution de problèmes complexes, et o1-mini, optimisé pour des tâches spécifiques telles que le codage avec un coût réduit.

Contrairement aux modèles précédents qui généraient des réponses principalement basées sur des associations statistiques, o1 utilise un processus de « chaîne de pensée : les problèmes complexes sont décomposés en étapes logiques, et les temps de réflexion du modèle sont ajustés dynamiquement en fonction de la complexité de la tâche.

On peut même observer le modèle réfléchir en temps réel lorsque des questions lui sont posées – ce qui est assez impressionnant - et ces différentes étapes peuvent être revues par la suite.

Benoit Raphaël (GénérationAI) précise : “Ce n’est pas vraiment un nouveau modèle de langage, mais plutôt une couche de ‘raisonnement’ ajoutée au modèle existant (GPT-4o). Ça reste un ‘transformer’, c’est-à-dire un modèle de langage autorégressif qui prédit ses réponses.”

Les domaines d’applications :

• Raisonnement complexe : optimisé pour les domaines STEM (sciences, technologie, ingénierie, mathématiques), avec un taux de réussite de 83 % aux Olympiades de mathématiques, contre 13 % pour GPT-4o ;
• Idéation : capable de générer des idées et des solutions créatives dans divers contextes ;
• Codage : performant en génération et débogage de code, avec de bons résultats dans des tests comme HumanEval.