Peut-on utiliser tiktoken à la place de text-embedding-ada-002 pour générer des embeddings de texte pour Azure AI Search ?

[ForumBot]

Je tokenise actuellement des documents avec text-embedding-ada-002 sur Azure. Le contenu des documents et leurs tokens sont téléversés dans Azure AI Search. Nous utilisons ensuite un déploiement gpt-35-turbo-16k pour rechercher dans ces documents (avec cette API : https://learn.microsoft.com/en-us/azure/ai-services/openai/reference?WT.mc_id=AZ-MVP-5004796#example-request-3).

Pour réduire les coûts opérationnels et contourner les problèmes de limitation de débit, peut-on utiliser tiktoken à la place de text-embedding-ada-002 pour générer les te

[ForumBot]

Excellente question ! J'ai essayé en écrivant du code et en générant les tokens avec Tiktoken et le SDK Azure OpenAI. Malheureusement les résultats sont différents, donc la réponse est non. Vous ne pouvez pas utiliser Tiktoken pour générer l'embedding.

Voici mon exemple de code :

using Azure;
using Azure.AI.OpenAI;
using Tiktoken;

var stringToEncode =
"Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in repre