使用DashScope API实现文本嵌入

概述

本文将介绍如何使用DashScope API进行文本嵌入。文本嵌入是自然语言处理中的重要技术，它能够将文本转化为向量表示，从而便于机器理解和处理。我们将演示如何通过DashScope API来实现这一过程，并提供一些代码示例。

安装依赖

在使用DashScope API之前，首先需要安装相应的Python包。以下是安装命令：

%pip install llama-index-core
%pip install llama-index-embeddings-dashscope
1
2

设置API密钥

在进行任何API调用之前，首先需要设置API密钥。请替换YOUR_DASHSCOPE_API_KEY为你的实际API密钥：

%env DASHSCOPE_API_KEY=YOUR_DASHSCOPE_API_KEY
1

示例代码

下面的示例代码展示了如何使用DashScope API进行文本嵌入。

导入必要的库

from llama_index.embeddings.dashscope import (
    DashScopeEmbedding,
    DashScopeTextEmbeddingModels,
    DashScopeTextEmbeddingType,
)
1
2
3
4
5

创建文本嵌入

我们将使用DashScope的TEXT_EMBEDDING_V2模型来生成文本嵌入。以下是生成文本嵌入的示例代码：

embedder = DashScopeEmbedding(
    model_name=DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V2,
    text_type=DashScopeTextEmbeddingType.TEXT_TYPE_DOCUMENT,
)
text_to_embedding = ["风急天高猿啸哀", "渚清沙白鸟飞回", "无边落木萧萧下", "不尽长江滚滚来"]
# 调用文本嵌入
result_embeddings = embedder.get_text_embedding_batch(text_to_embedding)
# 请求和嵌入结果索引对应
for index, embedding in enumerate(result_embeddings):
    if embedding is None:
        print("文本 '%s' 的嵌入失败。" % text_to_embedding[index])
    else:
        print("嵌入维度: %s" % len(embedding))
        print("输入: %s, 嵌入结果: %s" % (text_to_embedding[index], embedding[:5])) # 中转API
1
2
3
4
5
6
7
8
9
10
11
12
13
14

单条文本嵌入示例

以下是生成单条文本嵌入的示例代码：

embedder = DashScopeEmbedding(
    model_name=DashScopeTextEmbeddingModels.TEXT_EMBEDDING_V2,
    text_type=DashScopeTextEmbeddingType.TEXT_TYPE_QUERY,
)
# 调用文本嵌入
embedding = embedder.get_text_embedding("衣服的质量杠杠的，很漂亮，不枉我等了这么久啊，喜欢，以后还来这里买")
print(f"嵌入维度: {len(embedding)}")
print(embedding[:5]) # 中转API
1
2
3
4
5
6
7
8

批量文本嵌入

以下是生成批量文本嵌入的示例代码：

embedder = DashScopeEmbedding(
    model_name=DashScopeBatchTextEmbeddingModels.TEXT_EMBEDDING_ASYNC_V2,
    text_type=DashScopeTextEmbeddingType.TEXT_TYPE_DOCUMENT,
)
embedding_result_file_url = embedder.get_batch_text_embedding(
    embedding_file_url="https://dashscope.oss-cn-beijing.aliyuncs.com/samples/text/text-embedding-test.txt"
)
print(embedding_result_file_url) # 中转API
1
2
3
4
5
6
7
8

常见错误及处理方法

1. API密钥错误: 如果API密钥设置错误或过期，可能会导致认证失败。请检查并重新设置API密钥。
2. 请求超时: 在网络状况不佳或服务器繁忙时，可能会出现请求超时的情况。可以尝试增加超时时间或重试请求。
3. 文本格式错误: 输入的文本需要是UTF-8编码的字符串，任何其他格式可能会导致错误。

如果你觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!

参考资料:

• DashScope API 文档