大模型从入门到应用——LangChain，2024年最新大数据开发开发前景怎么样_langchain dashscope

%pip install boto3
from langchain.embeddings import BedrockEmbeddings

embeddings = BedrockEmbeddings(credentials_profile_name=“bedrock-admin”)
embeddings.embed_query(“This is a content of the document”)
embeddings.embed_documents([“This is a content of the document”])

Azure OpenAI

我们加载OpenAI Embedding类，并设置环境变量以指示使用Azure端点。

设置用于 OpenAI 包的环境变量，以指示使用 Azure 端点

import os

os.environ[“OPENAI_API_TYPE”] = “azure”
os.environ[“OPENAI_API_BASE”] = “https://<your-endpoint.openai.azure.com/”
os.environ[“OPENAI_API_KEY”] = “your AzureOpenAI key”
os.environ[“OPENAI_API_VERSION”] = “2023-03-15-preview”
from langchain.embeddings import OpenAIEmbeddings

embeddings = OpenAIEmbeddings(deployment=“your-embeddings-deployment-name”)
text = “This is a test document.”
query_result = embeddings.embed_query(text)
doc_result = embeddings.embed_documents([text])

Cohere

我们加载Cohere Embedding类：

from langchain.embeddings import CohereEmbeddings
embeddings = CohereEmbeddings(cohere_api_key=cohere_api_key)
text = “This is a test document.”
query_result = embeddings.embed_query(text)
doc_result = embeddings.embed_documents([text])

DashScope

我们加载DashScope嵌入类：

from langchain.embeddings import DashScopeEmbeddings
embeddings = DashScopeEmbeddings(model=‘text-embedding-v1’, dashscope_api_key=‘your-dashscope-api-key’)
text = “This is a test document.”
query_result = embeddings.embed_query(text)
print(query_result)
doc_results = embeddings.embed_documents([“foo”])
print(doc_results)

DashScope

我们加载DashScope嵌入类：

from langchain.embeddings import DashScopeEmbeddings
embeddings = DashScopeEmbeddings(model=‘text-embedding-v1’, dashscope_api_key=‘your-dashscope-api-key’)
text = “This is a test document.”
query_result = embeddings.embed_query(text)
print(query_result)
doc_results = embeddings.embed_documents([“foo”])
print(doc_results)

Elasticsearch

使用Elasticsearch中托管的嵌入模型生成嵌入的操作步骤。通过下面的方式，可以很容易地实例化ElasticsearchEmbeddings类。如果我们使用的是Elastic Cloud，则可以使用from_credentials构造函数，如果我们使用的是Elasticsearch集群，则可以使用from_es_connection构造函数：

!pip -q install elasticsearch langchain

import elasticsearch
from langchain.embeddings.elasticsearch import ElasticsearchEmbeddings

定义模型 ID

model_id = ‘your_model_id’

如果我们希望使用from_credentials进行测试，那么我们需要Elastic Cloud的cloud_id：

使用凭据实例化 ElasticsearchEmbeddings

embeddings = ElasticsearchEmbeddings.from_credentials(
model_id,
es_cloud_id=‘your_cloud_id’,
es_user=‘your_user’,
es_password=‘your_password’
)

为多个文档创建嵌入

documents = [
‘This is an example document.’,
‘Another example document to generate embeddings for.’
]
document_embeddings = embeddings.embed_documents(documents)

打印文档嵌入

for i, embedding in enumerate(document_embeddings):
print(f"文档 {i+1} 的嵌入：{embedding}")

为单个查询创建嵌入

query = ‘This is a single query.’
query_embedding = embeddings.embed_query(query)

打印查询嵌入

print(f"查询的嵌入：{query_embedding}")

同时，我们可以使用现有的Elasticsearch客户端连接进行测试，这可用于任何Elasticsearch部署：

创建 Elasticsearch 连接

es_connection = Elasticsearch(
hosts=[‘https://es_cluster_url:port’],
basic_auth=(‘user’, ‘password’)
)

使用 es_connection 实例化 ElasticsearchEmbeddings

embeddings = ElasticsearchEmbeddings.from_es_connection(
model_id,
es_connection,
)

为多个文档创建嵌入

documents = [
‘This is an example document.’,
‘Another example document to generate embeddings for.’
]
document_embeddings = embeddings.embed_documents(documents)

打印文档嵌入

for i, embedding in enumerate(document_embeddings):
print(f"文档 {i+1} 的嵌入：{embedding}")

为单个查询创建嵌入

query = ‘This is a single query.’

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

上大数据开发知识点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-B2nVaWTG-1712575265016)]