ChatGPT完美平替！Jan AI：属于你的本地大语言模型！

Jan：你的开源、离线运行的智能助手，让AI对话与创新触手可及，安全私享，自由定制。- 精选真开源，释放新价值。

概览

Jan 是一款创新性的开源软件解决方案，作为 ChatGPT 的有力替代品，它致力于为用户提供一个安全、私密且完全离线的自然语言处理环境。这款强大的工具可以在用户的个人计算机上独立运行，无论是基于 Windows、Mac 还是 Linux 操作系统，均能实现无缝兼容，充分满足不同用户群体的需求。

其核心技术亮点在于，Jan 允许用户在不连接互联网的情况下，本地化运行当前主流且备受赞誉的一系列开源大语言模型，例如 Mistral、Llama 等。这些模型凭借其深度学习架构和庞大的训练数据集，能够在各种自然语言处理任务中展现卓越的性能，包括但不限于问答、文本生成、推理分析等。

更重要的是，Jan 提供了一个无代码运行环境，使得非专业开发人员也能轻松驾驭复杂的大规模语言模型应用，极大地降低了技术门槛。通过简洁明了的图形用户界面（GUI），用户可以直观地进行交互和配置，不仅提高了工作效率，同时也保证了使用的舒适度和愉悦感。

此外，Jan 强调隐私保护与数据安全。在离线状态下运行，意味着用户的输入数据不会在网络传输过程中面临潜在风险，所有处理过程均在本地完成，确保了用户信息的高度私密性。这对于那些重视数据安全和个人隐私的用户而言，无疑是一个极具吸引力的特性。

Jan.ai 特征：兼容开源模型（通过 llama.cpp 的 GGUF、通过 TensorRT-LLM 的 TensorRT 和远程 API)

兼容大多数操作系统：Windows、Mac、Linux，通过 llama.cpp 进行 GPU 加速；以开放文件格式存储数据；本地 API 服务器模式；可通过扩展进行定制

截至发稿概况如下：

• 软件地址：https://github.com/janhq/jan

• 软件协议：AGPL 3.0

• 编程语言：

• 收藏数量：13K

---

下载体验

你可以在官网中进行下载：https://jan.ai

点击下拉框，可以更换各系统平台客户端。现在已经支持Windows、Mac、Liunx

• 模型下载

点击"Explore The Hub"按钮，或进入https://huggingface.co网站，选择大语言模型下载。

首次运行，除了默认的Open AI 的在线API接口（Jan就是个大模型调用界面，使用ChatGPT需要输入其API Key），其他大模型需要下载后才可以使用。需要用到哪个，点击Download即可。下载完成蓝色的Download即会变为绿色的Use。然后点击Use即可开启对话模式。

• 修改下载路径为国内镜像站

如果官方站下载速度提不上或者下载失败，可以查看国内镜像站中是否收录：https://hf-mirror.com

打开JanAI的安装目录，编辑model.json文件。

打开models文件夹，这里比方说我想要下载llama2-chat-7b-q4模型

将Hugging Face的下载地址改成镜像站的地址，然后重启Jan AI 程序，再次进入到Hub页面去下载llama2-chat-7b-q4模型。

• 运行使用

选择Model后，点击对话按钮开启对话框，即可开启本地大语言模型AI对话。

---

遐想

Jan 以其独特的设计哲学和技术优势，提供了一种全新的离线大语言模型使用体验。它将尖端的人工智能技术与易用性、安全性相结合，有望在众多应用场景中发挥重要作用，成为未来人工智能技术普及与发展的重要推动力量。

然而，值得注意的是，尽管Jan模型具备本地离线部署与运行的能力，旨在为用户提供更加灵活、私密且不受网络环境限制的操作体验，但这并不意味着对硬件设备的要求有所降低。恰恰相反，由于处理大规模语言模型所需的巨大计算力，即便是采用了最新一代30系列高性能显卡作为支撑，也可能在实际运行过程中出现响应速度显著下降的情况。因此，有意尝试或采用Jan离线大语言模型的用户，在作出决策前充分考虑自身现有的硬件配置条件，并根据实际需求进行合理评估与升级准备

各位在部署和使用 Jan 的过程中是否遇见了什么问题？热烈欢迎各位在评论区分享交流！！！

---

声明：本文为辣码甄源原创，转载请标注"辣码甄源原创首发"并附带原文链接。