热门标签
热门文章
- 1web3.js 常用的操作方法_web3.js教程
- 2jsp+ssm计算机毕业设计校园失物招领管理系统【附源码】_jsp失物招领管理系统
- 3算法的时间复杂度和空间复杂度（数据结构）_各算法的时间复杂度和空间复杂度
- 4浮点型的存储方式_浮点数存储方式
- 5idea社区版配置web项目
- 6Redis可视化工具 Redis Desktop Manager（*）_redisdeskmanager下载
- 7Java集合排序的两种方法_java中用哪两种方式实现集合的排序?
- 8给新人程序员的 10 点建议
- 9在Linux系统中，如何免密码ssh登录虚拟机？_cat authorized_keys
- 10100天精通Python（实用脚本篇）——第118天：基于selenium和ddddocr库实现反反爬策略之验证码识别_python selenium+ddddocr滑块验证码验证
当前位置: article > 正文
降本增效及大模型优化调研总结[小工蚁视频调研]
作者：花生_TL007 | 2024-04-23 19:22:05
赞
踩
降本增效及大模型优化调研总结[小工蚁视频调研]
可用需求1：可用于大模型优化的技术
最强长上下文Text Embedding 开源模型M2-BERT-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
疑问：和Text2vec或sentence2vec的区别，谁更好？
智谱AI GLM4和InternLM2国产大语言模型更新迭代 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
Glm4可调研
国产首个开源MoE大模型DeepSeekMoE 16B #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
模型号称数学和代码能力碾压LLama2?
Unsloth微调LLM训练更快2～5倍 GPU显存省50% #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
若可行，可提高Gpu使用率，可后续调研
训练大语言模型LLM 如何定义自己训练数据集？#小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
不知道是否能否有效提高LLM效果，可以后续按此实现下
如何将GPU切片运行多个实体？Multi-Instance GPU #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
可验证是否可用于NSTL但A100GPU单卡部署多个实体
合并同源模型权重获得新能力，阿里开源DARE算法 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
可验证是否能够用于NSTL多场景合并效果。
中文大语言模型如何评估？ C-Eval演示使用 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
也采用此种方式评估大模型好坏，不过具体场景还需要结合具体场景数据验证
如何评估量化后大语言模型？对比14B量化和7B模型哪个好？#小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
采用人工问答的方式评估大模型的基础能力，于此量化不太相同，可参考验证下
Docker容器中运行大语言模型 推理加速，使用更简便-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
当前推理仅需部署好环境就行，因此需要对比看下两者那种更好。
微调大语言模型如何自动生成 训练数据以及优化技巧-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
可具体学习下是否可用
如何让清华ChatGLM2-6b模型推理性能提升20倍？ #小工蚁 #chatglm2-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
再用glm-6b，具体需要我实验实验
M3E中文文本嵌入模型：替代OpenAI text-embedding-ada-002的最佳选择-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
TGI让Huggingface Transformer推理速度提升10倍，本地演示 #小工蚁 #huggingface-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
可用需求2：可用于公司降本增效的方法
如何让智能体团队协作开源框架CrewAI #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
CrewAI实现角色定制互相协作？
GPU服务器如何选购？#小工蚁 #dell-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
可用于GPU服务器选购参考
Tesseract开源文字识别OCR引擎 支持100多种语言-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
OCR引擎，是否能用可后续参考
Flowise低代码构建本地知识库智能问答应用 #小工蚁-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
可后续验证这种代码是够更简洁
AutoLabel：自动标注，比人快100倍，准确度和人一样！#小工蚁 #大语言模型-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
当前有些业务用得到自动标注，这个具体是否可用，还是需要实际运行测试
小工蚁开源大模型解决方案 快速部署，轻松满足定制需求-小工蚁创始人-小工蚁创始人-哔哩哔哩视频 (bilibili.com)
里面的思路后续写解决方案还是可以参考用下，省些时间
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/475630
推荐阅读
相关标签
