赞
踩
由于金融科技机构的内部法规和政策,我们不要指望华尔街会开源法学硕士或开放 API。
1)。金融是高度动态的。BloombergGPT使用财务数据和通用数据的混合体培训了一名法学硕士,耗时约 53 天,成本约为300 万美元)。每个月或每周重新训练像 BloombergGPT 这样的 LLM 模型成本高昂,因此轻量级适配非常有利。FinGPT 可以快速微调以纳入新数据(成本显着下降,每次微调不到 300 美元)。
2)。互联网规模的金融数据民主化至关重要,例如使用自动数据管理管道及时更新模型(每月或每周更新)。BloombergGPT 拥有特权数据访问和 API,而 FinGPT 则提供了更易于访问的替代方案。它优先考虑轻量级适应,利用最好的开源法学硕士。
3)。关键技术是“RLHF(人类反馈强化学习)”,这是 BloombergGPT 中所缺失的。RLHF 使 LLM 模型能够学习个人偏好(风险规避水平、投资习惯、个性化机器人顾问等),这是 ChatGPT 和 GPT4 的“秘密”成分。
我们使用的数据集和多任务金融 LLM模型可在https://huggingface.co/FinGPT上找到
数据集 | 火车排 | 测试行 | 描述 |
---|---|---|---|
手指情感列车 | 76.8K | 不适用 | 情感分析培训说明 |
芬普特·芬雷德 | 27.6k | 5.11k | 财务关系提取说明 |
finpt 标题 | 82.2k | 20.5k | 财务标题分析说明 |
指尖纳 | 511 | 98 | 金融命名实体识别说明 |
fingpt-fiqa_qa | 17.1k | 不适用 | 财务问答说明 |
芬普特·芬瓦尔 | 1.06k | 265 | 中文选择题说明 |
多任务金融法学硕士模型:
demo_tasks = [
'Financial Sentiment Analysis',
'Financial Relation Extraction',
'Financial Headline Classification',
'Financial Named Entity Recognition',]
demo_inputs = [
"Glaxo's ViiV Healthcare Signs China Manufacturing Deal With Desano",
"Apple Inc. Chief Executive Steve Jobs sought to soothe investor concerns about his health on Monday, saying his weight loss was caused by a hormone imbalance that is relatively simple to treat.",
'gold trades in red in early trade; eyes near-term range at rs 28,300-28,600',
'This LOAN AND SECURITY AGREEMENT dated January 27 , 1999 , between SILICON VALLEY BANK (" Bank "), a California - chartered bank with its principal place of business at 3003 Tasman Drive , Santa Clara , California 95054 with a loan production office located at 40 William St ., Ste .',]
demo_instructions = [
'What is the sentiment of this news? Please choose an answer from {negative/neutral/positive}.',
'Given phrases that describe the relationship between two words/phrases as options, extract the word/phrase pair and the corresponding lexical relationship between them from the input text. The output format should be "relation1: word1, word2; relation2: word3, word4". Options: product/material produced, manufacturer, distributed by, industry, position held, original broadcaster, owned by, founded by, distribution format, headquarters location, stock exchange, currency, parent organization, chief executive officer, director/manager, owner of, operator, member of, employer, chairperson, platform, subsidiary, legal form, publisher, developer, brand, business division, location of formation, creator.',
'Does the news headline talk about price going up? Please choose an answer from {Yes/No}.',
'Please extract entities and their types from the input sentence, entity types should be chosen from {person/organization/location}.',]
楷模 | 描述 |
---|---|
fingpt-mt_llama2-7b_lora | 使用 LoRA 进行微调的 Llama2-7b 模型 |
fingpt-mt_falcon-7b_lora | 使用 LoRA 进行微调的 falcon-7b 模型 |
fingpt-mt_bloom-7b1_lora | 使用 LoRA 微调的Bloom-7b1模型 |
fingpt-mt_mpt-7b_lora | 带 LoRA 的微调 mpt-7b 模型 |
fingpt-mt_chatglm2-6b_lora | 使用 LoRA 微调 chatglm-6b 模型 |
fingpt-mt_qwen-7b_lora | 带 LoRA 的微调 qwen-7b 模型 |
新功能:在单个 RTX 3090 上进行情感分析的最佳可训练和可推断 FinGPT,甚至比 GPT-4 和 ChatGPT Finetuning 更好。
FinGPT v3系列是在新闻和推文情绪分析数据集上使用 LoRA 方法进行微调的法学硕士,以低成本在大多数金融情绪分析数据集上取得了最佳分数。
FinGPT v3.3 使用 llama2-13b 作为基础模型;FinGPT v3.2 使用 llama2-7b 作为基础模型;FinGPT v3.1 使用 chatglm2-6B 作为基础模型。
基准测试结果:
加权F1 | FPB | FiQA-SA | 肿瘤坏死因子 | 西北世界地理研究所 | 设备 | 时间 | 成本 |
---|---|---|---|---|---|---|---|
FinGPT v3.3 | 0.882 | 0.874 | 0.903 | 0.643 | 1×RTX 3090 | 17.25 小时 | 17.25 美元 |
FinGPT v3.2 | 0.850 | 0.860 | 0.894 | 0.636 | 1×A100 | 5.5小时 | 22.55 美元 |
FinGPT v3.1 | 0.855 | 0.850 | 0.875 | 0.642 | 1×A100 | 5.5小时 | 22.55 美元 |
FinGPT(8 位) | 0.855 | 0.847 | 0.879 | 0.632 | 1×RTX 3090 | 6.47小时 | 6.47 美元 |
FinGPT (QLoRA) | 0.777 | 0.752 | 0.828 | 0.583 | 1×RTX 3090 | 4.15小时 | 4.15 美元 |
OpenAI 微调 | 0.878 | 0.887 | 0.883 | - | - | - | - |
GPT-4 | 0.833 | 0.630 | 0.808 | - | - | - | - |
芬伯特 | 0.880 | 0.596 | 0.733 | 0.538 | 4 个 NVIDIA K80 GPU | - | - |
骆驼2-7B | 0.390 | 0.800 | 0.296 | 0.503 | 2048×A100 | 21天 | 423万美元 |
彭博GPT | 0.511 | 0.751 | - | - | 512×A100 | 53天 | 267万美元 |
每 GPU 小时的成本。对于A100 GPU,以配备8个A100 GPU的AWS p4d.24xlarge实例作为基准来估算成本。请注意,BloombergGPT 还使用了 p4d.24xlarge 截至 2023 年 7 月 11 日,该实例的每小时费率为 32.773 美元。因此,每 GPU 小时的估计成本为 32.77 美元除以 8,结果约为4.10 美元。以此值作为参考单价(1 GPU 小时)。BloombergGPT 估计成本= 512 x 53 x 24 = 651,264 GPU 小时 x 4.10 美元 = 2,670,182.40 美元。对于RTX 3090,我们假设其每小时的成本约为1.0 美元,这实际上比vast.ai 等平台的可用 GPU 高得多。
通过运行基准测试来重现结果,详细的教程即将推出。
仅在 RTX 3090 上使用 LoRA 方法微调您自己的 FinGPT v3 模型,并使用此笔记本电脑的 8 位或此笔记本电脑的 int4 (QLoRA)
[培训] FinGPT 初学者指南:使用 LoRA 和 ChatGLM2–6B 进行培训 一台笔记本,10 美元 GPU
基础型号 | 预训练代币 | 上下文长度 | 型号优势 | 型号尺寸 | 实验结果 | 应用领域 |
---|---|---|---|---|---|---|
羊驼-2 | 2万亿 | 4096 | Llama-2 在英语市场数据方面表现出色 | 骆驼-2-7b和骆驼-2-13b | llama-2 始终表现出卓越的微调结果 | 金融情绪分析、智能投顾 |
鹘 | 1,500B | 2048 | 保持高质量的结果,同时提高资源效率 | 猎鹰7b | 适合英语市场数据 | 金融情绪分析 |
MPT | 1T | 2048 | MPT模型训练吞吐效率高且收敛稳定 | mpt-7b | 适合英语市场数据 | 金融情绪分析 |
盛开 | 366B | 2048 | 全球最大的开放多语言语言模型 | 布卢姆-7b1 | 适合英语市场数据 | 金融情绪分析 |
聊天GLM2 | 1.4T | 32K | 卓越的中文表达能力 | 聊天glm2-6b | 展现中国市场数据实力 | 财务情绪分析、财务报告摘要 |
奎文 | 2.2T | 8k | 响应快、准确度高 | qwen-7b | 对中国市场数据有效 | 金融情绪分析 |
实习生LM | 1.8T | 8k | 能够灵活、独立构建工作流程 | 实习生-7b | 对中国市场数据有效 | 金融情绪分析 |
加权 F1/Acc | 骆驼2 | 鹘 | MPT | 盛开 | 聊天GLM2 | 奎文 | 实习生LM |
---|---|---|---|---|---|---|---|
FPB | 0.863/0.863 | 0.846/0.849 | 0.872 / 0.872 | 0.810/0.810 | 0.850/0.849 | 0.854/0.854 | 0.709/0.714 |
FiQA-SA | 0.871 /0.855 | 0.840/0.811 | 0.863/0.844 | 0.771/0.753 | 0.864/ 0.862 | 0.867/0.851 | 0.679/0.687 |
肿瘤坏死因子 | 0.896/0.895 | 0.893/0.893 | 0.907 / 0.907 | 0.840/0.840 | 0.859/0.858 | 0.883/0.882 | 0.729/0.731 |
西北世界地理研究所 | 0.649/0.651 | 0.636/0.638 | 0.640/0.641 | 0.573/0.574 | 0.619/0.629 | 0.638/0.643 | 0.498/0.503 |
开放 AI GPT 模型之旅。GPT 模型解释。打开AI的GPT-1、GPT-2、GPT-3。
[BloombergGPT] BloombergGPT:大型金融语言模型
我的人工智能中有什么?用于训练 GPT-1、GPT-2、GPT-3、GPT-NeoX-20B、Megatron-11B、MT-NLG 和 Gopher 的数据集的综合分析
FinRL-Meta Repo和论文FinRL-Meta:数据驱动的金融强化学习的市场环境和基准。神经信息处理系统的进展,2022 年。
[AI4Finance] FinNLP使互联网规模的金融数据民主化。
ChatGPT 交易机器人
<span style="color:#1f2328"><span style="background-color:#ffffff"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>@article{yang2023fingpt, title={FinGPT: Open-Source Financial Large Language Models}, author={Yang, Hongyang and Liu, Xiao-Yang and Wang, Christina Dan}, journal={FinLLM Symposium at IJCAI 2023}, year={2023} } @article{zhang2023instructfingpt, title={Instruct-FinGPT: Financial Sentiment Analysis by Instruction Tuning of General-Purpose Large Language Models}, author={Boyu Zhang and Hongyang Yang and Xiao-Yang Liu}, journal={FinLLM Symposium at IJCAI 2023}, year={2023} } @article{zhang2023fingptrag, title={Enhancing Financial Sentiment Analysis via Retrieval Augmented Large Language Models}, author={Zhang, Boyu and Yang, Hongyang and Zhou, tianyu and Babar, Ali and Liu, Xiao-Yang}, journal = {ACM International Conference on AI in Finance (ICAIF)}, year={2023} } @article{wang2023fingptbenchmark, title={FinGPT: Instruction Tuning Benchmark for Open-Source Large Language Models in Financial Datasets}, author={Wang, Neng and Yang, Hongyang and Wang, Christina Dan}, journal={arXiv preprint arXiv:2310.04793}, year={2023} } </code></span></span></span></span>
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。