使用生成式 AI 和 ML 模型进行电子邮件和移动主题行优化_大语言邮件生成模型

电子邮件和推送通知的主题行和标题在确定参与率方面发挥着重要作用。数字通信需要精心设计引人注目的主题行和简洁的推送通知标题来吸引用户的注意力。营销人员根据要传递的信息的语气和预期的目标受众来设计主题行。通过有效地“教授”这项技能并针对数字通信进行优化，生成式人工智能模型为自动化这一过程提供了一条令人兴奋的途径。本文讨论了一些创建有效主题行和推送通知消息的方法，同时将它们与经典机器学习模型相结合，以利用生成式 AI（大型语言模型）预测打开率。

方法
这不仅仅是创建当今的法学硕士可以通过正确的提示轻松生成的吸引人的主题行。目标是为上下文和内容生成理想的候选内容，以吸引收件人单击并查看消息。机器学习 (ML) 模型，特别是随机森林算法，如果经过适当的训练，可以高度可信地预测收件人点击消息的可能性。通过将法学硕士与预测机器学习模型相结合，可以生成高质量的主题行和推送通知标题。以下是一些可能的方法。

方法 1： 通过从训练数据中提取主题行的关键特征（例如长度、语言复杂性、情绪及其相应的打开率（标签））来训练预测 ML 模型。使用法学硕士生成多个候选主题行。ML 模型可以通过提取关键特征并将其作为输入传递来预测每个候选主题行的打开率。选择预测打开率最高的主题行。

ChatGPT 很有趣，但未来是完全自主的 AI 代码

ChatGPT 和其他基于大型语言模型 (LLM) 的人工智能工具已经成为头条新闻。直观的交互界面使它们易于使用，并且可以真正节省时间。然而，法学硕士编写的代码也经常是错误的——其方式很难被发现——因此他们需要持续的人工监督。

法学硕士并不是进行代码生成式人工智能的唯一方法：通过使用强化学习来编写保证编译、运行和正确的代码，可以实现完全自主的代码编写。

方法 2： 与之前的方法类似，模型根据数据集中的原始消息和相应的打开率标签进行训练，而不是预处理数据集以提取关键特征。使用这个经过训练的模型来生成法学硕士生成的主题行的预测打开率。选择预测打开率最高的主题行。

方法 3： 此方法扩展了方法 1。除了接受关键功能方面的培训外，法学硕士还进行了微调，以根据电子邮件内容、打开率、语气（如紧迫性、积极性等）和目标受众角色生成主题行（如人口统计）。经过微调的 LLM 会生成多个候选主题行，并且根据主题行特征训练的预测 ML 模型会从候选主题中挑选出最有效的主题行

核心思想是通过结合使用法学硕士的语言能力和传统机器学习模型的预测能力。LLM 生成候选人，然后由 ML 模型对候选人进行评分。

让我们扩展一下方法 3。

训练阶段
收集数据来训练模型
第一步是收集电子邮件和移动推送通知样本。除了消息内容、主题行、频道和打开率之外，培训数据还应包括语气和受众标签。在数据集中，按如下方式标记每个条目：内容、主题行、移动推送标题、渠道类型、打开/点击率、语气和受众群体。在消息传递中，“通道”类型是指传递消息或内容的媒介。电子邮件和移动推送通知等渠道的最佳主题行长度和样式有所不同。

 确保提供足够的带有打开/点击率标签的训练数据。

微调大型语言模型 (LLM)
根据已收集的样本对LLM模型进行微调。这教会它根据频道生成主题行或标题。除了频道之外，指定基调和受众群体也很重要。这不仅取决于渠道，还取决于消息的语气和消息的预期收件人。例如，要微调模型，如果使用 OpenAI 的 GPT，请为数据集创建一个 JSON 文件。然后，可以使用 OpenAI CLI 工具的命令使用该文件来微调 OpenAI 模型fine_tunes.create。

训练预测器 ML 模型
在 LLM 模型微调之后，需要训练 ML 模型来评分并选择最有效的主题行。这可以使用各种预测模型来完成。随机森林算法可用于预测哪些主题行将具有最高的打开率。必须从训练数据集中提取主题行以获取关键特征。这些关键特征的向量可用于训练随机森林模型。

Python

from sklearn.ensemble import RandomForestRegressor
 
#Train Model
model = RandomForestRegressor()
model.fit(X, y)
 
# Where X contains the key feature vectors and y contains the open rate label for each corresponding subject line
# For example;
# X = [
#  [12, 0.6, 4], # Subject 1
#  [8, -0.2, 1], # Subject 2
#  [10, 0.1, 2] # Subject 3
# ]
# Example open rate labels
# y = [0.02, 0.05, 0.10]

提取关键特征向量
要提取关键功能，可以使用多个开源库。对于情感提取，TextBlob 的内置情感方法和VADER（价感知字典和情感推理器）可能很有用。TextStat可用于确定阅读难度、Flesch-Kincaid 等级水平和其他可读性指标。RAKE（快速自动关键词提取）可以提取关键词。

from textblob import TextBlob
import rake
import nltk
 
def get_features_of_subject_line(text):
 
  # Length of Subject Line
  length = len(text)
 
  # Sentiment
  sentiment = TextBlob(text).sentiment.polarity
 
  # Keyword matches
  keywords_to_match = ["sale", "new", "hot", "free"]
  matches = 0
  rake_extractor = rake.Rake()
  keywords = rake_extractor.extract_keywords_from_text(text)
  for kw in keywords:
    if kw in keywords_to_match:
      matches += 1
 
  # Readability
  readability = nltk.textstat.flesch_reading_ease(text)
  return [length, sentiment, matches, readability]

对于电子邮件，提取长度、情感、关键字匹配和可读性等特征。移动功能包括字符长度、语气、表情符号和分段。关键区别在于提取特定于渠道的特征以解释电子邮件和移动设备之间的风格差异。该模型学习为每个通道适当地权衡特征。这允许根据每个频道的限制和观众期望优化主题行生成和选择。

                                                      训练步骤的流程图
预测阶段
生成候选主题行
要生成新消息的候选主题行，请将消息内容、渠道、所需语气和目标受众群体输入到微调的 LLM 模型中。在提示中指定所需候选人的数量。该模型将使用适合该频道的语言、指定的语气并针对目标受众量身定制，生成所需数量的候选人。

使用经过训练的预测模型来选择最佳候选者
现在可以使用之前训练的预测模型从法学硕士生成的候选人中选择最佳主题行。对于每个候选者，提取关键特征并将其输入到模型中以生成预测。预测得分最高的主题行被选为最佳选项，吸引目标受众点击并打开邮件的可能性最高。

# Subject lines generated by the LLM
candidates = ["Holiday Sale!", "Black Friday Deals", "Cyber Monday Blowout"]
 
# Extract features from each candidate
features = []
for text in candidates:
  feats = get_features(text)
  features.append(feats)
 
# Make predictions on candidate features
predictions = model.predict(features)
 
# Pick subject line with best prediction
best_index = np.argmax(predictions)
best_subject = candidates[best_index]

说明预测步骤的流程图（作者提供的图片）
迈向产品化的步骤
如果认真考虑将这种方法商业化为产品，则需要探索一些领域以增强用户体验。提供关于什么可以提高或降低主题行和通知标题的有效性的详细见解对于营销人员来说特别有用，因为他们编辑/定制通过上述方法生成的主题行和标题。

文本长度： 建议缩短超出每个受众最佳长度的文本。

关键词影响： 突出显示影响参与率的关键词，并建议消除负面关键词，同时鼓励添加正面关键词。

关键字使用和频率： 提供有关如何通过以正确的频率使用关键字来避免观众疲劳的见解。

历史成功案例： 根据过去的成功案例，提供过去非常吸引人的类似文本。

行业基准： 可以将预测的参与率与行业基准进行比较，并在检测到表现不佳时建议进行修改。

测试： A/B 测试最佳候选者并根据性能进行迭代。

训练循环：根据新数据不断重新训练模型以改进预测。

个性化：根据各个订阅者对过去消息的参与度来个性化主题行。

循环中的人：平衡人工智能和人类干预
随着人工智能融入营销策略，人类的参与非常重要。营销人员应该能够在部署之前查看和编辑模型创建的主题行或通知标题。除了确保沟通的质量和适当性之外，这还能够纳入模型可能无法做到的创造性输入。

此外，拥有反馈循环机制为持续改进和学习铺平了道路。部署后收集的参与数据提供了有价值的见解，然后将其反馈到模型中以进一步细化。在将部署后数据用于进一步细化之前对其进行匿名化对于确保遵守数据隐私法至关重要。 

最后一步，为了提高法学硕士和其他模型输出的准确性，建立护栏和接地技术可以帮助营销人员保持合法、道德和品牌合规性。这也增强了信任并维持了所有沟通核心的个人联系，即使是在人工智能驱动的情况下也是如此。

结论
可以利用生成式人工智能和传统机器学习模型的组合来创建引人注目的主题行和通知标题。生成式人工智能可以根据语气和受众进行微调来创建主题行。可以利用随机森林等预测模型来选择最有效的主题行和标题，以实现最大程度的参与。