devbox
AllinToyou
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

牛逼：使用C#组合FlaUI和chatGPT实现微信AI问答

作者：AllinToyou | 2024-04-02 15:33:57

赞

踩

c#ai对话

本文由网友投稿

作者：且听风吟

原文标题：基于FlaUI自动化+chatGPT实现微信自动回复

原文链接：https://blog.csdn.net/ftfmatlab/article/details/132589169

1. 先看效果图

获取微信好友列表

46cce81a427847d7c8d484eefa96b2e5.png

自动问答效果

ddb8c5676f0ff0ce906bf3fe83277d8a.png

2. 本文实现功能

本次主要介绍如何实现自动回复：

  1. 将文件传输助手置顶，模拟鼠标点击文件传输助手；

  2. 一直刷新会话列表，有新的消息就需要回复内容；

  3. 当刷新到新的消息时，模拟鼠标点击到对应的会话人，此时判断是群聊还是人，如果是群聊则不回复。

  4. 获取消息后转发给chatGPT，同时等待chatGPT回复内容。

  5. 获取chatGPT的内容后将内容输入到微信聊天框，并模拟鼠标点击发送按钮。

  6. 模拟鼠标点击文件传输助手，等待其它消息。。。。

3. 功能代码

3.1. 获取聊天消息并发送

  1. void GetChatInfo()
  2. {
  3.      if (!IsInit)
  4.      {
  5.           return;
  6.      }
  7.      if (wxWindow == null)
  8.      {
  9.           return;
  10.      }
  11.  
  12.      //wxWindow.FindAllDescendants(x => x.ByControlType(FlaUI.Core.Definitions.ControlType.Button)).AsParallel().FirstOrDefault(s =>s!=null && s.Name == "聊天")?.Click(false);
  13.      wxWindow.FindFirstDescendant(cf => cf.ByName("聊天"))?.Click(false);
  14.      Task.Run(() =>
  15.      {
  16.           AutomationElement? assFirst = null;
  17.           object obj = new object();
  18.           while (true)
  19.           {
  20.           if (ChatListCancellationToken.IsCancellationRequested)
  21.           {
  22.                break;
  23.           }
  24.  
  25.           try
  26.           {
  27.                DateTime dateTime3 = DateTime.Now;
  28.                var searchTextBox = wxWindow.FindFirstDescendant(cf => cf.ByName("会话")).AsListBoxItem();
  29.  
  30.                if (searchTextBox != null)
  31.                {
  32.                     var list = searchTextBox.FindAllChildren();
  33.                     if (assFirst == null)
  34.                     {
  35.                          assFirst = list.AsParallel().FirstOrDefault(t => t != null && "文件传输助手".Equals(t.Name));// 并行查询---需要将文件传输助手置顶
  36.                          assFirst?.Click();
  37.                          continue;
  38.                     }
  39.  
  40.                     Parallel.ForEach(list, item =>
  41.                     {
  42.                          if (item != null && !string.IsNullOrEmpty(item.Name) && !"折叠置顶聊天".Equals(item.Name)
  43.                               && !"腾讯新闻".Equals(item.Name) && !"群聊".Contains(item.Name))
  44.                          {
  45.                               DateTime t1= DateTime.Now;
  46.                               var allText = item.FindAllByXPath(".//Text");//   定位元素的局部搜索： .//Text；   全局搜索： //*/Text
  47.                               DateTime t2 = DateTime.Now;
  48.                               Trace.WriteLine($"allText用时：{(t2 - t1).TotalMilliseconds}ms");
  49.                               // 回复消息列表还未回复的
  50.                               if (allText != null && allText.Length >= 4)
  51.                               {
  52.                               if (int.TryParse(allText[3].Name, out var count) && count > 0)
  53.                               {
  54.                                    lock (obj)
  55.                                    {
  56.                                         var name = allText[0].Name;
  57.                                         var time = allText[1].Name;
  58.                                         var content = allText[2].Name;
  59.                                         if (wxWindow.Patterns.Window.PatternOrDefault != null)
  60.                                         {
  61.                                              //将微信窗体设置为默认焦点状态
  62.                                              wxWindow.Patterns.Window.Pattern.SetWindowVisualState(FlaUI.Core.Definitions.WindowVisualState.Normal);
  63.                                         }
  64.  
  65.                                         item.Click();
  66.                                         DateTime t7= DateTime.Now;
  67.                                         var itemFirst = wxWindow.FindAllDescendants(x => x.ByControlType(FlaUI.Core.Definitions.ControlType.Text)).AsParallel()
  68.                                         .FirstOrDefault(t =>t!=null && t.Parent.ControlType == ControlType.Pane && !t.IsOffscreen && t.Name.Trim().IsSpecificNumbers());
  69.                                         DateTime t8= DateTime.Now;
  70.                                         Trace.WriteLine($"itemFirst：{(t8 - t7).TotalMilliseconds}ms");
  71.                                         // 判断是否为群聊
  72.                                         if (itemFirst == null)
  73.                                         {
  74.                                              AutoGetMesg(content);
  75.                                         }
  76.                                         assFirst?.Click();
  77.                                    }
  78.                               }
  79.                               }
  80.                          }
  81.                     });
  82.  
  83.                     DateTime dateTime4 = DateTime.Now;
  84.                     Trace.WriteLine($"任务888耗时：{(dateTime4 - dateTime3).TotalMilliseconds}ms");
  85.                }
  86.                else
  87.                {
  88.                     Thread.Sleep(10);
  89.                     continue;
  90.                }
  91.  
  92.                //ScrollEvent(-700);
  93.  
  94.           }
  95.           catch (Exception ex)
  96.           {
  97.                continue;
  98.           }
  99.           finally
  100.           {
  101.                //await Task.Delay(1);
  102.           }
  103.           }
  104.      }, ChatListCancellationToken);
  105. }

3.2. 自动回复

  1. IChat _chat;
  2. private void AutoGetMesg(string txt)
  3. {
  4.      if (_chat == null)
  5.      {
  6.           _chat = new ChatAchieve();
  7.           _chat.RequestContent = GetMessage;
  8.      }
  9.      Trace.WriteLine($"发送消息：{txt}");
  10.      _chat.RequestGPT(txt);
  11. }
  12.  
  13. private FlaUI.Core.AutomationElements.TextBox _mesText;
  14. public FlaUI.Core.AutomationElements.TextBox MesText
  15. {
  16.      get
  17.      {
  18.           if (_mesText == null)
  19.           _mesText = wxWindow.FindFirstDescendant(x => x.ByControlType(FlaUI.Core.Definitions.ControlType.Text)).AsTextBox();
  20.  
  21.           return _mesText;
  22.      }
  23. }
  24. private AutomationElement? _btnSend;
  25. public AutomationElement? btnSend
  26. {
  27.      get
  28.      {
  29.           if (_btnSend == null)
  30.           {
  31.           _btnSend = wxWindow.FindFirstDescendant(cf => cf.ByName("sendBtn"));
  32.           //_btnSend = wxWindow.FindAllDescendants(x => x.ByControlType(FlaUI.Core.Definitions.ControlType.Button)).FirstOrDefault(s => s.Name == "发送(S)");
  33.           }
  34.  
  35.           return _btnSend;
  36.      }
  37. }
  38. const int _offSize = 300;
  39. private void GetMessage(string mes)
  40. {
  41.      SendMes(mes);
  42.      Trace.WriteLine($"回复：{mes}");
  43. }
  44. private void SendMes(string mes)
  45. {
  46.      if (wxWindow.Patterns.Window.PatternOrDefault != null)
  47.      {
  48.           //将微信窗体设置为默认焦点状态
  49.           wxWindow.Patterns.Window.Pattern.SetWindowVisualState(FlaUI.Core.Definitions.WindowVisualState.Normal);
  50.      }
  51.      int tempLen = 0;
  52.      string txt = string.Empty;
  53.      try
  54.      {
  55.           if (!string.IsNullOrWhiteSpace(mes))
  56.           {
  57.           string[] lines = mes.Split(Environment.NewLine);
  58.  
  59.           foreach (string line in lines)
  60.           {
  61.                tempLen += line.Length;
  62.                txt += line + Environment.NewLine;
  63.                if (tempLen > _offSize)
  64.                {
  65.                     MesText.Text = txt;
  66.                     btnSend?.Click();
  67.                     tempLen = 0;
  68.                     txt = string.Empty;
  69.                }
  70.           }
  71.           if (!string.IsNullOrWhiteSpace(txt))
  72.           {
  73.                MesText.Text = txt;
  74.                Thread.Sleep(3);
  75.                btnSend?.Click();
  76.           }
  77.           }
  78.      }
  79.      catch (Exception ex)
  80.      {
  81.           Trace.WriteLine(ex.Message);
  82.           MesText.Text = txt;
  83.           btnSend?.Click();
  84.      }
  85. }

3.3. 其它代码

  1. /// <summary>
  2. /// 启动
  3. /// </summary>
  4. /// <param name="sender"></param>
  5. /// <param name="e"></param>
  6. private void btnStart_Click(object sender, EventArgs e)
  7. {
  8.      InitWechat();
  9. }
  10.  
  11. private void FrmMain_Load(object sender, EventArgs e)
  12. {
  13.  
  14. }
  15.  
  16. private void FrmMain_FormClosing(object sender, FormClosingEventArgs e)
  17. {
  18.      this.Dispose();
  19.      GC.Collect();
  20. }
  21. private CancellationToken FriendCancellationToken { get; set; }
  22. private CancellationTokenSource FriendTokenSource { get; set; }
  23. private CancellationToken ChatListCancellationToken { get; set; }
  24. private CancellationTokenSource ChatListTokenSource { get; set; }
  25. private CancellationToken GetFriendCancellationToken { get; set; }
  26. private CancellationTokenSource GetFriendTokenSource { get; set; }
  27. /// <summary>
  28. /// 微信的进程ID
  29. /// </summary>
  30. private int ProcessId { get; set; }
  31. /// <summary>
  32. /// 微信窗体
  33. /// </summary>
  34. private Window wxWindow { get; set; }
  35. private bool IsInit { get; set; }
  36. /// <summary>
  37. /// 获取
  38. /// </summary>
  39. void GetWxHandle()
  40. {
  41.      var process = Process.GetProcessesByName("Wechat").FirstOrDefault();
  42.      if (process != null)
  43.      {
  44.           ProcessId = process.Id;
  45.      }
  46. }
  47. /// <summary>
  48. /// 加载微信
  49. /// </summary>
  50. void InitWechat()
  51. {
  52.      IsInit = true;
  53.      GetWxHandle();
  54.      GetFriendTokenSource = new CancellationTokenSource();
  55.      GetFriendCancellationToken = GetFriendTokenSource.Token;
  56.      ChatListTokenSource = new CancellationTokenSource();
  57.      ChatListCancellationToken = ChatListTokenSource.Token;
  58.      FriendTokenSource = new CancellationTokenSource();
  59.      FriendCancellationToken = FriendTokenSource.Token;
  60.      //根据微信进程ID绑定FLAUI
  61.      try
  62.      {
  63.           var application = FlaUI.Core.Application.Attach(ProcessId);
  64.           var automation = new UIA3Automation();
  65.           //获取微信window自动化操作对象
  66.           wxWindow = application.GetMainWindow(automation);
  67.      }
  68.      catch (Exception ex)
  69.      {
  70.           if (MessageBox.Show(ex.Message, "异常", MessageBoxButtons.OK, MessageBoxIcon.Error) == DialogResult.OK)
  71.           this.Close();
  72.      }
  73.  
  74.  
  75.      // 加载好友
  76.      IsListenCronyList = true;
  77.      // 加载聊天信息
  78.      GetChatInfo();
  79. }
  80. /// <summary>
  81. /// 获取好友列表
  82. /// </summary>
  83. void GetFriends()
  84. {
  85.      if (!IsInit)
  86.      {
  87.           return;
  88.      }
  89.      if (wxWindow == null)
  90.      {
  91.           return;
  92.      }
  93.  
  94.      if (wxWindow.Patterns.Window.PatternOrDefault != null)
  95.      {
  96.           //将微信窗体设置为默认焦点状态
  97.           wxWindow.Patterns.Window.Pattern.SetWindowVisualState(FlaUI.Core.Definitions.WindowVisualState.Normal);
  98.      }
  99.  
  100.      wxWindow.FindAllDescendants(x => x.ByControlType(FlaUI.Core.Definitions.ControlType.Button)).AsParallel()
  101.           .FirstOrDefault(item => item != null && item.Name == "通讯录")?.Click(false);
  102.  
  103.      string lastName = string.Empty;
  104.      var list = new List<AutomationElement>();
  105.      var sync = SynchronizationContext.Current;
  106.      Task.Run(async () =>
  107.      {
  108.           while (true)
  109.           {
  110.           if (GetFriendCancellationToken.IsCancellationRequested)
  111.                break;
  112.           var all = wxWindow.FindAllDescendants(x => x.ByControlType(FlaUI.Core.Definitions.ControlType.ListItem));
  113.           var allItem = all.AsParallel().Where(s => s != null && s.Parent != null && "联系人".Equals(s.Parent?.Name)).ToList();
  114.           foreach (var item in allItem)
  115.           {
  116.                if (!string.IsNullOrWhiteSpace(item.Name) && !listBox1.Items.Contains(item.Name.ToString()))
  117.                {
  118.                     sync.Post(s =>
  119.                     {
  120.                          listBox1.Items.Add(s);
  121.                     }, item.Name.ToString());
  122.                }
  123.  
  124.           }
  125.           //ScrollEvent(-700);
  126.  
  127.           await Task.Delay(1);
  128.           }
  129.      }, GetFriendCancellationToken);
  130. }
  131. /// <summary>
  132. /// 监听好友列表
  133. /// </summary>
  134. /// <param name="sender"></param>
  135. /// <param name="e"></param>
  136. private void btnListenCronyList_Click(object sender, EventArgs e)
  137. {
  138.      IsListenCronyList = !IsListenCronyList;
  139. }
  140. private bool _isListenCronyList = false;
  141. public bool IsListenCronyList
  142. {
  143.      set
  144.      {
  145.           if (_isListenCronyList == value)
  146.           return;
  147.  
  148.           _isListenCronyList = value;
  149.           string txt = string.Empty;
  150.           if (value)
  151.           {
  152.           txt = "关闭监听好友列表";
  153.           GetFriends();
  154.           }
  155.           else
  156.           {
  157.           txt = "开启监听好友列表";
  158.           GetFriendTokenSource.Cancel();
  159.           }
  160.           btnListenCronyList.ExecBeginInvoke(() =>
  161.           {
  162.           btnListenCronyList.Text = txt;
  163.           });
  164.      }
  165.      get => this._isListenCronyList;
  166. }

3.4. 扩展方法

  1. internal static class SystemEx
  2. {
  3.      /// <summary>
  4.      /// 跨线程操作控件
  5.      /// </summary>
  6.      /// <param name="con"></param>
  7.      /// <param name="action"></param>
  8.      public static void ExecBeginInvoke(this Control con, Action action)
  9.      {
  10.           if (action == null) return;
  11.           if (con.InvokeRequired)
  12.           {
  13.                con.BeginInvoke(new Action(action));
  14.           }
  15.           else
  16.           {
  17.                action();
  18.           }
  19.      }
  20.      public static void ExecInvoke(this Control con, Action action)
  21.      {
  22.           if (action == null) return;
  23.           if (con.InvokeRequired)
  24.           {
  25.                con.Invoke(new Action(action));
  26.           }
  27.           else
  28.           {
  29.                action();
  30.           }
  31.      }
  32.      const string PARRERN = @"^\(\d+\)$";
  33.      public static bool IsSpecificNumbers(this string txt)
  34.      {
  35.           return Regex.IsMatch(txt, PARRERN);
  36.      }
  37. }

注：ChatAchieve是 IChat的实现，是对chatGPT的实现

  1. public interface IChat
  2. {
  3.      Action<string> RequestContent { get; set; }
  4.      void RequestGPT(string content);
  5. }

作者懒，不愿意将代码放仓库，源码直接丢站长了，大家需要直接点击下载：https://img1.dotnet9.com/2023/08/WeChat.Automation.zip

技术交流添加QQ群：771992300

或扫站长微信加入微信技术交流群：

b9819fef5ba539c344376c5cdb8991aa.jpeg
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/352823
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号