devbox
很楠不爱3
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

打造个人知识库-chatwithrtx接口研究

作者：很楠不爱3 | 2024-03-11 16:19:15

赞

踩

打造个人知识库-chatwithrtx接口研究

前言

之前安装了chatwithrtx，确实挺好用的。但是如果想用其对外提供服务的话，还需要研究是否能够提供api接口进行调用，所以今天来进行一下研究。

gradio介绍

web的访问是通过gradio框架进行开发的。在user_interface.py中可以发现如下引用

import gradio as gr

Gradio 是一个用于快速创建和共享机器学习模型的Web界面的Python库。它允许开发者和研究人员轻松地为他们的模型创建交互式的、可分享的Web应用，无需编写前端代码。通过Gradio，用户可以通过简单的图形界面与机器学习模型进行交互，比如上传图片进行分类、输入文本进行翻译或情感分析、或者使用其他输入数据类型。

Gradio 的主要特点包括：
1、易于使用：只需几行代码，就可以为模型创建交互式界面。
2、支持多种输入和输出类型：包括文本、图片、音频、视频等。
3、可分享：Gradio 应用可以生成URL，方便与他人分享或嵌入到网站中。
4、集成：可以轻松集成到Jupyter笔记本中，也支持与主流的机器学习库（如Ten5、sorFlow、PyTorch）和数据科学库（如pandas）一起使用。
6、自动文档：Gradio 可以自动生成接口的使用文档。
7、Gradio 被广泛用于机器学习、数据科学项目的原型设计、演示和评估阶段，让非技术用户也能轻松地理解和使用复杂的模型。

前端调试

通过F12调试，我们发现如下结论0c0a6ba59fcd2959805521f407a7399f.png

问答结果推送

问答结果，是以event-stream方式进行推送，如下图

438fcd88c1ccfb4f2fcdcc9a7d37ade9.png f5e71acca157094fc8a302329e64a917.png

为json的方式进行返回

  1. {
  2.   "msg": "process_completed",
  3.   "event_id": "a0ae8b3a9deb4b21a40c4d7c2beba5fe",
  4.   "output": {
  5.     "data": [
  6.       [
  7.         [
  8.           "你好",
  9.           "你好！我很高兴能为您提供帮助。如何可以帮助您？"
  10.         ]
  11.       ],
  12.       null
  13.     ],
  14.     "is_generating": true,
  15.     "duration": 0.031991243362426758,
  16.     "average_duration": 0.05873284415294059
  17.   },
  18.   "success": true
  19. }

text/event-stream是一种MIME类型，用于HTTP服务器推送技术，这项技术通常称为Server-Sent Events（SSE）。它允许一个web服务器实时地向浏览器推送事件或消息。这种通信方式是单向的：从服务器到客户端（浏览器），而不需要客户端周期性地向服务器发起请求来检查更新。

服务器设置：在服务器端，响应的Content-Type设置为text/event-stream，然后通过一个持续开放的HTTP连接发送数据。
Server-Sent Events适用于需要实时数据更新的应用，比如实时新闻报道、社交媒体更新、在线交易信息、或是游戏得分板等。与WebSocket相比，SSE只支持单向通信，但它更简单，且在某些只需要服务器到客户端单向数据流的场景下，SSE是一个更轻量级的选择。

查询接口

查询接口如下图，url地址为

http://127.0.0.1:38504/queue/join?__theme=dark

请求的数据格式

  1. {
  2.   "data": [
  3.     [
  4.       [
  5.         "你好",
  6.         null
  7.       ]
  8.     ],
  9.     null
  10.   ],
  11.   "event_data": null,
  12.   "fn_index": 40,
  13.   "trigger_id": 45,
  14.   "session_hash": "w0s2r1jsq5g"
  15. }
cd38ed0377058e95fa40a433a136ba46.png 55208cddfa16991a5bd23eec4e737697.png

代码解读

由于gradio框架不太熟悉，所以只能一边看一边理解。可能理解不太到位。

监听端口

监听的端口号每次都不一样，都是随机生成的，代码如下，从1024-49000范围随机产生。

  1. def _get_free_port(self):
  2.         # Create a socket object
  3.         sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
  4.         # Set a short timeout for the connection attempt
  5.         sock.settimeout(1)
  6.         port = None
  7.         while port is None:
  8.             port = random.randint(1024, 49000)
  9.             try:
  10.                 # Attempt to bind to the port
  11.                 sock.bind(("127.0.0.1", port))
  12.             except OSError as e:
  13.                 port = None
  14.                 if e.errno != 98:  # errno 98: Address already in use
  15.                     print('OS error', e)
  16.                     break 
  17.         sock.close()
  18.         return port

安全校验

在启动之后，会生成一个cookie

  1. def _open_app(self, port):
  2.         def launch_thread(cookie):
  3.             launch_url = f'http://127.0.0.1:{port}?cookie={cookie}&__theme=dark'
  4.             print(f'Open {launch_url} in browser to start Chat with RTX')
  5.             webbrowser.open(launch_url)
  6.             return None
  7.         
  8.         self._secure_cookie = str(uuid.uuid4())
  9.         threading.Thread(target=launch_thread, args=(self._secure_cookie,)).start()
  10.         return None

安全校验如下，我相信把这一段注释掉 应该就没有安全校验了

  1. def _validate_request(self, request: gr.Request):
  2.         headers = request.headers
  3.         session_key = None
  4.         if 'cookie' in headers:
  5.             cookies = headers['cookie']
  6.             if '_s_chat_=' in cookies:
  7.                 cookies = cookies.split('; ')
  8.                 for i, cookie in enumerate(cookies):
  9.                     key, value = cookie.split('=')
  10.                     if key == '_s_chat_':
  11.                         session_key = value
  12.         
  13.         if session_key == None or session_key != self._secure_cookie:
  14.             raise 'session validation failed'
  15.         
  16.         return True

发送命令的时候 添加了一个_s_chat_ 的字段

e319fb3fe86d9a55f8b91c115bb5e11c.png

问答交互

问题主要有两个控件构成，一个是Chat with RTX 一个是SEND。

afb37f959a5521944fd13e6a9410fc1d.png

我们在_render_chatbot函数中可以找到。

  1. def _render_chatbot(self, show_chatbot):
  2.         chatbot_window = gr.Chatbot(
  3.             show_label=False,
  4.             elem_classes="chat-window",
  5.             visible=show_chatbot,
  6.             elem_id="main-chatbot-window",
  7.             sanitize_html=False
  8.         )
  9.         with gr.Group() as query_group:
  10.             with gr.Row():
  11.                 query_input = gr.Textbox(placeholder="Chat with RTX...", scale=9, container=False)
  12.                 submit_button = gr.Button("SEND", variant="primary", scale=1)

在def _handle_chatbot_events(self):函数中实现处理发送事件函数。

  1. gr.on(
  2.             [self._chat_query_input_textbox.submit, self._chat_submit_button.click],
  3.             self._validate_session,
  4.             None,
  5.             self._get_validate_session_output()
  6.         ).then(
  7.             self._validate_session_and_raise,
  8.             None,
  9.             None
  10.         ).success(
  11.             self._show_hide_sample_questions,
  12.             self._get_show_hide_sample_questions_inputs(),
  13.             self._get_show_hide_sample_questions_outputs()
  14.         ).then(
  15.             process_input,
  16.             [self._chat_query_input_textbox, self._chat_bot_window], 
  17.             [self._chat_query_input_textbox, self._chat_bot_window]
  18.         ).then(
  19.             process_output,
  20.             [self._chat_bot_window, self._state],
  21.             [self._chat_bot_window, self._state]
  22.         )

重点的问题消息处理的函数在

  1. then(
  2.             process_input,
  3.             [self._chat_query_input_textbox, self._chat_bot_window], 
  4.             [self._chat_query_input_textbox, self._chat_bot_window]
  5.         )

这里有个语法问题，我看了好久。第一个是处理函数，第二个是输入参数，第三个数输出参数。
第一个 [self._chat_query_input_textbox, self._chat_bot_window] 指定了处理函数的输入来源。这意味着：当用户触发某个事件（比如提交文本或点击按钮）时，process_input 函数将会接收来自 self._chat_query_input_textbox（用户输入的文本框）和 self._chat_bot_window（聊天窗口，可能用于显示之前的交互历史）的数据作为输入。
第二个 [self._chat_query_input_textbox, self._chat_bot_window] 指明了处理函数的输出目标。这表示：process_input 函数处理完输入数据后，将会更新 self._chat_query_input_textbox 和 self._chat_bot_window 的内容。具体来说，这可能涉及到清空用户的输入框以准备下一次输入，以及在聊天窗口中显示处理结果或者更新交互历史。

然后数据处理函数找到了，在这个函数处理_query_handler

3fb34cd6eb98377aaae1cc0642fc669d.png

最后发现是在初始化的时候 外部传入进来的

  1. def __init__(self, chatbot=None, streaming = False) -> None:
  2.         self._interface = None
  3.         self._query_handler = chatbot

最后在app.py 中找到了其实现的地方

def stream_chatbot(query, chat_history, session_id):
a80b80769fb4f862760747185a0322d6.png

之后就是处理问答的逻辑了。这个下一次来研究。

总结

本文主要研究了chatwithrtx的用户接口，本来想有暴露合适的api，进行直接调用，但是通过研发发现，这个框架并不是一个前后端分离的框架，界面的渲染和函数调用混合在一起。所以接下来，需要研究如何在不使用这个界面的前提下，进行问答的调用。

我的知识星球

请关注公众号g0415shenw 加入知识星球。
星球地址 https://t.zsxq.com/15EvfoA7n
星球有本人经验心得全部总结 涵盖音视频，gb28181、虚幻引擎、其他编程工具等等。另外还可以在星球提问，我会尽力答复，等于给您多了一个引路人。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/219810?site
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号