基于yolov7的FPS游戏(csgo,cf,cfhd)自瞄开发_如何调用罗技驱动模拟 yolo

1.训练yolo识别人物导出pt文件

链接: yolov7训练自己的数据集-gpu版

2.使用win32进行屏幕截图和鼠标移动
3.使用导出的pt文件进行推理(pt文件将在完善后发出)
屏幕截图获取屏幕->检测目标的坐标->取中心点->计算距离获取最近的敌人坐标->移动鼠标到中心点
数据集整理后上传

鼠标移动到目标传入两个参数分别为鼠标距离人物中心点的x,y坐标距离

import win32gui, win32ui, win32con, win32api
m = PyMouse()
class Shu:
    def move(self,x,y):
        self.x=x
        self.y=y
        
        win32api.mouse_event(win32con.MOUSEEVENTF_MOVE,self.x, self.y)   #鼠标移动到(x,y)位置
        #m.click(self.x, self.y)  #移动并且在(x,y)位置左击
1
2
3
4
5
6
7
8
9

利用pt文件推理过程

# 这里是导入依赖，需要这些库
import ctypes
import math
import time
import mss.tools
import torch
from pynput.mouse import Controller
from shubiao import Shu

import win32gui, win32ui, win32con, win32api
s=Shu()
# 传入两个坐标点，计算直线距离的
class Point:
    def __init__(self, x1, y1, x2, y2):
        self.x1 = x1
        self.y1 = y1
        self.x2 = x2
        self.y2 = y2


class Line(Point):
    def __init__(self, x1, y1, x2, y2):
        super().__init__(x1, y1, x2, y2)

    def getlen(self):
        return math.sqrt(math.pow((self.x1 - self.x2), 2) + math.pow((self.y1 - self.y2), 2))


# 加载本地模型
device = torch.device("cuda")
model = torch.hub.load('D:/AI/yolov7-main', 'custom',
                       'D:/AI/yolov7-main/weights/best.pt',
                       source='local', force_reload=False)

print(11111)
# 定义屏幕宽高
game_width = 2560
game_height = 1440

rect = (0, 0, game_width, game_height)
m = mss.mss()
mt = mss.tools

# 加载罗技鼠标驱动，驱动资源来自互联网


# 截图保存





def window_capture(filename):   #此函数用于截图
    hwnd = 0  # 窗口的编号，0号表示当前活跃窗口
    # 根据窗口句柄获取窗口的设备上下文DC（Divice Context）
    hwndDC = win32gui.GetWindowDC(hwnd)
    # 根据窗口的DC获取mfcDC
    mfcDC = win32ui.CreateDCFromHandle(hwndDC)
    # mfcDC创建可兼容的DC
    saveDC = mfcDC.CreateCompatibleDC()
    # 创建bigmap准备保存图片
    saveBitMap = win32ui.CreateBitmap()
    # 获取监控器信息
    MoniterDev = win32api.EnumDisplayMonitors(None, None)
    w = MoniterDev[0][2][2]
    h = MoniterDev[0][2][3]
    # print w,h　　　#图片大小
    # 为bitmap开辟空间
    saveBitMap.CreateCompatibleBitmap(mfcDC, w, h)
    # 高度saveDC，将截图保存到saveBitmap中
    saveDC.SelectObject(saveBitMap)
    # 截取从左上角（0，0）长宽为（w，h）的图片
    saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY)
    saveBitMap.SaveBitmapFile(saveDC,filename)
# 这边就是开始实时进行游戏窗口推理了
# 无限循环 -> 截取屏幕 -> 推理模型获取到每个敌人坐标 -> 计算每个敌人中心坐标 -> 挑选距离准星最近的敌人 -> 则控制鼠标移动到敌人的身体或者头部
while True:
    print(22222)
    #a=time.time()
    #print(222)
    # 截取屏幕
    #screen_record()
    window_capture('myProjects/cfbg.png')
    # 使用模型
    model = model.to(device)
    # 开始推理
    results = model('myProjects/cfbg.png')
    # 过滤模型
    xmins = results.pandas().xyxy[0]['xmin']
    ymins = results.pandas().xyxy[0]['ymin']
    xmaxs = results.pandas().xyxy[0]['xmax']
    ymaxs = results.pandas().xyxy[0]['ymax']
    class_list = results.pandas().xyxy[0]['class']
    confidences = results.pandas().xyxy[0]['confidence']
    newlist = []
    for xmin, ymin, xmax, ymax, classitem, conf in zip(xmins, ymins, xmaxs, ymaxs, class_list, confidences):
        if classitem == 0 and conf > 0.5:
            newlist.append([int(xmin), int(ymin), int(xmax), int(ymax), conf])
    # 循环遍历每个敌人的坐标信息传入距离计算方法获取每个敌人距离鼠标的距离
    if len(newlist) > 0:
        #print('newlist:', newlist)
        # 存放距离数据
        cdList = []
        xyList = []
        for listItem in newlist:
            # 当前遍历的人物中心坐标
            xindex = int(listItem[2] - (listItem[2] - listItem[0]) / 2)
            print(xindex)
            yindex = int(listItem[3] - (listItem[3] - listItem[1]) /2)
            print(yindex)
            mouseModal = Controller()
            x, y = mouseModal.position
            L1 = Line(x, y, xindex, yindex)
            #print(int(L1.getlen()), x, y, xindex, yindex)
            # 获取到距离并且存放在cdList集合中
            cdList.append(int(L1.getlen()))
            xyList.append([xindex, yindex, x, y])
        # 这里就得到了距离最近的敌人位置了
        minCD = min(cdList)
        # 如果敌人距离鼠标坐标小于150则自动进行瞄准，这里可以改大改小，小的话跟枪会显得自然些
        if minCD<150:    #建议删除此行开挂就要暴力 1111111111111111111111111111111111111111111111111111删除此行
            for cdItem, xyItem in zip(cdList, xyList):
                if cdItem == minCD:
                    #print(cdItem, xyItem)
                    print(int(xyItem[0] - xyItem[2]), int(xyItem[1] - xyItem[3]))
                    s.move(int(xyItem[0] - xyItem[2]), int(xyItem[1] - xyItem[3]))#传入鼠标坐标和目标中心坐标的距离
                break

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128