索尼 toio™ 应用创意开发征文｜探索创新的玩乐世界——云旅游

随着《国家宝藏》近几年的爆火，越来越多的年轻人开始去关注和了解中国的文物古迹。由于许多有趣的文物古迹分布在全国各地，所以想把科技与文物古迹的内容相结合，让人们可以随时随地的对感兴趣的文物古迹进行了解。 通过深入的了解，我发现toio的可玩性以及可扩展性非常的大，所以我觉得可以使用索尼的toio来实现我的想法。

创意概述：

使用手柄控制Q宝机器人在地图中探索，抵达探索点后，触发对应文物古迹的视频介绍。由于地图大小的限制，所以目前暂定5个探索点，分别为：三星堆博物馆、金沙遗址博物馆、陕西省博物馆、湖北省博物馆以及湖南里耶秦简博物馆。后续如果地图增加，可以考虑扩充探索点。

物料准备：

索尼toio机器人、PS5手柄、自定义操作垫（地图）、PC

编程语言：

目前toio支持多种编程语言，如：JSP、unity、 python以及scratch，考虑到Python是今年发布的，所以打算使用Python作为该项目的编程语言。

需要用到的库：toio、pygame、moviepy、asyncio等

创意实施：

思路已经确定好了，那么接下……

安装所需的库。由于在这个项目中用到了一些第三方的库，所以我们首先要进行安装。

A、toio库：

由于该库目前无法通过pip进行安装，所以我们需要使用官方提供的安装步骤进行安装，具体参考：https://github.com/toio/toio.py

B、Pygame库：

Pygame是一个功能十分强大的库，通过该库，我们可以制作出一些有意思的游戏。安装步骤如下：

pip install Pygame

C、moviepy库：

Moviepy是一个视频编辑的库，由于Pygame2.0目前已经移除了“Movie”功能，所以需要使用moviepy代替该功能。安装步骤如下：

pip install moviepy

D、asyncio库：

asyncio是一个标准库，所需我们不需要安装即可直接调用。

以上已经把需要的库全部安装完毕了，但是有几点需要注意：

1. 如果想要使用toio，Python版本一定是要3.11及以上。

2. 操作系统要求如下，若不满足，可能导致程序无法运行。

了解完以上内容后，接下来就可以创建我们项目了。

1. 创建对象，完成蓝牙的扫描和连接。完成库的安装后，接下来就要尝试通过程序完成Q宝的扫描与连接了。结合官方给的说明，可以很容易的完成Q宝的扫描与连接的程序，程序如下：（执行该程序，与Q宝配对并连接，3秒后自动断开。目前，该程序只连接一个Q宝，如果想要连接多个，需要修改“num”的值，以及需要创建多个Q宝对象即可。由于本项目不涉及多个Q宝，所以暂时不讨论详细步骤。）

2. 通过“read()”方法读取地图中的坐标值。参考指导手册，官方为Q宝提供了丰富的API接口（参考：https://toio.github.io/toio.py/）。此时，可以根据实际情况选择性的使用。由于用到了官方提供的地图，所以需要让Q宝读取地图中的坐标值。

   根据官方说明，使用“api.id_information.read()”可以获取到一个列表，列表中包含了两组键值对。一组是“center”中心位置，另一组是“sensor”传感器位置，由于两者的坐标相差不大，所以我选择了“sensor”的数据。

   参考程序如下：每隔0.5秒扫描Q宝当前的位置，并打印当前Q宝获取到的坐标值。此时，掌握了如何获取Q宝的实时坐标，后期，将配合这些坐标完成特殊的功能。视频如下：

   读取坐标

3. 加入joystick，通过手柄轻松控制Q宝。为了增加趣味性和探索性，计划加入一个外部的控制器，可以操控Q宝在地图中进行探索。Joystick是pygame中的一个可以支持外部手柄的模块，通过该模块与Q宝结合，使用常见的游戏手柄就可以轻松的控制Q宝进行移动。目前官方支持的手柄包括joy-con，PS4，PS5，XBox 360，其他型号的手柄可以进行尝试。因为手头正好有PS5的Dual Sense，所以使用PS5手柄作为控制器来操控Q宝。视频如下：

   手柄控制

   参考程序如下：

   1. 初始化：

      import pygame
      import time
      import asyncio
      from toio import *
      from moviepy.editor import *
      

   2. 创建“Joystick”对象：

      pygame.event.get()
      #创建Jocstick对象
      Joystick = pygame.joystick
      J_Count =  Joystick.get_count()
          for i in range(J_Count):
              joystick = Joystick.Joystick(i)
              joystick.init()
              axes = joystick.get_numaxes()
      

   3. 获取左摇杆的数值，并操控Q宝：

      #获取摇杆的前、后、左、右数值,通过数值控制Q宝移动。
      axis = joystick.get_axis(0)
      if axis > 0.5:
          await cube_1.api.motor.motor_control(10, -10)
      elif axis < -0.5:
          await cube_1.api.motor.motor_control(-10, 10)
          axis1 = joystick.get_axis(1)
      if axis1 > 0.5:
          await cube_1.api.motor.motor_control(-20, -20)
      elif axis1 < -0.5:
          await cube_1.api.motor.motor_control(20, 20)
      if axis1 > -0.1 and axis1 < 0.1 and axis > -0.1 and axis < 0.1:
          await cube_1.api.motor.motor_control(0, 0)
      time.sleep(0.1)
      

   4. 使用moivepy，播放指定视频。

      开头已经介绍过，由于pygame2.0移除了“movie”功能，所以选择使用moviepy替代。

      程序如下：（通过“clip.preview()”播放视频。）

通过以上的分解步骤，基本上程序的骨架已经搭建好，后续，只需要对每个部分进行细化即可。 

自定义操作垫（地图）参考如下：

 整体程序如下：

import pygame
import time
import asyncio
from toio import *
from moviepy.editor import *
 
 
pygame.joystick.init()
pygame.init()
 
done = False
 
async def toio_contal():
    #创建播放列表
    start = VideoFileClip("C:/Users/pc/Desktop/video/start.mp4")
    clip = VideoFileClip("C:/Users/pc/Desktop/video/虎符介绍.mp4")
    clip1 = VideoFileClip("C:/Users/pc/Desktop/video/秦简介绍.mp4")
    clip2 = VideoFileClip("C:/Users/pc/Desktop/video/青铜神树介绍.mp4")
    clip3 = VideoFileClip("C:/Users/pc/Desktop/video/太阳神鸟介绍.mp4")
    clip4 = VideoFileClip("C:/Users/pc/Desktop/video/越往勾践剑介绍.mp4")
    clip5 = VideoFileClip("C:/Users/pc/Desktop/video/清明上河图动画.mp4")
    clip6 = VideoFileClip("C:/Users/pc/Desktop/video/清明上河图介绍.mp4")
 
    num = 0
    judge = 0
    pygame.display.set_caption("toio_cube")
 
 
    #Q宝连接语句
    dev_list = await BLEScanner.scan(1)
    cube_1 = ToioCoreCube(dev_list[0].interface)
    await cube_1.connect()
    print("Q宝_A已连接")
    start.preview()
    start.close()
 
    while done == False:
        pygame.event.get()
        #创建Jocstick对象
        Joystick = pygame.joystick
        J_Count =  Joystick.get_count()
        for i in range(J_Count):
            joystick = Joystick.Joystick(i)
            joystick.init()
            axes = joystick.get_numaxes()
 
            '''
            Left -> Right   - Axis 0
            Up   -> Down    - Axis 1
            for i in range(axes):
                axis = joystick.get_axis(i)
                print("Axis {} value: {:>6.3f}".format(i, axis))
            '''
 
            #获取摇杆的前、后、左、右数值,通过数值控制Q宝移动。
            axis = joystick.get_axis(0)
            if axis > 0.5:
                await cube_1.api.motor.motor_control(10, -10)
            elif axis < -0.5:
                await cube_1.api.motor.motor_control(-10, 10)
 
            axis1 = joystick.get_axis(1)
            if axis1 > 0.5:
                await cube_1.api.motor.motor_control(-20, -20)
            elif axis1 < -0.5:
                await cube_1.api.motor.motor_control(20, 20)
 
            if axis1 > -0.1 and axis1 < 0.1 and axis > -0.1 and axis < 0.1:
                await cube_1.api.motor.motor_control(0, 0)
            time.sleep(0.1)
 
        # 获取Q宝坐标
        t_date = await cube_1.api.id_information.read()
        t_x = t_date.sensor.point.x
        t_y = t_date.sensor.point.y
        print("x:", t_x, "y:", t_y)
 
        if 70<t_x<103 and 500<t_y<530:
            await cube_1.api.motor.motor_control(0,0)
            num=1
        if 50<t_x<100 and 620<t_y<650:
            await cube_1.api.motor.motor_control(0, 0)
            num=2
        if 159<t_x<192 and 570<t_y<590:
            await cube_1.api.motor.motor_control(0, 0)
            num=3
        if 265<t_x<295 and 490<t_y<515:
            await cube_1.api.motor.motor_control(0, 0)
            num=4
        if 245<t_x<275 and 655<t_y<670:
            await cube_1.api.motor.motor_control(0, 0)
            num=5
        if t_x==314 and t_y==673:
            await cube_1.api.motor.motor_control(0, 0)
            num=6
 
        match num:
            case 1:
                if judge == 0:
                    judge = 1
                    clip2.preview()
                    clip2.close()
                    num = 0
            case 2:
                if judge == 1:
                    judge =2
                    pygame.display.set_mode(flags=pygame.FULLSCREEN)
                    clip1.preview()
                    clip1.close()
                    num = 0
            case 3:
                if judge == 2:
                    judge = 3
                    clip3.preview()
                    clip3.close()
                    num = 0
            case 4:
                if judge == 3:
                    judge = 4
                    clip4.preview()
                    clip4.close()
                    num = 0
            case 5:
                if judge == 4:
                    judge == 0
                    clip.preview()
                    clip.close()
                    num = 0
            case 6:
                clip6.preview()
                clip6.close()
                num = 0
        print("judge:",judge,"num:",num)
 
 
 
 
if __name__ == '__main__':
    asyncio.run(toio_contal())

 以上为本次项目的程序，使用手柄控制Q宝在地图中进行移动，到达指定区域，触发特定事件后，播放对应的讲解视频。

注：由于用到了第三方的视频，故以上示例仅作为分享展示作用。 

        通过上述示例，我们就可以实现远程的云旅游了，即使在家也可以通过toio查看全国，乃至全世界的文物展示啦。toio的功能十分的强大，不同的编程方式搭配不同的创意就可以拥有不同的玩法。也希望可以看到越来越多的的玩家，创客，乃至开发者可以制作出丰富有趣的示例。