索尼 toio™ 应用创意开发征文|音乐小魔方

---

前言

toio™是一款支持用户自定义编程的小机器人，我在想，也许我们可以通过toio实现一些简单的音乐应用，比如通过使用多个toio绑定不同的音阶，然后玩家通过顺序的组合，让小孩子可以自己实现一些简单的小旋律。不仅仅可以DIY音乐，也可以通过外置图谱的方式，让小孩子可以学会简单的儿歌，造就一个 toio™音乐小魔方，寓教于乐。
说干就干，接下来我们来一起体验下如何实现一个音乐小魔方。

索尼 toio™—寓教于乐的音乐小魔方

索尼 toio™音乐小魔方是一款针对儿童学习音乐的应用，在操作垫上，通过可视化界面和手动移动核心Q宝的位置，操作和控制索尼 toio™完成一个个挑战，提高孩子的动手能力、反应力，帮助儿童培养节奏感和音乐感，提高音乐造诣的同时开发智力。

应用概要

索尼 toio™音乐小魔方是一款儿童音乐学习应用，主要分为学习模式和玩乐模式两种。学习模式包括基础乐理、节奏训练、音阶和曲目练习等功能；玩乐模式包括音乐游戏、DIY音乐、合作演奏等功能。

应用特色

1.适合不同学龄的孩子，提高孩子的动手能力、反应力、节奏感、音乐感。
2.以钢琴为基础，对于高阶段的玩家可以自定义MINI对于多种乐器进行模拟演奏。
3.丰富的学习内容和趣味性的玩乐模式，让儿童更容易喜欢音乐。
4.索尼 toio™良好的互动性和社交性，可以和朋友分别控制不同的Q宝进行合作演奏。

索尼 toio™两种模式，不一样的沉浸式操作体验

学习模式

基础乐理：介绍乐理知识，结合核心Q宝，可以设计出多种多样的教学教案，不仅仅是枯燥的知识学习，通过动手去匹配操作垫上的指示内容，完成一系列的挑战，为孩子提供升级打怪一般的学习体验。
节奏训练：通过和声、敲击等方式训练儿童的节奏感。
音阶和曲目练习：提供多种音阶和练习曲目，让儿童更加熟练掌握乐器演奏。

玩乐模式

音乐游戏：包括节奏打击、乐器闯关等多种音乐游戏模式，增加乐器学习的趣味性。
DIY音乐：儿童可以根据自己的喜好排列音符，创作出自己的音乐作品，通过核心Q宝作为媒介，加入乐高等拼装，化身一个灯光、音乐结合的小玩具。
合作演奏：可以和其他儿童一起演奏乐曲，通过多个核心Q宝实现单、多种乐器的和音演奏。

音阶猜猜猜

为了实现学习模式和玩乐模式，我们需要对应用的功能进行拆解。做一个简单的应用架构设计
音阶猜猜猜是学习模式的一个功能，屏幕出现随机的音阶，玩家要通过将索尼 toio™Q宝放到操作垫正确的答案上，完成闯关，如果闯关成功，进行动作及声音的交互，如果错误则振动。
开发的交互流程如下：
绑定魔方ID->操作垫位置绑定->位置识别->索尼 toio™Q宝旋转并播放通关音乐。
我们可以先打印Q宝的位置信息，如果位置信息与答案对应的位置信息一致，则代表答题成功

     while LOOP:
            pos = cube.get_current_position()
            x = cube.get_x()
            y = cube.get_y()
            orientation = cube.get_orientation()

            grid = cube.get_grid()
            grid_x = cube.get_grid_x()
            grid_y = cube.get_grid_y()
            battery_level = cube.get_battery_level()
            button_state = cube.is_button_pressed()

            print(
                "POSITION:",
                pos,
                x,
                y,
                orientation,
                "GRID:",
                grid,
                grid_x,
                grid_y,
                "BATTERY",
                battery_level,
                "BUTTON",
                button_state,
            )

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

对于获取位置的方法需要特别注意一下，X和Y坐标表示立方体在位置ID处的位置。它们由toio ID唯一定义，不以毫米表示。角度是位置ID顶部立方体的方向。在下图中，X轴方向为0度，顺时针方向为正方向。值的范围为0到360度。下面是部分Q宝旋转的代码

    with SimpleCube() as cube:
        print("** CONNECTED")
        print("** ZERO")
        cube.set_orientation(30, 0)
        cube.sleep(2)

        print("** SET DIRECTION (POSITIVE ANGLE)")
        cube.set_orientation(30, 0)
        cube.sleep(0.7)
        cube.set_orientation(30, 45)
        cube.sleep(0.7)
        cube.set_orientation(30, 90)
        cube.sleep(0.7)
        cube.set_orientation(30, 180)
        cube.sleep(0.7)
        cube.set_orientation(30, 270)
        cube.sleep(0.7)
        cube.set_orientation(30, 360)
        cube.sleep(0.7)
        print("** SET DIRECTION (NEGATIVE ANGLE)")
        cube.set_orientation(30, -315)
        cube.sleep(0.7)
        cube.set_orientation(30, -270)
        cube.sleep(0.7)
        cube.set_orientation(30, -180)
        cube.sleep(0.7)
        cube.set_orientation(30, -90)
        cube.sleep(0.7)
        cube.set_orientation(30, -1)
        cube.sleep(0.7)

        print("** TURN (POSITIVE ANGLE)")
        for _ in range(8):
            cube.turn(30, 45)
            cube.sleep(0.7)
        print("** TURN (NEGATIVE ANGLE)")
        for _ in range(8):
            cube.turn(30, -45)
            cube.sleep(0.7)
        print("** SET ORIENTATION 90")
        cube.set_orientation(30, 90)
        print("** STOP MOTOR")
        cube.sleep(0.5)
        cube.stop_motor()
    print("** DISCONNECTED")
    print("** END")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46

索尼 toio™的DIY音乐

播放一个MIDI音符

在音乐创作中会需要很多乐器和各种设备，那么把他们连接在一起就会省去很多麻烦，这个时候就需要MIDI了
音乐数字接口（Musical Instrument Digital Interface，简称：MIDI）
通过MIDI可以使电子乐器、电脑、编曲机、声卡、合成器等设备可以相互连接和控制，模拟乐器的声音甚至可以控制包括录音设备的硬件，如舞台灯、效果器踏板等设备。

许多音乐的文件格式，都建构于MIDI之上。这些格式是电子乐器在看的电子乐谱，一个文件只需几十KB。
MIDI这么强大，我们实现DIY音乐自然少不了它。
上面是核心Q宝MIDI音符编号和音符名称之间的相关性：
其中，中央C的序号是60，标准音A440的标号是69，钢琴的音域对应音符应是21~108，MIDI音符编号=128不产生声音。了解了以上的基本知识，那么我们就可以播放一个MIDI音符了。
cube里已经内置了很多方法，播放声音我们只需传递note序号，比如中央C60持续50毫秒。

        cube.play_sound(note=60, duration=50, wait_to_complete=False)
        print("pp--")
        cube.sleep(1)
        print("stop")
        cube.stop_sound()
        print("wait 10 sec")
        cube.sleep(10)
        print("disconnecting")
1
2
3
4
5
6
7
8

可以修改上面的代码播放其他的MIDI音符：

实现MIDI编曲

上面我们已经成功播放了一个MIDI音符，但是从音符到编曲就不是一个简单的过程了。
核心Q宝里带了播放、停止、音调、音量四个基本的API，但是只通过这些API我们不能直观的进行编曲，或者进行弹奏，这个时候就需要一些GUI页面，时间原因我们使用H5+CSS实现一个简单的钢琴组，通过监听键盘事件、发送MIDI指令给核心Q宝实现实施弹奏，

    <style type="text/css">
        *{margin:0px;padding:0px;list-style:none;}
        #all{width:800px;height:300px;border:solid 0px #333;margin:100px auto;position:relative;}
        li{width:5%;height:100%;background:#fff;float:left;border-right:solid 2px black;border-radius:0px 0px 10px 10px;text-align:center;line-height:35em;}
        .black{width:4%;height:60%;background:#111;border-radius:0px 0px 10px 10px;left:10px;top:0px;position:absolute;}
    </style>
1
2
3
4
5
6

通过增加开始、结束按钮，可以录制整个过程的键盘Key，转换成MIDI数组进行播放。

通过音乐编排实现复杂的音乐效果

通过功能更加完善的MIDI编辑器，我们可以实现一个MIDI文件的制作，通过音符播放时长、MIDI音符编号、音量的控制，最终生成一个MIDI文件。

除了对于MIDI文件或者是其他文件，也可以使用play_sound_effect进行播放音效，比如水流的声音、木鱼的声音等等。

    async def play_sound_effect(self, sound_id: SoundId, volume: int):
        """
        Send play sound effect command

        Args:
            sound_id (SoundId): Sound ID
            volume (int): Volume
        """
        sound_effect = PlaySoundEffect(sound_id, volume)
        await self._write(bytes(sound_effect))
1
2
3
4
5
6
7
8
9
10

可以使用循环语句对于文件进行控制，播放MIDI文件完后，播放音效，循环3次。

索尼 toio™实现合作演奏

音乐编排实现多声道

我们通过绑定2个核心Q宝，各自执行不同的声音文件。加上灯光特效就实现了Q宝的合作演奏，Q宝开发中，Indicator里Color是一个重要的类，通过三原色实现灯光。

print("connect cube_1")
await cube_1.connect()
print("connect cube_2")
await cube_2.connect()

red = IndicatorParam(
    duration_ms = 0,
    color = Color(r = 255, g = 0, b = 0)
)

green = IndicatorParam(
    duration_ms = 0,
    color = Color(r = 0, g = 255, b = 0)
)
await cube_1.api.indicator.turn_on(green)
await cube_2.api.indicator.turn_on(red)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

最终我们整合了上面的程序，实现了两个核心Q宝合作演奏了一段音乐。

到此我们使用python和H5实现了一个创意小应用-音乐魔方。整体的体验过程是非常友好并且顺畅的。因为时间原因，并没有配套开发很多的音乐教学案例，但是实际上，在9x9大尺寸趣味操作垫上，我们可以自由创作“原创舞台”。不仅仅是题目、答案这样的教学科普。还可通过Q宝的移动放置实现更新颖的“节奏大师”、趣味闯关等音乐游戏，来真正实现儿童的趣味性音乐开发。
小Q宝还有大魔力，快来一起实现它。