加州大学圣地亚哥分校的第一项概念验证研究显示，仅通过阅读其大脑活动就可以重新创作鸟类的歌曲。研究人员能够将鸣禽复杂的声音复制到原始的音高、音量和音色。

该研究于 6 月 16 日发表在Current Biology 上，为为失去说话能力的人构建声乐假肢奠定了基础。

加州大学圣地亚哥分校心理学和神经生物学教授、资深作者蒂莫西·根特纳 (Timothy Gentner) 说：“通信假肢的当前最先进技术是可植入设备，它允许您生成文本输出，每分钟最多可写 20 个单词。” “现在想象一个声带假体，它使您能够通过语音自然地交流，大声说出您的想法，就像您正在思考的那样。这是我们的最终目标，也是功能恢复的下一个前沿。”

Gentner 及其同事使用的方法涉及斑胸草雀等鸣禽。与人类声乐假体的联系可能并不明显，但事实上，鸣禽的发声在很多方面都与人类的语言相似。它们很复杂，它们是习得的行为。

“在许多人看来，从鸣禽模型到最终将进入人类的系统是一个相当大的进化飞跃，”加州大学圣地亚哥分校电气和计算机工程教授 Vikash Gilja 说，他是该研究的合著者。研究。“但它是一个模型，它为我们提供了一种复杂的行为，而在通常用于神经假体研究的典型灵长类动物模型中，我们无法获得这种行为。”

这项研究是加州大学圣地亚哥分校的工程师和神经科学家之间的交叉合作，Gilja 和 Gentner 实验室共同开发神经记录技术和神经解码策略，以利用两个团队在神经生物学和行为实验方面的专业知识。

该团队将硅电极植入雄性成年斑胸草雀，并在它们唱歌时监测鸟类的神经活动。具体来说，他们记录了大脑感觉运动部分中多个神经元群的电活动，这些神经元最终控制负责唱歌的肌肉。

研究人员将神经记录输入机器学习算法。这个想法是，这些算法将能够根据鸟类的神经活动制作计算机生成的实际斑胸草雀歌曲的副本。但将神经活动模式转化为声音模式并非易事。

“有太多的神经模式和太多的声音模式，无法找到如何将一个信号直接映射到另一个的单一解决方案，”根特纳说。

为了完成这一壮举，该团队使用了鸟类发声模式的简单表示。这些本质上是数学方程，模拟了雀类唱歌时发生在称为鸣管的发声器官中的物理变化——即压力和张力的变化。然后研究人员训练他们的算法将神经活动直接映射到这些表示。

研究人员说，这种方法比将神经活动映射到实际歌曲本身更有效。

“如果你需要对每一个细微差别、底层声音的每一个细节进行建模，那么映射问题就会变得更具挑战性，”Gilja 说。“通过对鸣禽复杂的声音行为的这种简单表示，我们的系统可以学习更强大、更可推广到更广泛的条件和行为的映射。”

该团队的下一步是证明他们的系统可以实时从神经活动重建鸟鸣。

部分挑战是鸣禽的发声与人类一样，不仅涉及声音的输出，还涉及对环境的持续监控和对反馈的持续监控。例如，如果你给人类戴上耳机，并在他们听到自己的声音时延迟，只破坏时间反馈，他们就会开始口吃。鸟类也做同样的事情。他们在听自己的歌。根特纳解释说，他们会根据刚刚听到自己唱歌的内容以及接下来希望唱的内容进行调整。一个成功的声乐假体最终需要在一个同样快速且足够复杂的时间尺度上工作，以适应整个反馈循环，包括对错误进行调整。

“通过我们的合作，”根特纳说，“我们正在利用对鸟类 40 年的研究来为人类制造一种语音假肢——这种装置不仅可以将一个人的大脑信号简单地转换成一组基本的完整单词，还可以赋予他们能力发出任何声音，任何文字，他们可以想象，让他们自由地交流他们想要的任何东西。”