程序员奶爸手工制作AI婴儿监护仪自动通知 - smartcar

TUhjnbcbe - 2020/11/27 6:18:00

首先，告诉大家一个好消息，我当爸爸了！我不得不暂停一下我的项目来承担一些育儿的重任。我就在想，这些育儿任务可以自动化吗？我们真的可以将给孩子换尿布的任务交给一个机器人吗？我想我们距离那一天还很遥遥。想一想父母的心得多大才能在自己孩子身上测试这类的设备，但如果能够通过自动化提供一定的帮助的话，也能减轻父母的重担。初为人父，我领悟到的第一件事就是婴儿真的很爱哭，而且即便我在家，也无法保证时刻能够听到孩子宝宝的哭声。通常我们都会使用婴儿监护仪，这就相当于对讲机，即使你在另一个房间也可以听到宝宝的声音。然而，很快我就意识到商用婴儿监护仪非常笨，比我想要的理想设备差得很远。婴儿监护仪无法检测到宝宝的哭声，它们就像对讲机一样，只是简单地将声音从信号源传递到扬声器。而且，由于这些监护仪无法将声音播放到其他音频设备上，因此父母必须将扬声器带到不同的房间。通常，婴儿监护仪都带有低功率的扬声器，而且通常无法连接到外部扬声器上。这意味着，如果我在扬声器所在的房间里播放音乐，而我本人即使与监护仪在同一个房间内，也听不到宝宝的哭声。此外，大多数监护仪使用的都是低功率无线电波，这意味着，如果宝宝在自己房间里，而你需要去室外的时候，监护仪就无法正常工作了。因此，我构思了一份智能婴儿监护仪的需求：能够在任何带有廉价USB麦克风的廉价设备上运行，比如树莓派等。能够检测到婴儿的哭声，并在宝宝开始哭或停止哭泣的时候通知我（最好通过手机）；或者在宝宝哭的时候在仪表板上显示跟踪的数据点；或者执行任何我希望执行的任务。不仅仅是充当哑巴对讲机，将声音从源头传递到唯一的兼容设备上。能够在任何设备上传输音频流，我自己的扬声器、我的智能手机、我的计算机等。无论声源与扬声器之间的距离是多少，都能够正常工作，我不需要在房屋内移动扬声器。配有摄像头，这样我就可以实时检查宝宝的状况；或者在宝宝哭的时候，我可以看到婴儿床的图片或简短的录像，以检查一切是否正常。下面，我们来看看如何使用我们最喜欢的开源工具来完成这项工作。录制一些音频样本首先，入手一款树莓派，在SD卡上安装任何一款兼容的Linux操作系统。推荐使用树莓派3或更高版本来运行Tensorflow模型。此外，还需要入手一个兼容的USB麦克风，任何型号都可以。然后，安装我们需要的依赖项：

[sudo]apt-getinstallffmpeglamelibatlas-base-devalsa-utils2[sudo]pip3installtensorflow第一步，我们必须记录足够的音频样本，记录宝宝什么时候哭，什么时候不哭，稍后我们需要这些样本来训练音频检测模型。注意，在此示例中，我将展示如何使用声音检测来识别婴儿的哭声，你也可以使用相同的方法来检测任何类型的声音，只要声音足够长即可（例如警报声或邻居的声音），而且声源必须比背景噪音更大。首先，看一下音频输入设备：

arecord-l我的树莓派获得了以下输出（注意我有两个USB麦克风）：

****ListofCAPTUREHardwareDevices****2card:Device[USBPnPSoundDevice],device0:USBAudio[USBAudio]3Subdevices:0/4Subdevice#0:subdevice#05card2:Device_[USBPnPSoundDevice],device0:USBAudio[USBAudio]6Subdevices:0/7Subdevice#0:subdevice#0我想使用第二个麦克风来记录声音，也就是card2，device0。ALSA识别它的方式是hw:2,0（直接访问硬件设备）或plughw:2,0（根据需要推断采样率和格式转换插件）。确保你的SD卡上有足够的空间，或者你也可以使用外部USB驱动器，然后开始录制一些音频：

arecord-Dplughw:2,0-c-fcd

lame-audio.mp3在你宝宝的房间中，录制几分钟或几小时的音频（最好分别录制很长一段时间的安静、宝宝哭泣和其他不相关的声音），完成后按Ctrl-C结束。你可以根据需要多重复几次这个过程，获取一天中不同时刻或不同天的音频样本。标记音频样本在收集到足够的音频样本后，我们需要将它们复制到计算机上，用于训练模型，你可以使用scp复制这些文件，也可以直接从SD卡和USB驱动器上复制。我们把这些文件保存在同一个目录下，比如~/datasets/sound-detect/audio。此外，我们还需要为每个样本新建一个文件夹。每个文件夹都包含一个音频文件（名为audio.mp3）和一个标签文件（名为labels.json），稍后我们将使用标签文件来标记音频文件，比如“positive”/“negative”音频片段。原始数据库的结构大致如下：

~/datasets/sound-detect/audio2-sample_3-audio.mp34-labels.json5-sample_26-audio.mp37-labels.json8...下面是比较无聊的部分：标记我们录制的音频文件。这些文件中包含数个小时的你家宝宝的哭声，可能有点自虐的倾向。在你喜欢的音频播放器或Audacity中打开每个数据集的音频文件，并在每个样本的目录中新建一个labels.json文件。确定哭声开始和结束的确切时间，并以time_string-label的形式将它们的键值结构写入labels.json。例如：

{2"00:00":"negative",3"02:3":"positive",4"04:57":"negative",5"5:4":"positive",6"8:24":"negative"7}在上面的示例中，00:00-02:2之间的所有音频片段都被标记为negative，而02:3-04:56之间的所有音频片段都被标记为positive，以此类推。生成数据集在标记完所有音频样本后，接下来我们来生成需要传递给Tensorflow模型的数据集。我创建了一个通用库和一套名为micmon的声音监控实用程序。首先我们来安装这个库：

gitclonegit

github.

昆仑山