在看到流水线之前,转谱像魔法。音频以每秒几万次的压力采样进入,音符以离散事件的形式输出。中间隔着四个阶段,每个阶段都在做判断。
分窗与频谱
第一步把音频切成短小的重叠窗口,把每个窗口变换成频谱:这一瞬间哪些频率上有能量。时间分辨率和音高分辨率在这里互相牵制——窗越长,音高听得越准,时间却越模糊。
起音、帧与轮廓
然后神经网络从三个角度读频谱:起音帧(音符在这里开始)、持续帧(音符在这里延续)和音高轮廓(两者之间的精细频率路径)。把三者正确组合,才成其为转谱,而不是一团钢琴卷帘形状的糊。
那些判断题
最后是阈值决定你听到的一切:多少起音证据才足以生成一个音符、多短的音才算噪声、八度泛音要不要单独立音。转谱结果让你失望时,几乎总能归结到其中某个旋钮——这也是为什么好的转换器会把这些旋钮交到你手里。