HarmonyOS NEXT 语音搜索场景学习和总结

在HarmonyOS中实现语音搜索功能时,涉及到麦克风权限的申请、音频数据的采集、编码和传输等多个步骤。以下是对上述代码的详细解析和补充说明:

1. 麦克风权限的申请与检查

在HarmonyOS中,使用麦克风需要申请ohos.permission.MICROPHONE权限。在代码中,通过GRPermissionsUtils.checkPermissions方法来检查和申请权限。如果权限被授予,则可以继续进行音频采集操作。

GRPermissionsUtils.checkPermissions(permission).then((grantStatus: abilityAccessCtrl.GrantStatus) => {

GRLog.info(this.TAG, 'startRecord checkPermissions then: ${grantStatus}');

if (grantStatus === abilityAccessCtrl.GrantStatus.PERMISSION_GRANTED) {

// 权限已授予,继续音频采集操作

}

}).catch((error: BusinessError) => {

// 处理权限申请失败的情况

});

2. 音频采集配置

在权限授予后,需要配置音频采集的参数,包括采样率、声道数、采样格式等。这些参数决定了音频数据的质量和格式。

let audioStreamInfo: audio.AudioStreamInfo = {

samplingRate: audio.AudioSamplingRate.SAMPLE_RATE_16000, // 采样率16kHz

channels: audio.AudioChannel.CHANNEL_1, // 单声道

sampleFormat: audio.AudioSampleFormat.SAMPLE_FORMAT_S16LE, // 16位采样格式

encodingType: audio.AudioEncodingType.ENCODING_TYPE_RAW // 原始编码类型

};

let audioCaptureInfo: audio.AudioCapturerInfo = {

source: audio.SourceType.SOURCE_TYPE_MIC, // 音频源为麦克风

capturerFlags: 0

};

let audioCaptureOptions: audio.AudioCapturerOptions = {

streamInfo: audioStreamInfo,

capturerInfo: audioCaptureInfo

};

3. 创建音频采集器并开始采集

通过audio.createAudioCapturer方法创建音频采集器,并开始采集音频数据。采集到的音频数据会通过回调函数audioCaptureStartReceiver进行处理。

audio.createAudioCapturer(audioCaptureOptions, (error: BusinessError, capture: audio.AudioCapturer) => {

if (error) {

GRLog.info(this.TAG, 'startRecord createAudioCapturer error: ${JSON.stringify(error)}');

// 处理麦克风权限被拒绝或采集器创建失败的情况

} else {

this.audioRecord = capture;

this.audioRecord.off('readData', this.audioCaptureStartReceiver);

this.audioRecord.on('readData', this.audioCaptureStartReceiver);

this.audioRecord.start();

this.mStartTime = systemDateTime.getTime(false);

}

});

4. 音频数据处理

在audioCaptureStartReceiver回调函数中,处理采集到的音频数据。每0.1秒发送一个数据包,并将音频数据进行Base64编码后发送到服务端进行解码和敏感词检测。

private audioCaptureStartReceiver = (result: ArrayBuffer) => {

GRLog.info(this.TAG, 'audioCaptureStartReceiver result:${result.byteLength}');

try {

// 计算录音时长

let durationTime = systemDateTime.getTime(false) - this.mStartTime;

if (durationTime > this.mMaxRecordTime) {

this.isRecordTimeOut = true;

// 提示用户录音时间过长

return;

}

// 将音频数据添加到缓冲区

this.tmpRecordBuffers.push(buffer.from(result.slice(0, result.byteLength)));

this.tmpBufsize += result.byteLength;

// 当缓冲区达到一定大小或录音结束时,发送数据

if (this.tmpBufsize >= this.recordBufsize ||

(this.isStopRecord && this.tmpBufsize > 0 && this.tmpBufsize < this.recordBufsize && this.tmpRecordBuffers.length > 0)) {

let tmpResult = buffer.concat(this.tmpRecordBuffers).buffer;

let read: number = tmpResult.byteLength;

// 将音频数据添加到发送队列

this.addAudio(tmpResult, read);

this.tmpRecordBuffers = [];

this.tmpBufsize = 0;

}

} catch (e) {

// 处理异常

}

}

5. PCM文件每帧容量的计算

PCM文件的每帧容量(单位:字节数)可以通过以下公式计算:

采样频率 * 采样位数 * 声道数 * 时间 / 8

例如,采样频率为16kHz,采样位数为16位,声道数为1,时间为0.1秒时,每帧容量为:

16000 * 16 * 1 * 0.1 / 8 = 3200字节

6. 音频数据的Base64编码与传输

在发送音频数据之前,通常会将音频数据进行Base64编码,以确保数据在传输过程中不会丢失或损坏。编码后的数据可以通过HTTP请求发送到服务端进行解码和进一步处理。

7. 敏感词检测

服务端在接收到音频数据后,会进行解码并检测是否存在敏感词。如果检测到敏感词,服务端可以返回相应的提示信息,客户端可以根据返回结果进行相应的处理。

8. 补充与优化

错误处理:在实际应用中,需要增加更多的错误处理逻辑,例如网络请求失败、服务端解码失败等情况。

性能优化:对于长时间录音的场景,可以考虑对音频数据进行压缩,以减少数据传输量。

用户体验:可以在录音过程中增加实时反馈,例如显示录音时长、音量大小等,提升用户体验。

总结

HarmonyOS提供了丰富的API来支持语音搜索功能的开发。通过合理的权限管理、音频采集配置、数据处理和传输,可以实现高效、稳定的语音搜索功能。后续可以根据实际需求进一步优化和扩展功能。