This week I tested the modal by using the testset. The current codes are separated for the convenience of testing, and after we obtain a satisfying result, I will reconstruct the code.
The result and the WER
Here are some results and their WER(word error rate) value
This time the result is much better than the initial one, many sentences have a high accuracy rate, but some results are still not good.
The first line is the target sentence, and the second line is the test result, the bold words are the wrong places.
REF: 扎 实 抓 好 政 协 自 身 建 设
HYP: 扎 实 抓 好 政 府 自 身 建 设
WER: 9.09%
REF: 组 织 开 展 庆 祝 人 民 政 协 成 立 七 十 周 年 活 动
HYP: 组 织 开 展 庆 祝 人 民 政 协 成 立 七 十 周 年 的 活 动
WER: 5.26%
REF: 汪 洋 指 出 今 年 是 全 面 建 成 小 康 社 会 实 现 第 一 个 百 年 奋 斗 目 标 的 关 键 之 年 决 胜 全 面 建 成 小 康 社 会 到 了 闯 关 夺 隘 的 关 键 时 刻
HYP: 网 友 指 出 今 年 是 全 面 建 成 小 康 社 会 实 现 第 一 个 百 年 奋 斗 目 标 的 关 键 之 点 人 生 全 面 建 成 小 康 社 会 到 了 望 观 独 爱 的 关 键 时 刻
WER: 20.00%
REF: 做 好 今 年 工 作 至 关 重 要
HYP: 做 好 今 年 工 作 至 关 重 要
WER: 0.00%
REF: 面 对 决 战 决 胜 任 务 的 紧 迫 性 艰 巨 性 面 对 各 类 风 险 挑 战 的 严 峻 性 复 杂 性
HYP: 对 开 展 学 生 事 务 的 货 品 坚 持 面 对 各 类 风 险 挑 战 的 严 峻 性 复 杂 性
WER: 44.12%
REF: 人 民 政 协 必 须 服 务 大 局 维 护 大 局 坚 决 贯 彻 中 共 中 央 决 策 部 署 在 履 行 职 能 中 凝 聚 人 心 凝 聚 共 识 凝 聚 智 慧 凝 聚 力 量 齐 心 协 力 共 襄 伟 业
HYP: 人 民 政 协 服 务 打 击 维 护 大 局 坚 决 贯 彻 中 共 中 央 决 策 部 署 在 旅 行 的 中 年 人 先 免 职 公 司 明 智 慧 明 确 力 量 齐 心 协 力 共 建 伟 业
WER: 40.62%
REF: 这 些 问 题 必 须 高 度 重 视 认 真 加 以 解 决
HYP: 这 些 问 题 给 予 高 度 重 视 认 真 加 以 解 决
WER: 16.67%
REF: 关 于 人 民 政 协 二 零 一 九 年 主 要 任 务 汪 洋 指 出
HYP: 于 人 民 政 协 二 零 一 九 年 主 要 任 务 汪 洋 指 出
WER: 9.52%
The conparation of 3 ASR app
I chose an audio which wasn’t recognized well(the first one shown below) and tested it on 3 apps: wechat, xunfei, baidu. The automatic voice input of wechat is very accurate and it can recognize quite difficult and rarely used words. Xunfei is a little inferior to wechat.
And the wer of baidu is 9.62% and it’s much better than the deepspeech modal we used.
And I found that many people can’t get satisfactory results by using baidu’s modal directly. Maybe baidu has a larger internal corpus. Our next step is to accommodate the sample rate for the sample rate of human voice is allowed to be 80000 and ours is 32000. Me and Zhaoqing will find other ways to improve our modal.
REF: 习 近 平 总 书 记 在 二 零 一 九 年 春 季 学 期 中 央 党 校 中 青 年 干 部 培 训 班 开 班 式 上 的 重 要 讲 话 在 全 国 中 青 年 干 部 中 引 发 热 烈 反 响 大 家 表 示 要 在 长 学 长 新 中 加 强 理 论 修 养 在 知 行 合 一 中 主 动 担 当 作 为 做 到 信 念 坚 政 治 强 本 领 高 作 风 硬
HYP: 谢 列 平 的 努 力 在 二 零 一 零 年 春 季 学 期 中 央 党 校 中 青 年 干 部 培 班 开 班 式 上 的 重 要 讲 话 在 全 国 中 青 年 干 部 中 引 发 热 烈 反 响 大 家 表 示 要 在 糖 业 航 运 中 加 强 人 文 修 养 知 行 合 一 中 主 动 担 当 作 为 做 到 黑 脸 天 生 本 领 有 营 业
WER: 30.77%
wechat:
REF: 习 近 平 总 书 记 在 二 零 一 九 年 春 季 学 期 中 央 党 校 中 青 年 干 部 培 训 班 开 班 式 上 的 重 要 讲 话 在 全 国 中 青 年 干 部 中 引 发 热 烈 反 响 大 家 表 示 要 在 长 学 长 新 中 加 强 理 论 修 养 在 知 行 合 一 中 主 动 担 当 作 为 做 到 信 念 坚 政 治 强 本 领 高 作 风 硬
HYP: 习 近 平 总 书 记 在 二 零 一 九 年 春 季 学 期 中 央 党 校 中 青 年 干 部 培 训 班 开 班 式 上 的 重 要 讲 话 在 全 国 中 青 年 干 部 中 引 发 热 烈 反 响 大 家 表 示 要 在 常 学 常 新 中 加 强 理 论 修 养 在 知 行 合 一 中 主 动 担 当 作 为 做 到 信 念 坚 政 治 强 本 领 高 作 风 硬
WER: 1.92%
xunfei:
REF: 习 近 平 总 书 记 在 二 零 一 九 年 春 季 学 期 中 央 党 校 中 青 年 干 部 培 训 班 开 班 式 上 的 重 要 讲 话 在 全 国 中 青 年 干 部 中 引 发 热 烈 反 响 大 家 表 示 要 在 长 学 长 新 中 加 强 理 论 修 养 在 知 行 合 一 中 主 动 担 当 作 为 做 到 信 念 坚 政 治 强 本 领 高 作 风 硬
HYP: 习 近 平 总 书 记 在 二 零 一 九 年 春 季 学 期 中 央 党 校 中 青 年 干 部 培 训 班 开 班 式 上 的 重 要 讲 话 在 全 国 中 青 年 干 部 中 引 发 热 烈 反 响 大 家 表 示 要 在 长 学 长 心 中 加 强 理 论 修 养 在 知 行 合 一 中 主 动 担 当 作 为 做 到 新 年 间 政 治 强 本 领 高 做 封 印
WER: 6.73%
baidu:
REF: 习 近 平 总 书 记 在 二 零 一 九 年 春 季 学 期 中 央 党 校 中 青 年 干 部 培 训 班 开 班 式 上 的 重 要 讲 话 在 全 国 中 青 年 干 部 中 引 发 热 烈 反 响 大 家 表 示 要 在 长 学 长 新 中 加 强 理 论 修 养 在 知 行 合 一 中 主 动 担 当 作 为 做 到 信 念 坚 政 治 强 本 领 高 作 风 硬
HYP: 习 近 平 总 书 记 在 二 零 一 九 年 春 季 学 期 中 央 党 校 中 青 年 干 部 培 训 班 开 班 式 上 的 重 要 讲 话 在 全 国 中 青 年 干 部 中 引 发 热 烈 反 响 大 家 表 示 要 在 常 学 常 新 中 加 强 理 论 修 养 在 知 行 合 一 中 主 动 担 当 作 为 做 到 新 年 间 郑 志 强 本 领 高 做 封 印
WER: 9.62%