系统架构
┌──────────────────────────────────────────────────────────────────┐
│ hymREC 录制系统 │
│ │
│ ┌─────────────┐ ┌──────────────┐ ┌─────────────────────┐ │
│ │ B站流获取 │───▶│ 视频环形缓冲 │ │ 音频采集 │ │
│ │ (room_init→ │ │ (ffmpeg TS段) │───▶│ (ffmpeg PCM管道) │ │
│ │ playUrl) │ │ 保留最近N分钟 │ │ 16kHz 单声道 │ │
│ └─────────────┘ └──────┬───────┘ └──────────┬──────────┘ │
│ │ │ │
│ 触发时回溯(前90秒) VAD静音检测 │
│ │ ▼ │
│ ┌─────────────┐ ┌─────────────────────┐ │
│ │ 录制控制器 │◀───│ 关键词检测引擎 │ │
│ │ (状态机) │ │ (T1/T2/T3/T4 层级) │ │
│ └──────┬──────┘ └──────────▲──────────┘ │
│ │ │ │
│ │ 增量识别文本 │
│ │ │ │
│ ┌─────────────┐ ┌──────────┴─────────┐ │
│ │ 视频素材输出 │ │ ASR 引擎 │ │
│ │ (concat合并)│ │ (FunASR) │ │
│ └─────────────┘ └─────────────────────┘ │
│ │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 弹幕监听 (WebSocket) ── 密度统计 ── 延迟确认 ──▶ 辅助触发 │ │
│ └─────────────────────────────────────────────────────────────┘ │
└──────────────────────────────────────────────────────────────────┘流水线流程
- 开播检测:
pipeline.waitForLive轮询getRoomInfoOld,等待liveStatus == 1; - 流地址获取:
bili.GetStreamURL通过room_init(短号→真实号)与playUrl(platform=web返回 FLV)获取流地址; - 视频缓冲:
recorder.VideoBuffer用 ffmpeg 以 TS 分段持续录制直播流(默认 10 秒/段,保留 5 分钟),支持断线重连; - 音频采集:
capture.Source用 ffmpeg 抽取 16kHz 单声道 PCM,每 600ms 一块; - 识别与检测:VAD 静音检测 →
ringbuf写入(保留最近 90 秒)→ ASR 增量文本 →keyword.Detector层级检测; - 录制控制:触发时
recorder.Controller进入录制态;停止时从视频缓冲提取[触发时刻-90s, 停止时刻]的分段,用 ffmpeg concat 合并输出; - 弹幕辅助:
danmaku.Client实时监听,30 秒窗口内含关键词弹幕达到阈值时,延迟确认后触发录制。
并发模型
- 主 goroutine:
pipeline.Run中的采集-识别-检测循环; - 弹幕 goroutine:
danmaku.Client.Run读循环(断线自动重连退避); - ffmpeg 子进程:视频分段录制与音频抽取各占一个独立进程;
- 组件间通过 channel / 互斥锁通信,全部支持
context取消。
时间对齐说明
音频块与 TS 分段均基于墙钟时间戳:
- 音频块记录写入时刻
time.Time; - TS 分段文件名包含分段起始的本地时间(
seg_YYYYMMDD_HHMMSS.ts); - 触发时以
触发时刻 - 90s作为回溯起点,按文件名筛选分段。
由于 ASR 存在数百毫秒到数秒的延迟,实际切片起点与关键词出现时刻有少量偏差,对"断章取义"切片用途完全可接受。