我又来了, 还是中文断句继续优化的样本

[dearvcc]

样本音频：
http://devv.cc:8999/mp3/从仲树看知识囤积癖_%23仲树_%23原生家庭_%23东亚文化.mp3
下载命令:
curl -O http://devv.cc:8999/mp3/从仲树看知识囤积癖_%23仲树_%23原生家庭_%23东亚文化.mp3

funasr 1.4.14

红色为字幕句间隙少于100ms的，按说这么小的间隙，没有充分的理由或特殊权重，是没有理由硬断的，它不识别 ”汉娜＊阿伦特“ 和 “欧叶尼*葛郎台” 也就罢了。是否这些地方刚好位于分批或分段”喂料“ 的边界上？或者说：在这种特殊的字幕生成（transcription）工作模式下，喂入边界的方式是否就不应该存在？技术上应该有办法避开简陋的固定时长硬截段的方式吧？

图中的字幕起－止时间后的“60”是当前末与下句起始时间之间的gap时长。

[LauraGPT]

已下载你提供的原始 MP3（414.720 s，SHA256 6253e8d2171c250042717b24b52fd63e646695b994dd6ef967a01084ebf82e3b）并在当前 main / FunASR 1.4.14 的隔离 CPU 环境复现 VAD 行为。

这不是实际静音导致的 90 个边界：原始 VAD 输出 90 段，89 个相邻 gap 小于 100 ms（其中多数是 0 ms），第一段正好是 59.97 s。merge_vad=True 会把它压到 30 段，但仍保留该 60 s 边界。将 max_single_segment_time 降到 30 s 会产生 30.01 s 的强制边界；把调用参数提高到 120 s 或 300 s 时，实际输出仍被 59.97 s 钳制。因此你怀疑的“喂料边界”在这份样本中成立。

下一步会把 ASR/VAD 的吞吐保护与字幕 cue 的展示边界分开处理：不能简单取消上限，否则会把任意长连续语音一次送入模型；但也不应把没有静音的内部边界直接当成字幕断句。为精确对齐你图中的红色 cue，请再贴出生成字幕的完整命令或 UI 路径，以及对应 SRT/JSON 的一小段（含红色边界前后各两句）。此 issue 保持 open。

[LauraGPT]

补充一次端到端复现，避免把 VAD 的内部中间边界直接等同于最终字幕 cue：

我使用 issue 中相同的原始 MP3（414.720 s，SHA256 6253e8d2171c250042717b24b52fd63e646695b994dd6ef967a01084ebf82e3b），在当前 main@04a6970746e4f117413aa8972adc359dff8f4d31 的隔离 CPU 环境执行官方字幕路径：

PYTHONPATH=. python examples/subtitle/generate_subtitle.py sample.mp3 -o sample-readable.srt --device cpu --format srt

结果是 107 个可读字幕 cue，产物 SHA256 为 6c24431de6e7ae0b72ec9a5fad4c7617d97c7b03f266a5d28d842974b36bcd1b。逐 cue 统计的最小相邻 gap 是 2300 ms，gap < 100 ms 的数量是 0。这条正式字幕路径会结合标点/时间戳重组输出，并没有把此前观察到的 FSMN-VAD 约 60 秒内部 feeder 边界直接输出成图中红色的短间隔。

因此，样本本身和当前 examples/subtitle 输出已可复现且不出现该症状；你截图使用的应是另一条调用/展示链路，或使用了旧版本。请贴出实际的完整命令或 UI/服务名称，以及红色边界附近 4-6 条原始 SRT/JSON；我会把修复放在那条真实输出路径。issue 保持 open，不会因为这次对照结果关闭。

[dearvcc]

我转写字幕所使用的代码，应该是来自funasr比较老的一版里所带的、使用SenseVoice模型的示例，基本一直保留着用下来也没觉得有什么大问题，就没怎么改过。部分有关的核心代码是：

import argparse
import os
parser = argparse.ArgumentParser(description="Generate subtitles from audio/video using FunASR")
# parser.add_argument("input",default=url)
parser.add_argument("--format", choices=["srt", "vtt"], default="srt")
parser.add_argument("--model", default="iic/SenseVoiceSmall")
parser.add_argument("--device", default="cuda")
parser.add_argument("--spk", action="store_true", help="Include speaker labels")
parser.add_argument("--lang", default="zh")
args = parser.parse_args()
from funasr import AutoModel
kwargs = {"model": args.model, "vad_model": "fsmn-vad", "punc_model": "ct-punc",
            "vad_kwargs": {"max_single_segment_time": 30000},
            "device": args.device, "disable_update": True}
if args.spk:
    kwargs["spk_model"] = "cam++"
if "Fun-ASR-Nano" in args.model or "Qwen" in args.model:
    kwargs["trust_remote_code"] = True
    kwargs["hub"] = "hf"
model = AutoModel(**kwargs)
def asr(adfile):
    try:
        result=model.generate(
            input=adfile,
            # fs=44100,
            batch_size=1,
            sentence_timestamp=True,
            output_timestamp=True,
            return_time_stamps=True,
            language='zh',
        )
        result_item = result[0]
        segments = []
        for seg in result_item.get("sentence_info", []) or []:
            text = clean_text(seg.get("sentence") or seg.get("text", ""))
            start = int(seg.get("start", 0) or 0)
            end = int(seg.get("end", 0) or 0)
            if text and end > start:
                segments.append((text,start,end))
        return segments
    except Exception as ex:
        print('xxx',ex)
        return []
# 1. 定义你本地的缓存根目录（根据日志里的实际路径）
cache_dir = r"C:\Users\ad\.cache\modelscope\models"

# 2. 拼接出三个模型各自的本地 snapshots 绝对路径
sense_voice_path = os.path.join(cache_dir, r"iic--SenseVoiceSmall\snapshots\master")
vad_path = os.path.join(cache_dir, r"iic--speech_fsmn_vad_zh-cn-16k-common-pytorch\snapshots\master")
punc_path = os.path.join(cache_dir, r"iic--punc_ct-transformer_cn-en-common-vocab471067-large\snapshots\master")

# 3. 传入绝对路径，FunASR 发现是本地路径后，会直接加载，不再触发任何联网下载和校验
# model = AutoModel(
#     model=sense_voice_path,
#     vad_model=vad_path,
#     punc_model=punc_path,
#     # 还可以加上以下参数彻底关闭远程代码检查
#     trust_remote_code=False
# )

if __name__ == "__main__":
    adfile='tst.m4a'
#or adfile='tst.mp3'
    asr(adfile)

实际使用中，我在调用asr()的时候，传入的从网下直接下载的音频文件数据流，asr()先存为临时文件，然后再对临时文件进行识别，具体是mp3还是m4a，我一时不是很确定了(感觉这不应该是影响因素哈)，我之前也注意到有这么一个参数：

"vad_kwargs": {"max_single_segment_time": 30000},

按字面理解的话，这个应该是限制不至于出现超长的单句，但这似乎跟是否分段喂入音频没有什么直接关系。

我现在回想一下，我遇到比较困扰的问题，其实是在有的音频转写出来的字幕，会偶尔出现明显感觉不合理的断句，因为这个出现的概念不高且很有些随机性，需要逐句仔细听才能捕获，而在听到的时候，很多时候并不方便保存或记录，所以大部分也就错过了。上文之所以把注意力放在了gap很小的断句问题上，是因为这个是很便于可以计算和统计的。其实，更严重还是那种随机出现的少数语义语感上的错断，比如下面这个新样本。这个有点明显，好像就是在60秒一段的位置上，也不知道是不是巧合。

我上面的文章中没有说的仔细，我其实觉得字幕转写这个功能，应该避免使用分段喂料的方式，或者说最终的终果不应该被简单粗暴的分段边界所影响。如果采用类似于缓存+预处理的方式，分段只能用在第一阶段，确定大致的字幕句起始点，分段点要重新连接拼合，这样既能处理超长音频，又能完全消除分段点的影响，这才是极致和不妥协的做法，当然，你们可能现在已经在使用类似甚至更高级的技术了，或许只是因为我使用了比较老旧的代码，导致我现在依然在受分断点的影响。

下面样例中，标注两句的断句是明显不合理的，听原声的话，这里其实是：

当他重现天日的**时候**，
敦煌藏经洞里留下的大量文物与文献，

而且这个错断刚好处在60秒左右。

http://devv.cc:8999/mp3/敦煌遗书，世界主义的敦煌遗梦%23文化%23历史%23敦煌%23艺术%23敦煌遗书.mp3
下载命令:

curl -O http://devv.cc:8999/mp3/敦煌遗书，世界主义的敦煌遗梦%23文化%23历史%23敦煌%23艺术%23敦煌遗书.mp3