2
修复split_sentences_by_token方法中的无限递归问题
在split_sentences_by_token方法中,当句子超过max_tokens_per_sentence时, 会根据","或"-"进行分割。但如果分割后的部分仍然过长, 原代码会递归调用自身,这可能导致无限递归和堆栈溢出错误。
此PR通过添加allow_recursive参数解决了这个问题, 在递归调用时将其设为false,确保最多只递归一层, 避免潜在的堆栈溢出问题。