lanyuanxiaoyao
750ef50a8d
简化 parse_input() 为纯调度器，通过遍历 readers 的 supports() 方法识别输入类型，移除 URL 特殊处理和文件检查逻辑。各 reader 的 parse() 方法负责完整验证（文件存在、格式有效性）。 新增功能： - 添加 chardet 编码自动检测，支持多种中文编码回退机制 - 创建统一配置类管理编码、下载超时、日志等级等配置项 - HTML reader 支持本地文件编码检测和 URL 统一处理 安全性改进： - 修复 safe_open_zip() 路径遍历漏洞，使用 pathlib 规范化路径 - 添加边界检查，search_markdown() 检查负数参数 其他改进： - 修复类型注解（argparse.Namespace） - 日志系统仅输出 ERROR 级别，避免干扰 Markdown 输出 - 更新 BaseReader 接口文档，明确 supports() 和 parse() 职责划分 - 同步 delta specs 到主 specs（document-reading、html-reader、configuration、encoding-detection）
20 lines
510 B
Python
20 lines
510 B
Python
"""统一配置类，集中管理所有配置项。"""
|
|
|
|
|
|
class Config:
|
|
"""统一配置类"""
|
|
|
|
# 编码检测
|
|
# 回退编码列表，当 chardet 检测失败时依次尝试
|
|
FALLBACK_ENCODINGS = ['utf-8', 'gbk', 'gb2312', 'latin-1']
|
|
|
|
# HTML 下载
|
|
# 下载超时时间（秒）
|
|
DOWNLOAD_TIMEOUT = 30
|
|
# HTTP User-Agent 标识
|
|
USER_AGENT = "lyxy-document/0.1.0"
|
|
|
|
# 日志
|
|
# 日志等级，默认只输出 ERROR 级别避免干扰 Markdown 输出
|
|
LOG_LEVEL = "ERROR"
|