From eb044d37d98016ca6f3d2aec5fef493fa78d5f6d Mon Sep 17 00:00:00 2001 From: lanyuanxiaoyao Date: Sun, 8 Mar 2026 14:16:49 +0800 Subject: [PATCH] =?UTF-8?q?chore:=20=E5=B0=86=20openspec/changes/archive?= =?UTF-8?q?=20=E7=A7=BB=E5=87=BA=20git=20=E8=B7=9F=E8=B8=AA?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 在 .gitignore 中添加 openspec/changes/archive - 从 git 缓存中移除已跟踪的 archive 目录内容 --- .gitignore | 2 +- .../.openspec.yaml | 2 - .../design.md | 260 ------------------ .../proposal.md | 40 --- .../specs/document-reading/spec.md | 137 --------- .../specs/docx-reader/spec.md | 109 -------- .../specs/html-reader/spec.md | 188 ------------- .../specs/pdf-reader/spec.md | 116 -------- .../specs/pptx-reader/spec.md | 94 ------- .../specs/xlsx-reader/spec.md | 94 ------- .../tasks.md | 81 ------ 11 files changed, 1 insertion(+), 1122 deletions(-) delete mode 100644 openspec/changes/archive/2026-03-08-unify-document-readers/.openspec.yaml delete mode 100644 openspec/changes/archive/2026-03-08-unify-document-readers/design.md delete mode 100644 openspec/changes/archive/2026-03-08-unify-document-readers/proposal.md delete mode 100644 openspec/changes/archive/2026-03-08-unify-document-readers/specs/document-reading/spec.md delete mode 100644 openspec/changes/archive/2026-03-08-unify-document-readers/specs/docx-reader/spec.md delete mode 100644 openspec/changes/archive/2026-03-08-unify-document-readers/specs/html-reader/spec.md delete mode 100644 openspec/changes/archive/2026-03-08-unify-document-readers/specs/pdf-reader/spec.md delete mode 100644 openspec/changes/archive/2026-03-08-unify-document-readers/specs/pptx-reader/spec.md delete mode 100644 openspec/changes/archive/2026-03-08-unify-document-readers/specs/xlsx-reader/spec.md delete mode 100644 openspec/changes/archive/2026-03-08-unify-document-readers/tasks.md diff --git a/.gitignore b/.gitignore index b7ba01f..3e5a10a 100644 --- a/.gitignore +++ b/.gitignore @@ -268,5 +268,5 @@ pnpm-lock.yaml # ============================================ temp -openspec/archive +openspec/changes/archive !.claude/settings.local.json diff --git a/openspec/changes/archive/2026-03-08-unify-document-readers/.openspec.yaml b/openspec/changes/archive/2026-03-08-unify-document-readers/.openspec.yaml deleted file mode 100644 index 4b423f3..0000000 --- a/openspec/changes/archive/2026-03-08-unify-document-readers/.openspec.yaml +++ /dev/null @@ -1,2 +0,0 @@ -schema: spec-driven -created: 2026-03-08 diff --git a/openspec/changes/archive/2026-03-08-unify-document-readers/design.md b/openspec/changes/archive/2026-03-08-unify-document-readers/design.md deleted file mode 100644 index e6b4002..0000000 --- a/openspec/changes/archive/2026-03-08-unify-document-readers/design.md +++ /dev/null @@ -1,260 +0,0 @@ -## Context - -当前存在两个独立的文档解析 skill：lyxy-reader-office（支持 docx/xlsx/pptx/pdf）和 lyxy-reader-html（支持 html/url）。两个项目存在大量重复代码（common.py 中的 Markdown 处理函数完全相同），维护成本高，且无法统一扩展。 - -本项目 lyxy-document 是一个新的 Python 项目，用于统一这两个 skill 的能力。项目当前只有基础结构，需要完整迁移两个 skill 的核心功能。 - -项目规范约束： -- 语言：仅中文（代码注释、文档、交流） -- Python：始终用 uv 运行 -- 依赖：pyproject.toml 声明，使用 uv 安装 -- 模块文件：150-300 行 -- 错误：需自定义异常 + 清晰信息 + 位置上下文 -- 测试：所有需求必须设计全面测试 - -## Goals / Non-Goals - -**Goals:** -- 建立统一的项目结构，合并两个 skill 的能力 -- 提供一致的 CLI 入口 lyxy_document_reader.py -- 按文件类型组织 readers，每个解析器独立文件 -- 建立自定义异常体系 -- 使用 logging 模块替代简单 print -- 迁移所有解析器，保持原有功能和解析器优先级 -- PDF OCR 优先，无参数控制 -- 按文件类型细分依赖分组 -- 设计完整的测试覆盖 - -**Non-Goals:** -- 保持原有两个 skill 的兼容入口（不需要） -- 保留 --high-res 参数（取消） -- 重写或优化解析器逻辑（仅迁移，保持原样） -- 实现新的解析器（仅迁移现有） -- 迁移原有 references 文档（文档重写） - -## Decisions - -### 1. 目录结构 - -**决定：** 扁平化目录结构，不使用 src/lyxy_document/ 双层目录。 - -``` -lyxy-document/ -├── lyxy_document_reader.py # 统一 CLI 入口 -├── core/ # 核心模块 -├── readers/ # 格式阅读器 -├── utils/ # 工具函数 -└── tests/ # 测试 -``` - -**替代方案：** -- src/lyxy_document/ 双层包结构（更标准的 Python 包结构） -- 所有文件平铺在根目录（过于混乱） - -**理由：** 用户明确要求减少目录层级，扁平化结构更简单直接，符合当前项目的规模。 - ---- - -### 2. Reader 注册机制 - -**决定：** 显式导入注册，不使用动态发现。 - -```python -# readers/__init__.py -from .base import BaseReader -from .docx import DocxReader -from .xlsx import XlsxReader -from .pptx import PptxReader -from .pdf import PdfReader -from .html import HtmlReader - -READERS = [ - DocxReader, - XlsxReader, - PptxReader, - PdfReader, - HtmlReader, -] -``` - -**替代方案：** -- 通过文件名匹配自动发现（*_reader.py 自动导入） -- 入口点（entry points）插件机制 - -**理由：** 用户明确要求显式导入，不考虑动态发现。显式导入更清晰、更可预测，符合项目"未上线、无用户"的阶段特点。 - ---- - -### 3. 解析器组织 - -**决定：** 每个解析器独立文件，按文件类型分目录组织。 - -``` -readers/ -├── docx/ -│ ├── docling.py -│ ├── unstructured.py -│ ├── markitdown.py -│ ├── pypandoc.py -│ ├── python_docx.py -│ └── native_xml.py -├── xlsx/ -│ └── ... -├── pptx/ -│ └── ... -├── pdf/ -│ ├── docling_ocr.py -│ ├── unstructured_ocr.py -│ ├── docling.py -│ ├── unstructured.py -│ ├── markitdown.py -│ └── pypdf.py -└── html/ - ├── downloader.py # 不拆分 - ├── cleaner.py - ├── trafilatura.py - ├── domscribe.py - ├── markitdown.py - └── html2text.py -``` - -**替代方案：** -- 所有解析器在同一文件（原有方式，文件太大） -- 按解析库类型分目录（不如按文件类型直观） - -**理由：** 用户明确要求每个解析器拆分到单个脚本，方便对单个解析器进行优化。按文件类型分目录符合逻辑，下载器和清理器作为 html reader 的辅助模块，不拆分。 - ---- - -### 4. 异常体系 - -**决定：** 自定义异常继承自基异常 LyxyDocumentError。 - -```python -# core/exceptions.py -class LyxyDocumentError(Exception): - """文档处理基异常""" - pass - -class FileDetectionError(LyxyDocumentError): - """文件类型检测失败""" - pass - -class ReaderNotFoundError(LyxyDocumentError): - """未找到适配的阅读器""" - pass - -class ParseError(LyxyDocumentError): - """解析失败""" - pass - -class DownloadError(LyxyDocumentError): - """下载失败""" - pass -``` - -**替代方案：** -- 直接使用内置异常（不够清晰） -- 更细粒度的异常（过度设计） - -**理由：** 符合项目规范"错误需自定义异常 + 清晰信息 + 位置上下文"，5 个异常覆盖主要场景。 - ---- - -### 5. 依赖分组 - -**决定：** 按文件类型细分依赖分组。 - -```toml -[project.optional-dependencies] -docx = [...] -xlsx = [...] -pptx = [...] -pdf = [...] -html = [...] -http = [...] -office = ["lyxy-document[docx,xlsx,pptx,pdf]"] -web = ["lyxy-document[html,http]"] -full = ["lyxy-document[office,web]"] -dev = [...] -``` - -**替代方案：** -- 按原有 skill 分组（office/html，不够细） -- 所有依赖在 dependencies（太重） - -**理由：** 用户明确要求分组更细，按文件类型分组让用户可以按需安装，组合分组（office/web/full）提供便利性。 - ---- - -### 6. PDF OCR 策略 - -**决定：** OCR 解析器加入解析器链，优先级最高，无参数控制。 - -```python -# readers/pdf/__init__.py -PARSERS = [ - ("docling OCR", docling_ocr.parse), - ("unstructured OCR", unstructured_ocr.parse), - ("docling", docling.parse), - ("unstructured", unstructured.parse), - ("MarkItDown", markitdown.parse), - ("pypdf", pypdf.parse), -] -``` - -**替代方案：** -- 保留 --high-res 参数（用户要求取消） -- OCR 单独接口（不必要） -- 后续智能决策（留待未来） - -**理由：** 用户明确要求取消 --high-res 参数，OCR 与非 OCR 同级，OCR 优先。后续可考虑更智能的方式（如先判断是否需要 OCR）。 - ---- - -### 7. 模块文件行数 - -**决定：** 严格控制单文件行数在 150-300 行。 - -**替代方案：** -- 不限制行数（可能导致过大文件） -- 更严格限制（过度拆分） - -**理由：** 符合项目规范"模块文件 150-300 行"。原有单个 parser.py 文件过大，通过拆分为独立解析器文件来满足要求。 - ---- - -### 8. 临时文件 - -**决定：** 正式代码使用系统临时目录（tempfile 标准库），项目 temp/ 目录仅用于开发过程中的临时文档。 - -**替代方案：** -- 所有临时文件放项目 temp/（用户明确表示不需要） - -**理由：** 用户明确说明 temp/ 目录是开发过程中大模型或 AI 创建与代码无关的文档时使用，正式代码不使用这个目录。 - -## Risks / Trade-offs - -| 风险 | 影响 | 缓解措施 | -|-----|------|---------| -| 解析器拆分为独立文件后，代码复用需仔细设计 | 中 | 通用工具函数（如 parse_with_markitdown、parse_with_docling）放在 core/markdown.py 或 utils/ 中复用 | -| PDF OCR 优先可能导致非 OCR 文档解析变慢 | 中 | 后续可考虑增加智能判断（检测文档是否包含文本层），当前按用户要求保持简单 | -| 依赖分组过细可能导致用户困惑 | 低 | 提供 office/web/full 组合分组，文档中说明清楚 | -| 没有向后兼容，原有 skill 调用会失效 | 无 | 用户明确表示不需要兼容，项目阶段"未上线、无用户" | -| 缺少 --high-res 参数，用户无法控制是否使用 OCR | 低 | 用户明确要求取消，后续可考虑更智能的方式 | - -## Migration Plan - -本项目是新项目，无现有用户，无需迁移。 - -实施步骤（详见 tasks.md）： -1. 搭建核心模块（core/） -2. 搭建基础架构（readers/base.py、utils/） -3. 迁移各个 reader（docx/xlsx/pptx/pdf/html） -4. 实现统一 CLI 入口 -5. 编写测试 -6. 更新文档 - -## Open Questions - -无。所有决策已与用户确认。 diff --git a/openspec/changes/archive/2026-03-08-unify-document-readers/proposal.md b/openspec/changes/archive/2026-03-08-unify-document-readers/proposal.md deleted file mode 100644 index 6a3a41f..0000000 --- a/openspec/changes/archive/2026-03-08-unify-document-readers/proposal.md +++ /dev/null @@ -1,40 +0,0 @@ -## Why - -当前有两个独立的文档解析 skill（lyxy-reader-office 和 lyxy-reader-html），功能存在大量重复，维护成本高。将它们统一到 lyxy-document 项目中，可以减少代码重复、便于后续扩展，并提供更一致的使用体验。 - -## What Changes - -- 建立统一的项目结构，包含 core、readers、utils 等模块 -- 迁移 lyxy-reader-office 的所有解析器（docx、xlsx、pptx、pdf） -- 迁移 lyxy-reader-html 的所有解析器（html、url 下载） -- 统一 CLI 入口为 lyxy_document_reader.py -- 统一 Markdown 后处理逻辑 -- 按文件类型组织 readers，每个解析器独立文件 -- 依赖分组按文件类型细分（docx、xlsx、pptx、pdf、html、http） -- PDF OCR 解析器优先，无参数控制 -- 使用 logging 模块替代简单 print -- 设计完整的单元测试和集成测试 -- 重写项目文档，不迁移原 skill 的 references 文档 - -## Capabilities - -### New Capabilities - -- `document-reading`: 统一的文档读取核心能力，包含 CLI 入口、解析调度、Markdown 后处理 -- `docx-reader`: DOCX 文档解析能力 -- `xlsx-reader`: XLSX 文档解析能力 -- `pptx-reader`: PPTX 文档解析能力 -- `pdf-reader`: PDF 文档解析能力（含 OCR） -- `html-reader`: HTML/URL 解析能力 - -### Modified Capabilities - -（无现有能力需要修改） - -## Impact - -- 新增目录：core/、readers/、utils/、tests/ -- 新增入口文件：lyxy_document_reader.py -- 更新 pyproject.toml，添加依赖分组 -- 新增自定义异常体系 -- 受影响的依赖：docling、unstructured、markitdown、trafilatura、domscribe、html2text、beautifulsoup4、httpx、pyppeteer、selenium、python-docx、python-pptx、pandas、tabulate、pypdf、pypandoc-binary、unstructured-paddleocr diff --git a/openspec/changes/archive/2026-03-08-unify-document-readers/specs/document-reading/spec.md b/openspec/changes/archive/2026-03-08-unify-document-readers/specs/document-reading/spec.md deleted file mode 100644 index ef9e0c8..0000000 --- a/openspec/changes/archive/2026-03-08-unify-document-readers/specs/document-reading/spec.md +++ /dev/null @@ -1,137 +0,0 @@ -## ADDED Requirements - -### Requirement: 统一 CLI 入口 -系统 SHALL 提供 lyxy_document_reader.py 作为统一的命令行入口，支持处理所有文档类型。 - -#### Scenario: 调用 CLI 帮助信息 -- **WHEN** 用户执行 `uv run python lyxy_document_reader.py --help` -- **THEN** 系统显示完整的命令行参数帮助信息 - -#### Scenario: CLI 接受输入路径 -- **WHEN** 用户执行 `uv run python lyxy_document_reader.py ` -- **THEN** 系统识别输入类型并解析文档 - -### Requirement: 输入类型自动识别 -系统 SHALL 自动识别输入类型，包括 URL 和本地文件。 - -#### Scenario: 识别 HTTP URL -- **WHEN** 输入以 `http://` 或 `https://` 开头 -- **THEN** 系统识别为 URL，使用 html-reader 处理 - -#### Scenario: 识别 DOCX 文件 -- **WHEN** 输入文件扩展名为 .docx 或 .doc，或文件内容为 OOXML Word 格式 -- **THEN** 系统识别为 DOCX，使用 docx-reader 处理 - -#### Scenario: 识别 XLSX 文件 -- **WHEN** 输入文件扩展名为 .xlsx、.xls 或 .xlsm，或文件内容为 OOXML Excel 格式 -- **THEN** 系统识别为 XLSX，使用 xlsx-reader 处理 - -#### Scenario: 识别 PPTX 文件 -- **WHEN** 输入文件扩展名为 .pptx 或 .ppt，或文件内容为 OOXML PowerPoint 格式 -- **THEN** 系统识别为 PPTX，使用 pptx-reader 处理 - -#### Scenario: 识别 PDF 文件 -- **WHEN** 输入文件扩展名为 .pdf，或文件头为 %PDF -- **THEN** 系统识别为 PDF，使用 pdf-reader 处理 - -#### Scenario: 识别 HTML 文件 -- **WHEN** 输入文件扩展名为 .html、.htm 或 .xhtml -- **THEN** 系统识别为 HTML，使用 html-reader 处理 - -### Requirement: 输出完整 Markdown -系统 SHALL 能够输出解析后的完整 Markdown 内容。 - -#### Scenario: 无查询参数时输出完整内容 -- **WHEN** 用户不使用任何查询参数（-c/-l/-t/-tc/-s） -- **THEN** 系统输出完整的 Markdown 文档内容 - -### Requirement: 字数统计 -系统 SHALL 支持统计解析后文档的总字数。 - -#### Scenario: 使用 -c 参数统计字数 -- **WHEN** 用户使用 `-c` 或 `--count` 参数 -- **THEN** 系统输出解析后文档的总字数（不含换行符） - -### Requirement: 行数统计 -系统 SHALL 支持统计解析后文档的总行数。 - -#### Scenario: 使用 -l 参数统计行数 -- **WHEN** 用户使用 `-l` 或 `--lines` 参数 -- **THEN** 系统输出解析后文档的总行数 - -### Requirement: 标题提取 -系统 SHALL 支持提取文档中的所有标题行。 - -#### Scenario: 使用 -t 参数提取标题 -- **WHEN** 用户使用 `-t` 或 `--titles` 参数 -- **THEN** 系统输出解析后文档的所有 1-6 级标题行 - -### Requirement: 指定标题内容提取 -系统 SHALL 支持提取指定标题及其下级内容。 - -#### Scenario: 使用 -tc 参数提取标题内容 -- **WHEN** 用户使用 `-tc ` 或 `--title-content ` 参数 -- **THEN** 系统输出所有匹配标题名称的标题及其下级内容，包含上级标题上下文，多个匹配用 --- 分隔 - -#### Scenario: 标题未找到时提示错误 -- **WHEN** 指定的标题名称未找到 -- **THEN** 系统输出错误信息并退出非零状态码 - -### Requirement: 正则搜索 -系统 SHALL 支持使用正则表达式搜索文档内容。 - -#### Scenario: 使用 -s 参数搜索 -- **WHEN** 用户使用 `-s ` 或 `--search ` 参数 -- **THEN** 系统输出所有匹配结果及其上下文，多个匹配用 --- 分隔 - -#### Scenario: 使用 -n 参数指定上下文行数 -- **WHEN** 用户同时使用 `-s ` 和 `-n ` 或 `--context ` 参数 -- **THEN** 系统输出匹配结果及其前后指定行数的上下文（不含空行） - -#### Scenario: 无效正则表达式提示错误 -- **WHEN** 提供的正则表达式无效 -- **THEN** 系统输出错误信息并退出非零状态码 - -#### Scenario: 无匹配结果提示错误 -- **WHEN** 未找到任何匹配 -- **THEN** 系统输出错误信息并退出非零状态码 - -### Requirement: Markdown 图片移除 -系统 SHALL 自动移除解析结果中的 Markdown 图片标记。 - -#### Scenario: 移除图片标记 -- **WHEN** 解析结果包含 `![alt](url)` 格式的图片标记 -- **THEN** 系统移除这些图片标记 - -### Requirement: Markdown 空白规范化 -系统 SHALL 规范化解析结果中的空白字符，保留单行空行。 - -#### Scenario: 规范化连续空行 -- **WHEN** 解析结果包含连续 3 个或更多换行符 -- **THEN** 系统将其替换为 2 个换行符（保留单行空行） - -### Requirement: 使用 logging 模块 -系统 SHALL 使用 Python logging 模块进行日志输出，而非简单 print。 - -#### Scenario: 日志输出 -- **WHEN** 系统运行时 -- **THEN** 所有日志信息通过 logging 模块输出 - -### Requirement: 自定义异常 -系统 SHALL 使用自定义异常类处理错误，提供清晰的错误信息和位置上下文。 - -#### Scenario: 抛出 FileDetectionError -- **WHEN** 文件类型检测失败 -- **THEN** 系统抛出 FileDetectionError 异常 - -#### Scenario: 抛出 ReaderNotFoundError -- **WHEN** 未找到适配的阅读器 -- **THEN** 系统抛出 ReaderNotFoundError 异常 - -#### Scenario: 抛出 ParseError -- **WHEN** 文档解析失败 -- **THEN** 系统抛出 ParseError 异常 - -#### Scenario: 抛出 DownloadError -- **WHEN** URL 下载失败 -- **THEN** 系统抛出 DownloadError 异常 diff --git a/openspec/changes/archive/2026-03-08-unify-document-readers/specs/docx-reader/spec.md b/openspec/changes/archive/2026-03-08-unify-document-readers/specs/docx-reader/spec.md deleted file mode 100644 index d3c4373..0000000 --- a/openspec/changes/archive/2026-03-08-unify-document-readers/specs/docx-reader/spec.md +++ /dev/null @@ -1,109 +0,0 @@ -## ADDED Requirements - -### Requirement: DOCX 文档解析 -系统 SHALL 支持解析 DOCX 格式文档，按优先级尝试多个解析器。 - -#### Scenario: 按优先级尝试解析器 -- **WHEN** 解析 DOCX 文档 -- **THEN** 系统按 docling → unstructured → markitdown → pypandoc-binary → python-docx → XML原生解析的顺序尝试 - -#### Scenario: 成功解析 -- **WHEN** 任一解析器成功 -- **THEN** 系统返回解析结果 - -#### Scenario: 所有解析器失败 -- **WHEN** 所有解析器均失败 -- **THEN** 系统返回失败列表并退出非零状态码 - -### Requirement: docling 解析器 -系统 SHALL 支持使用 docling 库解析 DOCX。 - -#### Scenario: docling 解析成功 -- **WHEN** docling 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: docling 库未安装 -- **WHEN** docling 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: unstructured 解析器 -系统 SHALL 支持使用 unstructured 库解析 DOCX。 - -#### Scenario: unstructured 解析成功 -- **WHEN** unstructured 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: unstructured 库未安装 -- **WHEN** unstructured 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: markitdown 解析器 -系统 SHALL 支持使用 markitdown 库解析 DOCX。 - -#### Scenario: markitdown 解析成功 -- **WHEN** markitdown 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: markitdown 库未安装 -- **WHEN** markitdown 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: pypandoc-binary 解析器 -系统 SHALL 支持使用 pypandoc-binary 库解析 DOCX。 - -#### Scenario: pypandoc 解析成功 -- **WHEN** pypandoc-binary 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: pypandoc-binary 库未安装 -- **WHEN** pypandoc-binary 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: python-docx 解析器 -系统 SHALL 支持使用 python-docx 库解析 DOCX。 - -#### Scenario: python-docx 解析成功 -- **WHEN** python-docx 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容，保留标题层级、列表、表格、粗体、斜体等格式 - -#### Scenario: python-docx 库未安装 -- **WHEN** python-docx 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: XML 原生解析器 -系统 SHALL 支持使用 XML 原生解析 DOCX。 - -#### Scenario: XML 原生解析成功 -- **WHEN** 文档有效 -- **THEN** 系统返回 Markdown 内容，保留标题层级、列表、表格等格式 - -#### Scenario: XML 原生解析失败 -- **WHEN** XML 原生解析失败 -- **THEN** 系统返回失败信息 - -### Requirement: 每个解析器独立文件 -系统 SHALL 将每个解析器实现为独立的单文件模块。 - -#### Scenario: docling 解析器在独立文件 -- **WHEN** 使用 docling 解析器 -- **THEN** 从 readers/docx/docling.py 导入 - -#### Scenario: unstructured 解析器在独立文件 -- **WHEN** 使用 unstructured 解析器 -- **THEN** 从 readers/docx/unstructured.py 导入 - -#### Scenario: markitdown 解析器在独立文件 -- **WHEN** 使用 markitdown 解析器 -- **THEN** 从 readers/docx/markitdown.py 导入 - -#### Scenario: pypandoc 解析器在独立文件 -- **WHEN** 使用 pypandoc 解析器 -- **THEN** 从 readers/docx/pypandoc.py 导入 - -#### Scenario: python-docx 解析器在独立文件 -- **WHEN** 使用 python-docx 解析器 -- **THEN** 从 readers/docx/python_docx.py 导入 - -#### Scenario: XML 原生解析器在独立文件 -- **WHEN** 使用 XML 原生解析器 -- **THEN** 从 readers/docx/native_xml.py 导入 diff --git a/openspec/changes/archive/2026-03-08-unify-document-readers/specs/html-reader/spec.md b/openspec/changes/archive/2026-03-08-unify-document-readers/specs/html-reader/spec.md deleted file mode 100644 index e9dba6c..0000000 --- a/openspec/changes/archive/2026-03-08-unify-document-readers/specs/html-reader/spec.md +++ /dev/null @@ -1,188 +0,0 @@ -## ADDED Requirements - -### Requirement: HTML 文档解析 -系统 SHALL 支持解析 HTML 格式文档和 URL 网页，按优先级尝试多个解析器。 - -#### Scenario: 按优先级尝试解析器 -- **WHEN** 解析 HTML 内容 -- **THEN** 系统按 trafilatura → domscribe → markitdown → html2text 的顺序尝试 - -#### Scenario: 成功解析 -- **WHEN** 任一解析器成功 -- **THEN** 系统返回解析结果 - -#### Scenario: 所有解析器失败 -- **WHEN** 所有解析器均失败 -- **THEN** 系统返回失败列表并退出非零状态码 - -### Requirement: URL 下载 -系统 SHALL 支持从 URL 下载网页内容，按优先级尝试多个下载器。 - -#### Scenario: 按优先级尝试下载器 -- **WHEN** 输入为 URL -- **THEN** 系统按 pyppeteer → selenium → httpx → urllib 的顺序尝试下载 - -#### Scenario: 成功下载 -- **WHEN** 任一下载器成功 -- **THEN** 系统返回 HTML 内容 - -#### Scenario: 所有下载器失败 -- **WHEN** 所有下载器均失败 -- **THEN** 系统返回失败列表并退出非零状态码 - -### Requirement: HTML 内容清理 -系统 SHALL 在解析前清理 HTML 内容，移除不需要的标签和属性。 - -#### Scenario: 移除 script 标签 -- **WHEN** HTML 内容包含 script 标签 -- **THEN** 系统移除所有 script 标签 - -#### Scenario: 移除 style 标签 -- **WHEN** HTML 内容包含 style 标签 -- **THEN** 系统移除所有 style 标签 - -#### Scenario: 移除 svg 标签 -- **WHEN** HTML 内容包含 svg 标签 -- **THEN** 系统移除所有 svg 标签 - -#### Scenario: 移除 link 标签 -- **WHEN** HTML 内容包含 link 标签 -- **THEN** 系统移除所有 link 标签 - -#### Scenario: 移除 URL 属性 -- **WHEN** HTML 标签包含 href、src、srcset、action 属性 -- **THEN** 系统移除这些属性 - -#### Scenario: 移除 style 属性 -- **WHEN** HTML 标签包含 style 属性 -- **THEN** 系统移除所有 style 属性 - -#### Scenario: 移除 data-href 属性 -- **WHEN** HTML 标签包含 data-href 属性 -- **THEN** 系统移除这些属性 - -#### Scenario: 清理 title 属性中的 URL -- **WHEN** HTML 标签的 title 属性包含 URL -- **THEN** 系统移除 URL - -#### Scenario: 清理包含 URL 的 class 属性 -- **WHEN** HTML 标签的 class 属性包含 URL 样式 -- **THEN** 系统移除这些 class - -### Requirement: pyppeteer 下载器 -系统 SHALL 支持使用 pyppeteer 下载 URL（支持 JS 渲染）。 - -#### Scenario: pyppeteer 下载成功 -- **WHEN** pyppeteer 库可用且 URL 可访问 -- **THEN** 系统返回渲染后的 HTML 内容 - -#### Scenario: pyppeteer 库未安装 -- **WHEN** pyppeteer 库未安装 -- **THEN** 系统尝试下一个下载器 - -### Requirement: selenium 下载器 -系统 SHALL 支持使用 selenium 下载 URL（支持 JS 渲染）。 - -#### Scenario: selenium 下载成功 -- **WHEN** selenium 库可用、LYXY_CHROMIUM_DRIVER 和 LYXY_CHROMIUM_BINARY 环境变量配置正确且 URL 可访问 -- **THEN** 系统返回渲染后的 HTML 内容 - -#### Scenario: selenium 依赖未满足 -- **WHEN** selenium 库未安装或环境变量未配置 -- **THEN** 系统尝试下一个下载器 - -### Requirement: httpx 下载器 -系统 SHALL 支持使用 httpx 下载 URL（轻量级 HTTP 客户端）。 - -#### Scenario: httpx 下载成功 -- **WHEN** httpx 库可用且 URL 可访问 -- **THEN** 系统返回 HTML 内容 - -#### Scenario: httpx 库未安装 -- **WHEN** httpx 库未安装 -- **THEN** 系统尝试下一个下载器 - -### Requirement: urllib 下载器 -系统 SHALL 支持使用 urllib 下载 URL（标准库，兜底方案）。 - -#### Scenario: urllib 下载成功 -- **WHEN** URL 可访问 -- **THEN** 系统返回 HTML 内容 - -#### Scenario: urllib 下载失败 -- **WHEN** urllib 下载失败 -- **THEN** 系统返回失败信息 - -### Requirement: trafilatura 解析器 -系统 SHALL 支持使用 trafilatura 解析 HTML。 - -#### Scenario: trafilatura 解析成功 -- **WHEN** trafilatura 库可用且 HTML 有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: trafilatura 库未安装 -- **WHEN** trafilatura 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: domscribe 解析器 -系统 SHALL 支持使用 domscribe 解析 HTML。 - -#### Scenario: domscribe 解析成功 -- **WHEN** domscribe 库可用且 HTML 有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: domscribe 库未安装 -- **WHEN** domscribe 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: markitdown 解析器 -系统 SHALL 支持使用 markitdown 解析 HTML。 - -#### Scenario: markitdown 解析成功 -- **WHEN** markitdown 库可用且 HTML 有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: markitdown 库未安装 -- **WHEN** markitdown 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: html2text 解析器 -系统 SHALL 支持使用 html2text 解析 HTML（兜底方案）。 - -#### Scenario: html2text 解析成功 -- **WHEN** html2text 库可用且 HTML 有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: html2text 库未安装 -- **WHEN** html2text 库未安装 -- **THEN** 系统返回失败信息 - -### Requirement: 下载器在 html 目录下 -系统 SHALL 将下载器和清理器放在 html 目录下，不拆分。 - -#### Scenario: downloader.py 在 html 目录 -- **WHEN** 使用 URL 下载功能 -- **THEN** 从 readers/html/downloader.py 导入 - -#### Scenario: cleaner.py 在 html 目录 -- **WHEN** 使用 HTML 清理功能 -- **THEN** 从 readers/html/cleaner.py 导入 - -### Requirement: 每个 HTML 解析器独立文件 -系统 SHALL 将每个 HTML 解析器实现为独立的单文件模块。 - -#### Scenario: trafilatura 解析器在独立文件 -- **WHEN** 使用 trafilatura 解析器 -- **THEN** 从 readers/html/trafilatura.py 导入 - -#### Scenario: domscribe 解析器在独立文件 -- **WHEN** 使用 domscribe 解析器 -- **THEN** 从 readers/html/domscribe.py 导入 - -#### Scenario: markitdown 解析器在独立文件 -- **WHEN** 使用 markitdown 解析器 -- **THEN** 从 readers/html/markitdown.py 导入 - -#### Scenario: html2text 解析器在独立文件 -- **WHEN** 使用 html2text 解析器 -- **THEN** 从 readers/html/html2text.py 导入 diff --git a/openspec/changes/archive/2026-03-08-unify-document-readers/specs/pdf-reader/spec.md b/openspec/changes/archive/2026-03-08-unify-document-readers/specs/pdf-reader/spec.md deleted file mode 100644 index 854508c..0000000 --- a/openspec/changes/archive/2026-03-08-unify-document-readers/specs/pdf-reader/spec.md +++ /dev/null @@ -1,116 +0,0 @@ -## ADDED Requirements - -### Requirement: PDF 文档解析 -系统 SHALL 支持解析 PDF 格式文档，按优先级尝试多个解析器，OCR 优先。 - -#### Scenario: 按优先级尝试解析器 -- **WHEN** 解析 PDF 文档 -- **THEN** 系统按 docling OCR → unstructured OCR → docling → unstructured → markitdown → pypdf 的顺序尝试 - -#### Scenario: 成功解析 -- **WHEN** 任一解析器成功 -- **THEN** 系统返回解析结果 - -#### Scenario: 所有解析器失败 -- **WHEN** 所有解析器均失败 -- **THEN** 系统返回失败列表并退出非零状态码 - -### Requirement: 无 --high-res 参数 -系统 SHALL NOT 提供 --high-res 参数来控制是否使用 OCR，OCR 解析器直接加入解析器链。 - -#### Scenario: 不接受 --high-res 参数 -- **WHEN** 用户使用 --high-res 参数 -- **THEN** 系统提示该参数不存在 - -### Requirement: docling OCR 解析器 -系统 SHALL 支持使用 docling 库的 OCR 模式解析 PDF。 - -#### Scenario: docling OCR 解析成功 -- **WHEN** docling 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: docling 库未安装 -- **WHEN** docling 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: unstructured OCR 解析器 -系统 SHALL 支持使用 unstructured 库的 hi_res 策略+PaddleOCR 解析 PDF。 - -#### Scenario: unstructured OCR 解析成功 -- **WHEN** unstructured 和 unstructured-paddleocr 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: unstructured OCR 依赖未安装 -- **WHEN** unstructured 或 unstructured-paddleocr 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: docling 解析器（非 OCR） -系统 SHALL 支持使用 docling 库的非 OCR 模式解析 PDF。 - -#### Scenario: docling 解析成功 -- **WHEN** docling 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: docling 库未安装 -- **WHEN** docling 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: unstructured 解析器（非 OCR） -系统 SHALL 支持使用 unstructured 库的 fast 策略解析 PDF。 - -#### Scenario: unstructured 解析成功 -- **WHEN** unstructured 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: unstructured 库未安装 -- **WHEN** unstructured 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: markitdown 解析器 -系统 SHALL 支持使用 markitdown 库解析 PDF。 - -#### Scenario: markitdown 解析成功 -- **WHEN** markitdown 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: markitdown 库未安装 -- **WHEN** markitdown 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: pypdf 解析器 -系统 SHALL 支持使用 pypdf 库解析 PDF。 - -#### Scenario: pypdf 解析成功 -- **WHEN** pypdf 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: pypdf 库未安装 -- **WHEN** pypdf 库未安装 -- **THEN** 系统返回失败信息 - -### Requirement: 每个解析器独立文件 -系统 SHALL 将每个解析器实现为独立的单文件模块。 - -#### Scenario: docling OCR 解析器在独立文件 -- **WHEN** 使用 docling OCR 解析器 -- **THEN** 从 readers/pdf/docling_ocr.py 导入 - -#### Scenario: unstructured OCR 解析器在独立文件 -- **WHEN** 使用 unstructured OCR 解析器 -- **THEN** 从 readers/pdf/unstructured_ocr.py 导入 - -#### Scenario: docling 解析器在独立文件 -- **WHEN** 使用 docling 解析器 -- **THEN** 从 readers/pdf/docling.py 导入 - -#### Scenario: unstructured 解析器在独立文件 -- **WHEN** 使用 unstructured 解析器 -- **THEN** 从 readers/pdf/unstructured.py 导入 - -#### Scenario: markitdown 解析器在独立文件 -- **WHEN** 使用 markitdown 解析器 -- **THEN** 从 readers/pdf/markitdown.py 导入 - -#### Scenario: pypdf 解析器在独立文件 -- **WHEN** 使用 pypdf 解析器 -- **THEN** 从 readers/pdf/pypdf.py 导入 diff --git a/openspec/changes/archive/2026-03-08-unify-document-readers/specs/pptx-reader/spec.md b/openspec/changes/archive/2026-03-08-unify-document-readers/specs/pptx-reader/spec.md deleted file mode 100644 index e970ec3..0000000 --- a/openspec/changes/archive/2026-03-08-unify-document-readers/specs/pptx-reader/spec.md +++ /dev/null @@ -1,94 +0,0 @@ -## ADDED Requirements - -### Requirement: PPTX 文档解析 -系统 SHALL 支持解析 PPTX 格式文档，按优先级尝试多个解析器。 - -#### Scenario: 按优先级尝试解析器 -- **WHEN** 解析 PPTX 文档 -- **THEN** 系统按 docling → unstructured → markitdown → python-pptx → XML原生解析的顺序尝试 - -#### Scenario: 成功解析 -- **WHEN** 任一解析器成功 -- **THEN** 系统返回解析结果 - -#### Scenario: 所有解析器失败 -- **WHEN** 所有解析器均失败 -- **THEN** 系统返回失败列表并退出非零状态码 - -### Requirement: docling 解析器 -系统 SHALL 支持使用 docling 库解析 PPTX。 - -#### Scenario: docling 解析成功 -- **WHEN** docling 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: docling 库未安装 -- **WHEN** docling 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: unstructured 解析器 -系统 SHALL 支持使用 unstructured 库解析 PPTX。 - -#### Scenario: unstructured 解析成功 -- **WHEN** unstructured 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: unstructured 库未安装 -- **WHEN** unstructured 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: markitdown 解析器 -系统 SHALL 支持使用 markitdown 库解析 PPTX。 - -#### Scenario: markitdown 解析成功 -- **WHEN** markitdown 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: markitdown 库未安装 -- **WHEN** markitdown 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: python-pptx 解析器 -系统 SHALL 支持使用 python-pptx 库解析 PPTX。 - -#### Scenario: python-pptx 解析成功 -- **WHEN** python-pptx 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容，每页用二级标题分隔，保留列表、表格、粗体、斜体等格式 - -#### Scenario: python-pptx 库未安装 -- **WHEN** python-pptx 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: XML 原生解析器 -系统 SHALL 支持使用 XML 原生解析 PPTX。 - -#### Scenario: XML 原生解析成功 -- **WHEN** 文档有效 -- **THEN** 系统返回 Markdown 内容，每页用二级标题分隔，保留列表、表格、粗体、斜体等格式 - -#### Scenario: XML 原生解析失败 -- **WHEN** XML 原生解析失败 -- **THEN** 系统返回失败信息 - -### Requirement: 每个解析器独立文件 -系统 SHALL 将每个解析器实现为独立的单文件模块。 - -#### Scenario: docling 解析器在独立文件 -- **WHEN** 使用 docling 解析器 -- **THEN** 从 readers/pptx/docling.py 导入 - -#### Scenario: unstructured 解析器在独立文件 -- **WHEN** 使用 unstructured 解析器 -- **THEN** 从 readers/pptx/unstructured.py 导入 - -#### Scenario: markitdown 解析器在独立文件 -- **WHEN** 使用 markitdown 解析器 -- **THEN** 从 readers/pptx/markitdown.py 导入 - -#### Scenario: python-pptx 解析器在独立文件 -- **WHEN** 使用 python-pptx 解析器 -- **THEN** 从 readers/pptx/python_pptx.py 导入 - -#### Scenario: XML 原生解析器在独立文件 -- **WHEN** 使用 XML 原生解析器 -- **THEN** 从 readers/pptx/native_xml.py 导入 diff --git a/openspec/changes/archive/2026-03-08-unify-document-readers/specs/xlsx-reader/spec.md b/openspec/changes/archive/2026-03-08-unify-document-readers/specs/xlsx-reader/spec.md deleted file mode 100644 index 9c142f7..0000000 --- a/openspec/changes/archive/2026-03-08-unify-document-readers/specs/xlsx-reader/spec.md +++ /dev/null @@ -1,94 +0,0 @@ -## ADDED Requirements - -### Requirement: XLSX 文档解析 -系统 SHALL 支持解析 XLSX 格式文档，按优先级尝试多个解析器。 - -#### Scenario: 按优先级尝试解析器 -- **WHEN** 解析 XLSX 文档 -- **THEN** 系统按 docling → unstructured → markitdown → pandas → XML原生解析的顺序尝试 - -#### Scenario: 成功解析 -- **WHEN** 任一解析器成功 -- **THEN** 系统返回解析结果 - -#### Scenario: 所有解析器失败 -- **WHEN** 所有解析器均失败 -- **THEN** 系统返回失败列表并退出非零状态码 - -### Requirement: docling 解析器 -系统 SHALL 支持使用 docling 库解析 XLSX。 - -#### Scenario: docling 解析成功 -- **WHEN** docling 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: docling 库未安装 -- **WHEN** docling 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: unstructured 解析器 -系统 SHALL 支持使用 unstructured 库解析 XLSX。 - -#### Scenario: unstructured 解析成功 -- **WHEN** unstructured 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: unstructured 库未安装 -- **WHEN** unstructured 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: markitdown 解析器 -系统 SHALL 支持使用 markitdown 库解析 XLSX。 - -#### Scenario: markitdown 解析成功 -- **WHEN** markitdown 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容 - -#### Scenario: markitdown 库未安装 -- **WHEN** markitdown 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: pandas 解析器 -系统 SHALL 支持使用 pandas 库解析 XLSX。 - -#### Scenario: pandas 解析成功 -- **WHEN** pandas 和 tabulate 库可用且文档有效 -- **THEN** 系统返回 Markdown 内容，每个工作表用二级标题分隔，数据以表格形式展示 - -#### Scenario: pandas 库未安装 -- **WHEN** pandas 或 tabulate 库未安装 -- **THEN** 系统尝试下一个解析器 - -### Requirement: XML 原生解析器 -系统 SHALL 支持使用 XML 原生解析 XLSX。 - -#### Scenario: XML 原生解析成功 -- **WHEN** 文档有效 -- **THEN** 系统返回 Markdown 内容，每个工作表用二级标题分隔，数据以表格形式展示，过滤全空列 - -#### Scenario: XML 原生解析失败 -- **WHEN** XML 原生解析失败 -- **THEN** 系统返回失败信息 - -### Requirement: 每个解析器独立文件 -系统 SHALL 将每个解析器实现为独立的单文件模块。 - -#### Scenario: docling 解析器在独立文件 -- **WHEN** 使用 docling 解析器 -- **THEN** 从 readers/xlsx/docling.py 导入 - -#### Scenario: unstructured 解析器在独立文件 -- **WHEN** 使用 unstructured 解析器 -- **THEN** 从 readers/xlsx/unstructured.py 导入 - -#### Scenario: markitdown 解析器在独立文件 -- **WHEN** 使用 markitdown 解析器 -- **THEN** 从 readers/xlsx/markitdown.py 导入 - -#### Scenario: pandas 解析器在独立文件 -- **WHEN** 使用 pandas 解析器 -- **THEN** 从 readers/xlsx/pandas.py 导入 - -#### Scenario: XML 原生解析器在独立文件 -- **WHEN** 使用 XML 原生解析器 -- **THEN** 从 readers/xlsx/native_xml.py 导入 diff --git a/openspec/changes/archive/2026-03-08-unify-document-readers/tasks.md b/openspec/changes/archive/2026-03-08-unify-document-readers/tasks.md deleted file mode 100644 index b66a13d..0000000 --- a/openspec/changes/archive/2026-03-08-unify-document-readers/tasks.md +++ /dev/null @@ -1,81 +0,0 @@ -## 1. 项目基础架构 - -- [x] 1.1 创建目录结构（core/、readers/、utils/、tests/） -- [x] 1.2 更新 pyproject.toml，添加所有依赖分组 -- [x] 1.3 创建 core/exceptions.py，实现自定义异常体系 -- [x] 1.4 创建 readers/base.py，实现 Reader 基类 - -## 2. 核心模块 - -- [x] 2.1 创建 core/markdown.py，迁移 Markdown 后处理函数 -- [x] 2.2 创建 utils/file_detection.py，实现输入类型检测 -- [x] 2.3 创建 core/parser.py，实现统一解析调度器 -- [x] 2.4 创建 readers/__init__.py，显式注册所有 reader - -## 3. DOCX Reader - -- [x] 3.1 创建 readers/docx/ 目录结构和 __init__.py -- [x] 3.2 创建 readers/docx/docling.py -- [x] 3.3 创建 readers/docx/unstructured.py -- [x] 3.4 创建 readers/docx/markitdown.py -- [x] 3.5 创建 readers/docx/pypandoc.py -- [x] 3.6 创建 readers/docx/python_docx.py -- [x] 3.7 创建 readers/docx/native_xml.py - -## 4. XLSX Reader - -- [x] 4.1 创建 readers/xlsx/ 目录结构和 __init__.py -- [x] 4.2 创建 readers/xlsx/docling.py -- [x] 4.3 创建 readers/xlsx/unstructured.py -- [x] 4.4 创建 readers/xlsx/markitdown.py -- [x] 4.5 创建 readers/xlsx/pandas.py -- [x] 4.6 创建 readers/xlsx/native_xml.py - -## 5. PPTX Reader - -- [x] 5.1 创建 readers/pptx/ 目录结构和 __init__.py -- [x] 5.2 创建 readers/pptx/docling.py -- [x] 5.3 创建 readers/pptx/unstructured.py -- [x] 5.4 创建 readers/pptx/markitdown.py -- [x] 5.5 创建 readers/pptx/python_pptx.py -- [x] 5.6 创建 readers/pptx/native_xml.py - -## 6. PDF Reader - -- [x] 6.1 创建 readers/pdf/ 目录结构和 __init__.py -- [x] 6.2 创建 readers/pdf/docling_ocr.py -- [x] 6.3 创建 readers/pdf/unstructured_ocr.py -- [x] 6.4 创建 readers/pdf/docling.py -- [x] 6.5 创建 readers/pdf/unstructured.py -- [x] 6.6 创建 readers/pdf/markitdown.py -- [x] 6.7 创建 readers/pdf/pypdf.py - -## 7. HTML Reader - -- [x] 7.1 创建 readers/html/ 目录结构和 __init__.py -- [x] 7.2 创建 readers/html/downloader.py，迁移 URL 下载器 -- [x] 7.3 创建 readers/html/cleaner.py，迁移 HTML 清理器 -- [x] 7.4 创建 readers/html/trafilatura.py -- [x] 7.5 创建 readers/html/domscribe.py -- [x] 7.6 创建 readers/html/markitdown.py -- [x] 7.7 创建 readers/html/html2text.py - -## 8. 统一 CLI 入口 - -- [x] 8.1 创建 lyxy_document_reader.py，实现统一 CLI -- [x] 8.2 集成 logging 模块 - -## 9. 测试 - -- [x] 9.1 创建 tests/conftest.py -- [x] 9.2 创建 tests/test_core/，测试核心模块 -- [x] 9.3 创建 tests/test_readers/test_docx/ -- [x] 9.4 创建 tests/test_readers/test_xlsx/ -- [x] 9.5 创建 tests/test_readers/test_pptx/ -- [x] 9.6 创建 tests/test_readers/test_pdf/ -- [x] 9.7 创建 tests/test_readers/test_html/ -- [x] 9.8 创建 tests/test_utils/，测试工具函数 - -## 10. 文档 - -- [x] 10.1 重写 README.md