lanyuanxiaoyao/lyxy-document
1
0
Fork 0
Code Releases Activity
19 Commits 1 Branch 0 Tags
dfe6904f4c49aba93af3bda69afc464e88c45d2d
Commit Graph

8 Commits

Author SHA1 Message Date
lanyuanxiaoyao
dfe6904f4c feat: 添加多平台依赖支持 
为不同平台提供特定的依赖 extras，解决 macOS x86_64 的依赖兼容性问题。

- 添加平台特定的 PDF 解析 extras：pdf-win, pdf-macos-intel, pdf-macos-arm, pdf-linux
- 添加平台特定的 Office 文档 extras：office-win, office-macos-intel, office-macos-arm, office-linux
- macOS x86_64 使用硬编码版本：docling==2.40.0, docling-parse==4.0.0
- 移除通用的 pdf 和 office extras，强制用户选择平台
- 更新 SKILL.md 添加详细的多平台依赖安装指南
- 更新 README.md 添加平台特定安装说明
- 在 .gitignore 中添加 uv.lock
- 删除现有的 uv.lock 文件
- 创建 multi-platform-dependencies 规范文档
 2026-03-09 10:49:53 +08:00
lanyuanxiaoyao
58093e0877 feat: 添加 skill 打包脚本 build.py 
新增 build.py 实现 skill 自动化打包：
- 一键完成 skill/SKILL.md 和 scripts/ 打包到 build/
- 时间戳版本号格式 YYYYMMDD_HHMMSS
- 仅复制 .py 文件，避免创建空目录
- 添加 skill-packaging spec 文档
 2026-03-09 01:37:36 +08:00
lanyuanxiaoyao
1aea561277 refactor: 重构 Reader 内部工具函数到独立模块 
- 新增 scripts/readers/_utils.py 作为 Reader 内部共享工具模块
- 将 parse_with_markitdown 等函数从 core/markdown.py 迁移到 _utils.py
- 函数重命名：parse_with_xxx → parse_via_xxx，_unstructured_elements_to_markdown → convert_unstructured_to_markdown
- 更新 17 个 Reader 实现文件的 import 路径
- 从 core/__init__.py 移除已迁移函数的导出
- 新增测试文件 tests/test_readers/test_utils.py
- 新增 spec 文档 openspec/specs/reader-internal-utils/spec.md

这次重构明确了模块边界：core/ 提供公共 API，readers/_utils.py 提供 Reader 内部工具
 2026-03-09 00:56:05 +08:00
lanyuanxiaoyao
2b81dd49fe refactor: 统一 HTML Reader 的 parse 签名，使用文件路径参数 
将所有 HTML Parser 的函数签名从接收 HTML 字符串改为接收文件路径，
与其他 Reader（PDF、DOCX 等）保持一致。

主要变更：
- 修改 PARSERS 列表，移除 lambda 表达式，直接传递函数引用
- 在 HtmlReader.parse() 中统一管理临时文件（UTF-8 编码）
- 每个 Parser 使用独立的临时文件副本，用完即清理
- 移除 download_and_parse() 方法，逻辑合并到 parse() 中
- 更新相关测试，改为直接传递文件路径

受影响的 Parser：
- trafilatura.parse(html_content) -> parse(file_path)
- domscribe.parse(html_content) -> parse(file_path)
- markitdown.parse(html_content, temp_file_path) -> parse(file_path)
- html2text.parse(html_content) -> parse(file_path)
 2026-03-09 00:05:23 +08:00
lanyuanxiaoyao
7eab1dcef1 test: 添加全面的测试套件，覆盖所有 Reader 实现 
- 测试数量从 83 个增加到 193 个 (+132%)
- 代码覆盖率从 48% 提升到 69% (+44%)
- 为每种文档格式的所有 Reader 实现创建独立测试
- 添加跨 Reader 的一致性验证测试
- 新增 4 个测试规范 (cli-testing, exception-testing, reader-testing, test-fixtures)
- 更新 README 测试统计信息

测试覆盖:
- DOCX: python-docx, markitdown, docling, native-xml, pypandoc, unstructured
- PDF: pypdf, markitdown, docling, docling-ocr, unstructured, unstructured-ocr
- HTML: html2text, markitdown, trafilatura, domscribe
- PPTX: python-pptx, markitdown, docling, native-xml, unstructured
- XLSX: pandas, markitdown, docling, native-xml, unstructured
- CLI: 所有命令行选项和错误处理

所有 193 个测试通过。
 2026-03-08 22:20:21 +08:00
lanyuanxiaoyao
c35bbc90b5 docs: 优化 skill 文档并添加更新原则 
优化 skill/SKILL.md 遵循 Claude Skill 构建指南：
- 重写 YAML frontmatter，添加触发词和 compatibility 字段
- 新增 Purpose、When to Use、Quick Reference、Workflow 章节
- 说明双路径执行策略（lyxy-runner-python 优先，回退主机 Python）
- 修正依赖说明，使用具体 pip 包名

在 README.md 中添加 Skill 文档规范章节，明确更新原则
新增 openspec/specs/skill-documentation/ 规范文件
 2026-03-08 18:43:07 +08:00
lanyuanxiaoyao
750ef50a8d refactor: 重构解析器架构并添加编码检测和配置管理 
简化 parse_input() 为纯调度器，通过遍历 readers 的 supports() 方法识别输入类型，移除 URL 特殊处理和文件检查逻辑。各 reader 的 parse() 方法负责完整验证（文件存在、格式有效性）。

新增功能：
- 添加 chardet 编码自动检测，支持多种中文编码回退机制
- 创建统一配置类管理编码、下载超时、日志等级等配置项
- HTML reader 支持本地文件编码检测和 URL 统一处理

安全性改进：
- 修复 safe_open_zip() 路径遍历漏洞，使用 pathlib 规范化路径
- 添加边界检查，search_markdown() 检查负数参数

其他改进：
- 修复类型注解（argparse.Namespace）
- 日志系统仅输出 ERROR 级别，避免干扰 Markdown 输出
- 更新 BaseReader 接口文档，明确 supports() 和 parse() 职责划分
- 同步 delta specs 到主 specs（document-reading、html-reader、configuration、encoding-detection）
 2026-03-08 16:33:40 +08:00
lanyuanxiaoyao
6c003d73f3 docs: 同步 delta specs 到主 specs 
从归档的 unify-document-readers change 同步 delta specs 到主 specs 目录。

新增 specs：
- document-reading - 统一文档读取核心能力
- docx-reader - DOCX 文档解析能力
- xlsx-reader - XLSX 文档解析能力
- pptx-reader - PPTX 文档解析能力
- pdf-reader - PDF 文档解析能力（含 OCR）
- html-reader - HTML/URL 文档解析能力
 2026-03-08 13:52:30 +08:00