lanyuanxiaoyao
2b81dd49fe
将所有 HTML Parser 的函数签名从接收 HTML 字符串改为接收文件路径， 与其他 Reader（PDF、DOCX 等）保持一致。 主要变更： - 修改 PARSERS 列表，移除 lambda 表达式，直接传递函数引用 - 在 HtmlReader.parse() 中统一管理临时文件（UTF-8 编码） - 每个 Parser 使用独立的临时文件副本，用完即清理 - 移除 download_and_parse() 方法，逻辑合并到 parse() 中 - 更新相关测试，改为直接传递文件路径 受影响的 Parser： - trafilatura.parse(html_content) -> parse(file_path) - domscribe.parse(html_content) -> parse(file_path) - markitdown.parse(html_content, temp_file_path) -> parse(file_path) - html2text.parse(html_content) -> parse(file_path)
47 lines
1.5 KiB
Python
47 lines
1.5 KiB
Python
"""测试所有 HTML Readers 的一致性。"""
|
|
|
|
import pytest
|
|
from scripts.readers.html import (
|
|
html2text,
|
|
markitdown,
|
|
trafilatura,
|
|
domscribe,
|
|
)
|
|
|
|
|
|
class TestHtmlReadersConsistency:
|
|
"""验证所有 HTML Readers 解析同一文件时核心文字内容一致。"""
|
|
|
|
def test_all_readers_parse_same_content(self, temp_html):
|
|
"""测试所有 Readers 解析同一文件时核心内容一致。"""
|
|
file_path = temp_html(content="""
|
|
<html>
|
|
<head><title>测试页面</title></head>
|
|
<body>
|
|
<h1>测试标题</h1>
|
|
<p>这是测试段落内容。</p>
|
|
<p>第二段内容。</p>
|
|
</body>
|
|
</html>
|
|
""")
|
|
|
|
parsers = [
|
|
("html2text", html2text.parse),
|
|
("markitdown", markitdown.parse),
|
|
("trafilatura", trafilatura.parse),
|
|
("domscribe", domscribe.parse),
|
|
]
|
|
|
|
successful_results = []
|
|
for name, parser in parsers:
|
|
content, error = parser(file_path)
|
|
if content is not None and content.strip():
|
|
successful_results.append((name, content))
|
|
|
|
assert len(successful_results) > 0, "没有任何 reader 成功解析文件"
|
|
|
|
core_texts = ["测试标题", "测试段落", "内容", "第二段"]
|
|
for name, content in successful_results:
|
|
assert any(text in content for text in core_texts), \
|
|
f"{name} 解析结果不包含核心内容"
|