外挂知识库

2024-06-17 约 5167 字预计阅读 25 分钟

PDF处理

PyPDF2

1

pip install pypdf2

Pdfplumber

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


    # 打开 PDF 文档
    with p.open(pdf_path) as pdf:
        # 获取 PDF 文本
        pages = pdf.pages
        # 分割节
        title_id = 0
        for page in tqdm(pages):

            text = page.extract_text()
            lines = text.split('\n')
            for line in lines:
                # 过滤掉不需要的字符串
                if filterate(line):
                    # print(line, filterate(line))
                    continue

PDFminer

PDF -> txt 分节

1
2
3


# 初始化PDF阅读器

pdf_reader = PyPDF2.PdfReader(pdf_path)

1
2
3
4
5
6
7
8
9


# 遍历PDF的每一页
for page_num in tqdm(range(len(pdf_reader.pages))):
    page = pdf_reader.pages[page_num]  # 获取页面对象
    text = page.extract_text()

    # 遍历文本的每一行
    for line in text.splitlines():
        # 处理每一行
        print(line)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


# 匹配 “第x节”
line = "第一节 主变压器安装"
match = match = re.search(r"(第[一二三四五六七八九十 ]+节)(\s+)([\u4e00-\u9fa5-、-（-）]+)(\s*)(?!.*\·)", line)
print(match)
if match:
    print(match.group(0))
  
# 
match = chapter_pattern.search(text)
if match:
    chapter_title = match.group(1)
    chapter_text = text[match.end():].strip()

标题结构：

第一节主变压器安装本节适用于35～1000kV充气运输的油浸式变压器（电抗器）安装。

主变压器安装工艺流程 1.1 主变压器安装工艺流程工艺流程图 1.2 主变压器安装工艺流程关键工序控制 1.2.1 主变压器安装工艺流程关键工序控制施工准备

换自己的分词器

使用自定义的分词器

https://github.com/chatchat-space/Langchain-Chatchat/wiki/%E8%87%AA%E5%AE%9A%E4%B9%89#%E4%BD%BF%E7%94%A8%E8%87%AA%E5%AE%9A%E4%B9%89%E7%9A%84%E5%88%86%E8%AF%8D%E5%99%A8

在 text_splitter文件夹下新建一个文件，文件名为您的分词器名字，比如 my_splitter.py，然后在 __init__.py中导入您的分词器，如下所示：

1

from .my_splitter import MySplitter

修改 config/model_config.py文件，将您的分词器名字添加到 text_splitter_dict中，如下所示：

1
2
3
4
5


MySplitter: {
        "source": "huggingface",  # 选择tiktoken则使用openai的方法
        "tokenizer_name_or_path": "your tokenizer", #如果选择huggingface则使用huggingface的方法，部分tokenizer需要从Huggingface下载
    }
TEXT_SPLITTER = "MySplitter"

完成上述步骤后，就能使用自己的分词器了。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


2024-01-09 15:31:00,477 - utils.py[line:286] - INFO: UnstructuredFileLoader used for /usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/w_Dividedbysection/content/分词测试.txt
2024-01-09 15:31:01,060 - faiss_cache.py[line:80] - INFO: loading vector store in 'w_Dividedbysection/vector_store/bge-large-zh-v1.5' from disk.
文档切分示例：page_content='我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。\n我只是在测试分词。。。' metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/w_Dividedbysection/content/分词测试.txt'}

Batches:   0%|          | 0/1 [00:00<?, ?it/s]
Batches: 100%|██████████| 1/1 [00:00<00:00,  2.44it/s]
Batches: 100%|██████████| 1/1 [00:00<00:00,  2.44it/s]
2024-01-09 15:31:01,502 - faiss_cache.py[line:24] - INFO: 已将向量库 ('w_Dividedbysection', 'bge-large-zh-v1.5') 保存到磁盘
INFO:     10.61.2.143:40996 - "POST /knowledge_base/upload_docs HTTP/1.1" 200 OK
2024-01-09 15:31:01,504 - _client.py[line:1013] - INFO: HTTP Request: POST http://10.61.2.143:7861/knowledge_base/upload_docs "HTTP/1.1 200 OK"

执行步骤：

调用接口 /knowledge_base/upload_docs

1
2
3
4
5


    app.post("/knowledge_base/upload_docs",
             tags=["Knowledge Base Management"],
             response_model=BaseResponse,
             summary="上传文件到知识库，并/或进行向量化"
             )(upload_docs)

upload_docs

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51


def upload_docs(
        files: List[UploadFile] = File(..., description="上传文件，支持多文件"),
        knowledge_base_name: str = Form(..., description="知识库名称", examples=["samples"]),
        override: bool = Form(False, description="覆盖已有文件"),
        to_vector_store: bool = Form(True, description="上传文件后是否进行向量化"),
        chunk_size: int = Form(CHUNK_SIZE, description="知识库中单段文本最大长度"),
        chunk_overlap: int = Form(OVERLAP_SIZE, description="知识库中相邻文本重合长度"),
        zh_title_enhance: bool = Form(ZH_TITLE_ENHANCE, description="是否开启中文标题加强"),
        docs: Json = Form({}, description="自定义的docs，需要转为json字符串",
                          examples=[{"test.txt": [Document(page_content="custom doc")]}]),
        not_refresh_vs_cache: bool = Form(False, description="暂不保存向量库（用于FAISS）"),
) -> BaseResponse:
    """
    API接口：上传文件，并/或向量化
    """
    if not validate_kb_name(knowledge_base_name):
        return BaseResponse(code=403, msg="Don't attack me")

    kb = KBServiceFactory.get_service_by_name(knowledge_base_name)
    if kb is None:
        return BaseResponse(code=404, msg=f"未找到知识库 {knowledge_base_name}")

    failed_files = {}
    file_names = list(docs.keys())

    # 先将上传的文件保存到磁盘
    for result in _save_files_in_thread(files, knowledge_base_name=knowledge_base_name, override=override):
        filename = result["data"]["file_name"]
        if result["code"] != 200:
            failed_files[filename] = result["msg"]

        if filename not in file_names:
            file_names.append(filename)

    # 对保存的文件进行向量化
    if to_vector_store:
        result = ★★★★★update_docs★★★★★(
            knowledge_base_name=knowledge_base_name,
            file_names=file_names,
            override_custom_docs=True,
            chunk_size=chunk_size,
            chunk_overlap=chunk_overlap,
            zh_title_enhance=zh_title_enhance,
            docs=docs,
            not_refresh_vs_cache=True,
        )
        failed_files.update(result.data["failed_files"])
        if not not_refresh_vs_cache:
            kb.save_vector_store()

    return BaseResponse(code=200, msg="文件上传与向量化完成", data={"failed_files": failed_files})

update_docs

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71


def update_docs(
        knowledge_base_name: str = Body(..., description="知识库名称", examples=["samples"]),
        file_names: List[str] = Body(..., description="文件名称，支持多文件", examples=[["file_name1", "text.txt"]]),
        chunk_size: int = Body(CHUNK_SIZE, description="知识库中单段文本最大长度"),
        chunk_overlap: int = Body(OVERLAP_SIZE, description="知识库中相邻文本重合长度"),
        zh_title_enhance: bool = Body(ZH_TITLE_ENHANCE, description="是否开启中文标题加强"),
        override_custom_docs: bool = Body(False, description="是否覆盖之前自定义的docs"),
        docs: Json = Body({}, description="自定义的docs，需要转为json字符串",
                          examples=[{"test.txt": [Document(page_content="custom doc")]}]),
        not_refresh_vs_cache: bool = Body(False, description="暂不保存向量库（用于FAISS）"),
) -> BaseResponse:
    """
    更新知识库文档
    """
    if not validate_kb_name(knowledge_base_name):
        return BaseResponse(code=403, msg="Don't attack me")

    kb = KBServiceFactory.get_service_by_name(knowledge_base_name)
    if kb is None:
        return BaseResponse(code=404, msg=f"未找到知识库 {knowledge_base_name}")

    failed_files = {}
    kb_files = []

    # 生成需要加载docs的文件列表
    for file_name in file_names:
        file_detail = get_file_detail(kb_name=knowledge_base_name, filename=file_name)
        # 如果该文件之前使用了自定义docs，则根据参数决定略过或覆盖
        if file_detail.get("custom_docs") and not override_custom_docs:
            continue
        if file_name not in docs:
            try:
                kb_files.append(KnowledgeFile(filename=file_name, knowledge_base_name=knowledge_base_name))
            except Exception as e:
                msg = f"加载文档 {file_name} 时出错：{e}"
                logger.error(f'{e.__class__.__name__}: {msg}',
                             exc_info=e if log_verbose else None)
                failed_files[file_name] = msg

    # 从文件生成docs，并进行向量化。
    # 这里利用了KnowledgeFile的缓存功能，在多线程中加载Document，然后传给KnowledgeFile
    for status, result in ★★★★★files2docs_in_thread★★★★★(kb_files,
                                               chunk_size=chunk_size,
                                               chunk_overlap=chunk_overlap,
                                               zh_title_enhance=zh_title_enhance):
        if status:
            kb_name, file_name, new_docs = result
            kb_file = KnowledgeFile(filename=file_name,
                                    knowledge_base_name=knowledge_base_name)
            kb_file.splited_docs = new_docs
            kb.update_doc(kb_file, not_refresh_vs_cache=True)
        else:
            kb_name, file_name, error = result
            failed_files[file_name] = error

    # 将自定义的docs进行向量化
    for file_name, v in docs.items():
        try:
            v = [x if isinstance(x, Document) else Document(**x) for x in v]
            kb_file = KnowledgeFile(filename=file_name, knowledge_base_name=knowledge_base_name)
            kb.update_doc(kb_file, docs=v, not_refresh_vs_cache=True)
        except Exception as e:
            msg = f"为 {file_name} 添加自定义docs时出错：{e}"
            logger.error(f'{e.__class__.__name__}: {msg}',
                         exc_info=e if log_verbose else None)
            failed_files[file_name] = msg

    if not not_refresh_vs_cache:
        kb.save_vector_store()

    return BaseResponse(code=200, msg=f"更新文档完成", data={"failed_files": failed_files})

files2docs_in_thread

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44


def files2docs_in_thread(
        files: List[Union[KnowledgeFile, Tuple[str, str], Dict]],
        chunk_size: int = CHUNK_SIZE,
        chunk_overlap: int = OVERLAP_SIZE,
        zh_title_enhance: bool = ZH_TITLE_ENHANCE,
) -> Generator:
    '''
    利用多线程批量将磁盘文件转化成langchain Document.
    如果传入参数是Tuple，形式为(filename, kb_name)
    生成器返回值为 status, (kb_name, file_name, docs | error)
    '''

    def file2docs(*, file: KnowledgeFile, **kwargs) -> Tuple[bool, Tuple[str, str, List[Document]]]:
        try:
            return True, (file.kb_name, file.filename, ★★★★★file.file2text★★★★★(**kwargs))
        except Exception as e:
            msg = f"从文件 {file.kb_name}/{file.filename} 加载文档时出错：{e}"
            logger.error(f'{e.__class__.__name__}: {msg}',
                         exc_info=e if log_verbose else None)
            return False, (file.kb_name, file.filename, msg)

    kwargs_list = []
    for i, file in enumerate(files):
        kwargs = {}
        try:
            if isinstance(file, tuple) and len(file) >= 2:
                filename = file[0]
                kb_name = file[1]
                file = KnowledgeFile(filename=filename, knowledge_base_name=kb_name)
            elif isinstance(file, dict):
                filename = file.pop("filename")
                kb_name = file.pop("kb_name")
                kwargs.update(file)
                file = KnowledgeFile(filename=filename, knowledge_base_name=kb_name)
            kwargs["file"] = file
            kwargs["chunk_size"] = chunk_size
            kwargs["chunk_overlap"] = chunk_overlap
            kwargs["zh_title_enhance"] = zh_title_enhance
            kwargs_list.append(kwargs)
        except Exception as e:
            yield False, (kb_name, filename, str(e))

    for result in run_in_thread_pool(func=file2docs, params=kwargs_list):
        yield result

file2text

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


def file2text(
    self,
    zh_title_enhance: bool = ZH_TITLE_ENHANCE,
    refresh: bool = False,
    chunk_size: int = CHUNK_SIZE,
    chunk_overlap: int = OVERLAP_SIZE,
    text_splitter: TextSplitter = None,
):
    if self.splited_docs is None or refresh:
        docs = self.file2docs()
        self.splited_docs = self.★★★★★docs2texts★★★★★(docs=docs,
                                            zh_title_enhance=zh_title_enhance,
                                            refresh=refresh,
                                            chunk_size=chunk_size,
                                            chunk_overlap=chunk_overlap,
                                            text_splitter=text_splitter)
        return self.splited_docs

docs2texts

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69


def docs2texts(
    self,
    docs: List[Document] = None,
    zh_title_enhance: bool = ZH_TITLE_ENHANCE,
    refresh: bool = False,
    chunk_size: int = CHUNK_SIZE,
    chunk_overlap: int = OVERLAP_SIZE,
    text_splitter: TextSplitter = None,
):
    docs = docs or self.file2docs(refresh=refresh)
    if not docs:
        return []
    if self.ext not in [".csv"]:
        if text_splitter is None:
            text_splitter = make_text_splitter(splitter_name=self.text_splitter_name, chunk_size=chunk_size,
                                               chunk_overlap=chunk_overlap)
            if self.text_splitter_name == "MarkdownHeaderTextSplitter":
                docs = text_splitter.split_text(docs[0].page_content)
            else:
                docs = text_splitter.split_documents(docs)

                if not docs:
                    return []

                print(f"文档切分示例：{docs[0]}")
                if zh_title_enhance:
                    docs = func_zh_title_enhance(docs)
                    self.splited_docs = docs
                    return self.splited_docs                    
函数功能：

将 Document 对象列表切分为更小的文本段，并根据需要进行中文标题增强。
参数：

docs: 要处理的 Document 对象列表，如果为 None 则调用 self.file2docs() 获取。
zh_title_enhance: 是否增强中文标题。
refresh: 是否重新加载文档。
chunk_size: 文本分块大小。
chunk_overlap: 分块重叠大小。
text_splitter: 文本切分器对象，如果为 None 则根据 self.text_splitter_name 创建。
返回值：

切分后的 Document 对象列表。
函数工作流程：

获取 Document 对象：

如果没有提供 docs 参数，调用 self.file2docs() 获取 Document 对象列表。
如果没有获取到 Document 对象，返回空列表。
文本切分：

如果文件扩展名不是 ".csv"，进行文本切分：
创建适当的文本切分器对象 text_splitter。
根据切分器类型进行切分：
如果是 "MarkdownHeaderTextSplitter"，对单个文档的文本进行切分。
否则，对整个 Document 对象列表进行切分。
如果切分后没有文档，返回空列表。
中文标题增强（可选）：

如果 zh_title_enhance 为 True，调用 func_zh_title_enhance() 进行中文标题增强。
返回结果：

保存切分后的文档列表到 self.splited_docs。
返回切分后的文档列表。
关键点：

支持多种文本切分器，适用于不同格式的文档。
可控制文本分块大小和重叠大小。
可根据需要增强中文标题。

Class Document

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


class Document(Serializable):
    """Class for storing a piece of text and associated metadata."""

    page_content: str
    """String text."""
    metadata: dict = Field(default_factory=dict)
    """Arbitrary metadata about the page content (e.g., source, relationships to other
        documents, etc.).
    """
    type: Literal["Document"] = "Document"

    @classmethod
    def is_lc_serializable(cls) -> bool:
        """Return whether this class is serializable."""
        return True
类的作用：

存储一段文本及其相关元数据。
表示一个单独的文档或文本片段。
属性：

page_content: 文本内容，类型为字符串。
metadata: 元数据字典，用于存储关于文本内容的额外信息，例如来源、与其他文档的关系等。默认为空字典。
type: 指示该对象为 Document 类型的字符串，用于识别对象类型。
方法：

is_lc_serializable()：静态方法，返回 True，表示该类可以被序列化，通常用于标识可序列化的类。
关键点：

继承自 Serializable 类，表明该类可被序列化和反序列化。
用于存储和管理文本数据以及相关元数据。
元数据可以用于存储额外的信息，方便文本的管理和分析。

增加

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


    """
    my_docs2texts这是一个尝试切换切分的自定义函数
    调用my_split_documents
    """
    def my_docs2texts(
            self,
            docs: List[Document] = None,
            zh_title_enhance: bool = ZH_TITLE_ENHANCE,
            refresh: bool = False,
            chunk_size: int = CHUNK_SIZE,
            chunk_overlap: int = OVERLAP_SIZE,
            text_splitter: TextSplitter = None,
    ):
        docs = docs or self.file2docs(refresh=refresh)
        if not docs:
            return []
        if self.ext not in [".csv"]:
                docs = text_splitter.my_split_documents(docs)

        if not docs:
            return []

        print(f"文档切分示例：{docs[0]}")
        if zh_title_enhance:
            docs = func_zh_title_enhance(docs)
        self.splited_docs = docs
        return self.splited_docs

输入：

[Document(page_content=txt的全部内容, metadata={‘source’: ‘文件来源（路径）’})]

输出：

[Document(page_content=子内容1, metadata={‘source’: ‘文件来源（路径）’}),

Document(page_content=子内容2, metadata={‘source’: ‘文件来源（路径）’}),

Document(page_content=子内容3, metadata={‘source’: ‘文件来源（路径）’}),

…

Document(page_content=子内容n, metadata={‘source’: ‘文件来源（路径）’})]

对于主变压器安装工艺标准，只能匹配一条知识，否则爆显存

字符数3930

PDF

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42


2024-01-14 12:52:57,592 - utils.py[line:287] - INFO: RapidOCRPDFLoader used for /usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf
RapidOCRPDFLoader context page index: 4:  57%|█████████████████████████████████████████▏                              | 4/7 [00:00<00:00,  6.44it/s]2024-01-14 12:52:58,686 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:58,729 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:58,782 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:58,835 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:58,888 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:58,941 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:58,983 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:59,032 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:59,059 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:59,096 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:59,145 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:59,171 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:59,748 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:59,799 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:59,823 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:59,846 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:59,870 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:52:59,901 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:00,140 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:00,189 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:00,214 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:00,257 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:00,282 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:00,333 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
RapidOCRPDFLoader context page index: 5:  71%|███████████████████████████████████████████████████▍                    | 5/7 [00:02<00:01,  1.71it/s]2024-01-14 12:53:01,072 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:01,128 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:01,154 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:01,180 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:01,206 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:01,232 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:01,258 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:01,284 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:01,325 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:01,378 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:01,429 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 12:53:01,455 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
RapidOCRPDFLoader context page index: 6: 100%|████████████████████████████████████████████████████████████████████████| 7/7 [00:03<00:00,  1.87it/s]
['1 主变压器系统设备安装 第一节 主 变 压 器 安 装 本节适用于 35～1000kV 充气运输的油浸式变压器（电抗器）安装。 1. 主变压器安装工艺流程 1.1 主变压器安装工艺流程 工艺流程图 主变压器安装施工工艺流程图见图 1 − 1 − 1。 图 1 − 1 − 1 主变压器安装施工工艺流程图', '2 1.2 主变压器安装工艺流程 关键工序控制 1.2.1 主变压器安装工艺流程 关键工序控制 施工准备 （1）检查三维冲击记录仪，记录仪数值满足制造厂要求且最大值不大于 3g，厂家、运输、监理等单 位签字齐全完整，原始记录复印件随原件一并归档。 （2）充氮气或干燥空气运输的变压器在运输和现场保管期间油箱内应保持微正压，其压力为 0.01～ 0.03MPa。 1.2.2 主变压器安装工艺流程 关键工序控制 器身检查和接线 （1）凡雨、雪天，沙尘天气，风力达 4 级以上，相对湿度 75%以上的天气，不得进行器身检查。 （2）器身检查和接线时所有工器具应登记并由专人负责，避免工器具遗留在箱体内。 （3）在没有排氮前，任何人不得进入油箱。内部检查应向箱体持续注入露点低于 − 40℃的干燥空气， 保持内部微正压，且确保含氧量在 19.5%～23.5%，相对湿度不应大于 20%。补充干燥空气的速率应符 合产品技术文件要求。 （4）变压器器身各部件无移动，各部件外观无损伤、变形；绝缘螺栓及垫块齐全无损坏，且防松措 施可靠；绕组固定牢固，绕组及引出线绝缘层完整、包缠牢固紧密。 1.2.3 主变压器安装工艺流程 关键工序控制 附件安装 （1）安装附件需要变压器本体露空时，环境相对湿度应小于 80%，在安装过程中应向箱体内持续补 充露点低于 − 40℃的干燥空气。 （2）每次只打开一处，并用塑料薄膜覆盖，连续露空时间不超过 8h，累计露空时间不超过 24h，场 地四周应清洁，并有防尘措施。 （3）气体继电器、温度计、压力释放阀经校验合格。 1.2.4 主变压器安装工艺流程 关键工序控制 抽真空处理 （1）变压器抽真空不应在雨雾天进行，抽真空时应打开散热器管路、储油柜联管阀门，接通变压器 本体与调压开关油箱旁通管。 （2）抽真空前应将不能承受真空下机械强度的附件与油箱隔离，对允许抽同样真空度的部件应同时 抽真空。真空泵或真空机组应有防止突然停止或因误操作而引起真空泵油倒灌的措施。 （3）220kV 及以上的变压器、电抗器应进行真空处理，当油箱内真空度达到 200Pa 以下时，应关闭 真空机组出口阀门，测量系统泄漏率，测量时间应为 30min，泄漏率应符合产品技术文件的要求。 （4）220～500kV 变压器的真空度不应大于 133Pa，750kV 变压器的真空度不应大于 13Pa，真空保 持时间应符合表 1 − 1 − 1 的规定。 表 1 − 1 − 1 变压器真空保持时间 电压等级（kV） 真空保持时间（h） 220 及 330 ≥8 500 ≥24 750 ≥48 1000 真空残压和持续抽真空时间应符合产品技术文件要求，当无规定时应满足下列要求： （1）真空残压≤13Pa 的持续抽真空时间不得少于 48h； （2）真空残压≤13Pa 累计抽真空时间不得少于 60h； （3）计算累计时间时，抽真空间断次数不超过 2 次，间断时间不超过 1h 1.2.5 主变压器安装工艺流程 关键工序控制 真空注油 （1）变压器新油应由生产厂提供新油无腐蚀性硫、结构簇、糠醛及油中颗粒度报告。对 500kV 及以 上的变压器还应提供 T501（抗氧化剂）等检测报告。变压器绝缘油应符合《电气装置安装工程 电气', '3 设备交接试验标准》（GB 50150—2016）的有关规定。 （2）真空残压和持续抽真空时间应满足产品技术文件要求。 （3）110kV 的变压器宜采用真空注油，220kV 及以上的变压器应真空注油。注入油全过程应保持真 空。注油的油温应高于器身温度。注油速度不大于 100L/min。 （4）不同牌号的绝缘油或同牌号的新油与运行过的油混合使用前，必须做混油试验。 （5）变压器本体及各侧绕组，滤油机及油管道应可靠接地。 1.2.6 主变压器安装工艺流程 关键工序控制 热油循环 （1）330kV 及以上变压器应进行热油循环，热油循环前，应对油管抽真空，将油管中的空气抽干净， 同时冷却器中的油应参与进行热油循环。热油循环时间不应少于 48h，且热油循环油量不应少于 3 倍变 压器总油量，或符合产品技术文件规定。 （2）热油循环过程中，滤油机加热脱水缸中的温度应控制在 60～70℃ 范围内，且油箱内温度不低 于 40℃。当环境温度全天平均低于 15℃时，应对油箱采取保温措施。 1.2.7 主变压器安装工艺流程 关键工序控制 整体检查与试验 （1）对变压器、散热器连同气体继电器、储油柜一起进行密封性试验，在油箱顶部加压 0.03MPa 氮 气或干燥空气，持续时间 24h 应无渗漏。当产品技术文件有要求时，应按其要求进行。 （2）变压器注油完毕施加电压前静置时间应符合表 1 − 1 − 2 的规定。 表 1 − 1 − 2 变压器注油完毕施加电压前静置时间 电压等级（kV） 静置时间（h） 110 及以下 ≥24 220 及 330 ≥48 500 及 750 ≥72 1000 ≥120 （3）耐压、局部放电等试验应符合 GB 50150—2016、《1000kV 系统电气装置安装工程 电气设备 交接试验标准》（GB/T 50832—2013）的要求。 2. 主变压器安装工艺标准 （1）主变压器的中心与基础中心线重合。本体固定牢固可靠，本体固定方式（如卡扣、焊接、专用 固定件）符合产品和设计要求，各部位清洁无杂物、污迹，相色标识正确。 （2）附件齐全，安装正确，功能正常，无渗漏油现象，套管无损伤、裂纹。安装穿芯螺栓应保证两 侧螺栓露出长度一致。 （3）电缆排列整齐、美观，固定与防护措施可靠，宜采用封闭式槽盒。 （4）均压环安装应无划痕、毛刺，安装牢固、平整、无变形，底部最低处应打不大于φ 8mm 的 泄水孔。 （5）户外布置的继电器本体及其二次电缆进线 50mm 内应被防雨罩遮蔽，45°向下雨水不能直淋。 气体继电器安装箭头朝向储油柜且有 1.5%～2%的升高坡度，连接面紧固，受力均匀。气体继电器观察 窗的挡板处于打开位置。 （6）在户外安装的气体继电器、油流速动继电器、变压器油（绕组）温度计、油位表等应安装防雨 罩（厂家提供）。 （7）220kV 及以上变压器本体采用双浮球并带挡板结构的气体继电器（厂家提供）。 （8）集气盒内应注满绝缘油，吸湿器呼吸正常，油杯内油量应略高于油面线，吸湿剂干燥、无变色， 在顶盖下应留出 1/5～1/6 高度的空隙，在 2/3 位置处应有标识，吸湿剂罐为全透明（方便观察）。', '4 （9）冷却器与本体、气体继电器与储油柜之间连接的波纹管，两端口同心偏差不应大于 10mm。 （10）储油柜安装确认方向正确并进行位置复核，胶囊或隔膜应无泄漏，油位指示与储油柜油面高 度符合产品技术文件要求。 （11）有载开关分接头位置与指示器指示相对应且指示正确，油室密封良好。净油器滤网完好无损。 （12）散热器及风扇编号齐全，散热器法兰、油管法兰间应采用截面积不小于 16mm2 的跨接线通过 专用螺栓跨接，严禁通过安装螺栓跨接。 （13）事故排油阀应设置在本体下部，且放油口朝向事故油池，阀门应采用蝶阀，不得采用球阀， 封板采用脆性材料。 （14）安全气道隔膜与法兰连接严密，不与大气相通。压力释放阀导油管朝向鹅卵石，不得朝向基 础。喷口应装设封网，其离地面高度为 500mm，且不应靠近控制柜或其他附件。 （15）阀门功能标识及注放油、消防管道介质流向标识齐全、正确。 （16）套管与封闭母线（外部分支套管）中心线一致。变压器套管与硬母线连接时应采取软连接等 防止套管端子受力的措施，套管油表应向外便于观察。变压器低压侧硬母线支柱绝缘子应有专用固定支 架，不得固定在散热器上。套管末屏密封良好，接地可靠，套管法兰螺栓齐全、紧固。 （17）本体应两点与主接地网不同网格可靠连接。调压机构箱、二次接线箱应可靠接地。电流互感 器备用绕组应短路后可靠接地。 （18）中性点引出线应两点接地，分别与主接地网的不同干线相连，中性点引出线与本体可靠绝缘， 且采用淡蓝色标识。 （19）铁芯、夹件应分别可靠一点接地，接地排上部与瓷套接线端子连接部位、接地排下部与主接 地网连接部位应采用软连接，铁芯、夹件引出线与本体可靠绝缘，且采用黑色标识。 （20）分体式变压器中性点分别采用软母线引出至中性线管形母线，自中性线管形母线一侧采用支 柱绝缘子与支架绝缘引下后再通过两根接地线与主接地网不同干线可靠相连。接地连接处应安装网栏进 行防护，经小电抗接地处的网栏不应构成闭合磁路。 （21）钟罩式变压器本体外壳上下法兰之间应可靠跨接。 （22）变压器主导电回路应采用 8.8 级热镀锌螺栓。 （23）220kV 及以下主变压器的 6～35kV 中（低）压侧引线、户外母线（不含架空软导线型式）及 接线端子应绝缘化；500（330）kV 变压器 35kV 套管至母线的引线应绝缘化。 3. 主变压器安装工艺示范 主变压器就位、内部接线检查、散热器安装等分别见图 1 − 1 − 2～图 1 − 1 − 19。 图 1-1-2 主变压器就位 图 1-1-3 主变压器内部接线检查', '5', '图 1', '1', '4 主变压器散热器安装', '图 1', '1', '5 主变压器储油柜安装', '图 1', '1', '6 主变压器套管安装', '图 1', '1', '7 主变压器取油样', '图 1', '1', '8 主变压器气体继电器安装', '图 1', '1', '9 主变压器法兰跨接', '图 1', '1', '10 主变压器成品（三相共体）', '图 1', '1', '11 主变压器成品（三相分体）', '6', '图 1', '1', '12 主变压器成品（1000kV 特高压）', '图 1', '1', '13 主变压器本体接地', '图 1-1-14 主变压器铁芯、夹件接地 图 1 − 1 − 15 主变压器中性点接地', '图 1 − 1 − 16 分体式主变压器中性点接地网栏安装 图 1 − 1 − 17 主变压器低压侧绝缘化处理', '7', '图 1 − 1 − 18 主变压器事故排油阀门安装 图 1 − 1 − 19 主变压器压力释放阀管道安装 4. 设计图例 主变压器固定、低压侧硬母线连接、接地安装工艺设计图见图 1 − 1 − 20～图 1 − 1 − 22。', '图 1 − 1 − 20 主变压器固定工艺设计图 （a）焊接固定方式；（b）卡扣固定方式']
2024-01-14 12:53:04,163 - faiss_cache.py[line:24] - INFO: 已将向量库 ('pdf_qf_test', 'bge-large-zh-v1.5') 保存到磁盘
INFO:     10.61.2.143:41208 - "POST /knowledge_base/upload_docs HTTP/1.1" 200 OK
2024-01-14 12:53:04,166 - _client.py[line:1013] - INFO: HTTP Request: POST http://10.61.2.143:7861/knowledge_base/upload_docs "HTTP/1.1 200 OK"

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49


2024-01-14 13:03:36,196 - utils.py[line:287] - INFO: RapidOCRPDFLoader used for /usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf
RapidOCRPDFLoader context page index: 4:  57%|█████████████████████████████████████████▏                              | 4/7 [00:00<00:00,  7.18it/s]2024-01-14 13:03:37,256 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:37,293 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:37,316 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:37,337 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:37,357 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:37,377 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:37,397 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:37,417 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:37,437 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:37,459 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:37,479 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:37,499 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:37,949 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:37,985 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:38,004 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:38,024 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:38,043 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:38,065 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:38,242 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:38,274 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:38,292 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:38,311 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:38,331 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:38,349 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
RapidOCRPDFLoader context page index: 5:  71%|███████████████████████████████████████████████████▍                    | 5/7 [00:01<00:00,  2.44it/s]2024-01-14 13:03:38,910 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:38,960 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:38,982 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:39,003 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:39,024 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:39,045 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:39,066 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:39,086 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:39,106 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:39,126 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:39,148 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
2024-01-14 13:03:39,168 - main.py[line:158] - WARNING: Because the aspect ratio of the current image exceeds the limit (min_height or width_height_ratio), the program will skip the detection step.
RapidOCRPDFLoader context page index: 6: 100%|████████████████████████████████████████████████████████████████████████| 7/7 [00:02<00:00,  2.50it/s]
test:----docs type:<class 'list'>-----docs-----:[Document(page_content='1 主变压器系统设备安装 第一节 主 变 压 器 安 装 本节适用于 35～1000kV 充气运输的油浸式变压器（电抗器）安装。 1. 主变压器安装工艺流程 1.1 主变压器安装工艺流程 工艺流程图 主变压器安装施工工艺流程图见图 1 − 1 − 1。 图 1 − 1 − 1 主变压器安装施工工艺流程图\n\n2 1.2 主变压器安装工艺流程 关键工序控制 1.2.1 主变压器安装工艺流程 关键工序控制 施工准备 （1）检查三维冲击记录仪，记录仪数值满足制造厂要求且最大值不大于 3g，厂家、运输、监理等单 位签字齐全完整，原始记录复印件随原件一并归档。 （2）充氮气或干燥空气运输的变压器在运输和现场保管期间油箱内应保持微正压，其压力为 0.01～ 0.03MPa。 1.2.2 主变压器安装工艺流程 关键工序控制 器身检查和接线 （1）凡雨、雪天，沙尘天气，风力达 4 级以上，相对湿度 75%以上的天气，不得进行器身检查。 （2）器身检查和接线时所有工器具应登记并由专人负责，避免工器具遗留在箱体内。 （3）在没有排氮前，任何人不得进入油箱。内部检查应向箱体持续注入露点低于 − 40℃的干燥空气， 保持内部微正压，且确保含氧量在 19.5%～23.5%，相对湿度不应大于 20%。补充干燥空气的速率应符 合产品技术文件要求。 （4）变压器器身各部件无移动，各部件外观无损伤、变形；绝缘螺栓及垫块齐全无损坏，且防松措 施可靠；绕组固定牢固，绕组及引出线绝缘层完整、包缠牢固紧密。 1.2.3 主变压器安装工艺流程 关键工序控制 附件安装 （1）安装附件需要变压器本体露空时，环境相对湿度应小于 80%，在安装过程中应向箱体内持续补 充露点低于 − 40℃的干燥空气。 （2）每次只打开一处，并用塑料薄膜覆盖，连续露空时间不超过 8h，累计露空时间不超过 24h，场 地四周应清洁，并有防尘措施。 （3）气体继电器、温度计、压力释放阀经校验合格。 1.2.4 主变压器安装工艺流程 关键工序控制 抽真空处理 （1）变压器抽真空不应在雨雾天进行，抽真空时应打开散热器管路、储油柜联管阀门，接通变压器 本体与调压开关油箱旁通管。 （2）抽真空前应将不能承受真空下机械强度的附件与油箱隔离，对允许抽同样真空度的部件应同时 抽真空。真空泵或真空机组应有防止突然停止或因误操作而引起真空泵油倒灌的措施。 （3）220kV 及以上的变压器、电抗器应进行真空处理，当油箱内真空度达到 200Pa 以下时，应关闭 真空机组出口阀门，测量系统泄漏率，测量时间应为 30min，泄漏率应符合产品技术文件的要求。 （4）220～500kV 变压器的真空度不应大于 133Pa，750kV 变压器的真空度不应大于 13Pa，真空保 持时间应符合表 1 − 1 − 1 的规定。 表 1 − 1 − 1 变压器真空保持时间 电压等级（kV） 真空保持时间（h） 220 及 330 ≥8 500 ≥24 750 ≥48 1000 真空残压和持续抽真空时间应符合产品技术文件要求，当无规定时应满足下列要求： （1）真空残压≤13Pa 的持续抽真空时间不得少于 48h； （2）真空残压≤13Pa 累计抽真空时间不得少于 60h； （3）计算累计时间时，抽真空间断次数不超过 2 次，间断时间不超过 1h 1.2.5 主变压器安装工艺流程 关键工序控制 真空注油 （1）变压器新油应由生产厂提供新油无腐蚀性硫、结构簇、糠醛及油中颗粒度报告。对 500kV 及以 上的变压器还应提供 T501（抗氧化剂）等检测报告。变压器绝缘油应符合《电气装置安装工程 电气\n\n3 设备交接试验标准》（GB 50150—2016）的有关规定。 （2）真空残压和持续抽真空时间应满足产品技术文件要求。 （3）110kV 的变压器宜采用真空注油，220kV 及以上的变压器应真空注油。注入油全过程应保持真 空。注油的油温应高于器身温度。注油速度不大于 100L/min。 （4）不同牌号的绝缘油或同牌号的新油与运行过的油混合使用前，必须做混油试验。 （5）变压器本体及各侧绕组，滤油机及油管道应可靠接地。 1.2.6 主变压器安装工艺流程 关键工序控制 热油循环 （1）330kV 及以上变压器应进行热油循环，热油循环前，应对油管抽真空，将油管中的空气抽干净， 同时冷却器中的油应参与进行热油循环。热油循环时间不应少于 48h，且热油循环油量不应少于 3 倍变 压器总油量，或符合产品技术文件规定。 （2）热油循环过程中，滤油机加热脱水缸中的温度应控制在 60～70℃ 范围内，且油箱内温度不低 于 40℃。当环境温度全天平均低于 15℃时，应对油箱采取保温措施。 1.2.7 主变压器安装工艺流程 关键工序控制 整体检查与试验 （1）对变压器、散热器连同气体继电器、储油柜一起进行密封性试验，在油箱顶部加压 0.03MPa 氮 气或干燥空气，持续时间 24h 应无渗漏。当产品技术文件有要求时，应按其要求进行。 （2）变压器注油完毕施加电压前静置时间应符合表 1 − 1 − 2 的规定。 表 1 − 1 − 2 变压器注油完毕施加电压前静置时间 电压等级（kV） 静置时间（h） 110 及以下 ≥24 220 及 330 ≥48 500 及 750 ≥72 1000 ≥120 （3）耐压、局部放电等试验应符合 GB 50150—2016、《1000kV 系统电气装置安装工程 电气设备 交接试验标准》（GB/T 50832—2013）的要求。 2. 主变压器安装工艺标准 （1）主变压器的中心与基础中心线重合。本体固定牢固可靠，本体固定方式（如卡扣、焊接、专用 固定件）符合产品和设计要求，各部位清洁无杂物、污迹，相色标识正确。 （2）附件齐全，安装正确，功能正常，无渗漏油现象，套管无损伤、裂纹。安装穿芯螺栓应保证两 侧螺栓露出长度一致。 （3）电缆排列整齐、美观，固定与防护措施可靠，宜采用封闭式槽盒。 （4）均压环安装应无划痕、毛刺，安装牢固、平整、无变形，底部最低处应打不大于φ 8mm 的 泄水孔。 （5）户外布置的继电器本体及其二次电缆进线 50mm 内应被防雨罩遮蔽，45°向下雨水不能直淋。 气体继电器安装箭头朝向储油柜且有 1.5%～2%的升高坡度，连接面紧固，受力均匀。气体继电器观察 窗的挡板处于打开位置。 （6）在户外安装的气体继电器、油流速动继电器、变压器油（绕组）温度计、油位表等应安装防雨 罩（厂家提供）。 （7）220kV 及以上变压器本体采用双浮球并带挡板结构的气体继电器（厂家提供）。 （8）集气盒内应注满绝缘油，吸湿器呼吸正常，油杯内油量应略高于油面线，吸湿剂干燥、无变色， 在顶盖下应留出 1/5～1/6 高度的空隙，在 2/3 位置处应有标识，吸湿剂罐为全透明（方便观察）。\n\n4 （9）冷却器与本体、气体继电器与储油柜之间连接的波纹管，两端口同心偏差不应大于 10mm。 （10）储油柜安装确认方向正确并进行位置复核，胶囊或隔膜应无泄漏，油位指示与储油柜油面高 度符合产品技术文件要求。 （11）有载开关分接头位置与指示器指示相对应且指示正确，油室密封良好。净油器滤网完好无损。 （12）散热器及风扇编号齐全，散热器法兰、油管法兰间应采用截面积不小于 16mm2 的跨接线通过 专用螺栓跨接，严禁通过安装螺栓跨接。 （13）事故排油阀应设置在本体下部，且放油口朝向事故油池，阀门应采用蝶阀，不得采用球阀， 封板采用脆性材料。 （14）安全气道隔膜与法兰连接严密，不与大气相通。压力释放阀导油管朝向鹅卵石，不得朝向基 础。喷口应装设封网，其离地面高度为 500mm，且不应靠近控制柜或其他附件。 （15）阀门功能标识及注放油、消防管道介质流向标识齐全、正确。 （16）套管与封闭母线（外部分支套管）中心线一致。变压器套管与硬母线连接时应采取软连接等 防止套管端子受力的措施，套管油表应向外便于观察。变压器低压侧硬母线支柱绝缘子应有专用固定支 架，不得固定在散热器上。套管末屏密封良好，接地可靠，套管法兰螺栓齐全、紧固。 （17）本体应两点与主接地网不同网格可靠连接。调压机构箱、二次接线箱应可靠接地。电流互感 器备用绕组应短路后可靠接地。 （18）中性点引出线应两点接地，分别与主接地网的不同干线相连，中性点引出线与本体可靠绝缘， 且采用淡蓝色标识。 （19）铁芯、夹件应分别可靠一点接地，接地排上部与瓷套接线端子连接部位、接地排下部与主接 地网连接部位应采用软连接，铁芯、夹件引出线与本体可靠绝缘，且采用黑色标识。 （20）分体式变压器中性点分别采用软母线引出至中性线管形母线，自中性线管形母线一侧采用支 柱绝缘子与支架绝缘引下后再通过两根接地线与主接地网不同干线可靠相连。接地连接处应安装网栏进 行防护，经小电抗接地处的网栏不应构成闭合磁路。 （21）钟罩式变压器本体外壳上下法兰之间应可靠跨接。 （22）变压器主导电回路应采用 8.8 级热镀锌螺栓。 （23）220kV 及以下主变压器的 6～35kV 中（低）压侧引线、户外母线（不含架空软导线型式）及 接线端子应绝缘化；500（330）kV 变压器 35kV 套管至母线的引线应绝缘化。 3. 主变压器安装工艺示范 主变压器就位、内部接线检查、散热器安装等分别见图 1 − 1 − 2～图 1 − 1 − 19。 图 1-1-2 主变压器就位 图 1-1-3 主变压器内部接线检查\n\n5\n\n图 1\n\n1\n\n4 主变压器散热器安装\n\n图 1\n\n1\n\n5 主变压器储油柜安装\n\n图 1\n\n1\n\n6 主变压器套管安装\n\n图 1\n\n1\n\n7 主变压器取油样\n\n图 1\n\n1\n\n8 主变压器气体继电器安装\n\n图 1\n\n1\n\n9 主变压器法兰跨接\n\n图 1\n\n1\n\n10 主变压器成品（三相共体）\n\n图 1\n\n1\n\n11 主变压器成品（三相分体）\n\n6\n\n图 1\n\n1\n\n12 主变压器成品（1000kV 特高压）\n\n图 1\n\n1\n\n13 主变压器本体接地\n\n图 1-1-14 主变压器铁芯、夹件接地 图 1 − 1 − 15 主变压器中性点接地\n\n图 1 − 1 − 16 分体式主变压器中性点接地网栏安装 图 1 − 1 − 17 主变压器低压侧绝缘化处理\n\n7\n\n图 1 − 1 − 18 主变压器事故排油阀门安装 图 1 − 1 − 19 主变压器压力释放阀管道安装 4. 设计图例 主变压器固定、低压侧硬母线连接、接地安装工艺设计图见图 1 − 1 − 20～图 1 − 1 − 22。\n\n图 1 − 1 − 20 主变压器固定工艺设计图 （a）焊接固定方式；（b）卡扣固定方式', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'})]
文档切分示例：page_content='1 主变压器系统设备安装 第一节 主 变 压 器 安 装 本节适用于 35～1000kV 充气运输的油浸式变压器（电抗器）安装。 1. 主变压器安装工艺流程 1.1 主变压器安装工艺流程 工艺流程图 主变压器安装施工工艺流程图见图 1 − 1 − 1。 图 1 − 1 − 1 主变压器安装施工工艺流程图' metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}
test:----splited_docs type:<class 'list'>-----docs-----:[Document(page_content='1 主变压器系统设备安装 第一节 主 变 压 器 安 装 本节适用于 35～1000kV 充气运输的油浸式变压器（电抗器）安装。 1. 主变压器安装工艺流程 1.1 主变压器安装工艺流程 工艺流程图 主变压器安装施工工艺流程图见图 1 − 1 − 1。 图 1 − 1 − 1 主变压器安装施工工艺流程图', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='2 1.2 主变压器安装工艺流程 关键工序控制 1.2.1 主变压器安装工艺流程 关键工序控制 施工准备 （1）检查三维冲击记录仪，记录仪数值满足制造厂要求且最大值不大于 3g，厂家、运输、监理等单 位签字齐全完整，原始记录复印件随原件一并归档。 （2）充氮气或干燥空气运输的变压器在运输和现场保管期间油箱内应保持微正压，其压力为 0.01～ 0.03MPa。 1.2.2 主变压器安装工艺流程 关键工序控制 器身检查和接线 （1）凡雨、雪天，沙尘天气，风力达 4 级以上，相对湿度 75%以上的天气，不得进行器身检查。 （2）器身检查和接线时所有工器具应登记并由专人负责，避免工器具遗留在箱体内。 （3）在没有排氮前，任何人不得进入油箱。', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='（2）器身检查和接线时所有工器具应登记并由专人负责，避免工器具遗留在箱体内。 （3）在没有排氮前，任何人不得进入油箱。内部检查应向箱体持续注入露点低于 − 40℃的干燥空气， 保持内部微正压，且确保含氧量在 19.5%～23.5%，相对湿度不应大于 20%。补充干燥空气的速率应符 合产品技术文件要求。 （4）变压器器身各部件无移动，各部件外观无损伤、变形；绝缘螺栓及垫块齐全无损坏，且防松措 施可靠；绕组固定牢固，绕组及引出线绝缘层完整、包缠牢固紧密。 1.2.3 主变压器安装工艺流程 关键工序控制 附件安装 （1）安装附件需要变压器本体露空时，环境相对湿度应小于 80%，在安装过程中应向箱体内持续补 充露点低于 − 40℃的干燥空气。', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='（2）每次只打开一处，并用塑料薄膜覆盖，连续露空时间不超过 8h，累计露空时间不超过 24h，场 地四周应清洁，并有防尘措施。 （3）气体继电器、温度计、压力释放阀经校验合格。 1.2.4 主变压器安装工艺流程 关键工序控制 抽真空处理 （1）变压器抽真空不应在雨雾天进行，抽真空时应打开散热器管路、储油柜联管阀门，接通变压器 本体与调压开关油箱旁通管。 （2）抽真空前应将不能承受真空下机械强度的附件与油箱隔离，对允许抽同样真空度的部件应同时 抽真空。真空泵或真空机组应有防止突然停止或因误操作而引起真空泵油倒灌的措施。', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='真空泵或真空机组应有防止突然停止或因误操作而引起真空泵油倒灌的措施。 （3）220kV 及以上的变压器、电抗器应进行真空处理，当油箱内真空度达到 200Pa 以下时，应关闭 真空机组出口阀门，测量系统泄漏率，测量时间应为 30min，泄漏率应符合产品技术文件的要求。 （4）220～500kV 变压器的真空度不应大于 133Pa，750kV 变压器的真空度不应大于 13Pa，真空保 持时间应符合表 1 − 1 − 1 的规定。', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='表 1 − 1 − 1 变压器真空保持时间 电压等级（kV） 真空保持时间（h） 220 及 330 ≥8 500 ≥24 750 ≥48 1000 真空残压和持续抽真空时间应符合产品技术文件要求，当无规定时应满足下列要求： （1）真空残压≤13Pa 的持续抽真空时间不得少于 48h； （2）真空残压≤13Pa 累计抽真空时间不得少于 60h； （3）计算累计时间时，抽真空间断次数不超过 2 次，间断时间不超过 1h 1.2.5 主变压器安装工艺流程 关键工序控制 真空注油 （1）变压器新油应由生产厂提供新油无腐蚀性硫、结构簇、糠醛及油中颗粒度报告。对 500kV 及以 上的变压器还应提供 T501（抗氧化剂）等检测报告。', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='对 500kV 及以 上的变压器还应提供 T501（抗氧化剂）等检测报告。变压器绝缘油应符合《电气装置安装工程 电气', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='3 设备交接试验标准》（GB 50150—2016）的有关规定。 （2）真空残压和持续抽真空时间应满足产品技术文件要求。 （3）110kV 的变压器宜采用真空注油，220kV 及以上的变压器应真空注油。注入油全过程应保持真 空。注油的油温应高于器身温度。注油速度不大于 100L/min。 （4）不同牌号的绝缘油或同牌号的新油与运行过的油混合使用前，必须做混油试验。 （5）变压器本体及各侧绕组，滤油机及油管道应可靠接地。 1.2.6 主变压器安装工艺流程 关键工序控制 热油循环 （1）330kV 及以上变压器应进行热油循环，热油循环前，应对油管抽真空，将油管中的空气抽干净， 同时冷却器中的油应参与进行热油循环。', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='热油循环时间不应少于 48h，且热油循环油量不应少于 3 倍变 压器总油量，或符合产品技术文件规定。 （2）热油循环过程中，滤油机加热脱水缸中的温度应控制在 60～70℃ 范围内，且油箱内温度不低 于 40℃。当环境温度全天平均低于 15℃时，应对油箱采取保温措施。 1.2.7 主变压器安装工艺流程 关键工序控制 整体检查与试验 （1）对变压器、散热器连同气体继电器、储油柜一起进行密封性试验，在油箱顶部加压 0.03MPa 氮 气或干燥空气，持续时间 24h 应无渗漏。当产品技术文件有要求时，应按其要求进行。 （2）变压器注油完毕施加电压前静置时间应符合表 1 − 1 − 2 的规定。', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='当产品技术文件有要求时，应按其要求进行。 （2）变压器注油完毕施加电压前静置时间应符合表 1 − 1 − 2 的规定。 表 1 − 1 − 2 变压器注油完毕施加电压前静置时间 电压等级（kV） 静置时间（h） 110 及以下 ≥24 220 及 330 ≥48 500 及 750 ≥72 1000 ≥120 （3）耐压、局部放电等试验应符合 GB 50150—2016、《1000kV 系统电气装置安装工程 电气设备 交接试验标准》（GB/T 50832—2013）的要求。 2. 主变压器安装工艺标准 （1）主变压器的中心与基础中心线重合。', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='2. 主变压器安装工艺标准 （1）主变压器的中心与基础中心线重合。本体固定牢固可靠，本体固定方式（如卡扣、焊接、专用 固定件）符合产品和设计要求，各部位清洁无杂物、污迹，相色标识正确。 （2）附件齐全，安装正确，功能正常，无渗漏油现象，套管无损伤、裂纹。安装穿芯螺栓应保证两 侧螺栓露出长度一致。 （3）电缆排列整齐、美观，固定与防护措施可靠，宜采用封闭式槽盒。 （4）均压环安装应无划痕、毛刺，安装牢固、平整、无变形，底部最低处应打不大于φ 8mm 的 泄水孔。 （5）户外布置的继电器本体及其二次电缆进线 50mm 内应被防雨罩遮蔽，45°向下雨水不能直淋。 气体继电器安装箭头朝向储油柜且有 1.5%～2%的升高坡度，连接面紧固，受力均匀。', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='气体继电器安装箭头朝向储油柜且有 1.5%～2%的升高坡度，连接面紧固，受力均匀。气体继电器观察 窗的挡板处于打开位置。 （6）在户外安装的气体继电器、油流速动继电器、变压器油（绕组）温度计、油位表等应安装防雨 罩（厂家提供）。 （7）220kV 及以上变压器本体采用双浮球并带挡板结构的气体继电器（厂家提供）。 （8）集气盒内应注满绝缘油，吸湿器呼吸正常，油杯内油量应略高于油面线，吸湿剂干燥、无变色， 在顶盖下应留出 1/5～1/6 高度的空隙，在 2/3 位置处应有标识，吸湿剂罐为全透明（方便观察）。', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='4 （9）冷却器与本体、气体继电器与储油柜之间连接的波纹管，两端口同心偏差不应大于 10mm。 （10）储油柜安装确认方向正确并进行位置复核，胶囊或隔膜应无泄漏，油位指示与储油柜油面高 度符合产品技术文件要求。 （11）有载开关分接头位置与指示器指示相对应且指示正确，油室密封良好。净油器滤网完好无损。 （12）散热器及风扇编号齐全，散热器法兰、油管法兰间应采用截面积不小于 16mm2 的跨接线通过 专用螺栓跨接，严禁通过安装螺栓跨接。 （13）事故排油阀应设置在本体下部，且放油口朝向事故油池，阀门应采用蝶阀，不得采用球阀， 封板采用脆性材料。 （14）安全气道隔膜与法兰连接严密，不与大气相通。压力释放阀导油管朝向鹅卵石，不得朝向基 础。', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='（14）安全气道隔膜与法兰连接严密，不与大气相通。压力释放阀导油管朝向鹅卵石，不得朝向基 础。喷口应装设封网，其离地面高度为 500mm，且不应靠近控制柜或其他附件。 （15）阀门功能标识及注放油、消防管道介质流向标识齐全、正确。 （16）套管与封闭母线（外部分支套管）中心线一致。变压器套管与硬母线连接时应采取软连接等 防止套管端子受力的措施，套管油表应向外便于观察。变压器低压侧硬母线支柱绝缘子应有专用固定支 架，不得固定在散热器上。套管末屏密封良好，接地可靠，套管法兰螺栓齐全、紧固。 （17）本体应两点与主接地网不同网格可靠连接。调压机构箱、二次接线箱应可靠接地。电流互感 器备用绕组应短路后可靠接地。', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='（17）本体应两点与主接地网不同网格可靠连接。调压机构箱、二次接线箱应可靠接地。电流互感 器备用绕组应短路后可靠接地。 （18）中性点引出线应两点接地，分别与主接地网的不同干线相连，中性点引出线与本体可靠绝缘， 且采用淡蓝色标识。 （19）铁芯、夹件应分别可靠一点接地，接地排上部与瓷套接线端子连接部位、接地排下部与主接 地网连接部位应采用软连接，铁芯、夹件引出线与本体可靠绝缘，且采用黑色标识。 （20）分体式变压器中性点分别采用软母线引出至中性线管形母线，自中性线管形母线一侧采用支 柱绝缘子与支架绝缘引下后再通过两根接地线与主接地网不同干线可靠相连。接地连接处应安装网栏进 行防护，经小电抗接地处的网栏不应构成闭合磁路。', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='接地连接处应安装网栏进 行防护，经小电抗接地处的网栏不应构成闭合磁路。 （21）钟罩式变压器本体外壳上下法兰之间应可靠跨接。 （22）变压器主导电回路应采用 8.8 级热镀锌螺栓。 （23）220kV 及以下主变压器的 6～35kV 中（低）压侧引线、户外母线（不含架空软导线型式）及 接线端子应绝缘化；500（330）kV 变压器 35kV 套管至母线的引线应绝缘化。 3. 主变压器安装工艺示范 主变压器就位、内部接线检查、散热器安装等分别见图 1 − 1 − 2～图 1 − 1 − 19。 图 1-1-2 主变压器就位 图 1-1-3 主变压器内部接线检查', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='5\n图 1\n1\n4 主变压器散热器安装\n图 1\n1\n5 主变压器储油柜安装\n图 1\n1\n6 主变压器套管安装\n图 1\n1\n7 主变压器取油样\n图 1\n1\n8 主变压器气体继电器安装\n图 1\n1\n9 主变压器法兰跨接\n图 1\n1\n10 主变压器成品（三相共体）\n图 1\n1\n11 主变压器成品（三相分体）\n6\n图 1\n1\n12 主变压器成品（1000kV 特高压）\n图 1\n1\n13 主变压器本体接地\n图 1-1-14 主变压器铁芯、夹件接地 图 1 − 1 − 15 主变压器中性点接地\n图 1 − 1 − 16 分体式主变压器中性点接地网栏安装 图 1 − 1 − 17 主变压器低压侧绝缘化处理\n7', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'}), Document(page_content='图 1 − 1 − 16 分体式主变压器中性点接地网栏安装 图 1 − 1 − 17 主变压器低压侧绝缘化处理\n7\n图 1 − 1 − 18 主变压器事故排油阀门安装 图 1 − 1 − 19 主变压器压力释放阀管道安装 4. 设计图例 主变压器固定、低压侧硬母线连接、接地安装工艺设计图见图 1 − 1 − 20～图 1 − 1 − 22。\n图 1 − 1 − 20 主变压器固定工艺设计图 （a）焊接固定方式；（b）卡扣固定方式', metadata={'source': '/usr/local/yk_projects/Langchain-Chatchat-0.2.8/knowledge_base/pdf_qf_test/content/t.pdf'})]
2024-01-14 13:03:42,673 - faiss_cache.py[line:80] - INFO: loading vector store in 'pdf_qf_test/vector_store/bge-large-zh-v1.5' from disk.
2024-01-14 13:03:42,738 - SentenceTransformer.py[line:66] - INFO: Load pretrained SentenceTransformer: /usr/local/yk_projects/models/EmbeddingModels/bge-large-zh-v1.5
2024-01-14 13:03:45,226 - loader.py[line:54] - INFO: Loading faiss with AVX2 support.
2024-01-14 13:03:45,238 - loader.py[line:56] - INFO: Successfully loaded faiss with AVX2 support.
Batches: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.74it/s]
2024-01-14 13:03:46,131 - faiss_cache.py[line:24] - INFO: 已将向量库 ('pdf_qf_test', 'bge-large-zh-v1.5') 保存到磁盘
INFO:     10.61.2.143:39250 - "POST /knowledge_base/upload_docs HTTP/1.1" 200 OK
2024-01-14 13:03:46,137 - _client.py[line:1013] - INFO: HTTP Request: POST http://10.61.2.143:7861/knowledge_base/upload_docs "HTTP/1.1 200 OK"

自带的PDF分词，一页是一个元素，没法一行一行读出来

知识库字符数：

最大：41.相间间隔棒安装.txt 9226

大于4000：

三个放一起测

文档二：

角钢结构大跨越铁塔组立施工的工艺标准是什么？（答案少一条）

ADSS防振鞭安装的工艺标准是什么？

图表错误

喷射井点降水的工艺标准是什么？

图表错误

重力式挡墙的工艺标准是什么？

图表错误

钢桩的工艺标准是什么？

回答少一条

多支盘桩灌注桩的工艺标准是什么？

回答不全

套管夯扩灌注桩的工艺标准是什么？

匹配出来，没回答出来

载体夯扩灌注桩的工艺标准是什么？（回答没问题，知识少了第10条）

岩石锚杆基础施工的工艺标准是什么？

匹配出来，回答不出来

大体积混凝土施工的工艺标准是什么？

匹配出来，回答半对

（爆显存）钢结构安装的工艺标准是什么？

防火涂料喷涂的工艺标准是什么？

只回答了一部分

细部构造的工艺标准是什么？

匹配出来，回答不全

涂饰工程的工艺标准是什么？

回答不全

大门的工艺标准是什么？

知识没匹配出来

可能是分节的问题？

（爆显存）建筑物防雷接地的工艺标准是什么？

15/279

正确率94%

1.16三合一测试

出处不对：

混凝土台阶式基础施工的工艺标准

钢筋混凝土板柱基础施工

角钢（钢管）插入基础施工的工艺标准

冻土地质锥柱式基础施工的工艺标准

冻土地质装配式基础施工的工艺标准

地脚螺栓式斜柱基础施工的工艺标准

岩石锚杆基础施工的工艺标准

岩石嵌固式基础施工的工艺标准

掏挖基础施工的工艺标准

挖孔基础施工的工艺标准

螺旋锚基础施工的工艺标准

钻孔灌注桩基础施工的工艺标准

变电工程土建

节2/3 沉降观测点、位移监测点 13/14 锚杆挡墙 4/5 强夯地基 1/2 钢筋混凝土预制桩

5/6 冲击成孔灌注桩 7/8 多支盘桩灌注桩 12/13？人工挖孔灌注桩

2、3 砌体填充墙 8/9 钢筋机械连接 5/6 屋面保温木门少个门字

第一个的：

12/13 光电型直流电流互感器安装

1.16 三合一测试二改分节错误、去掉了两个爆显存的问题、千问72B 276个问题

空白：

通信系统防雷接地的工艺标准是什么？（BXC）

钢结构安装的工艺标准是什么？（BXC）

建筑物防雷接地的工艺标准是什么？（BXC）

坡面防护与绿化的工艺标准是什么？（BXC）

回答不出来：

气体绝缘金属封闭开关设备安装的工艺标准是什么？

一个出处匹配不到，2个可以

大门的工艺标准是什么？

钢结构焊接（坡口焊缝）的工艺标准是什么？

解决长知识爆显存

换小模型：

不行，对于长问题小模型回答效果很差。

太长的再次切分

全部切分测试

重新将文档转txt

文档数

1
2
3
4
5
6
7
8
9


    data = {
        "query": query,
        "knowledge_base_name": "w_qf1_test",
        "history": [],
        "stream": True,
        "temperature": 0.2,
        "top_k": 3,
        "score_threshold" : 1
    }

1.17 三合一测试 139~278

没匹配到：

201 ，细部构造的工艺标准是什么？

195 ，基层的工艺标准是什么？知识匹配不到

166，岩石锚杆基础施工，这个问题在两个文档中都出现了，两个文档答案不一样

~~143，堆载预压地基的工艺标准是什么？匹配到，不回答复测正确~~

~~153，局部特殊地基处理的工艺标准是什么？匹配到，不回答局部特殊地基处理的工艺标准是什么？完整回答这样可以回答出来~~

160，多支盘桩灌注桩的工艺标准是什么？匹配到，不回答多支盘桩灌注桩的工艺标准是什么？完整回答这样可以回答出来，但是还是少最后两条

~~169，大体积混凝土施工的工艺标准是什么？每条不完整复测正确~~

~~182，钢结构焊接（角焊缝）的工艺标准是什么？每条不完整复测正确~~

~~189，防腐涂料喷涂的工艺标准是什么？少一小节防腐涂料喷涂的工艺标准是什么？完整回答这样可以回答出来~~

~~190，防火涂料喷涂的工艺标准是什么？少了两小节防火涂料喷涂的工艺标准是什么？完整回答这样可以回答出来~~

~~199，屋面保温的工艺标准是什么？每条不完整复测正确~~

~~202，瓦屋面的工艺标准是什么？每条不完整复测正确~~

~~219，玻璃门的工艺标准是什么？每条不完整复测正确~~

~~228 涂饰工程的工艺标准是什么？完整回答这样可以回答出来~~

230，内墙饰面砖的工艺标准是什么？匹配到，不回答

~~265，回答少一小节导管的工艺标准是什么？完整回答这样可以回答出来~~

仍然爆显存：

钢结构安装的工艺标准是什么？

工艺标准有5796字符

错误数：6，2个匹配不到知识，2个大模型匹配到、回答不完整/不回答，1个问题有两个答案，1个仍然爆显存

目录

外挂知识库

PDF处理

PyPDF2

Pdfplumber

PDFminer

PDF -> txt 分节

换自己的分词器

使用自定义的分词器

执行步骤：

调用接口 /knowledge_base/upload_docs

upload_docs

update_docs

files2docs_in_thread

file2text

docs2texts

Class Document

增加

PDF

三个放一起测

角钢结构大跨越铁塔组立施工的工艺标准是什么？（答案少一条）

ADSS防振鞭安装的工艺标准是什么？

喷射井点降水的工艺标准是什么？

重力式挡墙的工艺标准是什么？

钢桩的工艺标准是什么？

多支盘桩灌注桩的工艺标准是什么？

套管夯扩灌注桩的工艺标准是什么？

载体夯扩灌注桩的工艺标准是什么？（回答没问题，知识少了第10条）

岩石锚杆基础施工的工艺标准是什么？

大体积混凝土施工的工艺标准是什么？

（爆显存）钢结构安装的工艺标准是什么？

防火涂料喷涂的工艺标准是什么？

细部构造的工艺标准是什么？

涂饰工程的工艺标准是什么？

大门的工艺标准是什么？

（爆显存）建筑物防雷接地的工艺标准是什么？

1.16三合一测试

1.16 三合一 测试二 改分节错误、去掉了两个爆显存的问题、千问72B 276个问题

解决长知识爆显存

换小模型：

太长的再次切分

全部切分测试

1.17 三合一测试 139~278

1.16 三合一测试二改分节错误、去掉了两个爆显存的问题、千问72B 276个问题