type
date
slug
status
summary
tags
category
password
icon
“虚假新闻检测器”（Fake News Detector）是一个基于事实核查的自动化系统，它利用大型语言模型和BGE-M3-Embedding技术对虚假新闻进行事实核查，并通过Streamlit构建了Web界面。
项目特点：
- 自动提取核心声明：能够从新闻文本中提取出可供核查的关键声明。
- 实时网络搜索：利用DuckDuckGo搜索引擎获取相关证据。
- 语义匹配：采用BGE-M3大型嵌入模型计算声明与证据之间的相关性。
- 分块证据处理：自动将长文本证据进行分段，并识别出最相关的证据片段。
- 可靠的事实核查：根据收集到的证据，给出正确、错误或部分正确的判断。
- 流式处理界面：实时展示事实核查过程的每一个步骤。
系统架构：
该应用采用多步骤管道流程进行事实核查，主要包括以下阶段：
- 提取阶段：使用大型语言模型（LLM）从输入文本中提取可核查的声明。
- 搜索阶段：通过搜索引擎API获取相关证据。
- 相关性排序：使用BGE-M3嵌入模型计算证据与声明的语义相似度。
- 证据处理：将长文本分块并找出最相关的证据片段。
- 判断阶段：基于相关证据做出判断，并提供推理过程。
技术栈：
- 前端界面：Streamlit。
- 语言模型：Qwen2.5-14B。
- 嵌入模型：BGE-M3。
- 搜索引擎：DuckDuckGo。
- 其他工具：NumPy, OpenAI兼容API。
快速开始与使用方法：
- 前提条件：需要Python 3.12、本地部署的Qwen2.5模型（或其他兼容OpenAI API的大语言模型）以及BGE-M3嵌入模型（可选择本地部署或远程API）。
- 安装：克隆项目仓库，然后安装
requirements.txt中列出的依赖。在fact_checker.py中配置BGE-M3模型路径。
- 启动应用：通过运行
streamlit run app.py命令启动应用，通常会在http://localhost:8501本地启动。
- 使用：在应用界面输入需要核查的新闻文本，系统将自动执行声明提取、证据搜索、相关性分析并给出事实核查结论。
- 作者:205066
- 链接:https://www.205066.xyz/article/news_fake
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
