Web Reader
为您的研究类AI应用(如Deep Research等)集成更专业的内容抓取工具,获得更全面完整的页面内容。
极速抓取
首次抓取仅需 1-8 秒,缓存期内快速的 200-500 毫秒响应速度
快速集成
支持易于大模型理解的响应输出(markdown、纯文本),无缝对接您的应用
MarkdownText
兼容性佳
支持解析处理多种不同的页面结构,包括嵌套文本、图像、表格、代码等
应用场景
为大语言模型提供高质量、完整的网页内容,提升AI回答质量
自动抓取科研论文、新闻文章,进行深度分析与摘要
构建知识库和数据集,提取结构化内容进行训练
自动化信息采集,创建研究报告和市场分析
GET 请求
https://api.unifuncs.com/api/web-reader/{path}?apiKey=API_KEY
注意:path需要进行URL编码
URL编码测试:
基础示例(阅读微信公众号文章):
https://api.unifuncs.com/api/web-reader/https%3A%2F%2Fmp.weixin.qq.com%2Fs%2FwmoNh44A4ofkawPNVx_g6A?apiKey=API_KEY
请求参数
参数名 | 类型 | 必需 | 描述 |
---|---|---|---|
path | string | 是 | 需要阅读的URL,必须进行URL编码 |
apiKey | string | 是 | API密钥(也可通过Authorization头传递) |
format | string | 否 | 返回格式,可选值:markdown、md、text、txt,默认为md |
includeImages | boolean | 否 | 是否包含图片,默认为true |
onlyCSSSelectors | array | 否 | 仅包含匹配CSS选择器的元素,如:[".article_content"] |
waitForCSSSelectors | array | 否 | 等待这些CSS选择器元素出现后再解析页面,如:["#main", ".rich_media_content"] |
excludeCSSSelectors | array | 否 | 排除匹配CSS选择器的元素,如:["#footer", ".copyright"] |
offsetWords | number | 否 | 读取的起始字符位置,默认为0,一般和maxWords一起使用 |
maxWords | number | 否 | 读取的最大字符数量,默认为500万字符(取值0-5000000) |
linkSummary | boolean | 否 | 是否将页面中所有链接追加到内容尾部,默认为false |
ignoreCache | boolean | 否 | 是否忽略缓存,对于同一URL我们通常会加密缓存一小段时间来加速访问,默认为false |
setCookie | string | 否 | 设置Cookie,对于需要验证的页面,这很有用 |
timeout | number | 否 | 抓取超时时间,单位为秒,默认为120秒(2分钟) |
POST 请求
https://api.unifuncs.com/api/web-reader/read
请求头
Content-Type: application/json
Authorization: Bearer API_KEY
请求体
{
"url": "https://mp.weixin.qq.com/s/wmoNh44A4ofkawPNVx_g6A",
"format": "md"
}
请求参数
参数名 | 类型 | 必需 | 描述 |
---|---|---|---|
url | string | 是 | 需要阅读的URL |
format | string | 否 | 返回格式,可选值:markdown、md、text、txt,默认为md |
includeImages | boolean | 否 | 是否包含图片,默认为true |
onlyCSSSelectors | array | 否 | 仅包含匹配CSS选择器的元素,如:[".article_content"] |
waitForCSSSelectors | array | 否 | 等待这些CSS选择器元素出现后再解析页面,如:["#main", ".rich_media_content"] |
excludeCSSSelectors | array | 否 | 排除匹配CSS选择器的元素,如:["#footer", ".copyright"] |
linkSummary | boolean | 否 | 是否将页面中所有链接追加到内容尾部,默认为false |
ignoreCache | boolean | 否 | 是否忽略缓存,对于同一URL我们通常会加密缓存一小段时间来加速访问,默认为false |
setCookie | string | 否 | 设置Cookie,对于需要验证的页面,这很有用 |
timeout | number | 否 | 抓取超时时间,单位为秒,默认为120秒(2分钟) |
MCP接入
使用MCP协议快速将UniFuncs API能力接入到您的大模型系统:https://github.com/UniFuncs/ufn-mcp-server
STDIO通信
{
"mcpServers": {
"unifuncs": {
"command": "npx",
"args": [
"-y",
"@unifuncs/ufn-mcp-server"
],
"env": {
"UNIFUNCS_API_KEY": "sk-**********"
}
}
}
}
SSE通信
https://mcp.unifuncs.com/sse
需在headers请求头中添加Authorization: Bearer sk-**********
响应格式
支持的响应格式
markdown/md
返回Markdown格式的文本内容,适合用于展示或进一步处理。包含标题、源URL和Markdown格式化的页面内容。
text/txt
返回纯文本格式的内容,不包含任何格式标记。包含标题、源URL和纯文本的页面内容。
响应示例
Markdown格式 (format=md)
Content-Type: text/markdown; charset=utf-8
1Title: SOTA!首个能生成汉字的开源文生图模型CogView4|智谱开源年No.1
2
3URL Source: https://mp.weixin.qq.com/s/wmoNh44A4ofkawPNVx_g6A
4
5Markdown Content:
6
7
8
9# SOTA!首个能生成汉字的开源文生图模型CogView4|智谱开源年No.1
10
11[智谱]() *2025年03月04日 05:17* 北京 
12
13今天,我们很高兴地推出「智谱2025开源年」的第一个模型: 首个支持生成汉字的开源文生图模型——CogView4 。
14
15CogView 4 在 DPG-Bench 基准测试中的综合评分排名第一, **在开源文生图模型中达到 SOTA,** 也是首个遵循 Apache 2.0 协议的图像生成模型。
16
17最新的 CogView4-0304 版本现已开源,近期将登陆MaaS平台,3月13日上线 **智谱清言(chatglm.cn)**
18
19。
20
21一、性能 SOTA
22
23CogView4 具备较强的复杂语义对齐和指令跟随能力,支持任意长度的中英双语输入,能够生成在给定范围内的任意分辨率图像,同时具备较强的文字生成能力。
24
25CogView4 在 DPG-Bench 基准测试中综合评分排名第一。DPG-Bench 是一个评估文本到图像生成模型的基准测试,主要关注模型在复杂语义对齐和指令跟随能力方面的表现。
26
27
28
29二、中文理解与生成
30
31CogView4 具有两大技术领先性:
32
33首先,支持中英双语提示词输入,擅长理解和遵循中文提示词,是首个能够在画面中生成汉字的开源文生图模型,能更好地满足广告、短视频等领域的创意需求。
34
35在技术实现上,CogView4 将文本编码器从纯英文的 T5 encoder 换为 **具备双语能力的 GLM-4 encoder,**
36
37并通过中英双语图文进行训练,使模型具备双语提示词输入能力。
38
39*案例 1:CogView4 能够将中英文字符自然地融入画面,使海报、文案配图创作更加便捷。*
40
41
42
43
44
45*案例 2:擅长理解和遵循中文提示词,例如能够画出古诗文中的意境。*
46
47
48
49*野径云俱黑,江船火独明*
50
51三、任意分辨率,任意长度提示词
52
53其次,支持输入任意长度提示词,能够生成范围内任意分辨率图像,不仅使用户创作更加自由,也提升了训练效率。CogView4 模型实现了任意长度的文本描述(caption)和任意分辨率图像的混合训练范式。
54
551.图像位置编码
56
57CogView4 采用二维旋转位置编码(2D RoPE)来建模图像的位置信息,并通过内插位置编码的方式支持不同分辨率的图像生成任务。
58
592.扩散生成建模
60
61模型采用 Flow-matching 方案进行扩散生成建模,并结合参数化的线性动态噪声规划,以适应不同分辨率图像的信噪比需求。
62
633.架构设计
64
65在 DiT 模型架构上,CogView4 延续了上一代的 Share-param DiT 架构,并为文本和图像模态分别设计独立的自适应 LayerNorm 层,以实现模态间的高效适配。
66
674.多阶段训练
68
69CogView4 采用多阶段训练策略,包括基础分辨率训练、泛分辨率训练、高质量数据微调以及人类偏好对齐训练。 这种分阶段训练方式不仅覆盖了广泛的图像分布,还确保生成的图像具有高美感并符合人类偏好。
70
715.训练框架优化
72
73从文本角度,CogView4 突破了传统固定 token 长度的限制,允许更高的 token 上限,并显著减少了训练过程中的文本 token 冗余。当训练 caption 的平均长度在 200-300 token 时,与固定 512 token 的传
74
75统方案相比,CogView4 减少了约 50% 的 token 冗余,并在模型递进训练阶段实现了 5%-30% 的效率提升。
76
77混合分辨率训练使模型能够支持较大范围内的任意分辨率生成,极大地提升了创作的自由度。 目标分辨率只需满足以下条件:
78
79
80
81*案例 1:以故事作为超长提示词,生成四格漫画*
82
83
84
85请生成一张图包含四个场景的四格漫画图,采用动漫插画风格的连环画。其中主要出现的角色有:
86
87小明:人类男孩,拥有一颗勇敢的心,手持宝剑,穿着简易的战士服装。
88
89公主:人类女性,美丽优雅,穿着华丽的公主服饰,被囚禁在怪兽的老巢。
90
91国王:人类男性,威严而仁慈,穿着华丽的王者服饰,坐在王国的宝座上。
92
93火焰龙:怪兽,全身覆盖着火焰般的鳞片,口吐火焰,体型庞大。
94
95黑暗魔王:怪兽,体型巨大,全身笼罩在黑暗中,拥有强大的魔法力量。
96
97**Scene 1:小明踏上征程**
98
99创建一个动漫风格的场景,背景是壮丽的王国庭院。场景中的主要角色是小明(人类男孩,拥有一颗勇敢的心,手持宝剑,穿着简易的战士服装),他正以踏上征程的姿势展现。包括庭院中的花草和远处城堡的细节,晨曦的光照传达出勇敢和决心。质量:杰作,最佳质量,超详细,4k
100
101**Scene 2:小明战胜火焰龙**
102
103创建一个动漫风格的场景,背景是炽热的火山口。场景中的主要角色是小明(人类男孩,拥有一颗勇敢的心,手持宝剑,穿着简易的战士服装),他正处于战胜火焰龙的瞬间。包括火山口的岩石和熔岩的细节,火红的光照传达出激烈和勇气。质量:杰作,最佳质量,超详细,4k
104
105**Scene 3:小明与黑暗魔王激战**
106
107创建一个动漫风格的场景,背景是阴暗的怪兽老巢。场景中的主要角色是小明(人类男孩,拥有一颗勇敢的心,手持宝剑,穿着简易的战士服装),他正处于与黑暗魔王激战的场景中。包括老巢的黑暗和魔法能量的细节,阴沉的光照传达出激烈和紧张。质量:杰作,最佳质量,超详细,4k
108
109**Scene 4:小明救出公主**
110
111创建一个动漫风格的场景,背景是荒废的城堡内部。场景中的主要角色是小明(人类男孩,拥有一颗勇敢的心,手持宝剑,穿着简易的战士服装)和公主(人类女性,美丽优雅,穿着华丽的公主服饰),他们正处于小明救出公主的温馨场景中。包括城堡内部废墟和昏暗光线的细节,温柔的光照传达出感动和救赎。质量:杰作,最佳质量,超详细,4k
112
113# 四、 首个遵循 Apache 2.0 的图像生成模型
114
115CogView4 模型支持 Apache2.0 协议, 后续会陆续增加 ControlNet、ComfyUI 等生态支持 ,全套的微调工具包也即将推出。
116
117开源仓库地址:
118
119https://github.com/THUDM/CogView4
120
121模型仓库:
122
123https://huggingface.co/THUDM/CogView4-6B
124
125https://modelscope.cn/models/ZhipuAI/CogView4-6B
126
127智谱始终致力于推动 AI 普惠。2025是智谱开源年,我们还将陆续开源基础模型、推理模型、多模态模型、Agent 模型等。
128
129
130
131修改于 2025年03月04日
132
133 继续滑动看下一个 轻触阅读原文
134
135
136
137智谱 向上滑动看下一个
文本格式 (format=txt)
Content-Type: text/plain; charset=utf-8
1Title: SOTA!首个能生成汉字的开源文生图模型CogView4|智谱开源年No.1
2
3URL Source: https://mp.weixin.qq.com/s/wmoNh44A4ofkawPNVx_g6A
4
5Text Content:
6
7[Image: cover_image] (https://mmbiz.qpic.cn/mmbiz_jpg/UBWAWibiaa4jduGWHjYekO1wnWtqia0651YiaSNgFFCdiadzmvk2GoGrF6SNCqHJSmxQYMHH2VSYuAzXUHp5iawKxQmQ/0?wx_fmt=jpeg)
8
9SOTA!首个能生成汉字的开源文生图模型COGVIEW4|智谱开源年NO.1
10
11智谱 () 2025年03月04日 05:17 北京 [Image: 图片] (https://mmbiz.qpic.cn/mmbiz_jpg/UBWAWibiaa4jduGWHjYekO1wnWtqia0651YVM8Za0Pr34mWemc3sGia0HfiaFdO4iaUeNcAoqaSM5ysGX8INeClteqSQ/640?wx_fmt=jpeg&from=appmsg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)
12
13今天,我们很高兴地推出「智谱2025开源年」的第一个模型: 首个支持生成汉字的开源文生图模型——CogView4 。
14
15CogView 4 在 DPG-Bench 基准测试中的综合评分排名第一, 在开源文生图模型中达到 SOTA, 也是首个遵循 Apache 2.0 协议的图像生成模型。
16
17最新的 CogView4-0304 版本现已开源,近期将登陆MaaS平台,3月13日上线 智谱清言(chatglm.cn)
18
19。
20
21一、性能 SOTA
22
23CogView4 具备较强的复杂语义对齐和指令跟随能力,支持任意长度的中英双语输入,能够生成在给定范围内的任意分辨率图像,同时具备较强的文字生成能力。
24
25CogView4 在 DPG-Bench 基准测试中综合评分排名第一。DPG-Bench 是一个评估文本到图像生成模型的基准测试,主要关注模型在复杂语义对齐和指令跟随能力方面的表现。
26
27[Image: Image] (https://mmbiz.qpic.cn/sz_mmbiz_png/Eu2cI2IojBLwLsgXia96hfA6RibuMJOlcL8UdwZIDm8ic0rSTR9CGwdnuiaoCltW1T9kAChWBicsw4G7YDWT2IlgAAQ/640?wx_fmt=png&from=appmsg&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp)
28
29二、中文理解与生成
30
31CogView4 具有两大技术领先性:
32
33首先,支持中英双语提示词输入,擅长理解和遵循中文提示词,是首个能够在画面中生成汉字的开源文生图模型,能更好地满足广告、短视频等领域的创意需求。
34
35在技术实现上,CogView4 将文本编码器从纯英文的 T5 encoder 换为 具备双语能力的 GLM-4 encoder,
36
37并通过中英双语图文进行训练,使模型具备双语提示词输入能力。
38
39案例 1:CogView4 能够将中英文字符自然地融入画面,使海报、文案配图创作更加便捷。
40
41[Image: 图片] (https://mmbiz.qpic.cn/mmbiz_jpg/UBWAWibiaa4jduGWHjYekO1wnWtqia0651YWO0oCLYup4SJ5XM4ibcic7fMKxUicBEq6DqfX0H3jxBLVHUnsiaWPkKqdA/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)
42
43[Image: 图片] (https://mmbiz.qpic.cn/mmbiz_png/UBWAWibiaa4jduGWHjYekO1wnWtqia0651YlvDry8k4ffLmnytIUoxyevicTGWm2ftFic0RvCLXdunSlsWc5L5z4bwg/640?wx_fmt=png&from=appmsg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)
44
45案例 2:擅长理解和遵循中文提示词,例如能够画出古诗文中的意境。
46
47[Image: 图片] (https://mmbiz.qpic.cn/mmbiz_jpg/UBWAWibiaa4jduGWHjYekO1wnWtqia0651YclUSdMhpn7mDbbCLMjkvKflHJffSl27yLEHg1ibG4QTxWSh100qa5Aw/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)
48
49野径云俱黑,江船火独明
50
51三、任意分辨率,任意长度提示词
52
53其次,支持输入任意长度提示词,能够生成范围内任意分辨率图像,不仅使用户创作更加自由,也提升了训练效率。CogView4 模型实现了任意长度的文本描述(caption)和任意分辨率图像的混合训练范式。
54
551.图像位置编码
56
57CogView4 采用二维旋转位置编码(2D RoPE)来建模图像的位置信息,并通过内插位置编码的方式支持不同分辨率的图像生成任务。
58
592.扩散生成建模
60
61模型采用 Flow-matching 方案进行扩散生成建模,并结合参数化的线性动态噪声规划,以适应不同分辨率图像的信噪比需求。
62
633.架构设计
64
65在 DiT 模型架构上,CogView4 延续了上一代的 Share-param DiT 架构,并为文本和图像模态分别设计独立的自适应 LayerNorm 层,以实现模态间的高效适配。
66
674.多阶段训练
68
69CogView4 采用多阶段训练策略,包括基础分辨率训练、泛分辨率训练、高质量数据微调以及人类偏好对齐训练。 这种分阶段训练方式不仅覆盖了广泛的图像分布,还确保生成的图像具有高美感并符合人类偏好。
70
715.训练框架优化
72
73从文本角度,CogView4 突破了传统固定 token 长度的限制,允许更高的 token 上限,并显著减少了训练过程中的文本 token 冗余。当训练 caption 的平均长度在 200-300 token 时,与固定 512 token 的传
74
75统方案相比,CogView4 减少了约 50% 的 token 冗余,并在模型递进训练阶段实现了 5%-30% 的效率提升。
76
77混合分辨率训练使模型能够支持较大范围内的任意分辨率生成,极大地提升了创作的自由度。 目标分辨率只需满足以下条件:
78
79[Image: 图片] (https://mmbiz.qpic.cn/mmbiz_png/UBWAWibiaa4jduGWHjYekO1wnWtqia0651YBKE4m1592fdfE8XbhlSEX106WPq1K3IW8vMicPsxwfztW6MrapeumIg/640?wx_fmt=png&from=appmsg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)
80
81案例 1:以故事作为超长提示词,生成四格漫画
82
83[Image: Image] (https://mmbiz.qpic.cn/sz_mmbiz_png/Eu2cI2IojBLwLsgXia96hfA6RibuMJOlcLsPFfGNEzqMAXPzPZpPcGYfnGUianHq4pwZe2l6dtL97ufC9awUXZ9IA/640?wx_fmt=png&from=appmsg&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp)
84
85请生成一张图包含四个场景的四格漫画图,采用动漫插画风格的连环画。其中主要出现的角色有:
86
87小明:人类男孩,拥有一颗勇敢的心,手持宝剑,穿着简易的战士服装。
88
89公主:人类女性,美丽优雅,穿着华丽的公主服饰,被囚禁在怪兽的老巢。
90
91国王:人类男性,威严而仁慈,穿着华丽的王者服饰,坐在王国的宝座上。
92
93火焰龙:怪兽,全身覆盖着火焰般的鳞片,口吐火焰,体型庞大。
94
95黑暗魔王:怪兽,体型巨大,全身笼罩在黑暗中,拥有强大的魔法力量。
96
97Scene 1:小明踏上征程
98
99创建一个动漫风格的场景,背景是壮丽的王国庭院。场景中的主要角色是小明(人类男孩,拥有一颗勇敢的心,手持宝剑,穿着简易的战士服装),他正以踏上征程的姿势展现。包括庭院中的花草和远处城堡的细节,晨曦的光照传达出勇敢和决心。质量:杰作,最佳质量,超详细,4k
100
101Scene 2:小明战胜火焰龙
102
103创建一个动漫风格的场景,背景是炽热的火山口。场景中的主要角色是小明(人类男孩,拥有一颗勇敢的心,手持宝剑,穿着简易的战士服装),他正处于战胜火焰龙的瞬间。包括火山口的岩石和熔岩的细节,火红的光照传达出激烈和勇气。质量:杰作,最佳质量,超详细,4k
104
105Scene 3:小明与黑暗魔王激战
106
107创建一个动漫风格的场景,背景是阴暗的怪兽老巢。场景中的主要角色是小明(人类男孩,拥有一颗勇敢的心,手持宝剑,穿着简易的战士服装),他正处于与黑暗魔王激战的场景中。包括老巢的黑暗和魔法能量的细节,阴沉的光照传达出激烈和紧张。质量:杰作,最佳质量,超详细,4k
108
109Scene 4:小明救出公主
110
111创建一个动漫风格的场景,背景是荒废的城堡内部。场景中的主要角色是小明(人类男孩,拥有一颗勇敢的心,手持宝剑,穿着简易的战士服装)和公主(人类女性,美丽优雅,穿着华丽的公主服饰),他们正处于小明救出公主的温馨场景中。包括城堡内部废墟和昏暗光线的细节,温柔的光照传达出感动和救赎。质量:杰作,最佳质量,超详细,4k
112
113四、 首个遵循 Apache 2.0 的图像生成模型
114
115CogView4 模型支持 Apache2.0 协议, 后续会陆续增加 ControlNet、ComfyUI 等生态支持 ,全套的微调工具包也即将推出。
116
117开源仓库地址:
118
119https://github.com/THUDM/CogView4
120
121模型仓库:
122
123https://huggingface.co/THUDM/CogView4-6B
124
125https://modelscope.cn/models/ZhipuAI/CogView4-6B
126
127智谱始终致力于推动 AI 普惠。2025是智谱开源年,我们还将陆续开源基础模型、推理模型、多模态模型、Agent 模型等。
128
129[Image: 图片] (https://mmbiz.qpic.cn/mmbiz_png/UBWAWibiaa4jdVFS3g16cX4FSN12Juiaugj2TVlvFiciaBZdxQX3AEFoB236vQLXRNlfiahSre6ZhWibRKnvZ0vlIO5kw/640?wx_fmt=png&from=appmsg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1)
130
131修改于 2025年03月04日
132
133 继续滑动看下一个 轻触阅读原文
134
135[Image: image] (http://mmbiz.qpic.cn/mmbiz_png/UBWAWibiaa4jelhonWsvmts0jfdKEd0c8L7BiaBJlkD0VyMDgfoZ0L8Tvia8HeajSkbRSLjJ2bk7P7v2e5xPXVTZjg/0?wx_fmt=png)
136
137智谱 向上滑动看下一个
状态码和错误处理
状态码 | 消息 | 说明 |
---|---|---|
0 | 请求成功 | 返回正常的响应内容 |
-20001 | 服务器错误 | 联系客服确认原因或稍后再试 |
-20011 | 无权限访问 | 账户可能无权限访问该API |
-20014 | 账户被禁用 | 请联系客服确认账户禁用原因 |
-20021 | API Key无效或已过期 | 请检查API Key是否正确且有效 |
-20025 | 账户余额不足 | 请检查账户余额是否充足 |
-20033 | 请求超出速率限制 | 降低请求频率或联系UniFuncs提升您的用户级别 |
-30000 | 目标URL非法 | 请检查URL是否正确 |
-30001 | 访问目标URL失败 | 请检查URL是否正确 |
-30001 | 访问目标URL失败 | 请检查URL是否正确 |
-30001 | 访问目标URL失败 | 请检查URL是否正确 |
-30002 | 请求超时 | 请重试抓取 |
-30003 | 访问目标URL的内容为空 | 尝试重新抓取或更换URL |
-30004 | 可能目标URL决绝访问或需要验证 | 尝试重新抓取或更换URL |