二维码
阿哥vca

扫一扫关注

当前位置: 首页 » 新闻资讯 » 行业新闻 » 正文

Reddit更新网络标准,以阻止自动网站抓取

放大字体  缩小字体 发布日期:2025-03-21 15:37:04    来源:本站    作者:admin    浏览次数:75    评论:0
导读

      (路透社)-社交媒体平台Reddit周二表示,将更新该平台用于阻止其网站自动数据抓取的网络标准,此前有报道称人工智能

  

  

  (路透社)-社交媒体平台Reddit周二表示,将更新该平台用于阻止其网站自动数据抓取的网络标准,此前有报道称人工智能初创公司绕过该规则为其系统收集内容。

  此举正值人工智能公司被指控抄袭出版商的内容,在没有注明出处或征求许可的情况下创建人工智能生成的摘要之际。

  Reddit表示,它将更新机器人排除协议(Robots .txt),这是一个被广泛接受的标准,旨在确定网站的哪些部分可以被抓取。

  该公司还表示,它将保持限速,一种用于控制来自一个特定实体的请求数量的技术,并将阻止未知的机器人和爬虫在其网站上进行数据抓取——收集和保存原始信息。

  最近,robots.txt已成为出版商用来防止科技公司免费使用其内容来训练人工智能算法并根据某些搜索查询创建摘要的关键工具。

  上周,内容授权初创公司TollBit致出版商的一封信称,几家人工智能公司正在绕过网络标准,抓取出版商网站。

  此前,《连线》杂志的一项调查发现,人工智能搜索初创公司Perplexity可能绕过了通过robots.txt阻止其网络爬虫的努力。

  6月初,商业媒体出版商《福布斯》(Forbes)指责Perplexity抄袭其调查性报道,用于生成式人工智能系统,却没有给出署名。

  Reddit周二表示,研究人员和互联网档案馆等组织将继续以非商业用途访问其内容。

  (Harshita Mary Varghese报道;编辑:Alan Barona)

  ×

 
(文/admin)
打赏
免责声明
• 
部分文章来源于网络,我们均标明出处,如果您不希望我们展现您的文章,请与我们联系,我们会尽快处理。
0相关评论
 

(c)2023-2023 www.agvcar.com All Rights Reserved

冀ICP备2024088436号