一九九六年卡尔看见网上正在长出一份新的人类活动记录,消失得几乎和出现一样快。「互联网永不遗忘」是一句危险的假话。网站被改、被删、被弃。他办互联网档案馆,再办网络时光机:把网页在某一刻的样子留下来。如果互联网要当主要出版系统,它需要所有伟大出版系统都有的东西,一座图书馆。
这座图书馆现在被自己的读者往外推。《纽约时报》不让档案馆保存文章。《卫报》限制访问,还从部分界面撤下旧文。《今日美国》和越来越多的新闻机构在路上设障,连《大西洋月刊》也在其中。到二零二六年五月,尼曼实验室数出三百四十多家地方新闻站限制保存。理由都是同一句:人工智能公司未经授权拿作品训练模型,图书馆成了绕过付费墙的后门。时报说档案馆提供了「无限制的访问」。卡尔说他们已经在挡模型抓取,这种基于恐惧的做法没把这点算进去。
他懂出版商为什么生气。报道贵,广告没了,订阅慢,科技公司用别人的材料赚钱。但封锁非营利图书馆是错的回应。它恢复不了二十世纪的广告模式,也挡不住商业实验室去爬活的网络、买数据集、建自己的检索。它挡住的是历史学家、法院、普通读者,以及记者自己。电子前沿基金会的穆林打了个比方:等于报纸宣布实体图书馆不许再保存过刊。记者靠时光机找回删掉的帖、核对权势人物改过的话、看政府文件的早先版本。哈夫纳和帕尔默写私募股权重塑皮肤科,靠的是网站旧版:医师助理从二零零八年起列出的数量涨了四倍。没有档案,这个规模、速度和方向说不硬。格雷厄姆说,连时报自己的资深研究员都在档案馆里找到别处没有的材料。
皮尤追踪一百万个网页:研究结束时四分之一已经打不开。二零一三年那一批,损失百分之三十八。二零二一年收集的,大约五分之一在两年内消失。这不是古代,这是一个人政治生涯、一场长诉讼、一家公司兴衰的时间。档案馆自己核对,消失的网址里百分之十六还能在时光机里打开。《落基山新闻》出了近一百五十年,最后十年四项普利策,后来网站上的调查系列断了链。档案馆还留着 MTV 新闻、BET、Gawker,以及二零二一年被打压关闭的苹果日报和立场新闻。它不是人工智能公司。有的爬虫是坏的——一家初创曾经每秒打来数万个请求——有的不是。媒体不能两面都要:把工作叫成历史初稿,又不让初稿留下来。