IT之家 12 月 30 日新闻，一个名为 EXO Labs 的构造本日在交际媒体上宣布了一段视频，展现了一台运转 Windows 98 体系的 26 年高龄的奔跑 II 电脑（128MB 内存）胜利运转年夜型言语模子（LLM）的情况。随后，EXO Labs 在其博客上宣布了一篇具体文章，进一步论述了这个名目的细节，以及其“遍及人工智能”的愿景。IT之家留神到，视频中一台 350MHz 的 Elonex 奔跑 II 电脑启动 Windows 98 后，EXO Labs 运转了基于 Andrej Karpathy 的 Llama2.c 开辟的定制纯 C 推理引擎，并让 LLM 天生了一个对于“Sleepy Joe”的故事。令人惊奇的是，全部进程运转流利，故事天生速率也相称可不雅。EXO Labs 由牛津年夜学的研讨职员跟工程师构成，于往年 9 月正式对外表态，其任务是“遍及人工智能”。该构造以为，多数年夜型企业把持人工智能会对文明、本相以及社会其余基础方面形成负面影响。因而，EXO Labs 盼望“构建开放的基本设备，以练习前沿模子，并使任何人都能在任何处所运转它们”，从而让一般人也能在多少乎任何装备上练习跟运转 AI 模子。此次在 Windows 98 上运转 LLM 的豪举，恰是对这一理念的无力证实。依据 EXO Labs 的博客文章，他们从 eBay 上购得了一台老式 Windows 98 电脑。但是，将数据传输到这台老呆板上倒是一个挑衅，他们终极经由过程其以太网端口应用“陈旧的 FTP”实现了文件传输。更年夜的挑衅在于为 Windows 98 编译古代代码，荣幸的是他们找到了 Andrej Karpathy 的 llama2.c，这是一个“用 700 行纯 C 代码即可在 Llama 2 架构的模子上运转推理”的东西。借助这一资本以及老式的 Borland C++ 5.02 IDE 跟编译器（以及一些小的调剂），EXO Labs 胜利将代码编译成可在 Windows 98 上运转的可履行文件。他们还在 GitHub 上公然了终极代码。EXO Labs 的 Alex Cheema 特殊感激了 Andrej Karpathy 的代码，并对其机能惊叹不已，称其在应用基于 Llama 架构的 26 万参数 LLM 时，在 Windows 98 上实现了“每秒 35.9 个 token”的天生速率。值得一提的是，Karpathy 曾任特斯拉人工智能主管，也是 OpenAI 的开创团队成员之一。固然 26 万参数的 LLM 范围较小，但在这台陈旧的 350MHz 单核电脑上运转速率相称不错。依据 EXO Labs 的博客，应用 1500 万参数的 LLM 时，天生速率略高于每秒 1 个 token。而应用 Llama 3.2 10 亿参数模子时，速率则十分迟缓，仅为每秒 0.0093 个 token。EXO Labs 的目的远不止于在 Windows 98 呆板上运转 LLM。他们在博客文章中进一步论述了其对将来的瞻望，并盼望经由过程 BitNet 实现人工智能的遍及。据先容，“BitNet 是一种应用三元权重的 transformer 架构”，应用这种架构，一个 70 亿参数的模子只要要 1.38GB 的存储空间。这对一台 26 年前的奔跑 II 来说可能依然有些费劲，但对古代硬件乃至十年前的装备来说，都十分轻量级的。EXO Labs 还夸大，BitNet 是“CPU 优先”的，防止了对昂贵 GPU 的依附。别的，据称这品种型的模子比全精度模子效力高 50%，而且能够在单个 CPU 上以人类浏览速率（约每秒 5 到 7 个 token）运转一个 1000 亿参数的模子。告白申明：文内含有的对外跳转链接（包含不限于超链接、二维码、口令等情势），用于通报更多信息，节俭甄选时光，成果仅供参考，IT之家全部文章均包括本申明。 ]article_adlist--> 　　申明：新浪网独家稿件，未经受权制止转载。 -->