【AI解法(69)】用10万韩元二手GPU在自己电脑上运行ChatGPT级AI……”个人AI自立”时代正式开启

Photo of author

By Global Team

如果你每个月都在为 ChatGPT、Claude 这类 AI 服务支付订阅费,那么这条消息值得一看。

8年前还要超过1亿韩元一块的数据中心级高端显卡,如今在二手市场上已经以约14万韩元成交。这个价位,已经足以让普通家用 PC 直接运行接近 ChatGPT 水平的 AI。

海外 YouTube 频道“Hardware Haven”最近公开了一项实验:他们以14万韩元购入英伟达数据中心用显卡 V100,并将其连接到自己的电脑上。

这是一款16GB 显存的型号。一次买下之后,就不必再继续支付每月自动扣费的 AI 订阅费,这一点意义不小。

从数据中心走进家用书桌的高端 GPU

V100 是英伟达于2017年推出的面向数据中心的专用显卡。上市时价格超过1万美元,约合1400万韩元。它曾是训练 ChatGPT 这类大规模人工智能模型的重要核心部件。

8年过去,这款显卡在美国二手交易网站 eBay 上已以约100美元、也就是约14万韩元的价格流通。随着新一代数据中心 GPU 相继上市,企业开始大批处理旧款 V100,价格下跌正是这一结果。

问题在于,买来并插上去并不代表一切结束。V100 有两种类型:一种可直接插入普通 PC,另一种则是为数据中心服务器设计的“SXM2”特殊规格。降到14万韩元的,正是这种 SXM2 型号。它的连接方式与普通电脑并不兼容。

解决这一问题的是“SXM2-PCIe 适配器”转换板。它相当于一座桥梁,能把数据中心显卡连接到家用主板上。价格约为14万韩元。再加上防止显卡过热所需的散热风扇,以及用 3D 打印制作的外壳,总成本约为33万韩元。

考虑到游戏玩家常用的英伟达 RTX 3060(12GB)新卡价格在40万至50万韩元之间,这个方案相差无几,甚至更便宜。而关键在于,它的 AI 运算性能却比 RTX 3060 更高。

“在自己的电脑上运行 ChatGPT”……本地 AI 走红的原因

Hardware Haven 公开的基准测试结果被美国科技媒体 Tom’s Hardware 和 VideoCardz 转引报道后,引发了关注。

利用免费的 AI 运行工具“Olama(Ollama)”进行测试时,V100 对 OpenAI 公开的200亿参数模型“GPT-oss-20b”的处理速度达到每秒130个词元(token)。

在相同条件下,新款显卡 Radeon RX 7800 XT 的生成速度仅为每秒90个词元。另一款模型“Gemma 4 E4B”的测试中,V100 达到每秒108个词元,RTX 3060(12GB)则为每秒76个词元。

简单来说,就像假设有一包1万韩元的拉面,却有一台50万韩元的电磁炉和一台30万韩元的燃气灶。结果燃气灶反而能更快煮开,这就是一种“价格更低、性能更好”的逆转现象。

这种趋势之所以受到关注,背景在于一种名为“本地 AI”的新用法。过去,ChatGPT、Claude、Gemini 这类 AI 服务都需要通过互联网连接到远方的数据中心。用户每月支付订阅费,把问题发送到公司服务器,再接收答案。

本地 AI 则完全相反。它是把 AI 模型直接安装到自己的 PC 上,在不连接互联网的情况下使用。安装一次后,不需要额外费用。由于问题内容不会流向外部公司服务器,隐私也能得到保护。同时,它也能避开 AI 公司针对某些问题设置的回答限制。

对企业来说,这同样具有吸引力。因为客户数据无需发送到外部,可以在公司内部直接处理。医疗、法律、金融等信息泄露后果严重的领域,对本地 AI 的需求尤其高。

消费者需要了解的现实限制与替代方案

不过,这并非只有乐观的一面。在韩国想要买到 V100,大多仍得依赖海外直购。通常是从美国 eBay 分别购买 SXM2 显卡和适配器运回国内。再考虑关税、运费,以及退换货困难,实际成本还会更高。

技术门槛也不能忽视。安装适配板、用 3D 打印制作散热罩、设置操作系统驱动、下载并运行 AI 模型,这些对非专业人士来说都不轻松。

显卡本身的耗电量也很大。运行时功耗达250瓦,即使只是开着也会持续消耗不少电力。如果24小时运行,月电费可能会明显上涨。

解决方法是分阶段接近。并不一定非从 V100 级别开始。像 Raspberry Pi 这样手掌大小的小型电脑,也足以运行小规模 AI 模型。速度虽然较慢,但入门成本可控制在10万韩元左右。

帮助简化安装过程的免费软件也在增加。像 Ollama 或 LM Studio 这样的工具,只需点击几下就能把开源 AI 模型安装到电脑上,无需输入命令,像安装普通程序一样就能完成。支持韩语的开源模型也在逐渐增多。

现在正是入场时机……从长期看,这是“投资”

专家认为,V100 的价格不会长期停留在当前水平。随着本地 AI 需求上升,二手数据中心 GPU 的关注度正在提高,库存也在快速消化。一旦市场意识到这类价差机会,价格再次上涨的可能性很大。

因此,有观点认为现在正是进入的好时机。考虑到像 ChatGPT Plus 这样的付费 AI 服务年订阅费约为30万韩元,如果用一台基于 V100 的电脑,1到2年就有可能收回成本。此后基本上就相当于“免费 AI”了。

当然,云端 AI 也有明显优势。它可以立即使用最新模型,无需管理硬件,且可在任何地方接入。本地 AI 则是放弃这些便利,换取控制权与成本节省。

重要的是,选择变多了。在 AI 时代,消费者可以自己决定是每月付订阅费,还是一次性投资长期使用,亦或是两者并行。

本地 AI 已不再只是少数开发者的领域。如今,只要有10万韩元级别的二手零件和一点时间,任何人都能进入拥有属于自己 AI 的时代。

댓글 남기기