标签： AI

引言

大型语言模型（Large Language Models，LLMs）在自然语言处理领域起着重要作用，能够生成人类语言的连续文本，为我们提供强大的语言处理能力。然而，LLMs在推理过程中面临一个重要问题，即幻觉（Hallucination）问题。幻觉指的是模型生成看似合理但实际上不准确的信息，这可能导致误导性的结果和信息的传播。

为了更好地理解和解决LLMs中的幻觉问题，研究者们进行了大量的研究工作。其中一篇关于幻觉问题的研究论文是《S3D. A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs》。这篇论文提出了一种名为Skippy Simultaneous Speculative Decoding（简称S3D）的自推测解码方案，旨在解决在低内存GPU上进行LLM推理时的性能和内存限制问题。✅

S3D方案解决的问题

S3D方案的目标是解决在低内存GPU上进行LLM推理时的性能和内存限制问题。传统的推测解码方法在高端设备上实现了显著的加速，但在低内存设备上却存在性能下降的问题。此外，量化带来的内存开销也限制了LLMs在低内存GPU上的应用。因此，S3D方案旨在提供一种成本效益高、适用于低内存GPU的自推测解码方法。

相关研究

在幻觉问题的研究领域，已经有许多相关研究取得了重要进展。其中，早期的推测解码方法、多标记预测、雅可比迭代方法、层跳过技术以及其他SD系统等都与S3D方案有一定的关联。

S3D方案的关键内容

S3D方案提出了Skippy Simultaneous Speculative Decoding（S3D. ��方法，通过同时多标记预测和中层跳过的方式实现自推测解码。S3D方法不需要额外的显存成本，同时具备高训练效率。与其他SD系统相比，S3D方法在性能-内存比率方面表现出色，且无需进行大规模的架构调整和训练数据的修改。✅

实验验证

论文中进行了一系列实验来验证S3D方案的性能。实验结果表明，S3D在性能-内存比率方面表现出色，相较于其他开源SD系统，具有更好的性能。此外，论文还进行了成本效益和速度的比较实验，验证了S3D方案的有效性和实用性。

进一步的研究方向

尽管S3D方案已经取得了一定的研究成果，但仍有一些潜在的研究方向值得进一步探索。这些方向包括适配器技术、更广泛的硬件评估、更深入的超参数优化、模型泛化能力、量化和稀疏性、并行化和分布式训练、实时应用、鲁棒性和错误分析、与其他优化技术的集成、用户研究和应用案例等。

通过进一步的研究探索，可以更好地理解S3D方案的潜绪和局限性，并推动其在更广泛的领域中的应用。

结论

《S3D. A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs》论文提出了一种名为S3D的自推测解码方案，旨在解决低内存GPU上进行LLM推理时的性能和内存限制问题。S3D方案通过同时多标记预测和中层跳过的方式实现自推测解码，具备成本效益高、训练效率高的优点。实验结果表明S3D在性能和内存比率方面表现出色，并具有实际应用的潜力。进一步的研究可以在适配器技术、更广泛的硬件评估、模型泛化能力等方面开展，以推动S3D方案的发展和应用。✅

参考文献：

• Wei Zhong, Manasa Bharadwaj. “S3D. A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs.” 2024.✅

S3D (Skippy Simultaneous Speculative Decoding) is a simple and cost-effective self-speculative decoding scheme designed for low-memory GPUs. It aims to achieve fast inference, low VRAM costs, and high training efficiency [1].

Speculative decoding (SD) is a technique that accelerates low-latency model (LLM) inference without sacrificing quality. It works by drafting tokens at a faster speed and then verifying the guessed tokens at the end of an iteration using a full forward pass. However, existing SD methods often achieve optimal performance on high-end devices or with a substantial GPU memory overhead. When applied to smaller models or low-memory devices where quantization is necessary, these methods can experience significant slowdowns [1].

To address these challenges, S3D introduces mid-layer skipping and simultaneous multi-token predictions. It offers no added VRAM costs and high training efficiency. By leveraging memory efficiency, S3D demonstrates optimal performance-memory ratios among recent open-source SD models. It can avoid significant quantization overheads under certain VRAM constraints and outperform previous SD methods under 8-bit quantization by up to 3.9x in speedups on A10G GPU [1].

S3D also provides optimal hyper-parameters by formalizing the relationship between the number of skipped layers and speedup in self-speculative decoding. It can verify the optimal number of token predictors, leading to improved performance [1].

In summary, S3D is a cost-effective self-speculative decoding scheme that achieves fast inference, low VRAM costs, and high training efficiency for low-memory GPUs. It overcomes the limitations of existing SD methods and demonstrates optimal performance-memory ratios [1].

Learn more:

1. S3D. A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs✅
2. GitHub – hemingkx/SpeculativeDecodingPapers: 📰 Must-read papers and blogs on Speculative Decoding ⚡️
3. [2309.08168] Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding

S3D是一种简单且经济高效的自我推测解码方案，专为低内存GPU设计。该方法通过同时进行多令牌解码和中间层跳过来实现推测解码，既不增加显存开销，又具有高训练效率[1]。

S3D的主要特点和贡献包括：

1. 有效的自我推测解码：S3D采用了中间层跳过和同时进行多令牌预测的简单且节省内存的自我推测解码方案。相比之前的方法，S3D在较小的模型上克服了速度上的限制[1]。
2. 最优超参数：S3D通过对自我推测解码中跳过层数和速度提升之间关系的形式化研究，确定了最优的令牌预测器数量[1]。
3. 最优速度-内存比：S3D在最近的开源自我推测解码模型中展现出最优的性能-内存比。通过利用内存效率，S3D可以避免在特定显存限制下进行量化时产生的显著开销，并在A10G GPU上在8位量化下比之前最快的SD方法（EAGLE）提升了3.9倍的速度[1]。

相关工作方面，早期的自我推测解码方法主要集中在特定领域任务上，如翻译和语法错误修正，这些任务很容易实现显著的加速。而S3D则针对通用领域任务，通过同时预测多个令牌和非批处理解码来节省内存并提高训练效率[2]。

Learn more:

1. S3D. A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs✅
2. [2405.20314] S3D. A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs✅
3. GitHub – hemingkx/SpeculativeDecodingPapers: 📰 Must-read papers and blogs on Speculative Decoding ⚡️

根据马来西亚政府的宣布，美国科技巨头谷歌计划在马来西亚投资20亿美元，建设谷歌在该国的首个数据中心和谷歌云区域，同时推进人工智能领域的发展。这一投资使谷歌成为东南亚地区最新一家注入资金以寻求增长机会的科技巨头[1]。

以下是有关这一投资的详细信息：

1. 投资规模：谷歌将投资20亿美元（约合27亿新元）在马来西亚建设数据中心和云区域[1]。
2. 地点：数据中心和云区域将建在马来西亚雪兰莪州沙亚南的艾美娜商业园[1]。
3. 经济影响：这项投资预计将为马来西亚医疗保健、教育和金融领域提供2万6500个工作机会，并为制造业和服务业利用人工智能和其他先进技术提升全球价值链，创造约150亿4000万令吉（约43亿1600万新元）的经济总值[1]。
4. 谷歌的战略合作：这项投资是建立在谷歌与马来西亚政府合作推进“云优先政策”的基础上的，包括推动一流的网络安全标准[1]。

此外，谷歌的母公司Alphabet及谷歌的总裁兼首席投资官波拉特表示，这是谷歌在马来西亚运营13年来数额最大的投资计划，也是首次在该国设立数据中心和谷歌云区域[1]。

这项投资计划进一步证明了马来西亚政府的明确规划、国家的经济实力和资源，成功吸引了现有和新的投资者，有助于加速马来西亚的数码转型议程[1]。

Learn more:

1. 谷歌投资20亿美元在马国建数据中心及云区域 | 联合早报
2. 谷歌将在马来西亚投资 20 亿美元：建数据中心 / 进一步开发 AI，拟创造 2.65 万个就业岗位 – IT之家
3. 团结政府拼经济奏效 谷歌投资大马94亿！ – DAP

作者：常嘉帅

近年来，软件公司的业绩一直是推动其股价飙升的主要动力。然而，最新的财报季显示，这一局面正在发生改变。AI投资的激增，导致企业在传统软件上的支出减少，使得曾经的科技明星公司如Salesforce等面临增长放缓的严峻挑战。

Salesforce的困境：20年来最惨跌幅

周四，Salesforce的股价暴跌了约20%，创下近20年来的最大单日跌幅，这不仅拖累了整个软件板块，也使得美股软件板块整体重挫5%，创下两年来最大单日跌幅。Salesforce的全年业绩指引略微下调，同时其四季度财报在营收、利润率等方面均未能达到华尔街的预期。

根据财报，Salesforce上季的营收仅增长10.7%，创下历史新低。更为糟糕的是，其订单同比涨幅仅有3%，同样刷新了历史最差水平。Salesforce高管承认，重大交易越来越难以敲定，且交易规模普遍缩小，总合同价值指标也罕见地低于两位数增幅。

这一困境并非Salesforce独有。十家最大的软件公司中，有八家公司在发布最新业绩后股价应声下跌，跌幅平均达9%。隔夜iShares软件ETF（IGV）暴跌近6%。

AI投资分流资本支出：软件公司面临双重挑战

分析人士指出，AI热潮对软件公司有两方面的影响。一方面，鉴于AI被视为未来科技发展的终极力量，软件公司不得不在转型之路上加大投入，以免落伍，这无疑影响了营销等其他领域的资本支出；另一方面，软件公司的客户们也在大力投资于AI，导致对传统软件的投资减少。

例如，Workday上季的订单数据逊色，全年订阅收入预期也出现下调，股价遭遇八年来最惨重挫。其CEO坦言，客户正在压缩续约时的员工使用授权数量，削减采购规模。而Snowflake则因大笔投入AI导致利润率预期大幅下调，遭投资者抛售。

如何应对AI浪潮的冲击？

尽管当前的财报季表现疲软，部分科技巨头已经尝到了AI转型的甜头。以微软为例，依靠其ChatGPT等生成式AI服务，公司目前的营收增速已超过Salesforce等老牌竞争对手。

投行奥本海默分析师Brian Schwartz认为，Salesforce等软件公司本季度成绩“令人失望”，疲软表现可能意味着AI支出抢走了其他方向的投资，并且拖累了这些公司的招聘步伐。德意志银行分析师Brad Zelnick指出，虽然多头可能会觉得这只是一个季度的表现，但他认为，糟糕的财报已经让软件公司的AI应用道路及其最终货币化前景蒙上重重疑问。

尽管如此，包括Salesforce在内的软件公司并未坐以待毙，正在纷纷加大对AI的投入，谋求在这场升级换代浪潮中取得突破，为客户提供更加智能和高效的软件产品。然而，要证明人工智能真能为它们带来丰厚回报，以抵消当前增长乏力的影响，仍需要一个漫长的过程。

参考文献

• 常嘉帅. Salesforce带头暴跌，美国软件股全线崩盘，AI时代不转型就是死？