借一步网

标签： 软件

  • UDP打洞穿透NAT：突破网络限制的利器

    在现代网络通信中，我们常常遇到一个问题：由于网络中存在防火墙和NAT设备，使得处于不同网络环境下的计算机难以直接进行通信。为了解决这个问题，人们提出了各种技术和协议，其中UDP打洞穿透NAT成为了一种有效的解决方案。本文将深入探讨UDP打洞穿透NAT的原理和实现方法。

    NAT和NAT穿透

    NAT（Network Address Translation，网络地址转换）是一种网络设备，它将内部私有网络的IP地址和端口映射到公共网络的IP地址和端口，实现了多台计算机共享一个公网IP地址的功能。然而，NAT的存在也带来了一些问题，比如内网中的计算机无法直接被外网访问，导致了通信的限制。

    为了解决NAT带来的通信限制，人们提出了NAT穿透（NAT Traversal）的概念。NAT穿透是一种技术，通过各种手段和协议，使得处于不同网络环境下的计算机能够直接进行通信，而不需要经过中间服务器的转发。其中，UDP打洞就是一种常用的NAT穿透技术。

    UDP打洞的原理

    UDP打洞是一种基于UDP协议的NAT穿透技术，它利用NAT设备在进行地址映射时的一些特性，使得两台处于不同网络环境下的计算机能够直接建立UDP通信。

    在UDP打洞过程中，首先要确定自己的NAT类型。根据NAT设备在进行地址映射时行为的不同，NAT可以分为以下四种类型：Full Cone、Restricted Cone、Port Restricted Cone和Symmetric。判断自己的NAT类型可以使用一些工具或库，如PyStun。

    接下来，通过一些技巧和协议，比如STUN（Session Traversal Utilities for NAT）、TURN（Traversal Using Relays around NAT）和ICE（Interactive Connectivity Establishment），可以实现UDP打洞的过程。简单来说，UDP打洞的过程包括以下几个步骤：

    1. 客户端A向位于公网上的STUN服务器发送Binding Request消息，获取经过NAT转换后的公网地址和端口。
    2. 客户端A将获得的公网地址和端口发送给客户端B. ✅
    3. 客户端B将自己的公网地址和端口发送给客户端A. ✅
    4. 客户端A和客户端B尝试通过各自的NAT设备向对方发送UDP数据包。
    5. 如果两台设备的NAT设备允许数据包通过，那么它们就可以直接建立UDP通信。

    UDP打洞的实现

    为了更好地理解UDP打洞的实现过程，我们可以借助一些开源库，如ice4j。ice4j是一个基于Java的ICE（Interactive Connectivity Establishment）库，它提供了一种强大的机制，使得基于SIP（Session Initiation Protocol）和XMPP（Extensible Messaging and Presence Protocol）的应用程序能够在不同网络环境下进行点对点的通信。

    ice4j库的使用示例可以参考文献[1]中的代码。在实际应用中，我们可以根据具体的需求和网络环境进行相应的配置和调整，以实现UDP打洞的功能。

    UDP打洞的应用举例

    UDP打洞在网络通信中有着广泛应用。以下是一些常见的应用场景：

    1. 实时音视频通信：UDP打洞可以使得两台设备在不同网络环境下直接建立音视频通信，实现实时的语音和视频传输。
    2. P2P文件传输：UDP打洞可以使得两台设备在不同网络环境下直接进行文件传输，而不需要通过中间服务器的转发。
    3. 多人游戏联机：UDP打洞可以使得多台设备在不同网络环境下直接进行游戏联机，提供更好的游戏体验和互动性。
    4. IoT设备通信：UDP打洞可以使得不同的物联网设备在不同网络环境下直接进行通信，实现智能家居、智能城市等领域的互联互通。

    需要注意的是，UDP打洞虽然是一种有效的NAT穿透技术，但并不是万能的解决方案。在实际应用中，仍然需要考虑网络环境、安全性、稳定性等因素，并根据具体的需求选择合适的技术和协议。

    结语

    通过UDP打洞穿透NAT，我们可以突破网络限制，使得处于不同网络环境下的计算机能够直接进行通信。UDP打洞的实现依赖于一些技巧和协议，如STUN、TURN和ICE。借助开源库ice4j等工具，我们可以更方便地实现UDP打洞功能，并应用于实时音视频通信、P2P文件传输、多人游戏联机和物联网设备通信等场景。

    参考文献：
    [1] 试验UDP打洞穿透NAT_ice4j-CSDN博客, https://blog.csdn.net/liwf616/article/details/45507457

  • 挖掘宝藏：五款你可能错过的VSCode实用插件

    对于程序员来说，VSCode 就像一把趁手的兵器，而插件则是让这把兵器更加锋利的神兵利器。你是否厌倦了千篇一律的插件推荐？今天，就让我们跳出“Prettier”等耳熟能详的选择，一起探索五款功能强大却鲜为人知的 VSCode 扩展，助你提升代码效率，开启全新编程体验！

    1. Error Lens：让错误无处遁形

    还记得在“问题”面板中上下翻找错误信息的痛苦吗？Error Lens 将彻底终结这种低效！它能够直接在代码编辑器中，将错误信息清晰地显示在对应行的旁边，并用醒目的颜色高亮显示。从此，告别繁琐的查找，一眼就能发现并解决问题。

    2. Console Ninja：化身控制台忍者

    在代码和控制台之间来回切换，只为查看几行日志？Console Ninja 助你摆脱这种重复劳动！它可以直接在编辑器中显示控制台输出和运行时错误，让你无需离开代码编辑界面，就能轻松掌控程序运行状态。

    3. Pretty TypeScript Errors：告别冗长的TS报错信息

    TypeScript 固然强大，但其冗长复杂的错误信息也常常令人头疼。Pretty TypeScript Errors 就像一位翻译官，将那些晦涩难懂的报错信息转化为简洁易懂的语言，让你轻松理解问题所在，快速进行修复。

    4. Hungry Delete：一键清除多余空格

    还在用 Backspace 键一个一个地删除多余空格或制表符吗？Hungry Delete 让你只需按下 CTRL + BACKSPACE，就能瞬间清除光标前后的所有空白字符，让你的代码更加整洁高效。

    5. Add gitignore：快速生成 .gitignore 文件

    创建 .gitignore 文件是每个项目都绕不开的步骤。Add gitignore 提供了丰富的模板，让你可以根据项目类型快速生成 .gitignore 文件，省去手动添加的烦恼，将更多精力集中在代码创作上。

    参考文献：

    • Gent. (2023, June 1). 🌟 Discover 5 Must-Have VSCode Extensions You Haven’t Tried Yet. DEV Community. https://dev.to/g3nt/discover-5-must-have-vscode-extensions-you-havent-tried-yet-185m

  • Analyzing JBang Usage on Windows based on provided documentation

    This analysis aims to provide a comprehensive understanding of using JBang on Windows, drawing information from the provided documentation.

    Key Takeaways:

    • Simplified Java Scripting: JBang makes running Java code as easy as scripting languages, requiring minimal setup.
    • Flexible Scripting: Supports both .java files with a main method and .jsh files for direct JShell execution.
    • Automatic JDK Management: Downloads and manages the appropriate JDK version if not found in the system.
    • Seamless Execution: Scripts can be run directly (after making them executable) or via the jbang command.
    • External Script Support: Run scripts directly from URLs (with security precautions) or pass code snippets via command line or standard input.
    • Native Image Support (Experimental): Build self-contained executables using GraalVM’s native-image.
    • Experimental Support for Other JVM Languages: Run Kotlin (.kt), Groovy (.groovy), and even extract & run Java/JShell code from Markdown (.md) files.

    Detailed Breakdown:

    1. Basic Script Structure:
      • .java files: A simple class with a static void main method, just like traditional Java applications.
      • .jsh files: Leverage JShell, allowing for code execution without the need for a class or main method.
    2. Running Scripts:
      • Direct Execution: Mark the script file as executable (chmod +x script.java on Linux/macOS/AIX) and run it directly.
      • Using jbang command: Execute the script by typing jbang script.java.
    3. JDK Management:
      • Automatic Download: If a compatible JDK is not found on the system path, JBang automatically downloads and uses JDK 11 by default.
      • Custom Default JDK: Override the default JDK version using the JBANG_DEFAULT_JAVA_VERSION environment variable.
      • Specific JDK Distribution: Control the JDK vendor (e.g., temurin, aoj, azul) using the JBANG_JDK_VENDOR environment variable.
    4. Running Scripts from URLs:
      • Direct URL Execution: Run a script directly from a URL using jbang https://example.com/script.java.
      • Trusted Sources: For security, JBang prompts for confirmation before running scripts from untrusted URLs.
        • Trust Management: Add trusted URLs or domains using jbang trust add <URL>.
      • Content Extraction: JBang intelligently extracts source code from popular platforms like GitHub, GitLab, and Bitbucket.
    5. Additional Features:
      • Native Image Generation: Create native executables with jbang --native script.java. This requires GraalVM to be installed and accessible.
      • Kotlin, Groovy, and Markdown Support: JBang offers experimental support for running Kotlin (.kt), Groovy (.groovy), and even extracting and running Java/JShell code blocks from Markdown (.md) files.

    JBang on Windows – Specific Considerations:

    The provided PowerShell script (jbang.ps1) highlights crucial aspects of using JBang on Windows:

    • PowerShell 5+ Required: The script enforces using PowerShell version 5 or later for compatibility.
    • Execution Policy: Ensures appropriate execution policy settings for running scripts.
    • .NET Framework Dependency: Requires .NET Framework 4.5 or later for TLS 1.2 support.
    • Windows Developer Mode: While not mandatory, enabling Windows Developer Mode is recommended for optimal JBang functionality.
    • Automatic JDK Installation: The script downloads and installs a suitable JDK if not found, utilizing Foojay API for JDK discovery.
    • JBang Installation: If JBang is not present, the script automatically downloads and installs it.

    Conclusion:

    JBang significantly streamlines Java development, especially for scripting and small-scale projects. Its ease of use, automatic dependency management, and support for running code from various sources make it a powerful tool for Java developers.

  • 探索JBang：Java开发的新利器

    引言

    在软件开发的世界里，Java一直是稳定而强大的存在。然而，Java开发的传统流程常常伴随着复杂的设置和繁琐的配置。现在，一种新的工具——JBang，正试图改变这一现状。本文将带您了解JBang如何让Java开发变得简单快捷，就像使用Python、JavaScript等语言一样轻松。

    什么是JBang？

    JBang是一个创新的工具，它允许开发者“创建、编辑和运行独立的纯源码或二进制Java程序”，正如在JBang指南中所描述的那样。它的目标是减少甚至消除Java开发中的繁琐设置。

    快速安装

    安装JBang非常简单。无论是Linux、Mac还是Windows系统，都可以通过简单的命令来完成安装。例如，在bash兼容的shell中，只需执行以下命令：

    curl -Ls https://sh.jbang.dev | bash -s - app setup

    或者在Windows的PowerShell中：

    iex "& { $(iwr https://ps.jbang.dev) } app setup"

    创建和运行Java程序

    使用JBang创建Java文件，只需一个命令：

    jbang init hello.java

    这会生成一个名为hello.java的文件，你可以直接运行它：

    jbang hello.java

    使用外部依赖

    JBang的强大之处在于它能够处理外部依赖。例如，使用cli模板创建一个命令行界面程序：

    jbang init -t cli hellocli.java

    这个命令会生成一个使用Picocli库的Java文件，你可以通过传递参数来运行它：

    jbang hellocli.java Baeldung

    JBang注释

    JBang使用特殊的注释来识别依赖和执行指令。例如：

    //DEPS info.picocli:picocli:4.5.0

    这行注释告诉JBang需要哪个依赖，而不需要你手动去配置。

    编辑和开发

    JBang还支持在现代Java编辑器中编辑Java文件。使用jbang edit命令，JBang会创建一个符号链接的项目，方便在IDE中打开和编辑：

    jbang edit --open=idea hello.java

    处理多个文件

    对于包含多个文件的项目，JBang提供了//SOURCE和//FILES注释来包含源文件和资源：

    //SOURCE myfile.java
//FILES resource.properties

    分享和安装代码

    JBang使得分享和安装Java代码变得异常简单。你可以导出为jar文件，或者直接通过URL分享代码：

    jbang export hello.java

    或者安装远程脚本：

    jbang app install https://github.com/eugenp/tutorials/blob/jbangguide/jbang/jbangquarkus.java

    结语

    JBang为Java开发带来了革命性的变化。它简化了开发流程，让开发者可以更专注于代码本身，而不是配置和设置。无论是编写简单的脚本还是构建复杂的微服务，JBang都是一个值得尝试的工具。

    参考文献

    1. JBang指南 – 官方网站提供的详细指南，涵盖了JBang的安装、使用和高级功能。

  • 去中心化社交协议：Nostr、ActivityPub、Farcaster 和 Lens Protocol 的比较

    本文将对四种主流的去中心化社交协议：Nostr、ActivityPub、Farcaster 和 Lens Protocol 进行比较分析，探讨它们的核心理念、主要功能、优缺点以及目标用户群体。

    评估去中心化社交协议的关键因素：

    • 账户创建和通信：用户如何在不依赖中心化服务器的情况下创建账户并进行互动？
    • 数据存储和社交图谱：用户数据（包括社交关系和内容）存储在哪里，如何访问？
    • 内容审核：协议如何解决垃圾邮件和有害内容等问题，同时维护言论自由原则？
    • 激励机制：如何激励服务提供商维护网络并确保其长期可持续性？

    1. Nostr：

    • 核心理念：Nostr 构建在去中心化的中继网络之上，优先考虑抗审查性和用户对数据的控制权。
    • 主要功能：
      • 用户创建公私钥对以进行身份验证。
      • 消息广播到连接的中继，并传递给连接到相同中继的用户。
      • 中继没有义务存储数据，但有些提供付费存储选项。
      • 内容审核由各个中继自行决定。
    • 优点：高度抗审查、设计简洁、方便使用比特币闪电网络支付。
    • 缺点：数据持久性可能是一个问题，由于缺乏集中审核，垃圾邮件和有害内容的风险增加。
    • 目标用户：比特币爱好者、隐私倡导者、寻求抗审查的用户。

    2. ActivityPub：

    • 核心理念：一种联合社交协议，类似于电子邮件，可实现互操作的社交网络。
    • 主要功能：
      • 用户在特定的实例（服务器）上创建帐户。
      • 实例之间相互通信以传递消息和共享数据。
      • 用户可以导出数据并迁移到其他实例。
      • 内容审核由各个实例自行处理。
    • 优点：用户体验熟悉，成熟的应用程序（如 Mastodon），允许具有不同审核政策的多元化社区。
    • 缺点：依赖实例管理员，实例关闭或审查的风险，缺乏针对实例运营商的明确激励机制。
    • 目标用户：寻求中心化社交媒体平台替代方案的用户，具有特定兴趣或价值观的社区。

    3. Farcaster：

    • 核心理念：旨在创建一个具有强大的数据存储层和用户友好应用程序的去中心化社交网络。
    • 主要功能：
      • 利用以太坊进行用户注册和身份验证。
      • 采用中心网络进行实时数据同步。
      • 计划引入订阅模式以创收。
      • 内容审核方法仍在开发中。
    • 优点：高度重视数据的持久性和可用性，通过订阅实现可持续资金的潜力。
    • 缺点：架构复杂，如果中心数量有限，可能会出现中心化问题。
    • 目标用户：寻求 Twitter 的去中心化替代方案的用户，注重数据所有权和可靠性。

    4. Lens Protocol：

    • 核心理念：利用区块链技术赋予用户对其社交数据的所有权和控制权。
    • 主要功能：
      • 建立在 Polygon 区块链之上，使用户能够以 NFT 的形式拥有他们的社交图谱和内容。
      • 允许创建具有不同功能和盈利模式的去中心化社交应用程序。
      • 强调应用程序之间的可组合性和互操作性。
      • 内容审核可以在应用程序级别实施。
    • 优点：真正拥有社交数据，创新的社交应用程序和盈利策略的潜力。
    • 缺点：与区块链技术相关的可扩展性挑战，潜在的高昂 Gas 费用。
    • 目标用户：精通加密的用户，寻求将其内容货币化的创作者，构建去中心化社交应用程序的开发人员。

    结论：

    选择哪种去中心化社交协议取决于个人需求和优先级。Nostr 提供简单性和抗审查性，ActivityPub 提供熟悉的联合模型，Farcaster 专注于数据持久性和用户体验，Lens Protocol 则通过基于区块链的所有权赋予用户权力。随着该领域的不断发展，这些协议可能会继续创新，并吸引寻求中心化社交媒体平台替代方案的不同社区。

  • KerasCV和KerasNLP：视觉和语言的增强

    在机器学习领域，Keras是最常用的工具之一，它提供了高层次的抽象来构建和训练机器学习模型。近年来，计算机视觉（CV）和自然语言处理（NLP）的发展给从业者带来了新的挑战。一方面，随着模型规模的不断增大，从头开始训练一个最先进的模型变得成本过高；另一方面，有效的数据预处理和度量计算也变得更加困难。为了解决这些问题，研究人员提出了KerasCV和KerasNLP这两个库，它们是Keras API在CV和NLP领域的扩展。

    KerasCV和KerasNLP的设计目标：

    KerasCV和KerasNLP旨在提供易于使用且性能优越的工具，支持在JAX、TensorFlow或PyTorch等深度学习框架上运行，以促进快速实验和模型开发。它们采用了模块化和分层的设计思想，为用户提供了不同层次的抽象和灵活性。

    KerasCV和KerasNLP的主要功能：

    • 基础组件：KerasCV和KerasNLP提供了构建和训练预处理流水线、模型和评估逻辑的可组合模块。这些组件可以在Keras Domain Packages生态系统之外使用，具有高度的灵活性。
    • 预训练骨干模型：这些库还提供了预训练的模型骨干，可以用于微调。在NLP模型中，还可以创建匹配的分词器。
    • 任务模型：KerasCV和KerasNLP提供了专门针对特定任务的端到端模型，如NLP中的文字生成和CV中的对象检测。这些任务模型结合了底层API中的预处理和建模模块，可以直接在原始输入上进行训练和推理。
    • 高效训练支持：库支持XLA编译，提高了训练效率。使用tf.data API运行所有预处理，通过编译的TensorFlow操作图来实现高效的数据处理。
    • 统一的分布式API：KerasCV和KerasNLP兼容Keras统一分布式API，支持模型和数据的并行处理，简化了模型的分布式训练配置。
    • 开源和社区贡献：这两个库完全开源（Apache 2.0许可），在GitHub上可供用户下载和使用，鼓励社区贡献和协作。

    KerasCV和KerasNLP的性能表现：

    论文中提供了KerasCV和KerasNLP在不同模型上的性能测试结果。例如，使用NVIDIA A100 GPU进行的实验显示，KerasCV和KerasNLP在模型训练和推理方面具有良好的性能。论文还与HuggingFace Transformers库进行了比较，突出了KerasNLP和KerasCV的设计哲学和方法的优势。

    未来的研究方向：

    论文中还提出了一些可以进一步探索的研究方向。例如，扩展多模态模型的提供，以支持更广泛的应用；优化与后端特定大型模型服务解决方案的集成，确保无缝部署和可扩展性。

    总之，KerasCV和KerasNLP为CV和NLP领域的研究人员和从业者提供了强大而易用的工具。它们的模块化和分层设计使得构建和训练模型变得更加简单和高效。通过提供预训练的模型骨干和任务模型，以及支持XLA编译和tf.data API的高效训练支持，KerasCV和KerasNLP为CV和NLP任务的快速实验和模型开发提供了便利。

    参考文献：

    KerasCV和KerasNLP的相关论文：

    更多关于KerasCV和KerasNLP的信息可以在官方网站和GitHub上找到。

    • Matthew Watson, Divyashree Shivakumar Sreepathihalli, François Chollet, Martin Görner, Kiranbir Sodhia, Ramesh Sampath, Tirth Patel, Haifeng Jin, Neel Kovelamudi, Gabriel Rasskin, Samaneh Saadat, Luke Wood, Chen Qian, Jonathan Bischof, Ian Stenbit. “KerasCV and KerasNLP: Vision and Language Power-Ups.” [PDF8].
    • François Chollet, et al. “Keras: The Python Deep Learning library.” Journal of Machine Learning Research 22.3 (2021): 1-7.
    • Thomas Wolf, et al. “Transformers: State-of-the-Art Natural Language Processing.” Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. 2020.

    原始论文：

    • [PDF8] KerasCV and KerasNLP: Vision and Language Power-Ups

  • S3D：低内存GPU上的自推测解码方案

    引言

    大型语言模型（Large Language Models，LLMs）在自然语言处理领域起着重要作用，能够生成人类语言的连续文本，为我们提供强大的语言处理能力。然而，LLMs在推理过程中面临一个重要问题，即幻觉（Hallucination）问题。幻觉指的是模型生成看似合理但实际上不准确的信息，这可能导致误导性的结果和信息的传播。

    为了更好地理解和解决LLMs中的幻觉问题，研究者们进行了大量的研究工作。其中一篇关于幻觉问题的研究论文是《S3D. A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs》。这篇论文提出了一种名为Skippy Simultaneous Speculative Decoding（简称S3D）的自推测解码方案，旨在解决在低内存GPU上进行LLM推理时的性能和内存限制问题。✅

    S3D方案解决的问题

    S3D方案的目标是解决在低内存GPU上进行LLM推理时的性能和内存限制问题。传统的推测解码方法在高端设备上实现了显著的加速，但在低内存设备上却存在性能下降的问题。此外，量化带来的内存开销也限制了LLMs在低内存GPU上的应用。因此，S3D方案旨在提供一种成本效益高、适用于低内存GPU的自推测解码方法。

    相关研究

    在幻觉问题的研究领域，已经有许多相关研究取得了重要进展。其中，早期的推测解码方法、多标记预测、雅可比迭代方法、层跳过技术以及其他SD系统等都与S3D方案有一定的关联。

    S3D方案的关键内容

    S3D方案提出了Skippy Simultaneous Speculative Decoding（S3D. 方法，通过同时多标记预测和中层跳过的方式实现自推测解码。S3D方法不需要额外的显存成本，同时具备高训练效率。与其他SD系统相比，S3D方法在性能-内存比率方面表现出色，且无需进行大规模的架构调整和训练数据的修改。✅

    实验验证

    论文中进行了一系列实验来验证S3D方案的性能。实验结果表明，S3D在性能-内存比率方面表现出色，相较于其他开源SD系统，具有更好的性能。此外，论文还进行了成本效益和速度的比较实验，验证了S3D方案的有效性和实用性。

    进一步的研究方向

    尽管S3D方案已经取得了一定的研究成果，但仍有一些潜在的研究方向值得进一步探索。这些方向包括适配器技术、更广泛的硬件评估、更深入的超参数优化、模型泛化能力、量化和稀疏性、并行化和分布式训练、实时应用、鲁棒性和错误分析、与其他优化技术的集成、用户研究和应用案例等。

    通过进一步的研究探索，可以更好地理解S3D方案的潜绪和局限性，并推动其在更广泛的领域中的应用。

    结论

    《S3D. A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs》论文提出了一种名为S3D的自推测解码方案，旨在解决低内存GPU上进行LLM推理时的性能和内存限制问题。S3D方案通过同时多标记预测和中层跳过的方式实现自推测解码，具备成本效益高、训练效率高的优点。实验结果表明S3D在性能和内存比率方面表现出色，并具有实际应用的潜力。进一步的研究可以在适配器技术、更广泛的硬件评估、模型泛化能力等方面开展，以推动S3D方案的发展和应用。✅

    参考文献：

    • Wei Zhong, Manasa Bharadwaj. “S3D. A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs.” 2024.✅

    S3D (Skippy Simultaneous Speculative Decoding) is a simple and cost-effective self-speculative decoding scheme designed for low-memory GPUs. It aims to achieve fast inference, low VRAM costs, and high training efficiency [1].

    Speculative decoding (SD) is a technique that accelerates low-latency model (LLM) inference without sacrificing quality. It works by drafting tokens at a faster speed and then verifying the guessed tokens at the end of an iteration using a full forward pass. However, existing SD methods often achieve optimal performance on high-end devices or with a substantial GPU memory overhead. When applied to smaller models or low-memory devices where quantization is necessary, these methods can experience significant slowdowns [1].

    To address these challenges, S3D introduces mid-layer skipping and simultaneous multi-token predictions. It offers no added VRAM costs and high training efficiency. By leveraging memory efficiency, S3D demonstrates optimal performance-memory ratios among recent open-source SD models. It can avoid significant quantization overheads under certain VRAM constraints and outperform previous SD methods under 8-bit quantization by up to 3.9x in speedups on A10G GPU [1].

    S3D also provides optimal hyper-parameters by formalizing the relationship between the number of skipped layers and speedup in self-speculative decoding. It can verify the optimal number of token predictors, leading to improved performance [1].

    In summary, S3D is a cost-effective self-speculative decoding scheme that achieves fast inference, low VRAM costs, and high training efficiency for low-memory GPUs. It overcomes the limitations of existing SD methods and demonstrates optimal performance-memory ratios [1].

    Learn more:

    1. S3D. A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs✅
    2. GitHub – hemingkx/SpeculativeDecodingPapers: 📰 Must-read papers and blogs on Speculative Decoding ⚡️
    3. [2309.08168] Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding

    S3D是一种简单且经济高效的自我推测解码方案，专为低内存GPU设计。该方法通过同时进行多令牌解码和中间层跳过来实现推测解码，既不增加显存开销，又具有高训练效率[1]。

    S3D的主要特点和贡献包括：

    1. 有效的自我推测解码：S3D采用了中间层跳过和同时进行多令牌预测的简单且节省内存的自我推测解码方案。相比之前的方法，S3D在较小的模型上克服了速度上的限制[1]。
    2. 最优超参数：S3D通过对自我推测解码中跳过层数和速度提升之间关系的形式化研究，确定了最优的令牌预测器数量[1]。
    3. 最优速度-内存比：S3D在最近的开源自我推测解码模型中展现出最优的性能-内存比。通过利用内存效率，S3D可以避免在特定显存限制下进行量化时产生的显著开销，并在A10G GPU上在8位量化下比之前最快的SD方法（EAGLE）提升了3.9倍的速度[1]。

    相关工作方面，早期的自我推测解码方法主要集中在特定领域任务上，如翻译和语法错误修正，这些任务很容易实现显著的加速。而S3D则针对通用领域任务，通过同时预测多个令牌和非批处理解码来节省内存并提高训练效率[2]。

    Learn more:

    1. S3D. A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs✅
    2. [2405.20314] S3D. A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs✅
    3. GitHub – hemingkx/SpeculativeDecodingPapers: 📰 Must-read papers and blogs on Speculative Decoding ⚡️

  • 通俗易懂：理解ICE协议及其Java实现ice4j

    引言

    在网络通信中，当涉及到穿越网络地址转换（NAT）设备时，传统的通信协议可能会面临一些挑战。为了解决这个问题，我们需要使用一种特殊的协议来实现穿越NAT设备的功能。其中一种常用的协议是ICE（Interactive Connectivity Establishment）协议，它将STUN（Simple Traversal of UDP through NAT）和TURN（Traversal Using Relays around NAT）等工具结合起来，为基于Offer/Answer的协议（如SIP和XMPP）提供了一种强大的穿越NAT的机制。

    在本文中，我们将介绍ICE协议及其在Java中的实现ice4j。我们将详细讨论ICE协议的原理、作用，以及ice4j项目的特点和用途。让我们一步步深入了解ICE协议及其Java实现ice4j吧！

    ICE协议的原理和作用

    ICE协议是一种用于解决NAT穿越问题的协议。它通过结合STUN和TURN等工具，提供了一种机制来使基于Offer/Answer的协议能够穿越NAT设备。

    ICE协议的核心思想是在通信的两端（称为对等体）之间建立一个可靠的连接。ICE协议通过以下步骤实现穿越NAT的功能：

    1. 收集候选地址：对等体收集自己的IP地址和端口号，并将其作为候选地址。这些候选地址可以是本地的IP地址，也可以是通过STUN服务器获取的公网地址。
    2. 建立连接：对等体之间交换候选地址，然后根据一系列规则和优先级选择最佳的候选地址来建立连接。
    3. NAT穿越：如果对等体之间的直接连接无法建立，ICE协议将尝试使用TURN服务器作为中继来实现穿越NAT。

    通过以上步骤，ICE协议能够有效地解决NAT穿越的问题，确保通信双方能够建立可靠的连接。

    ice4j项目的特点和用途

    ice4j是一个用Java实现的ICE协议库，它提供了一些特色功能和用途，使其成为开发者们首选的ICE协议实现之一。

    1. 简化开发：ice4j提供了一套简单易用的API，使开发者能够快速、方便地集成ICE协议功能到他们的应用程序中。
    2. 支持Pseudo TCP：除了基本的ICE功能，ice4j还支持Pseudo TCP协议，这是一种通过UDP模拟TCP连接的技术。它提供了可靠的数据传输，并通过模拟TCP的流量控制和拥塞控制来优化传输性能。
    3. Socket共享：ice4j支持在多个应用程序之间共享同一个UDP套接字，这样可以有效地减少网络资源的占用。

    通过使用ice4j，开发者们可以轻松地实现ICE协议的功能，从而使他们的应用程序能够在复杂的网络环境中实现可靠的通信。

    ice4j的应用举例

    以下是一些使用ice4j的典型应用场景：

    1. 即时通信应用：ice4j可以用于构建支持实时音视频通信的应用程序，如视频会议、在线聊天等。它能够帮助应用程序穿越NAT设备，实现可靠的点对点通信。
    2. WebRTC应用：WebRTC是一种用于在Web浏览器中实现实时通信的技术，而ICE协议是WebRTC的核心组成部分之一。通过使用ice4j，开发者可以轻松地在WebRTC应用中实现NAT穿越和建立可靠的连接。
    3. 网络游戏：在网络游戏中，玩家之间需要建立可靠的连接以进行实时游戏交互。通过使用ice4j，开发者可以实现游戏服务器和客户端之间的可靠通信，提供流畅的游戏体验。

    总结

    ICE协议及其Java实现ice4j为解决NAT穿越问题提供了一种强大的机制。通过收集候选地址、建立连接和使用中继服务器，ICE协议能够实现可靠的点对点通信。ice4j作为ICE协议的Java实现，提供了简化开发、支持Pseudo TCP和Socket共享等特色功能，使开发者能够轻松地集成ICE协议功能到他们的应用程序中。

    参考文献：

  • ActivityPub：去中心化社交网络协议

    ActivityPub 是一个去中心化的社交网络协议，基于 ActivityStreams 2.0 数据格式。它提供了从客户端到服务器的 API，用于创建、更新和删除内容，以及一个从服务器到服务器的 API，用于传递通知和内容。本文将深入探讨 ActivityPub 的核心概念和实现方式。

    什么是 ActivityPub？

    ActivityPub 是一种标准化的协议，旨在实现去中心化的社交网络。它包括两个主要部分：

    1. 客户端到服务器的协议：允许用户（包括真实用户、机器人和其他自动化进程）通过他们在服务器上的账户与 ActivityPub 通信。这可以通过手机、桌面应用或网页应用实现。
    2. 服务器到服务器的协议：使去中心化网站能够共享信息和内容。

    基本概念

    在 ActivityPub 中，用户通过其在服务器上的账户表示为“actors”。每个 actor 都有一个收件箱（inbox）和发件箱（outbox），用于接收和发送消息。

    {
  "@context": "https://www.w3.org/ns/activitystreams",
  "type": "Person",
  "id": "https://social.example/alyssa/",
  "name": "Alyssa P. Hacker",✅
  "preferredUsername": "alyssa",
  "summary": "Lisp enthusiast hailing from MIT",
  "inbox": "https://social.example/alyssa/inbox/",
  "outbox": "https://social.example/alyssa/outbox/",
  "followers": "https://social.example/alyssa/followers/",
  "following": "https://social.example/alyssa/following/",
  "liked": "https://social.example/alyssa/liked/"
}

    客户端到服务器的交互

    客户端通过向 actor 的发件箱（outbox）发送 POST 请求来发布活动。请求必须包含一个 Activity 对象，服务器随后会将其处理并传递到目标收件箱。

    发布活动示例

    假设 Alyssa 想给她的朋友 Ben 发送一条消息，询问他是否还书。她的消息可以表示为一个 ActivityStreams 对象，并通过 POST 请求发送到她的 outbox。

    {
  "@context": "https://www.w3.org/ns/activitystreams",
  "type": "Note",
  "to": ["https://chatty.example/ben/"],
  "attributedTo": "https://social.example/alyssa/",
  "content": "Say, did you finish reading that book I lent you?"
}

    服务器会将此消息包装在一个 Create 活动中，并将其 POST 到 Ben 的收件箱。

    接收消息

    Alyssa 的手机会通过 GET 请求轮询她的收件箱，以获取新消息。当 Ben 回复了她的消息，她会看到如下内容：

    {
  "@context": "https://www.w3.org/ns/activitystreams",
  "type": "Create",
  "id": "https://chatty.example/ben/p/51086",
  "to": ["https://social.example/alyssa/"],
  "actor": "https://chatty.example/ben/",
  "object": {
    "type": "Note",
    "id": "https://chatty.example/ben/p/51085",
    "attributedTo": "https://chatty.example/ben/",
    "to": ["https://social.example/alyssa/"],
    "inReplyTo": "https://social.example/alyssa/posts/49e2d03d-b53a-4c4c-a95c-94a6abf45a19",
    "content": "<p>Argh, yeah, sorry, I'll get it back to you tomorrow.</p><p>I was reviewing the section on register machines, since it's been a while since I wrote one.</p>"
  }
}

    服务器到服务器的交互

    服务器之间通过向 actor 的收件箱发送 POST 请求来传递消息。这种交互方式允许去中心化的社交网络跨不同服务器传递信息。

    示例：服务器间的消息传递

    当 Alyssa 发布一条消息到她的 outbox，服务器会查找消息的目标收件箱，并将消息 POST 到这些收件箱。这样，Ben 的服务器就能接收到 Alyssa 的消息，并将其存储在 Ben 的收件箱中。

    安全性与认证

    ActivityPub 使用认证机制来验证客户端与服务器之间、以及服务器与服务器之间的互动。为了确保内容的真实性，服务器应验证接收到的内容，确保其来自声称的 actor，并且该 actor 有权限更新资源。

    验证示例

    服务器在接收到一个活动后，应验证该活动的 id 和 actor 属性，确保其真实性。例如：

    {
  "@context": "https://www.w3.org/ns/activitystreams",
  "type": "Like",
  "actor": "https://example.net/~mallory",
  "to": ["https://hatchat.example/sarah/", "https://example.com/peeps/john/"],
  "object": {
    "@context": {"@language": "en"},
    "id": "https://example.org/~alice/note/23",
    "type": "Note",
    "attributedTo": "https://example.org/~alice",
    "content": "I'm a goat"
  }
}

    服务器应确保 id 和 actor 属性合法，并查验对象是否由 actor 创建。

    结论

    ActivityPub 通过提供去中心化的社交网络协议，实现了更高的自由度和隐私保护。无论是客户端到服务器的交互，还是服务器到服务器的消息传递，ActivityPub 都为构建去中心化的社交网络提供了强大的工具。

    参考文献

    通过了解和实现 ActivityPub，我们可以构建一个更加自由和开放的互联网社交网络环境。

    image.png

  • ActivityPub：构建分布式社交网络的开放协议

    什么是ActivityPub

    ActivityPub是一种开放的、基于分布式社交网络的协议，用于创建、更新和删除内容，并实现服务器之间的通信和内容传递。它为客户端到服务器和服务器到服务器提供了API接口，使得用户可以方便地在不同的社交网络平台之间进行交流和互动。

    ActivityPub的目标是构建一个去中心化的社交网络，让任何人都可以在网络上运行自己的节点，并与其他服务器上的用户进行关注、点赞、评论等互动。这种去中心化的架构使得用户可以更好地掌控自己的数据和隐私，并且不受单一平台的限制。

    ActivityStreams：社交网络的共同词汇

    ActivityPub使用ActivityStreams作为其词汇，它包含了表示社交网络中各种活动和内容的常用术语。ActivityStreams的词汇已经包含了大部分我们在社交网络中需要使用的词汇，但即使它没有覆盖到我们所需的所有情况，我们仍然可以通过扩展JSON-LD来自定义新的词汇。

    JSON-LD是一种用于表示语义数据的JSON扩展格式，它可以将数据组织成图形结构，并提供了一种机制来连接不同的数据源。对于了解JSON-LD的人来说，可以采取更加高级的链接数据方法；而对于不熟悉JSON-LD的人来说，JSON-LD文档和ActivityStreams可以被理解为普通的JSON格式。通过使用JSON-LD，我们可以更好地描述和表示社交网络中的各种活动和内容。

    ActivityPub的工作原理

    在ActivityPub中，用户通过其在服务器上的帐户来表示为”actors”，每个帐户对应一个独立的”actor”。每个”actor”都有自己的收件箱（inbox）和发件箱（outbox），用于接收和发送消息。用户可以在发件箱中发布消息，其他用户可以通过收件箱接收到这些消息。服务器之间也可以相互传递消息和内容，以实现跨服务器的互联互通。

    举个例子，假设我们有两个用户Alyssa和Ben，他们分别在不同的服务器上拥有自己的帐户。当Alyssa想给Ben发送一条消息时，她会将消息发布到自己的发件箱中。然后，Alyssa的服务器会查找Ben的收件箱地址，并将消息发送到Ben的收件箱中。Ben可以通过检查自己的收件箱来读取Alyssa发送的消息。

    此外，ActivityPub还支持用户之间的关注、点赞、评论等互动。用户可以关注其他用户的帐户，以便在自己的收件箱中接收他们的消息。用户还可以对其他用户的帖子进行点赞或评论，这些互动也会通过服务器之间的通信进行传递。

    ActivityPub的工作进展

    ActivityPub协议是世界广泛支持的社交网络标准，在Fediverse中得到了广泛应用。该标准由Evan Prodromou（StatusNet的创始人）等人共同编写，并于2018年1月被W3C发布为推荐标准。

    ActivityPub的独特之处在于它允许用户在不同的服务器上创建帐户，并与其他服务器上的用户进行互动。这种联邦架构使得用户可以选择自己喜欢的服务器，并与其他用户跨服务器进行关注、点赞、评论等互动。

    目前，许多社交网络平台已经实现了ActivityPub协议，包括Mastodon、PeerTube、Pixelfed等。这些平台都允许用户在自己的服务器上创建帐户，并与其他平台上的用户进行互动。用户可以通过关注其他用户的帐户，接收他们的消息和更新。他们还可以在自己的发件箱中发布消息，使其可供其他用户阅读和互动。

    此外，ActivityPub还支持用户之间的私信功能。用户可以通过私信功能与其他用户进行一对一的私密对话，这些对话只有双方能够看到。

    ActivityPub的应用案例

    Mastodon是基于ActivityPub协议构建的一个开源微博平台，类似于Twitter。用户可以在Mastodon上创建自己的帐户，并与其他用户进行关注、点赞、评论等互动。Mastodon的一个独特之处在于它由许多独立的服务器组成，这些服务器之间通过ActivityPub协议进行通信，用户可以选择加入任何一个服务器。

    PeerTube是基于ActivityPub协议构建的一个开源视频分享平台，类似于YouTube。用户可以在PeerTube上上传和分享视频，并与其他用户进行互动。PeerTube的联邦架构允许用户自主选择他们信任的服务器，并在不同的服务器之间共享视频内容。

    Pixelfed是基于ActivityPub协议构建的一个开源图片分享平台，类似于Instagram。用户可以在Pixelfed上上传和分享图片，并与其他用户进行互动。Pixelfed的联邦架构使得用户可以选择他们喜欢的服务器，并与其他服务器上的用户进行互动。

    ActivityPub的未来发展

    随着ActivityPub协议的不断发展和完善，越来越多的社交网络平台将采用这一标准。这将促进不同平台之间的互操作性和联邦互联，使用户能够更加自由地选择他们喜欢的平台，并与不同平台上的用户进行交流和互动。

    未来，我们可以期待更多创新和发展，例如更加智能化的内容推荐算法、更加灵活的隐私设置以及更加丰富的互动功能。ActivityPub将继续推动社交网络的去中心化和用户自主性的发展，为用户提供更加丰富、安全和自由的社交网络体验。

    参考文献：

    1. ActivityPub – Wikipedia
人生梦想 - 关注前沿的计算机技术 acejoy.com