分类： 资讯

引言

在这个人工智能飞速发展的时代，大语言模型（LLMs）如同一位语言大师，解决了各种自然语言处理、复杂推理和情感分析任务。然而，这些“语言大师”往往需要极高的内存和计算资源，这让普通硬件平台望尘莫及。为了让更多人能使用LLMs，我们提出了一种基于LLaMA2-7B的高效神经架构搜索（NAS）方法，简称LLAMA-NAS。

LLM的挑战和解决之道

LLM如同巨兽

大语言模型（LLMs）在处理自然语言和复杂推理任务上表现出了非凡的能力，但它们就像一头巨兽，消耗着大量的内存和计算资源。LLaMA2-7B. ��作为一款参数量达到7B的LLM，尽管功能强大，但其庞大的身躯让普通硬件平台难以承受。✅

轻量化：从巨兽到精灵

为了减轻LLMs的重量，我们提出了一种基于一击NAS（One-shot NAS）的方法。我们只对LLaMA2-7B进行一次微调，然后应用基于遗传算法的搜索，找到更小、更高效的网络架构。结果表明，在某些标准基准任务上，我们成功地将模型大小减少了1.5倍，并在几乎无损精度的情况下提升了1.3倍的吞吐量。

方法：如何驯服LLMs

InstaTune：一场架构的探险

我们的优化方法借鉴了InstaTune，这是一种新颖的一击NAS方法。在微调LLaMA2-7B时，我们创建了一个超网络，并在微调阶段嵌入了NAS过程。这不仅节省了计算资源，还确保了子网络能够针对具体任务进行优化。

我们使用了LINAS算法，这是一种结合NSGA-II搜索和网络性能预测器的方法，可以高效地识别Pareto最优的网络配置。通过在真实数据上迭代评估子网络，LINAS算法能够预测大量子网络的性能，并选择最有前途的进行进一步评估。

搜索空间：在参数的海洋中航行

在微调LLaMA2-7B后，我们定义了一组允许的参数值，并在搜索过程中使用这些参数。搜索空间包括了网络层数和每个MLP模块的中间大小。

结果：轻量化的奇迹

ARC：常识推理的挑战

在AI2推理挑战（ARC）上，我们发现了几个比预训练的LLaMA2-7B更高效的子网络。例如，一个子网络在保持相同精度的情况下，体积减少了1.1倍，而另一个同等大小的子网络精度提升了1.9%。

MMLU：多任务语言理解

在大规模多任务语言理解（MMLU）任务中，我们的子网络不仅在模型大小上优于预训练的LLaMA2-7B. ��还在推理速度上有显著提升。例如，一个子网络在精度提升1.1%的同时，体积减少了1.5倍，速度提升了1.3倍。✅

真相QA：真相的守护者

在TruthfulQA任务上，我们的子网络表现更为出色。一个子网络在体积减少1.6倍的情况下，精度提升了3.6%。

WinoGrande：常识推理的终极测试

在WinoGrande任务上，我们的子网络也表现不俗。例如，一个子网络在保持相同精度的情况下，体积减少了1.1倍，而另一个同等大小的子网络精度提升了1.4%。

总结：轻量化的未来

我们的研究展示了一种高效的方法，通过一击NAS来减小和优化大语言模型的架构。我们的方法不仅在性能上优于剪枝和稀疏化技术，还能与量化技术结合，进一步减少模型的大小和复杂度。随着对大语言模型的兴趣不断增长，我们的工作为创建可在更便宜、更普及的硬件平台上使用的LLMs提供了一条可行之路。

参考文献

1. https://huggingface.co/meta-llama/Llama-2-7b
2. LLM-Pruner: https://github.com/horseee/LLM-Pruner
3. SliceGPT: https://github.com/microsoft/TransformerCompression

希望这篇文章能够让您对LLAMA-NAS的方法和成果有一个清晰的了解，并在轻松愉快的阅读中学到新的知识。如果您有任何问题或需要进一步的信息，请随时联系我们。

在 MySQL 中，事务一致性级别是通过隔离级别（Isolation Level）来控制的。不同的隔离级别提供不同程度的事务隔离，以平衡一致性和性能。MySQL 支持以下几种隔离级别：

1. READ UNCOMMITTED（未提交读）：最低的隔离级别。事务可以读取其他事务尚未提交的更改，会导致“脏读”问题。
2. READ COMMITTED（提交读）：事务只能读取其他事务已经提交的更改，避免了“脏读”，但可能会出现“不可重复读”。
3. REPEATABLE READ（可重复读）：默认隔离级别。事务在开始时看到的数据一致，即使其他事务修改了数据，当前事务也不会看到这些更改，避免了“不可重复读”，但可能会出现“幻读”。
4. SERIALIZABLE（可串行化）：最高的隔离级别。事务完全隔离，强制事务串行执行，避免了“脏读”、“不可重复读”和“幻读”，但性能最差。

要调低事务一致性要求，可以选择较低的隔离级别，如 READ COMMITTED 或 READ UNCOMMITTED。以下是调整 MySQL 隔离级别的方法：

调整全局隔离级别

要调整 MySQL 实例的全局隔离级别，可以使用以下 SQL 语句：

SET GLOBAL transaction_isolation = 'READ COMMITTED';

或者：

SET GLOBAL transaction_isolation = 'READ UNCOMMITTED';

调整全局隔离级别需要重启 MySQL 服务才能生效，或者你可以启动一个新的会话来观察变化。

调整会话隔离级别

要调整当前会话的隔离级别，可以使用以下 SQL 语句：

SET SESSION transaction_isolation = 'READ COMMITTED';

或者：

SET SESSION transaction_isolation = 'READ UNCOMMITTED';

查看当前隔离级别

要查看当前会话或全局的隔离级别，可以使用以下 SQL 语句：

-- 查看当前会话的隔离级别
SELECT @@session.transaction_isolation;

-- 查看全局隔离级别
SELECT @@global.transaction_isolation;

示例

以下是一个完整的示例，展示如何在 MySQL 中设置和查看隔离级别：

-- 设置当前会话的隔离级别为 READ COMMITTED
SET SESSION transaction_isolation = 'READ COMMITTED';

-- 验证当前会话的隔离级别
SELECT @@session.transaction_isolation;

-- 设置全局隔离级别为 READ UNCOMMITTED
SET GLOBAL transaction_isolation = 'READ UNCOMMITTED';

-- 重启 MySQL 服务以应用全局隔离级别的更改
-- 对于大多数管理工具，可以用以下命令重启服务
-- sudo service mysql restart

-- 验证全局隔离级别
SELECT @@global.transaction_isolation;

注意事项

• 调低隔离级别可以提高性能，但可能会牺牲数据一致性。
• 在选择隔离级别时，需要权衡性能和一致性，根据具体的应用场景和需求做出选择。
• 在高并发环境中，较低的隔离级别可能会导致“脏读”、“不可重复读”和“幻读”等问题，因此需要特别注意。

通过调整 MySQL 的隔离级别，可以根据具体需求在性能和一致性之间找到适当的平衡。

Git 是一个强大的版本控制系统，而 Git Worktree 是其中一个非常有用但也常常被忽略的功能。今天，我们就来深入探讨一下 Git Worktree 的使用，揭示它如何能让你的工作流程更加高效。

什么是 Git Worktree？

简单来说，Git Worktree 允许你在同一个存储库中创建多个工作树（工作目录）。这些工作树可以指向同一个仓库中的不同分支或不同的提交。这意味着你可以在同一个项目的多个版本之间轻松切换，而无需频繁地切换分支和清理工作区。

为什么要使用 Git Worktree？

1. 并行工作：如果你需要同时处理多个功能或修复多个 bug，Git Worktree 可以帮你轻松实现这一点。你可以为每个功能或修复创建一个独立的工作树，而不必担心分支之间的冲突。
2. 减少切换成本：频繁切换分支会使你的工作区变得混乱，还可能导致意外的代码覆盖。使用 Worktree，可以避免这些问题，因为每个工作树都是独立的。
3. 简化上下文切换：不同的工作树可以代表不同的项目上下文，这极大地简化了在不同任务之间切换的过程。

如何使用 Git Worktree？

1. 创建一个新的 Worktree

首先，确保你的 Git 版本支持 Worktree（Git 2.5 及以上版本）。创建一个新的工作树非常简单：

git worktree add ../path/to/new-worktree branch-name

例如：

git worktree add ../feature-x feature-branch

这个命令将在 ../feature-x 目录中创建一个新的工作树，并且检出 feature-branch 分支。如果 feature-branch 不存在，Git 会自动创建它。

2. 列出所有 Worktree

你可以使用以下命令来列出当前所有的工作树：

git worktree list

这会显示所有工作树的路径和它们所对应的分支或提交。

3. 删除一个 Worktree

当你不再需要某个工作树时，可以使用以下命令将其删除：

git worktree remove ../path/to/worktree

例如：

git worktree remove ../feature-x

这会删除 feature-x 目录，但不会删除其对应的分支或提交。

实际应用场景

多功能开发

假设你正在开发一个新功能，但突然需要修复一个紧急的 bug。你可以创建一个新的工作树来处理这个 bug 修复，而不必中断当前的功能开发。

git worktree add ../bugfix bugfix-branch

完成修复后，你可以将其合并到主分支，然后回到原来的功能开发工作树继续工作。

代码评审

在进行代码评审时，你可以为每个评审创建一个独立的工作树，这样可以清晰地分离不同的评审上下文。

git worktree add ../review-pr-1234 pr-1234-branch

评审完毕后，删除该工作树即可。

总结

Git Worktree 是一个非常强大的工具，可以显著提高你的工作效率，特别是在需要并行处理多个任务的情况下。通过简单的命令，你就可以轻松管理多个工作树，让你的开发过程更加流畅和高效。

希望通过这篇文章，你能更好地理解和使用 Git Worktree。如果你还没有尝试过这个功能，现在就试试看吧，它可能会彻底改变你的工作方式！

ICMP隧道是一种利用ICMP协议进行通信的隧道技术。它可以在不开放端口的情况下进行通信，因此具有一定的隐蔽性。下面将从技术原理、实现方式和检测防御等方面详细解释ICMP隧道的相关知识。

技术原理

ICMP隧道的实现原理是替换ICMP数据包中的Data部分。在ICMP协议中，Data部分用于传输数据。通过修改Data部分的内容，可以实现在ICMP数据包中传输自定义的数据。具体原理如下：

1. ICMP协议结构：ICMP数据包的结构包括协议头部和Data部分。协议头部占据了0~31个字节，剩下的部分就是Data部分。
2. Data部分的默认内容：不同操作系统的ping命令在发送ICMP数据包时，Data部分的内容是不同的。例如，Windows系统默认传输32字节的数据，内容是abcdefghijklmnopqrstuvwabcdefghi；Linux系统默认传输48字节的数据，内容是!”#$%&'()+,-./01234567。
3. 替换Data部分：ICMP隧道的关键就是替换Data部分的内容。对于Windows系统，只需要替换Data部分并重新计算校验和即可。对于Linux系统，替换Data部分后还需要满足其他规律，以防止链路上的设备对错误包进行抛弃处理。

实现方式

实现ICMP隧道需要编写自己的ICMP发送和应答程序，以替代系统本身的ping程序。具体实现方式如下：

1. ICMP隧道服务器端：服务器端是必须的，用于接收和处理ICMP隧道的请求和应答。可以通过关闭系统的ping应答程序，并启动自己的ICMP应答程序来实现。服务器端需要指定一个独立的公网IP和一个代理端的公网IP，其中代理端的公网IP可以通过在服务器端上使用tcpdump icmp命令获取。
2. ICMP隧道代理端：代理端是ICMP隧道的客户端，用于与服务器端进行通信。代理端需要指定服务器端的公网IP和代理端自身的公网IP。在与服务器端建立连接后，代理端可以通过修改ICMP数据包的Data部分来传输自定义的数据。

检测防御

由于ICMP隧道具有一定的隐蔽性，因此对于网络安全而言，检测和防御ICMP隧道是非常重要的。常见的检测和防御方法包括：

1. 流量分析：通过对网络流量进行分析，检测出异常的ICMP数据包，如数据包大小、频率等。
2. IDS/IPS系统：使用入侵检测系统（IDS）或入侵防御系统（IPS）来监测和阻止ICMP隧道的传输。
3. 防火墙配置：在防火墙中配置规则，限制ICMP数据包的传输，或者对ICMP数据包进行深度检测和过滤。
4. 网络监控：通过实时监控网络流量和日志，及时发现和应对ICMP隧道的使用。

综上所述，ICMP隧道是一种利用ICMP协议进行通信的隧道技术，具有一定的隐蔽性。在实际应用中，需要注意检测和防御ICMP隧道的使用，以保障网络安全。

---

Learn more:

1. 小白必看！ICMP隐蔽隧道从入门到精通 – 知乎
2. 内网转发及隐蔽隧道 | 网络层隧道技术之ICMP隧道(pingTunnel/IcmpTunnel)-腾讯云开发者社区-腾讯云
3. ICMP隧道通信原理与通信特征 – FreeBuf网络安全行业门户

---

ICMP隧道技术是一种利用ICMP协议实现数据传输的隐蔽技术。它在网络通信中具备高度隐蔽性，能够绕过防火墙和入侵检测系统。让我们从技术原理、实现方式和检测防御三个方面详细探讨ICMP隧道技术。

技术原理

ICMP（Internet Control Message Protocol）是TCP/IP协议簇中的一个重要子协议，主要用于在IP主机和路由器之间传递控制消息，诸如网络是否连通、主机是否可达、路由是否可用等信息。ICMP隧道正是利用ICMP协议的这一特性，通过在ICMP报文中嵌入数据来实现隐蔽的数据传输。

ICMP隧道的技术核心在于：

1. ICMP报文结构：ICMP报文包含类型字段和代码字段，用于标识报文的类型。常见的ICMP类型包括ICMP_ECHO（请求）和ICMP_ECHOREPLY（应答）。
2. 数据嵌入：ICMP报文可以携带数据，通常利用ICMP_ECHO和ICMP_ECHOREPLY报文的可选数据字段嵌入需要传输的数据。
3. 隐蔽性：由于ICMP报文通常由系统内核处理，不占用特定端口，并且很多防火墙默认允许ICMP报文通过，因此ICMP隧道具有较高的隐蔽性。

实现方式

实现ICMP隧道通常需要编写客户端和服务器端程序，分别在受控主机和攻击者主机上运行。以下是常见的实现工具及其工作原理：

1. icmpsh：这是一个简单且便携的ICMP隧道工具。受控端（客户端）使用C语言实现，运行在目标Windows机器上，而主控端（服务端）可以运行在任何平台上，支持C. ��Perl和Python等多种实现版本。✅
   • 建立隧道：受控端接收ICMP_ECHO数据包，解出其中隐藏的命令并执行，然后将执行结果封装在ICMP_ECHOREPLY数据包中发送给主控端。
   • 数据包分析：通过抓包可以看到传输的命令和响应数据。
2. icmptunnel：通过创建虚拟网卡，将所有流量都路由到虚拟网卡，并封装在ICMP回显数据包中传输。
   • 建立隧道：客户端主机的所有用户流量都通过虚拟网卡tun0，icmptunnel在此接口上侦听IP数据包并封装在ICMP回显包中。
   • 数据包分析：抓包分析可以看到通过ICMP隧道传输的所有流量。
3. ptunnel：支持大多数操作系统，包括Windows（需要WinPcap）。
   • 建立隧道：使用命令行工具建立ICMP隧道，类似于其他ICMP隧道工具，通过封装和解封装ICMP数据包实现数据传输。

检测防御

尽管ICMP隧道具有隐蔽性，但通过合理的检测和防御措施仍然可以有效防范其威胁。

1. 流量分析：通过监控网络流量，分析ICMP报文的频率、大小和内容，识别异常的ICMP通信行为。
2. IDS/IPS系统：部署入侵检测系统（IDS）和入侵防御系统（IPS），设置规则检测和阻止异常ICMP流量。
3. 防火墙配置：在防火墙中配置策略，限制ICMP报文的传输，或对ICMP报文进行深度检测和内容过滤。
4. 网络监控：实时监控网络流量和日志，及时发现和响应ICMP隧道的使用。

总的来说，ICMP隧道技术是一种有效的隐蔽通信手段，但通过合理的检测和防御措施，可以有效降低其带来的安全风险。网络管理员需保持警惕，持续更新防御策略，以应对不断变化的安全威胁。

---

Learn more:

1. 小白必看！ICMP隐蔽隧道从入门到精通 – 知乎
2. 内网转发及隐蔽隧道 | 网络层隧道技术之ICMP隧道(pingTunnel/IcmpTunnel)
   3. ICMP隧道通信原理与通信特征 – FreeBuf网络安全行业门户
   
   
   
   
   
   
   
   
   
   

进一步阅读与参考

对于那些对ICMP隧道技术有更深入兴趣的读者，可以参考以下资源：

1. 《小白必看！ICMP隐蔽隧道从入门到精通》：这篇文章详细介绍了ICMP隧道的基本概念、实现方法和常见工具，适合新手入门学习。

• 阅读文章

1. 《内网转发及隐蔽隧道 | 网络层隧道技术之ICMP隧道(pingTunnel/IcmpTunnel)-腾讯云开发者社区-腾讯云》：该文章深入探讨了ICMP隧道的网络层实现，适合有一定网络基础的读者进行学习。

• 阅读文章

1. 《ICMP隧道通信原理与通信特征 – FreeBuf网络安全行业门户》：这篇文章从专业角度分析了ICMP隧道的通信原理与特征，并提供了防御和检测方案，适合网络安全从业者参考。

• 阅读文章

通过阅读这些资源，读者可以更全面地了解ICMP隧道技术，并在实际工作中应用所学知识，提升网络安全水平。

结语

ICMP隧道技术虽然具有隐蔽性强、绕过防火墙等优点，但这也使它成为网络攻击者常用的手段之一。作为网络安全从业者，我们需要深刻理解其原理与实现方式，才能在实际工作中有效地检测和防御这种隐蔽通信技术。希望通过本文的介绍，读者能对ICMP隧道有一个全面的认识，并能在日常工作中更好地保障网络安全。

如果您有任何疑问或需要进一步讨论，欢迎在评论区留言，我们将尽力解答您的问题。

---

Learn more:

1. 小白必看！ICMP隐蔽隧道从入门到精通 – 知乎
2. 内网转发及隐蔽隧道 | 网络层隧道技术之ICMP隧道(pingTunnel/IcmpTunnel)-腾讯云开发者社区-腾讯云
3. ICMP隧道通信原理与通信特征 – FreeBuf网络安全行业门户

内容简介

想象你生活的城市地图上忽然多出来一块空地，规划者邀请有特定背景的人加入，包括你，一起在这块空地上建设议事大厅、居住区、运动场、电影院等设施。大家一起添砖加瓦，几个月间空地变成一个富有生活气息的社区，吸引了越来越多的人申请加入。几年后，随着涌入人群一波接一波而来，规划者提议社区建设新空间，迎合新人群、新需求。你和其他初代居民反对，认为这会破坏社区氛围，但规划者不再理会你们的想法。你发现自己陷入了两难：留下，无法参与决定社区的未来；搬走，带不走你在社区里熟识的邻里、你给社区贡献的东西。

互联网平台有很多工具来吸引、利用和剥削用户，但贡献内容、人气和数据的用户对平台如何运作没有约束力。这是真实发生在互联网近二十年里的事，互联网像遭遇士绅化的老城区，变得更加便捷、光鲜但缺乏多样性，有明确优先服务的人群，极端重视利润而轻视社群，急着把最初搭建社区但已不再有利用价值的人群边缘化甚至扫地出门。本书以美国为例，记录这个过程怎样发生，它的实质危害如何，以及网民可以如何行动。

各方赞誉

《被互联网辜负的人》巧妙地拆除了科技巨头的浪漫化概念，帮助读者理解互联网是一个日益孤立、商品化、被监视和失所的地方。这本易读易懂的书绝对是我所有课程的必读书目。

——克莱门西亚·罗德里格斯，美国天普大学媒介研究教授

《被互联网辜负的人》令人信服地证明了士绅化及其在失所、孤立和商业化方面的后果已经从城市经济领域转移到了互联网上。这本书揭示了数字世界是如何从DIY反主流文化的空间转变为企业寡头的游乐场的。

——保罗·杰尔包多，伦敦国王学院数字文化中心主任

杰西·林格尔继承了简·雅各布斯、玛格丽特·米德和丽贝卡·索尔尼特的传统，是美国令人敬畏的新批评声音。

——希瓦·维迪亚那桑，《谷歌化的反思》作者

ed2k://|file|0E01DA59E7D18DFD1A876A5FE3AB5DDA.pdf|55375063|2C0EDB65F55EF50956F5701453E9DBD6|h=M3HLY3XNYYB46G55JLNLCL2BOICUWNPH|/

---

ActivityPub 协议支持下的分布式联邦化社区才是最符合大部分人利益的选择。