YaRN：大模型长上下文扩展技术介绍
Published:
YaRN 是一种用于扩展大语言模型上下文窗口的技术，全称来自论文 “Yet another RoPE extensioN”。它主要服务于使用 RoPE 位置编码的 Transformer 模型，目标是在不从零训练长上下文模型的情况下，把模型可处理的上下文长度扩展到更大的范围。
Posts by Tags
ai
SWA：Sliding Window Attention 技术介绍
Published:
SWA，全称是 Sliding Window Attention，中文可以叫“滑动窗口注意力”。它的核心思想很直接：不是让每个 token 都关注完整上下文，而是让大部分 token 只关注附近的一段窗口，从而减少长上下文推理中的计算量和显存压力。
MTP：Multi-Token Prediction 技术介绍
Published:
MTP，全称是 Multi-Token Prediction，中文可以理解为“多 token 预测”。传统语言模型训练时通常只预测下一个 token，而 MTP 会额外要求模型预测更远的未来 token。它的目标是让模型在训练阶段学到更强的前瞻性表示，同时还能为推测解码提供一个天然的 draft model。
Mellum 2 Technical Report 解读：面向软件工程的高效 MoE 代码模型
Published:
JetBrains 发布的 Mellum 2 Technical Report 介绍了一个面向软件工程场景的开源权重语言模型：Mellum 2。它不是单纯追求参数规模的模型，而是围绕“IDE 中真实可部署的代码助手”这个目标来设计：既要能写代码、改代码、调试、调用工具、处理多步任务，又要在单卡和高并发环境中保持可接受的推理成本。
GQA：Grouped-Query Attention 技术介绍
Published:
GQA，全称是 Grouped-Query Attention，中文可以理解为“分组查询注意力”。它是 Transformer 注意力机制的一种变体，目标是在尽量保持模型效果的同时，减少推理时的 KV Cache 开销，提高大模型在长上下文和高并发场景下的吞吐。
code-model
Mellum 2 Technical Report 解读：面向软件工程的高效 MoE 代码模型
Published:
JetBrains 发布的 Mellum 2 Technical Report 介绍了一个面向软件工程场景的开源权重语言模型：Mellum 2。它不是单纯追求参数规模的模型，而是围绕“IDE 中真实可部署的代码助手”这个目标来设计：既要能写代码、改代码、调试、调用工具、处理多步任务，又要在单卡和高并发环境中保持可接受的推理成本。
linux-command
Linux 中软链接命令 ln -s 实用指南
Published:
在 Linux 中，软链接也叫符号链接（Symbolic Link），可以理解为一个指向另一个文件或目录的快捷方式。它本身只是保存了目标路径，并不保存目标文件的真实内容。软链接常用于目录迁移、版本切换、共享配置文件、统一访问路径等场景，是日常开发和服务器运维中非常实用的命令。
Git常用命令实用指南
Published:
Git 是目前世界上最流行的分布式版本控制系统。它不仅能够高效地处理从小型到大型项目的各种版本管理需求，还提供了强大的分支管理、协作开发和历史追溯功能。本文将重点介绍 Git 的常用命令和实用技巧，帮助您在日常开发中更高效地使用 Git。
Hugging Face CLI (hf命令) 实用指南
Published:
huggingface-cli 是 Hugging Face 官方提供的命令行工具，用于与 Hugging Face Hub 进行交互。随着其功能的不断增强，现在已更名为 hf 命令，提供了更简洁、强大的接口。本文将重点介绍 hf 命令的具体用法，包括如何使用 hf-mirror 镜像加速下载，以及其他实用的加速措施。
zip、unzip 和 tar 压缩解压实用指南
Published:
zip、unzip 和 tar 是 Linux 系统中最常用的三个压缩解压工具。zip 和 unzip 专门用于处理 .zip 格式的压缩文件，其中 zip 用于创建压缩包，unzip 用于解压。而 tar 则主要用于打包多个文件和目录，并可以配合压缩算法（如 gzip、bzip2、xz）进行压缩。本文将重点介绍这三个工具的实用操作和常见场景，帮助您在日常工作中高效地处理各种压缩文件。
关于Tmux的常用操作
Published:
tmux (Terminal Multiplexer) 是一个强大的终端复用器。它允许用户在单个终端窗口中创建、管理和切换多个独立的会话（Session）、窗口（Window）和面板（Pane）。tmux 的核心优势在于其会话持久化能力，即使终端关闭或网络断开，您在 tmux 中运行的任务也能继续在后台执行，随时可以重新连接并恢复工作。这对于远程开发、长时间运行任务以及提升终端工作效率至关重要。
llm
YaRN：大模型长上下文扩展技术介绍
Published:
YaRN 是一种用于扩展大语言模型上下文窗口的技术，全称来自论文 “Yet another RoPE extensioN”。它主要服务于使用 RoPE 位置编码的 Transformer 模型，目标是在不从零训练长上下文模型的情况下，把模型可处理的上下文长度扩展到更大的范围。
SWA：Sliding Window Attention 技术介绍
Published:
SWA，全称是 Sliding Window Attention，中文可以叫“滑动窗口注意力”。它的核心思想很直接：不是让每个 token 都关注完整上下文，而是让大部分 token 只关注附近的一段窗口，从而减少长上下文推理中的计算量和显存压力。
MTP：Multi-Token Prediction 技术介绍
Published:
MTP，全称是 Multi-Token Prediction，中文可以理解为“多 token 预测”。传统语言模型训练时通常只预测下一个 token，而 MTP 会额外要求模型预测更远的未来 token。它的目标是让模型在训练阶段学到更强的前瞻性表示，同时还能为推测解码提供一个天然的 draft model。
Mellum 2 Technical Report 解读：面向软件工程的高效 MoE 代码模型
Published:
JetBrains 发布的 Mellum 2 Technical Report 介绍了一个面向软件工程场景的开源权重语言模型：Mellum 2。它不是单纯追求参数规模的模型，而是围绕“IDE 中真实可部署的代码助手”这个目标来设计：既要能写代码、改代码、调试、调用工具、处理多步任务，又要在单卡和高并发环境中保持可接受的推理成本。
GQA：Grouped-Query Attention 技术介绍
Published:
GQA，全称是 Grouped-Query Attention，中文可以理解为“分组查询注意力”。它是 Transformer 注意力机制的一种变体，目标是在尽量保持模型效果的同时，减少推理时的 KV Cache 开销，提高大模型在长上下文和高并发场景下的吞吐。
transformer
YaRN：大模型长上下文扩展技术介绍
Published:
YaRN 是一种用于扩展大语言模型上下文窗口的技术，全称来自论文 “Yet another RoPE extensioN”。它主要服务于使用 RoPE 位置编码的 Transformer 模型，目标是在不从零训练长上下文模型的情况下，把模型可处理的上下文长度扩展到更大的范围。
SWA：Sliding Window Attention 技术介绍
Published:
SWA，全称是 Sliding Window Attention，中文可以叫“滑动窗口注意力”。它的核心思想很直接：不是让每个 token 都关注完整上下文，而是让大部分 token 只关注附近的一段窗口，从而减少长上下文推理中的计算量和显存压力。
MTP：Multi-Token Prediction 技术介绍
Published:
MTP，全称是 Multi-Token Prediction，中文可以理解为“多 token 预测”。传统语言模型训练时通常只预测下一个 token，而 MTP 会额外要求模型预测更远的未来 token。它的目标是让模型在训练阶段学到更强的前瞻性表示，同时还能为推测解码提供一个天然的 draft model。
GQA：Grouped-Query Attention 技术介绍
Published:
GQA，全称是 Grouped-Query Attention，中文可以理解为“分组查询注意力”。它是 Transformer 注意力机制的一种变体，目标是在尽量保持模型效果的同时，减少推理时的 KV Cache 开销，提高大模型在长上下文和高并发场景下的吞吐。