Sitemap
A list of all the posts and pages found on the site. For you robots out there is an XML version available for digesting as well.
Pages
Posts
YaRN：大模型长上下文扩展技术介绍
Published:
YaRN 是一种用于扩展大语言模型上下文窗口的技术，全称来自论文 “Yet another RoPE extensioN”。它主要服务于使用 RoPE 位置编码的 Transformer 模型，目标是在不从零训练长上下文模型的情况下，把模型可处理的上下文长度扩展到更大的范围。
SWA：Sliding Window Attention 技术介绍
Published:
SWA，全称是 Sliding Window Attention，中文可以叫“滑动窗口注意力”。它的核心思想很直接：不是让每个 token 都关注完整上下文，而是让大部分 token 只关注附近的一段窗口，从而减少长上下文推理中的计算量和显存压力。
MTP：Multi-Token Prediction 技术介绍
Published:
MTP，全称是 Multi-Token Prediction，中文可以理解为“多 token 预测”。传统语言模型训练时通常只预测下一个 token，而 MTP 会额外要求模型预测更远的未来 token。它的目标是让模型在训练阶段学到更强的前瞻性表示，同时还能为推测解码提供一个天然的 draft model。
Mellum 2 Technical Report 解读：面向软件工程的高效 MoE 代码模型
Published:
JetBrains 发布的 Mellum 2 Technical Report 介绍了一个面向软件工程场景的开源权重语言模型：Mellum 2。它不是单纯追求参数规模的模型，而是围绕“IDE 中真实可部署的代码助手”这个目标来设计：既要能写代码、改代码、调试、调用工具、处理多步任务，又要在单卡和高并发环境中保持可接受的推理成本。
Linux 中软链接命令 ln -s 实用指南
Published:
在 Linux 中，软链接也叫符号链接（Symbolic Link），可以理解为一个指向另一个文件或目录的快捷方式。它本身只是保存了目标路径，并不保存目标文件的真实内容。软链接常用于目录迁移、版本切换、共享配置文件、统一访问路径等场景，是日常开发和服务器运维中非常实用的命令。
GQA：Grouped-Query Attention 技术介绍
Published:
GQA，全称是 Grouped-Query Attention，中文可以理解为“分组查询注意力”。它是 Transformer 注意力机制的一种变体，目标是在尽量保持模型效果的同时，减少推理时的 KV Cache 开销，提高大模型在长上下文和高并发场景下的吞吐。
Git常用命令实用指南
Published:
Git 是目前世界上最流行的分布式版本控制系统。它不仅能够高效地处理从小型到大型项目的各种版本管理需求，还提供了强大的分支管理、协作开发和历史追溯功能。本文将重点介绍 Git 的常用命令和实用技巧，帮助您在日常开发中更高效地使用 Git。
Hugging Face CLI (hf命令) 实用指南
Published:
huggingface-cli 是 Hugging Face 官方提供的命令行工具，用于与 Hugging Face Hub 进行交互。随着其功能的不断增强，现在已更名为 hf 命令，提供了更简洁、强大的接口。本文将重点介绍 hf 命令的具体用法，包括如何使用 hf-mirror 镜像加速下载，以及其他实用的加速措施。
zip、unzip 和 tar 压缩解压实用指南
Published:
zip、unzip 和 tar 是 Linux 系统中最常用的三个压缩解压工具。zip 和 unzip 专门用于处理 .zip 格式的压缩文件，其中 zip 用于创建压缩包，unzip 用于解压。而 tar 则主要用于打包多个文件和目录，并可以配合压缩算法（如 gzip、bzip2、xz）进行压缩。本文将重点介绍这三个工具的实用操作和常见场景，帮助您在日常工作中高效地处理各种压缩文件。
关于Tmux的常用操作
Published:
tmux (Terminal Multiplexer) 是一个强大的终端复用器。它允许用户在单个终端窗口中创建、管理和切换多个独立的会话（Session）、窗口（Window）和面板（Pane）。tmux 的核心优势在于其会话持久化能力，即使终端关闭或网络断开，您在 tmux 中运行的任务也能继续在后台执行，随时可以重新连接并恢复工作。这对于远程开发、长时间运行任务以及提升终端工作效率至关重要。
portfolio
Portfolio item number 1
Short description of portfolio item number 1
Portfolio item number 2
Short description of portfolio item number 2
publications
Deep Learning Algorithm Based Remote Sensing Image Classification Research
Published in ICETCI 2023, 2023
This paper studies the performance ability of different deep learning models on WHDLD dataset.
Recommended citation: H. Zhu, X. Wang and R. Chen, "Deep Learning Algorithm Based Remote Sensing Image Classification Research," 2023 IEEE 3rd International Conference on Electronic Technology, Communication and Information (ICETCI), Changchun, China, 2023, pp. 1368-1373, doi: 10.1109/ICETCI57876.2023.10176407. https://ieeexplore.ieee.org/abstract/document/10176407
Prompt as a Double-Edged Sword: A Dynamic Equilibrium Gradient-Assigned Attack against Graph Prompt Learning
Published in KDD 2025, 2025
This paper proposes a dynamic equilibrium gradient-assigned attack against graph prompt learning, which can successfully attack the graph prompt learning model with a small amount of perturbations.
Recommended citation: Ju Jia, Jingxuan Yu, Di Wu, Cong Wu, Hengjie Zhu, and Lina Wang. 2025. Prompt as a Double-Edged Sword: A Dynamic Equilibrium Gradient-Assigned Attack against Graph Prompt Learning. In Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2 (KDD 25). Association for Computing Machinery, New York, NY, USA, 1049–1060. https://doi.org/10.1145/3711896.3737091 https://dl.acm.org/doi/abs/10.1145/3711896.3737091
Discretization Is Not Always Better: Rethinking Deep Quantization for Asymmetric Image Retrieval
Published in AAAI 2026, 2026
This paper rethinks strict discretization for asymmetric image retrieval and proposes Deep Correlation Alignment Hashing (DCAH) with correlation alignment based quantization.
Recommended citation: Xinze Liu, Dayan Wu, Hengjie Zhu, Chenming Wu, and Pengwen Dai. 2026. Discretization Is Not Always Better: Rethinking Deep Quantization for Asymmetric Image Retrieval. Proceedings of the AAAI Conference on Artificial Intelligence, 40(9), 7323-7331. https://doi.org/10.1609/aaai.v40i9.37670 https://doi.org/10.1609/aaai.v40i9.37670
talks
Talk 1 on Relevant Topic in Your Field
Published:
This is a description of your talk, which is a markdown files that can be all markdown-ified like any other post. Yay markdown!
Conference Proceeding talk 3 on Relevant Topic in Your Field
Published:
This is a description of your conference proceedings talk, note the different field in type. You can put anything in this field.
teaching
Teaching experience 1
Undergraduate course, University 1, Department, 2014
This is a description of a teaching experience. You can use markdown like any other post.
Teaching experience 2
Workshop, University 1, Department, 2015
This is a description of a teaching experience. You can use markdown like any other post.