XiangSiqi’s Blog

CS336: Basics

Fri, 18 Sep 2026 00:00:00 GMT

Tokenization

A Tokenizer:

For example:

The compression ratio is number of bytes per token, one could increase compression ratio by increasing vocabulary size (number of possible token values increases), leading to sparsity.

There are approximately 150K Unicode characters, which means if you use every Unicode characters as a token(this is called character_tokenizer), you will have to face to problems:

Problem 1: this is a very large vocabulary. Problem 2: many characters are quite rare (e.g., 🌍), which is inefficient use of the vocabulary.

Another choice is to use the result of Unicode-8:

this is byte tokenizer, the vocabulary is small however the compression ratio is one.

Another ways is to split strings into words:

What's good: each token is meaningful (since humans invented words). vocabulary_size = "Number of distinct chunks in the training data"

Compression ratio is good, but vocabulary size can be huge.

Moreover:

Many words are rare and the model won't learn much about them.

This doesn't obviously provide a fixed vocabulary size.

New words we haven't seen during training get a special UNK token, which is ugly and can mess up perplexity calculations.

Popular tokenizer: Byte-Pair Encoding (BPE)

Neural Machine Translation of Rare Words with Subword Units

Neural machine translation (NMT) models typically operate with a fixed vocabulary, but translation is an open-vocabulary problem. Previous work addresses the translation of out-of-vocabulary words...

https://arxiv.org/abs/1508.07909

Basic idea: train the tokenizer on raw text to construct a vocabulary tailored to the data.

Intuition: common sequences of bytes are represented by a single token, rare sequences are represented by many tokens.

Sketch: start with each byte as a token, and successively merge the most common pair of adjacent tokens.

Resource Accounting

Question: How long would it take to train a 70B parameter model on 15T tokens on 1024 H100s?

According to

Scaling Laws for Neural Language Models

We study empirical scaling laws for language model performance on the cross-entropy loss. The loss scales as a power-law with model size, dataset size, and the amount of compute used for training,...

https://arxiv.org/abs/2001.08361?utm_source=chatgpt.com

，so

Question: What's the largest model that can you can train on 8 H100s using AdamW?

Mixed precision training:

Training with fp32 works, but requires lots of memory.

Training with fp16 and even bf16 is risky, and you can get instability.

Use bf16 for parameters, activations, and gradients

Use fp32 for optimizer states(also for exponents)

By default, tensors are stored into memory of CPUs, so if you want to calculate it on GPUs, you need to move the sensor from CPUs to GPUs and move it back after calculation has been done.

You can also create tensors on GPUs.

Then we need to talk about calculation of tensor, we usually use einops

sum:

reduce:

rearrange:

Then let’s talk about the computational costs, we usually use two notes:

FLOPs: floating-point operations (measure of computation done)

FLOP/s: floating-point operations per second (also written as FLOPS), which is used to measure the speed of hardware.

For two matrix ， if we multiply them we need D times multiplication and D-1 times addition per output element, so we need:

and for matrix ， if we do element-wise multiplication on them, we need FLOPs.

You can measure the practical FLOP/s and compare to ideal FLOP/s, then you can calculate Model FLOPs Utilization(MFU):

Usually, MFU of ≥ 0.5 is quite good!

So the important thing is that we need to figure out the bottleneck during computation, which means we need to know where the bottleneck coming from.

Let’s begin with an example:

here we need to move x from HBM to computation unit, and then we need to compute Relu and move y back to HBM:

What is the bottleneck?

Memory-bound: communication time > computation time

Compute-bound: computation time > communication time

So in this case, ReLU is memory-bound.

Or we can see accelerator intensity versus arithmetic intensity

What is the bottleneck?

Memory-bound: arithmetic intensity < accelerator intensity

Compute-bound: arithmetic intensity > accelerator intensity

In general, we'll find ourselves memory bound.

And interesting is that if you change relu to geLu, gelu will do more flops than relu, so the arithmetic_intensity rise to 5, however when the problem is still memory bond so we won’t get faster or slower. So even the arithmetic intensity increase but time didn’t change the FLOPs/s will increase when facing memory bound, and when the bound type shift to compute bound the FLOPs/s will follow the speed of software.

For vector product the arithmetic intensity is 0.5, for matrix vector product is 1, however for matrix multiplication is n/3 where n is shape of matrix.

So when training for transformer what happens is compute-bound but for inference what mainly doing is matrix vector product, so it is compute-bond.

Now Let’s talk about a particular case:

We have known that for forward propagation, a layer bring 2*B*D*D FLOPs, and for every weight matrix it brings 64 parameters, which means 4*64 bytes for float32.

And for backward propagation, we need to compute gradients and store the tensor graph, usually every weight matrix and output have a same shape matrix.

Let’s focus on one layer:

so we know that num_backward_flops = (2 * B * D * D) + (2 * B * D * D), which means for a full process of train we have to calculate 3 * 2 * B * D * D = 6 * B * (D^2), here B is the number of data and D^2 is number of parameters, this seems just work for easy MLPs but it turns out to be a good approximation for Transformers for short context lengths as well.

Another things is optimizer, for example AdaGrad, it needs to compute and store the square of grad as its optimizer state, so means to compute and store a matrix which has same shape of parameters:

and for memory cost:

here gradient has same shape as parameter for that when we use loss.backward the algorithm will release the non-leaf tensors automatically.

here activation memory is stored for backward propagation, and if you have enough memory, another way is to just store the value before activation, drop the activation and recompute them when doing backward propagation.

Architecture

Normalization in or not in residual

Almost all modern transformers LLM use pre-norm but why?

The pre-norm has better train stability for it has more stable gradients in deep networks:

for post-norm which means:

so that:

will cause numerical instability.

So the key thing is whether put normalization in residual stream, we can also use post norm with normalization out of residual stream(Like Grok, Gemma 2). And even some models put normalization pre and post FFN and attention only if it is out of residual stream.

LayerNorm or RMSNorm

LayerNorm means:

RMSNorm means:

where:

There is not specific reason to use RMSNorm rather than LayerNorm, however, RMSNorm is usually faster and didn’t bring precision cost.

But it is interesting that in fact Layer-Norm just accounts for a insignificant FLOPs(typically < 0.5%), but it accounts for a much more runtime(5% to 15%) because it is strictly memory-bandwidth bound. Its arithmetic intensity is around 0.5 to 1 FLOP/byte.

More generally we always drop the bias in FFN.

Activations

In modern LLM, researchers have notice the importance of gate, so heuristically use it in activation:

when we use GLU style activation, we have to store 3 matrix instead of 2 matrix so an idea is to use smaller ouput dimension by the factor 2/3 to keep the same number of parameters, but it is just a general rule instead of an iron rule.

Serial versus Parallel

Position Embedding

We have been familiar with the first two embeddings. Relative embedding doesn’t add PE to tokens vector instead it just directly participant into attention score calculation through which is defined as:

where k is a predefined maximum clipping distance.

But modern models usually use RoPE(rotary position embedding), the motivation of RoPE is that we want to find an embedding which makes the inner product of two embedded token vectors just has connection with their original vector and their relative position:

Relative embeddings which directly modify attention matrix can’t fulfill this destination.

Starting from two dimensional case, we have two original semantic vectors , so we can rotate them by rotation matrix:

so we can embed them:

so we get:

so the inner product is just about the original semantic vector and their relative distance.

For high embedding dimension, we can just divide into several pairs and rotate the two dimensional vector of each pair separately, which means

in practice we write semantic vector as to compute, firstly we compute for every pair:

we share same for same pair of different vector. then we compute rotation matrix element:

so:

where . so:

so the inner product of embedded vector is summarize of of every pair.

Here we use different angles for different pair for two reason:

Avoiding Periodic Collisions

Trigonometric function is periodic so it may cause aliasing between i-th token and i plus -th token, different theta brings different frequency so it will never aliasing.

Having stronger expression

As we say Different theta brings different frequency, every pair are designed to express information of different fequency.

It is worth noting that absolute PE usually used in input layer while RoPE or other modern PE usually use in every layer of network.

Hyperparameters

feed-forward ratio

Some consensus:

so for GLU, it turns to be:

feed-forward ratio(d_ff/d_model) is an typical hyperparameter

there are a huge basin when use single-digit numbers of feed-forward ratio.

head dim ratio

we usually follow

which means the ratio between head dim and hidden dim is 1.

aspect ratio

we define aspect ratio as ratio between dimension of model and number of layers.

however if the model going too deep, we will face the problem of parallelization, so we always want to go wide.

so aspect ratio is safe near 100.

vocabulary sizes

Regularization

Nowadays we have tons of corpus on internet, so during pre-training we just even do a single pass on a corpus, which means overfitting is not a problem anymore, then what is the function of regularization(like weight decay or dropout)?

However weight decay is still a popular skill even when dropout seems to be mystifying, but the reason is not the rule of regularization which we measure by validation loss versus training loss:

The rule of weight decay is that it brings progress when it interact with cosine decay optimization:

the solid lines mean the primary training and dashed lines mean continued training at different checkpoint. In the two plot we can know that with cosine LR decay, weight decay could be helpful for training which is a little bit counterintuitive.

Stability

You don’t want to get spikes in LLM training for that you usually can’t get fine final models when it happens. Here are some reason why you may get spikes or grad explosion.

Softmax, for its exponentials and dividing by zero.

the solution is to use z-loss regularization:

which means give penalty on z so that prevent training instability.

QK norm

Adding normalization(RMS) on Q,K matrices is a key trick in keep training stable.

Faster Decoding

A key problem happens in decoding. When using kv cache, we need to transport kV to calculation unit and compute logits of new token with new Q. The transportation of KV bring a very low arbitrary intensity. MQA and GQA was introduced to solve this problem.

MQA(multi-query attention) use just one head for Key and Value matrices and broadcasting them to all heads when reasoning, meanwhile leading to lower expressiveness.

So GQA(grouped-query attention) use multiple(but less than Query) heads for Key and Value matrices, and use key-query ratio to control the expressiveness.

To turn a MHA model to a GQA model is easy, first thing is to do Heads pooling:

and then do continuing pre-training (uptraining) on of the original pre-training tokens.

Hybrid Attention

Another advantage pre-norm brings is that the output is simple addition of outputs of all layers:

so that we can make some layer sparse(e.g. sliding window attention) or linear and so forth to accelerate computation.

However recent research has shown that too many non-standard attention layers will cause expressiveness degradation, so trade-off between them are important.

This is what main researches nowadays work on.

Attention Alternatives

Linear Attention

The motivation is to remove the key non-linear part of standard attention: softmax

so that the computation complexity drop from to , the latter one is linear to .

One of the key reasons making linear attention an important work is that if you write it in incremental format it will be similar to recurrent neural network:

here is the memory at t-th step, it has fixed shape which means fixed memory volume.

But simple linear attention didn’t work well for strongly pooling and smoothing the memory .

Mamba

Mamba introduce Gate mechanism into recurrent step of linear attention:

where and is the gate. Then we get:

which offer the way to be trained parallel.

Gated delta net

Gated delta net turn to be:

where . So like LSTM, is like forget gate and is like update gate. And here is meant to remove the similar information in memory to .

Sparse Attention

What Deepseek V3 stype sparse attention do is to filter a subset of tokens to compute. First is to compute weight of all tokens to current token:

where

and then filter tokens by Top-k

and compute attention on the subset:

It it worthing noting that DSA style sparse attention is not used for training, filter is training as a plugin after the model training.

Mixture of Experts

Basics

MoE brings a lot of advantage through its sparsity, we can increase parameters of the model without increasing the FLOPs.

And MoE usually training faster:

what we do is to construct multiple FFN for single layer:

here t means t-th token, l means l-th layer, i means i-th FFN. And we need to decide which FFNs we want to use, we train a vector for i-th FFN of l-th layer, and compute:

as the score of i-th FFN, then get probability to choose i-th layer:

and then choose top-k FFNs and compute their output, and sum them with weight :

the second item is for residual connection.

Shared MoEs

In shared MoEs, we maintain some FFNs to be used in every token:

It’s easy to understand, and the effectiveness is significant.

Training MoEs

Major challenge in training MoEs is that if we want to sparsity, the gating decision are not differentiable.

The popular way is shown below:

it is a heuristic algorithm, here P_i means the probability mass on expert i, and f_i means the numbers of token choosing expert i. When backward propagating, we stop the gradient of f_i, so when we penalize loss we actually penalize large P_i, which leading to sparsity. Here f_i is design to prevent cheating when router modulates the probability but still using just single expert.

At perfect balance, , then loss = alpha.

Fine-tune on MoEs especially on experts will occur overfitting.

Another way to train MoEs is to use upcycling:

Chapter 5 Transformer

Mon, 27 Apr 2026 00:00:00 GMT

Transformer

CNN 与 RNN 的问题

CNN和RNN代表了这样一个深度学习时代，将人类的先验知识直接在模型中完全的表达出来。于是人类关于图像信息的平移不变性先验和在动物视觉研究得到的关于视觉皮层的理解被凝结到了CNN中，而关于序列信息的序列性先验和条件概率的思想被凝结到了RNN中。

这种先验置入直接来讲是很有效的，CNN和RNN似乎准确表达了对于图像数据和序列数据的直接行为，但是先验同样也是限制。CNN的卷积核只能处理邻近卷积区域的内容，即使是深度CNN在结构上也是最终有限的。而RNN的序列结构对信息传播形成顺序强制，即使是Attention机制也只能在结构上缓解这种有限性。

诚然CNN和RNN已经发展到这样一个状态，为了减弱CNN的问题产生了Deep CNN用来形成巨大的感受野和特征提取级次，由此派生出来Batch Normalization用以解决训练稳定问题，ShortCut用以解决退化问题；为了优化RNN产生了Encoder-Decoder用以职责解耦，产生了LSTM和GRU解决长程依赖问题，产生了Attention用以解决顺序强制问题。于是，当所有思路已经尽力后，CNN和RNN的的主要的问题就转向了自己，即架构本身。

于是，扬弃先验注入结构的思路，放弃CNN和RNN的结构，成为了最疯狂也是最合理的选择，Transformer机制横空出世。

Attention Is All You Need

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder...

https://arxiv.org/abs/1706.03762

注意力机制

缩放点积注意力

我们已经知道了在传统Attention机制中，attention指的是注意力权重，它表达着解码器中序列的第项解码时对由BidiRNN编码的隐藏层关注的程度，从而计算出上下文向量。

因此中同时编码了查询者和被请求者的指称和它们的关系，这在RNN中是合理的因为有稳定的序列结构，但是如果我们要抛弃RNN的结构，我们必须解耦这个结构为两个独立的可分离的向量，称为Query和Key向量，并且将隐层理解为数据本身，即Value。这就是QKV的出发点。

在经典 Attention 中，注意力分数通常由一个小神经网络计算出来，这叫加性注意力。它的形式是，其中：

这里是解码器当前状态，可以理解为“我现在想找什么信息”；是编码器第个位置的隐藏状态，可以理解为“这个位置提供了什么信息”。为了判断二者是否匹配，模型先用和把它们变换到同一个比较空间，再相加、过，最后用压成一个标量分数。

所以加性注意力的本质是：给定两个隐藏状态，用一个小网络判断它们的相关程度。

Transformer 换了一种更清晰的拆分方式。它不再直接拿两个隐藏状态去做复杂比较，而是把每个 token 的表示投影成三种角色：

（Query）：表示当前位置想要寻找什么信息。

（Key）：表示当前位置可以被怎样的查询匹配到。

（Value）：表示当前位置真正提供的信息内容。

这样一来，注意力计算就被分成两件事：先用和计算“该看谁”，再用得到的权重去加权汇总中的信息。也就是说，主要负责匹配关系，才负责被传递的信息内容。

因此，Transformer 中的注意力分数可以直接用点积表示：

如果和方向相近，点积就大，说明第个位置应该更多关注第个位置；如果方向不相近，点积就小，注意力权重也会更低。

写成矩阵形式，就是：

再用这个注意力矩阵加权汇总信息：

这就是乘性注意力，也叫点积注意力。考虑防止的数值过大，还需要除以缩放因子，得到：

注意到的是，此时是一个的矩阵，其中是序列长度，也就是 token 的个数。我们取 softmax 时是按 Query 的维度取的，即对同一行的所有项取 softmax。

更具体地说，假设输入序列有个 token，每个 token 的表示维度是，于是输入矩阵可以写成：

通过三个线性变换得到：

因此：

这个矩阵就是注意力分数矩阵。第行第列的元素表示：第个 token 作为 Query 时，对第个 token 的 Key 有多关注。经过 softmax 后，第行所有数加起来等于 1，表示第个 token 要从所有 token 处分别读取多少信息。

最后再乘以：

也就是说，输出仍然有行，每一行对应一个 token 的新表示，只是这个新表示已经融合了它从其他 token 读取的信息。

举一个很小的例子。假设一句话有 3 个 token：

那么是一个矩阵：

第一行表示“我”这个位置分别关注“我”“喜欢”“学习”多少；第二行表示“喜欢”这个位置分别关注三个词多少；第三行表示“学习”这个位置分别关注三个词多少。

如果经过 softmax 后得到：

那么第二行的意思是：在更新“喜欢”这个 token 的表示时，模型从“我”读取 10% 的信息，从“喜欢”自己读取 30% 的信息，从“学习”读取 60% 的信息。这个例子不代表真实语言规律，只是说明注意力矩阵每一行的含义。

再举一个维度例子。若一句话长度，模型维度，单头注意力里取，那么：

于是：

这说明注意力矩阵描述的是 token 与 token 之间的关系，而输出向量描述的是每个 token 融合上下文后的新特征。

总之这就是 Transformer 的 Scaled Dot-Product Attention。

这里 Mask 是掩码矩阵，用于切断之间的某些连接，强制让注意力不能看到某些位置。它最重要的用途之一是自回归训练。

在自回归语言模型中，模型要学习：

也就是说，预测当前位置时，只能看到当前位置之前的 token，不能偷看未来 token。可是训练时为了并行计算，我们通常会把整句话一次性输入 Transformer。这样如果不加限制，第一个位置就可能看到第二个、第三个位置的信息，训练目标就被破坏了。

因此需要使用 causal mask（因果掩码）。它的作用是：第个 token 只能关注第个位置及其之前的位置，不能关注未来位置。

例如序列为：

如果按行表示 Query 位置，按列表示 Key 位置，那么不加 mask 时，每个 token 都可以看所有 token：

这里的表示不屏蔽。为了做自回归训练，需要屏蔽未来位置，mask 矩阵可以写成：

第一行表示“我”只能看“我”，不能看未来的“喜欢”和“学习”；第二行表示“喜欢”可以看“我”和“喜欢”，但不能看未来的“学习”；第三行表示“学习”可以看前面所有 token。

计算时把这个 mask 加到注意力分数上：

由于，被 mask 的位置在 softmax 后权重会变成 0，也就不会参与信息读取。这样，Transformer 虽然一次性并行处理整句话，但每个位置仍然只能使用它在自回归生成时应该能看到的信息。

多头注意力

这种注意力机制能够提升效率和有效性的关键在于多头注意力。它的意思是：对于同一个输入，不只计算一次注意力，而是让模型从多个不同的子空间中分别计算注意力。每一个子空间由一个头完成。

这里直接从输入矩阵出发：

第个注意力头有自己独立的三组投影矩阵：

于是第个头先构造自己的 Query、Key、Value：

然后输入缩放点积注意力：

每个头的输出维度为：

如果一共有个头，把它们在特征维度上拼接起来，就得到：

然后再通过一个输出矩阵混合：

其中：

因此最终输出维度为：

这里用来把多个头的信息重新整合回模型的表示空间。

交叉注意力与自注意力

Cross Attention

传统Attention是一种Cross Attention，的形成来源于Decoder，而来源于Encoder。

因此：

因此Cross Attention是一种高效的解码器，在Transformer的解码器结构中，核心模块就是交叉注意力。

以往的解码器，对于RNN without attention，输入会被在推进过程中被污染和破坏，造成长程关联弱，对于CNN，利用的是全连接层，是稠密的没有稀疏结构。

Cross Attention保证了信息的无损性，且不需要连续推进过程，一次完成，可以并行，注意力机制构造了FFN没有的稀疏指向结构。

Self Attention

只有当Q,V解耦，扬弃RNN后才会产生自注意力机制，对于输入，直接构造：

通常自注意力机制是作为一个高效的编码器存在的，例如在Transformer的编码器结构中，核心的模块就是自注意力机制。

以往的编码器，对于RNN，需要顺序的传递序列信息，通常造成长程关联弱，对于RNN，需要不断加深网络来建立大尺度连接，而对于Self Attention，信息的互访是一步完成的。

并且Self Attention机制的拥有极其领先的自指思想。

Implementation

值得注意的是，代码中为了减少计算成本我们是一次性计算qkv：

再做多头分解：

Transformer in NLP

Transformer让自然语言处理进入一个新时代，从Transformer(2017)开始几乎所有的自然语言方向的架构都基于Transformer的变种。

Transformer 架构

位置编码

Transformer 的直接问题是，由于不采用 RNN 的递推结构，数据的序列性先验没有自然注入到模型中。对于自注意力层，我们有：

其中，是 token 数量，的每一行表示一个 token 的向量。作用在特征维度上，而不是作用在 token 位置上。

更准确的说法是：不带位置编码的 self-attention 对 token 顺序具有置换等变性。设是一个置换矩阵，用来交换输入 token 的顺序，那么：

于是：

同理：

接下来考虑注意力矩阵。设原始注意力分数矩阵为：

交换输入顺序后，新的注意力分数矩阵为：

代入和：

由于，所以：

这说明注意力矩阵并没有保持完全不变，而是行和列都按照同一个置换被重新排列了。直观地说，如果输入 token 的顺序被交换，那么“谁查询谁”的关系表也会跟着交换。

再看注意力输出。忽略缩放和 softmax 的细节，原始输出可以写成：

交换后有：

由于置换矩阵满足，得到：

也就是说，输入顺序被置换后，输出也只是按照同样方式被置换。交换并没有被“抵消”成原来的结果，而是一路传递到了输出中。

这就是置换等变性的含义：如果输入顺序改变，输出顺序也随之改变。更直观地说，假设我们已经知道原输入的输出是，那么当输入变成时，我们甚至不需要重新推理，也能知道输出一定是，也就是把原输出按同样方式交换即可。

这说明不带位置编码的 self-attention 并没有真正利用 token 的绝对顺序。它会处理 token 之间的内容关系，但没有额外机制知道“这个 token 原本在第几个位置”。因此，如果任务需要区分不同词序，模型就必须获得某种位置信息。

因此没有位置编码时，Transformer 无法区分同一组 token 的不同排列。对于序列文字“技术之本质只是缓慢地进入白昼”和“白昼之本质只是缓慢地进入技术”，如果不额外提供位置信息，模型只能看到相同 token 的集合，很难区分它们的先后结构。

为了解决这个问题，必须对数据做一次处理，这个处理传入了数据的位置先验，称为Positional Encoding，考虑在加上项以破坏交换对称性：

这样交换对称性就被破坏了。有许多方法构建矩阵。

Sinusoidal PE

这正是Transformer自己使用的思路：

这里就是词的位置（索引），而是特征向量（例如embedding）的维度索引，是特征向量的维度数，故。

这个编码的优势在于它是平移变换幺正的：

这一性质保证了，位置移动不会改变PE矩阵的范数，不会在过程中发生衰减或者爆炸，保证训练稳定性和保证能量与信息量的稳定性。并且模型有能力学会相对位置关系，即学习相对的相位。

最后我们考虑当时保持不变的情况，这意味着编码相同，可以导出满足的条件为：

这意味着只有在在前期可能有相同编码，并且由于证书限制，这个概率是更小的。

但是这种编码的特性是加性编码，它将PE直接加到Embedding上去，这在一定程度上破坏了语义，后来发展起来的RoPE解决了这个问题，保留了幺正变换特性。

Rotary Positional Encoding

为了不破坏Embedding，RoPE考虑的是对注意力矩阵做Rotate，考虑，此时每一行代表一个position，因此取出第行和第行，分别旋转度和度：

其中是旋转矩阵：

可以看到如果，那么当时就完成了一个周期，这在长文本是非常不利的，因此我们同样引入正余弦位置编码中的频率项：

可学习PE：通过将PE当做一个linear层，缺陷是必须指定大小。

架构

现在我们就容易得到整体的Transformer architecture:

对于编码器部分，每一层主要由多头自注意力和前馈网络组成。多头自注意力负责让不同 token 之间交换信息，前馈网络负责对每个 token 自身的特征表示做非线性增强。每个子层都会配合残差连接和 LayerNorm，而不是 BatchNorm。

对于解码器部分，每一层多了一个结构：先使用掩码多头自注意力，保证自回归生成时当前位置不能看到未来 token；然后使用交叉注意力，让解码器读取编码器输出；最后再经过前馈网络。每个子层同样配合残差连接和 LayerNorm。

我们最后需要关注的是 Feed Forward 层。它通常称为 position-wise feed-forward network，也就是说，它对每个 token 独立应用同一个 MLP。这里输入是一整段序列的表示矩阵，形状为：

其中是 token 数量，是每个 token 的特征维度。的每一行代表一个 token，因此可以写成：

通常有：

所以中间层形状为：

最终输出又回到：

等价地，对第个 token 的表示，有：

这说明 FFN 不负责 token 之间的信息融合；token 之间的信息融合已经由 attention 完成。FFN 的作用是在每个 token 自身的特征维度上做表达增强：先用把投射到更高维度，经过非线性激活后，再用投射回。

这个结构类似于 CNN 中的卷积：它不直接混合空间位置，而是在每个位置上独立加工通道特征。Transformer 的 FFN 也是类似的，它不直接混合 token 位置，而是在每个 token 上独立加工特征维度。

自回归语言建模与 GPT

GPT-1 与预训练微调

OpenAI在2018年提出了GPT 1

Improving language understanding with unsupervised learning

We’ve obtained state-of-the-art results on a suite of diverse language tasks with a scalable, task-agnostic system, which we’re also releasing. Our approach is a combination of two existing ideas: transformers and unsupervised pre-training. These results provide a convincing example that pairing supervised learning methods with unsupervised pre-training works very well; this is an idea that many have explored in the past, and we hope our result motivates further research into applying this idea on larger and more diverse datasets.

https://openai.com/index/language-unsupervised/

传统的NLP有许多监督/自监督任务用于训练模型，哪种方法最优尚未达成共识。并且，通过这些方法学习到的表征如何运用到具体的任务也为形成统一。GPT 1的思路是，使用自监督的预训练和监督微调。

在预训练阶段，对海量文本进行顺序自回归语言建模，只使用transformer的decoder，并且带有掩码注意力：

注意到，GPT将batch norm换成了layer norm，这是因为

1.在大规模训练中文本长度是动态的，而在batch GD中通常用0填补，而batch norm在这种行为中会收到干扰。

2.大模型的一个batch样本量通常是非常小的，batch norm的稳定性不够

而到了微调阶段，则使用以下任务规划：

即分类任务，蕴含任务（前提和假设），相似性判断，多选择，这些任务被编排成相同的形式。

我们曾在CNN的迁移学习提到过，微调的基本机制是信息高斯先验，在大模型这里，预训练阶段学习到的是语言模式中普遍的信息，得到的平滑解具有极高的泛化性，当我们进行微调时，我们不是觉得这个任务的模式和预训练的模式是接近的，而是我们希望完成这个任务的模式应当仅仅通过学习残差来完成，从而继承泛化性，同时具有解决特殊问题的能力。

但是这样的结果是，由于一定程度上偏离了平滑解，因此造成相当严重的“遗忘”问题，这意味着一个通才变成了一个专家。而GPT 1通过让模型同时训练无监督来抵抗这种遗忘：

这里是监督任务损失函数，是无监督任务损失函数。并且消融实验表明，同时进行无监督学习是很重要的：

We observe that the lack of pre-training hurts performance across all the tasks, resulting in a 14.8% decrease compared to our full model.

预训练微调机制的关键问题在于，尽管我们已经预训练出了高效编码的语言模型，为了解决每一个特别的问题，我们需要单独微调一个模型出来，这是十分低效的

GPT-2 与预训练 Prompt

为了更进一步解决GPT 1的预训练-微调范式带来的低效率问题，以及更进一步缓解由微调造成的遗忘问题，OpenAI在2019年提出了GPT 2：

[PDF] Language Models are Unsupervised Multitask Learners | Semantic Scholar

It is demonstrated that language models begin to learn these tasks without any explicit supervision when trained on a new dataset of millions of webpages called WebText, suggesting a promising path towards building language processing systems which learn to perform tasks from their naturally occurring demonstrations. Natural language processing tasks, such as question answering, machine translation, reading comprehension, and summarization, are typically approached with supervised learning on taskspecific datasets. We demonstrate that language models begin to learn these tasks without any explicit supervision when trained on a new dataset of millions of webpages called WebText. When conditioned on a document plus questions, the answers generated by the language model reach 55 F1 on the CoQA dataset matching or exceeding the performance of 3 out of 4 baseline systems without using the 127,000+ training examples. The capacity of the language model is essential to the success of zero-shot task transfer and increasing it improves performance in a log-linear fashion across tasks. Our largest model, GPT-2, is a 1.5B parameter Transformer that achieves state of the art results on 7 out of 8 tested language modeling datasets in a zero-shot setting but still underfits WebText. Samples from the model reflect these improvements and contain coherent paragraphs of text. These findings suggest a promising path towards building language processing systems which learn to perform tasks from their naturally occurring demonstrations.

https://www.semanticscholar.org/paper/Language-Models-are-Unsupervised-Multitask-Learners-Radford-Wu/9405cc0d6169988371b2755e573cc28650d14dfe

GPT 2使用的模型为改进版的Transformer，将Layer Normalization提到shortcut之前，改进shortcut的初始化。

GPT2的关键贡献是直接抛弃原有的预训练微调架构，提出预训练-提示架构。这是因为研究人员发现，当数据规模到达一定程度的时候，模型能够学会那些语言结构中相当高级的规律和语义行为。因此，我们只需要让模型在推理过程中自回归任务模式即可。

GPT-2 的关键变化是进一步弱化“为每个任务单独设计监督微调格式”的思路，转而强调 few-shot prompting：许多 NLP 任务都可以被改写成语言模型续写问题。也就是说，只要把任务描述、输入和期望输出组织成一段文本，模型就可以通过继续生成文本来完成任务。

这就是 prompt 的基本思想：不一定改变模型结构，也不一定为每个任务重新训练一个分类头，而是通过自然语言提示，把任务变成模型已经熟悉的“根据上下文预测后续文本”。

第一个 few-shot 例子是情感分类：

模型如果继续生成：

就相当于完成了情感分类。

第二个 few-shot 例子是翻译。它的形式不是只写一句“请翻译”，而是先给出少量示范，例如：

这就是说，我们重复几次相同的模式，例如中文1-英文1，中文2-英文2，中文3-英文3，当我们再输入中文4时，模型将会找到前三个对应当中的模式结构，给出英文4，我们称这种方式为提示(Prompt)。

这两个例子说明，few-shot prompting 的核心不是训练新参数，而是把少量示范直接放进上下文，让模型通过上下文学习任务格式。Prompt 的本质不是一个额外的算法，而是一种任务表达方式：把原来需要专门建模的任务，转写成语言模型可以直接续写的文本格式。GPT-2 的重要意义就在于，它展示了大规模预训练语言模型可以通过 prompt 在许多任务上表现出一定的 zero-shot 能力。

这种思路看似很简单，但是在那个时代，人们对语言模型的理解还在外推语法结构的语义连续性上，对于非常高级的逻辑和推理是几乎没有理解的。并且，通过更新权重来学习任务能力是主导思路。通过自回归Prompt来实现多任务是一次根本的范式转换，但是不难理解，相比于微调模型，GPT 2(1.5B参数量)的精度是远远不够的。

GPT 3 and Scaling Law

一种直接的想法就是，扩大模型的规模和训练集的规模，看看模型是否在这个过程中任务的准确率是否会有提升，这就是OpenAI在2020年提出GPT 3的思路：

Language Models are Few-Shot Learners

Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic...

https://arxiv.org/abs/2005.14165

模型上它在GPT2的基础上引入稀疏注意力以减少计算量。通过训练8个模型观察scaling规律，它直接给出了这样一个实验数据：

可以看到，对于1.3B Params的模型，在对话中给予prompt带来的提升是不大的。但是对于更大的模型，就开始有稳定的提升，而对于175B这样的超大模型，你会看到自然语言prompt会增强prompt的效果，即自然语言本身的结构信息进一步传入了。

GPT3在验证scaling law的同时也发现了无限制的scaling会带来的严重问题：

社会偏见与毒性:模型不仅会统计到语言的高级规律，也会统计到社会偏见，会被数据集中的错误信息污染

幻觉：模型在外推时会创造一些统计相似的但是虚假的信息

仍然缺乏推理，逻辑等更加抽象和根本的功能，这说明了纯粹文本统计结构的有限性和边际效益递减

掩码语言建模与 BERT

掩码语言建模将语言建模为

其中表示第个 token 被遮挡，模型需要根据其余上下文恢复它。这个思路最成功的实现之一就是 BERT。BERT 只使用 Transformer 的编码器，因此它本质上是一个编码模型，而不是像 GPT 那样的生成模型。

BERT: Pre-training of Deep Bidirectional Transformers for Language...

We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is...

https://arxiv.org/abs/1810.04805

掩码重建

BERT 被训练为一个编码器，它的直接输出不是下一个词，而是一组上下文特征表示。

在掩码重建任务中，模型需要把被遮挡位置还原成词表中的某个 token。因此 BERT 会在编码器输出之后接一个线性层和 softmax 层，把隐藏表示投射回词表空间。

除此之外，BERT 还通过 NSP（Next Sentence Prediction，下一句预测）任务训练编码器，让编码器形成更强的全局语义视野。NSP 的形式是给出两个句子 A 和 B，让 BERT 判断 B 是否真的是 A 的下一句。

当 BERT 被微调用于下游任务时，通常保留编码器主体，只把输出头换成具体任务需要的形式。

把预训练、任务头替换和下游微调三个过程合在一起，就得到如下流程：

Segment Embeddings

为了同时支持掩码重建和下一句预测两个任务，BERT 扩展了 Embedding 的含义。

除了用于提供词语语义空间的 Token Embedding，以及告诉模型序列位置的 Position Embedding，BERT 还引入 Segment Embeddings，用来告诉模型：当前输入中包含两个不同的句子片段。

在微调阶段，Segment Embeddings 也可以用来区分不同输入片段，例如在问答任务中区分问题和段落。

分类 token

许多任务，包括 NSP，并不需要输出一个完整序列，而是只需要输出一个概率或一个类别。这意味着模型需要把整段序列的特征汇总成一个全局表示。

一个直接想法是用全连接层汇总所有 token 的 embedding，但 BERT 使用的是 CLS token。CLS 可以理解为一种通过自注意力学习出来的隐式序列摘要。

CLS 是每个输入序列开头的特殊 token，用来承载全局信息。通过自注意力机制，所有 token 都会与 CLS 发生交互。因此，如果任务要求 CLS 具有全局视野，例如 NSP，训练过程会推动 CLS 学会汇总整段输入的信息。

同时，其他 token 也可以从 CLS 中读取全局信息，这在一定程度上有助于表示学习。

不过，后续研究表明，CLS token 本身并不一定带来很大的性能提升，它更像是一种简洁的全局读出设计。

Transformer In CV

Transformer在MLP领域取得一定成功后，就有人开始将其迁移到计算机视觉领域，形成了CONV和Self Attention的混合架构，也有人完全抛弃了CONV，但是它们由于使用了稀疏注意力，导致计算效率低下，因此ResNet在大部分时间内仍然是SOTA。为什么NLP的成功如此难以迁移到图像，我们从自回归图像的发展过程就可以看出来。

AutoRegressive Image

自回归图像早有历史，早在2017年就Google就尝试过使用RNN，并且像素级别回归图像，但是受限于RNN架构本身的限制，未能取得理想成果。

2018年，Image Transformer用Transformer来进行回归，但是计算量过大，同样有限。

Image Transformer

Image generation has been successfully cast as an autoregressive sequence generation or transformation problem. Recent work has shown that self-attention is an effective way of modeling textual...

https://arxiv.org/abs/1802.05751

Open AI将图像下采样，在采样后的图像上自回归以缓解困难，提出了iGPT，但是牺牲了图像质量

[PDF] Generative Pretraining From Pixels | Semantic Scholar

It is found that a GPT-2 scale model learns strong image representations as measured by linear probing, ﬁne-tuning, and low-data classiﬁcation, despite training on low-resolution ImageNet without labels. Inspired by progress in unsupervised representation learning for natural language, we examine whether similar models can learn useful representations for images. We train a sequence Transformer to auto-regressively predict pixels, without incorporating knowledge of the 2D input structure. Despite training on low-resolution ImageNet without labels, we ﬁnd that a GPT-2 scale model learns strong image representations as measured by linear probing, ﬁne-tuning, and low-data classiﬁcation. On CIFAR-10, we achieve 96.3% accuracy with a linear probe, outperforming a supervised Wide ResNet, and 99.0% accuracy with full ﬁne-tuning, matching the top supervised pre-trained models. An even larger model trained on a mix-ture of ImageNet and web images is competitive with self-supervised benchmarks on ImageNet, achieving 72.0% top-1 accuracy on a linear probe of our features.

https://www.semanticscholar.org/paper/Generative-Pretraining-From-Pixels-Chen-Radford/bc022dbb37b1bbf3905a7404d19c03ccbf6b81a8

这一切的问题都在于，对于同等语义量，图像的tokens长度远远长于文本，自回归虽然在自然语言成功了，在图像方面则不是这样，仅仅使用Tranformer解码器是根本不够的。

并且，图像结构并不保证具有良好的顺序条件概率结构，这种建模在本质上是一种扭曲的近似。

视觉 Transformer

架构

2020年Google团队提出Vision Transformer，通过引入Patch思路，使用最基本的全局注意力架构，取得了成功：

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either...

https://arxiv.org/abs/2010.11929

基本思路是，将图像切成nxn份，对每一份展平为向量，并linearly embed，可学习PE，然后把个当作tokens传入正常的transformer编码器中，如下图

可以看到，这是一个监督学习任务，结构中采用Pre-LayerNorm，激活函数使用GELU(Gauss Error Linear Unit)，它是现代发现的在某些问题上比RELU更好的激活函数，定义为，为高斯分布的概率累计函数，图像为

可以看到在0点是非奇异的。

更高分辨率

假设模型是在 224x224 分辨率、16x16 的 Patch 上预训练的（序列长度 = (224/16)^2 = 196）。在微调或推理时，如果输入图像是 384x384，我们仍然使用 16x16 的 Patch。此时，序列长度变为 (384/16)^2 = 576。这比预训练时的 196 要长得多。

Transformer 本身可以处理更长的序列（只要算力允许），但问题在于位置嵌入。在预训练中，模型为序列中的 前 196 个位置 学习了特定的位置编码。现在序列长度变成了 576，第 197 到第 576 个位置 没有对应的、经过训练的位置编码。

ViF的思路是，位置编码应该对应于图像中的空间位置，而不是序列中的索引。将预训练的位置嵌入矩阵视为一个低分辨率的 2D 网格，然后，使用 2D 插值算法（如双线性插值）将这个 14x14 的网格上采样到目标分辨率所需的网格大小（例如 24x24，因为 384/16=24）。这样，每个 Patch 的位置编码都根据其在原始图像 2D 空间中的实际位置进行了重新计算，保持了空间关系的连续性。

这就是ViF最关键的图像结果先验的嵌入。

Scaling

想要证明ViF的成功性，必须表明，尽管数据量少时可能无法击败CNN的SOTA，但是数据量大时，可以具有非常优良的增长。

并且Vision Transformers appear not to saturate within the range tried, motivating future scaling efforts.

学会成为更好的 CNN

首先对于底层的Attention的PCA分析表明，它们在关注基础视觉元素

并且在embedding矩阵的相似度分析中发现，Transformer仅仅通过PE学到了行列结构

这就是为什么hybrid效果一般甚至更差，因为CNN的结构先验其实被网络自己学到了。然后通过注意力距离分析发现，即使在早期层，注意力也已经非常长程化了，而不需要CNN的下采样的感受野扩大过程。

以上结果都表明，ViF再次验证了弱架构先验的中心思路。

掩码自编码器

Masked Autoencoders Are Scalable Vision Learners

This paper shows that masked autoencoders (MAE) are scalable self-supervised learners for computer vision. Our MAE approach is simple: we mask random patches of the input image and reconstruct the...

https://arxiv.org/abs/2111.06377

掩码自编码器并不是稀奇的技术，在Bert那里就已经这样做了，通过遮挡一部分文字，然后让编码器编码未被遮挡的文字，用Linear+Softmax解码全部的文字。MAE的创新在于他解决了图像和语言两种信息的差异性所导致的问题。

高比例掩码

Information density is different between language and vision

文字是高精度编码的，图像数据是高度冗余的，这使得a missing patch can be recovered from neighboring patches with little high-level understanding of parts, objects, and scenes。

He Kaiming的解决方法是掩码大部分区域：

即让模型需要花费更多的功夫恢复图像，从而建立更高级的表征。这造成一个双赢局面，高度掩码减小了内存占用，并且同时提高了训练效果。

并且得到

这就是为什么He Kaiming说：

The model infers missing patches to produce different, yet plausible, outputs (Figure 4). It makes sense of the gestalt of objects and scenes, which cannot be simply completed by extending lines or textures. We hypothesize that this reasoning-like behavior is linked to the learning of useful representations.

同样文章还研究了不同掩码方法的影响

很容易理解，随机掩码的效果最好，模型不会因为学习到掩码规律而偷懒。

轻量级解码器

The autoencoder’s decoder, which maps the latent representation back to the input, plays a different role between reconstructing text and images

这指的是bert仅仅通过线性层+softmax就可以讲特征投射回语言空间，因为文字是离散的，这是个classification问题，而对于图像，需要引入完整的transformer decoder，但是必须是不对称的，our decoder is lightweight and reconstructs the input from the latent representation along with mask tokens如下图

效果是显著的 With a vanilla ViT-Huge model, we achieve 87.8% accuracy when finetuned on ImageNet-1K. This outperforms all previous results that use only ImageNet-1K data.

Scaling 扩展

最后是Scaling方面

性能仍然在增长，这表明了强大的scaling前景。

Phase Transition Theory

Tue, 14 Jul 2026 00:00:00 GMT

Ising Model and Mean Field Approximation

伊辛模型是相变理论中最小而最有力的模型之一。它只保留每个格点上二值自旋的自由度，却已经能够展示有序相、无序相、自发对称性破缺、临界点、临界指数和涨落的重要性。后面的 Landau 理论与 Landau-Ginzburg 理论，很多概念都可以先在这个模型里看清楚。

1. 模型定义

在一个维晶格上，每个格点放置一个自旋变量

最近邻铁磁 Ising 模型的哈密顿量为

这里表示最近邻格点对，是相邻自旋之间的耦合常数，是外磁场。时，同向排列的相邻自旋能量更低，因此低温下系统倾向于形成铁磁有序。

2. 配分函数与热平均

对个格点的 Ising 系统，正则配分函数为

把哈密顿量代入，可写成

也写为：

自由能为

磁化强度，也就是 Ising 模型的序参量，定义为单位格点平均自旋：

由于外场正是耦合到总磁矩的源项，所以可以直接由配分函数对求导得到：

因此

这就是“序参量和配分函数的关系”。磁化率也同样来自二阶导数：

所以磁化率本质上是总磁矩涨落。临界点附近发散，等价于大尺度磁化涨落变得异常强。

3. 自由能的凸性

这一节关心的不是某个具体近似，而是配分函数本身带来的热力学稳定性。自由能的凸性告诉我们：哪些响应函数必须非负，哪些地方可能出现真正的相变。

先给定义。设是定义在区间上的函数。如果对任意和，都有

则称是凸函数。如果不等号方向反过来，则称为凹函数。若二阶导数存在，凸性等价于，凹性等价于。

为了证明配分函数的凸性，把参数统一写成。若哈密顿量中某个观测量与线性耦合，则有

例如对 Ising 模型的外场变量，可以取，，而。

取两个参数。对，有

对上式使用 Holder 不等式：

于是得到

两边取对数，便有

因此对线性耦合参数是凸函数。若二阶导数存在，这等价于

这条公式的物理含义非常直接：凸性来自涨落的非负性。方差不可能为负，所以相应的响应函数也不可能为负。

对外场，有，因此

由于

所以自由能密度对外场是凹的：

磁化强度满足，因此磁化率为

对温度也有类似稳定性。熵密度定义为

定外场比热密度为

在正则系综中，这也等价于能量涨落：

因此。换句话说，自由能对温度是凹的，比热非负；自由能对外场按上面的符号约定也是凹的，磁化率非负。

这和相变的关系在于：有限系统的是有限项指数函数之和，所以通常是光滑的；只有热力学极限中，自由能才可能在保持凸性/凹性的同时出现非解析点。

一级相变对应自由能一阶导数跳变，例如或不连续。连续相变中一阶导数可以连续，但二阶导数可能发散或不连续，例如或在临界点附近变得很大甚至发散。

所以，自由能的凸性不是形式数学装饰，而是热力学稳定性的表达：比热和磁化率来自自由能的二阶导数，也来自相应物理量的涨落；相变则是热力学极限中这些导数失去普通解析性的地方。

4. 有序、无序与自发对称性破缺

在零外场时，哈密顿量在全局翻转

下不变。因此模型本身不偏好“全向上”或“全向下”。高温下热涨落主导，自旋取向混乱，平衡态保持这个对称性，。

低温下能量主导，相邻自旋倾向于同向排列。系统会在两个等价的有序态中选一个：或。哈密顿量仍然对称，但具体平衡态不再对称，这就是自发对称性破缺。

严格地说，在有限系统且时，由于两个有序态权重相等，配分函数给出的仍然为零。真正的自发磁化需要按如下顺序取极限：

先取热力学极限，再让外场趋于零，系统才会选择一个破缺对称性的纯态。

5. 平均场理论

平均场理论的基本近似是：不再逐个追踪某个自旋周围邻居的真实取值，而是把邻居替换成平均磁化强度。如果每个格点有个最近邻，则

这个公式来自把每个自旋分解成“平均值 + 涨落”：

于是

展开为

整理后三项得到

平均场近似的关键就是忽略二阶涨落关联项：

因此

也就是说，平均场理论并不是说每个自旋完全等于，而是说相邻自旋之间的涨落关联被忽略了，其中。这正是它后来在临界点附近失效的根源：临界点附近涨落关联会变得长程而强烈，不能再被当作小量丢掉。

代入哈密顿量后得到平均场哈密顿量

这个式子的代入过程如下。从原哈密顿量

出发，将

代入相互作用项：

拆开得到

现在需要处理两个最近邻键求和。若每个格点有个最近邻，则在中，每个格点自旋会被数到次，因此

6. 临界指数

前面从平均场自洽方程出发，对临界点附近的小做展开，已经得到了自发磁化和磁化率的临界行为。这里的关键近似是：只在附近保留最低阶非平凡项，因此得到的是临界附近的渐近幂律，而不是全温区公式。

临界指数就是这些幂律中的指数。平均场理论给出的主要结果是：

自发磁化：，所以。

磁化率：，所以。

临界等温线：，所以。

这些指数描述的是临界点附近的奇异行为。它们比具体的临界温度更重要，因为临界指数体现了普适性：不同微观模型只要维度、对称性和相互作用范围相同，就可能共享同一组临界指数。

临界指数背后的物理机制，可以从磁化率、磁化涨落和关联函数的关系看得更清楚。令总磁矩为

若磁化率定义为单位格点磁化强度对外场的响应，则

如果采用前面推导中的总响应约定，那么就是。关键点不在这个因子，而在于：磁化率正比于总磁矩涨落。

再定义连通关联函数

因为

所以在平移不变体系中

这说明磁化率不是一个孤立的响应系数，而是在空间上把所有自旋之间的关联加起来。远离临界点时，关联函数通常近似指数衰减：

这里就是关联长度，表示一个自旋取向的影响大约能传到多远。

从团簇图像看，系统可以想成由许多局域上较一致的自旋团簇组成。高温时团簇很小，向上团簇和向下团簇频繁打散，外场只能影响很短距离内的自旋，因此有限，磁化率也有限。低温深处已经形成宏观有序背景，涨落同样不强。

接近临界温度时，不同尺度的团簇同时出现，小团簇嵌套在大团簇中，系统不再有一个固定的典型长度。此时关联长度迅速增大，并在热力学极限下满足

当时，关联函数的空间积分变得越来越大：一个很小的外场不再只推动少数自旋，而是能让一个很大的相关区域一起偏向同一方向。于是磁化涨落增强，磁化率出现临界发散：

所以所谓“物理量发散”，并不是说某个数学符号失去意义，而是说在热力学极限中，系统对外界扰动的响应没有普通有限尺度可以截断；临界点附近的集体涨落变成了宏观现象。

7. 平均场理论的物理意义与局限

平均场理论的优点是抓住了相变的骨架：配分函数、自由能、序参量、自洽方程、临界温度、对称性破缺和幂律奇异性。可是这里立刻出现一个问题：如果临界点附近关联长度发散，平均场近似会被长程涨落严重干扰，那么为什么临界点附近的幂律行为仍然有效？幂律行为难道不是平均场失效造成的吗？

答案是：平均场失效，主要是因为它低估了空间涨落，从而给不准临界指数；但幂律本身不是平均场的产物，而是临界点无特征尺度的结果。

先看正常情形。远离临界点时，连通关联函数通常指数衰减：

这里是特征尺度：当距离达到几个以后，一个自旋对另一个自旋的影响就迅速消失。系统能够“记住”一个典型长度，因此响应函数一般是有限的。

临界点不同。此时，指数衰减中的固定长度尺度消失了。没有特征尺度，系统就不能“记住”某个固定长度、固定能量或固定时间；把观察尺度放大以后，系统的统计形态仍然相似。这叫尺度不变性，或者自相似性。

用数学语言说，若某个物理量在尺度变换下只能改变一个整体倍数，就应满足

这种缩放方程的解就是幂律：

所以在临界点，关联函数不再以某个固定长度截断，而通常变成幂律衰减：

同样，关联长度、磁化率和自发磁化也在临界点附近表现为幂律：

因此要区分两件事：幂律形式来自临界点的无尺度性；临界指数的具体数值来自涨落如何在不同尺度之间耦合。平均场近似的问题不是“推出了幂律”，而是把空间涨落平均掉了，所以通常只能给出错误的指数。对于 Ising 模型，平均场给出，这些结果在时可靠；在时，涨落会改写指数，但不会消灭临界幂律本身。

Some Exact Results for the Ising Model

1. 一维 Ising Model 的精确解

一维 Ising 模型是最简单的可精确求解模型。设有个格点，并取周期边界条件，哈密顿量为

配分函数为

为了把它写成相邻自旋之间的矩阵乘积，把外场项平均分配到相邻两条键上：

定义转移矩阵

配分函数是对所有自旋构型求和：

显式写成矩阵就是

周期边界条件使配分函数变成矩阵迹：

转移矩阵的两个本征值为

因此精确配分函数是

在热力学极限中，由最大本征值控制：

磁化强度由自由能对外场的导数给出：

直接计算得到

于是当且温度有限时，，所以

这说明一维 Ising 模型在任何有限温度下都没有自发磁化，也没有有限温度相变。只有在时，系统才完全有序。

这个结论也可以从关联长度看出。在零外场时，本征值化为

一维关联函数为

从关联函数的热平均定义出发，

定义自旋算符矩阵

在转移矩阵乘积中插入一个就等价于给该格点乘上对应的自旋值。因此

在零外场时，的两个归一化本征态可以取为

对应本征值和。自旋算符会把这两个本征态互相变换：

因此在本征态基底中，迹包含两条闭合传播通道。第一条从出发：经过得到因子，插入后变成，再经过得到因子，最后第二个把它带回。这给出一项。

第二条从出发，同理得到另一项。所以分子更准确地是

分母为

由于零场有限温度下，在且固定时，第二条通道相对第一条通道被因子压低，因此可忽略。于是

写成指数衰减形式

得到

只要，就有，因此有限；只有时，，关联长度才发散。

这个结果也可以用畴壁来理解。所谓畴，是指一段局域上自旋取向一致的区域；畴壁就是两个取向不同的畴之间的边界。例如一维链中

中间的反向小畴两端各有一个畴壁：左端是，右端是。畴壁会把原本的长程同向排列切成不同取向的片段。

畴壁的能量代价可以直接从单条键的能量看出。相邻自旋如果同向：

这一条键的能量是

如果相邻自旋反向：

这一条键的能量是

所以一个畴壁相对于同向排列多出来的能量是

物理上，一维系统中一个畴壁只需要有限能量。在任何有限温度下，畴壁都有非零热概率；热力学极限中会出现有限密度的畴壁，把长程序打断。因此一维短程 Ising 模型没有有限温度铁磁相变。

2. 二维 Ising Model：低温与 Peierls 液滴

二维最近邻 Ising 模型定义在平方格子上：

低温展开的出发点是：当时，配分函数主要由两个完全有序基态贡献：全向上和全向下。低能激发则可以按“翻转少量自旋造成的畴壁能量代价”来系统计数。

设平方格子有个格点，周期边界下最近邻键数为。在全有序基态中，每条键都是同向的，基态能量为

因此两个基态给出因子

接下来考虑翻转自旋产生的低能激发。一个孤立反转自旋有四条边界键，每条边界键把同向键变成反向键，能量从变成，所以每条边界键多付出。于是孤立反转的能量代价是

有个位置，所以给出。两个相邻反转自旋形成一个长度为的边界，能量代价为，相邻格点对数为，所以给出。于是低温展开开头为

这串展开的意义是：低温涨落可以组织为反向自旋区域的边界。一个由负自旋组成的连通区域称为低温背景中的液滴；液滴外侧的闭合边界称为 Peierls 轮廓。若轮廓长度为，则有

因此单个长度为的轮廓带来 Boltzmann 权重

但是轮廓的形状数也会随增长。粗略地，把长度为的可能轮廓数写成

这里是轮廓熵密度，表示单位边界长度大约带来多少形状选择。于是所有长度的液滴贡献可以估计为

这就是二维低温相变的能量-熵竞争。能量项压制长边界液滴；熵项鼓励更多形状。低温时，大液滴被压制，有序相稳定；升温后，熵增压过边界能，大液滴大量出现，有序相被破坏。粗略临界条件为

因此

这个式子不是精确临界温度，而是解释为什么二维会有有限温度相变的量级估计。二维 Ising 的精确结果是

一维为什么不发生有限温度相变，也可以从同一个能量-熵竞争看出。一维畴壁是点，一个畴壁的能量代价只是，但它可以放在个位置上，因此自由能代价近似为

在热力学极限中，只要，熵项最终都会压过有限能量代价，畴壁不可避免，长程序被切断。二维中则不同：一个液滴的代价随边界长度增长，低温下可以压过形状熵，因此有序相能够稳定。

最后区分一下液滴和团簇。液滴通常是在低温有序背景中出现的少数相区域，例如全向上背景中的一块负自旋区域；它强调的是边界能量和低温激发。团簇则更一般，指相同取向或强相关自旋组成的连通区域，尤其在临界点附近会出现多尺度分布。低温液滴可以看成一种特殊团簇，但临界团簇不一定嵌在稳定背景中，也不一定只是少数相液滴；它们更强调关联长度发散和无尺度涨落。

3. 二维 Ising Model：高温

低温展开从全有序基态出发，把涨落组织成反向液滴的边界。高温展开则从无序相出发，此时较小，邻近自旋之间的相关性弱。为简单起见，先取零外场。配分函数为

对每一条最近邻键使用恒等式

这是因为。若记，并设最近邻键总数为，则

现在展开乘积。对每条边，或者选择，或者选择。因此展开中的每一项都对应格子上一组选中的边，其权重为，并带有自旋乘积。

对自旋求和时，只有每个格点连接偶数条被选中边的图形会保留下来。原因是如果某个格点在该项中出现了奇数次，则有

例如，展开时当然可能选中两条彼此不相连的边和，这一项为

但是在配分函数中还要对所有自旋求和。由于

只要某个自旋在该项中出现奇数次，对这个自旋的求和就会把整项消掉。上面的例子里都只出现一次，因此

再看两条相邻边和，对应项为

虽然中间的出现两次并变成，但端点和仍然各出现一次，所以这项也被求和消掉。

相反，如果选中一个闭合小方格的四条边，就得到

每个顶点都出现两次，因此对自旋求和不会为零。这就是为什么高温展开最后只留下闭合回路，或者更一般地说，只留下每个顶点度数为偶数的图形。

只有为偶数时，求和才给出。所以高温展开留下来的图形是闭合回路，或者若干个互不相交/相交于偶数度顶点的闭合图形。最终得到

这个公式就是二维 Ising 模型的高温展开。高温时，所以。长回路权重很小，说明大尺度相关被强烈压制，系统处在无序相。

这和低温展开形成互补。低温展开中的基本对象是反向液滴的边界，权重形如；高温展开中的基本对象是闭合回路，权重形如。这两个结构在对偶格子上具有相同的图形形式。

4. Kramers-Wannier 对偶性

因此高温展开自然引向 Kramers-Wannier 对偶性。若令对偶耦合满足

就可以把高温展开映射为对偶格子上的低温展开。等价地，

这里要特别注意：对偶性不是把原格点上的自旋一一变成同一批实际点上的自旋。高温展开先在原格子上对自旋求和，求和之后留下的对象不是自旋构型，而是闭合边集合。低温展开也把自旋构型重新编码成畴壁轮廓。因此对偶性比较的是展开后的闭合线图形，而不是原始自旋点本身。

长度也不是欧氏长度，而是边的条数。每一条原格子边都和一条对偶格子边相交，因此原格子上选中条边，等价于对偶描述中对应条边。正是这个一一对应使得可以和逐项比较。

更严格地说，对偶性来自比较同一组闭合线在高温展开和对偶低温展开中的权重。原格子的高温展开为

这里是原格子高温展开中留下的闭合边集合。每一条原格子边都唯一对应一条穿过它的对偶边；反过来，在对偶模型的低温展开中，畴壁也可以用穿过对偶键的原格子边来表示。因此两边都可以用同一类闭合边集合来标记。这里比较的是边集合的长度和权重，而不是把原格点自旋直接变成对偶格点自旋。

对偶模型的自旋定义在对偶格点上，耦合为。它的低温展开从两个有序基态出发；对偶自旋的正负畴之间形成闭合畴壁。把这些畴壁重新画回原格子的边集合后，若对偶格子有个格点、条边，则

两边的闭合图形求和完全相同。为了让每条轮廓的权重逐项对应，必须要求

于是闭合图形的求和部分相同，只差前面的解析因子。也就是说

这里并不是把前面的系数丢掉了。逐项比较闭合线时，我们只需要匹配每单位长度的权重和；但完整的配分函数关系必须保留和。这些前因子给自由能贡献解析的背景项，而临界奇异性来自闭合线求和中大回路或大畴壁的统计。

这就是配分函数层面的 Kramers-Wannier 对偶关系。它说明原模型在耦合的高温展开，等价于对偶模型在耦合的低温展开，除了前面那些不会导致奇异性的解析因子。

再把改写成对称形式。令，则

因此

相乘得到

对于平方格子，原格子和对偶格子仍然是平方格子，所以若相变点唯一，临界点必须落在自对偶点。这给出

从而得到精确临界温度

5. van der Waals 方程与 Landau 理论的动机

现在可以回头理解一个重要事实：van der Waals 方程和平均场 Ising 模型虽然描述的微观对象完全不同，一个是流体的液-气转变，一个是晶格自旋的铁磁转变，但它们在临界点附近给出同一组平均场临界指数。

这里不要把 van der Waals 方程和 Clapeyron 方程混在一起。Clapeyron 方程

描述的是一级相变共存线的斜率；而 van der Waals 方程是一个具体的平均场状态方程，能够描述液-气共存线终止处的临界点：

在液-气临界点附近，可以把序参量取为密度相对于临界密度的偏离，例如

在 Ising 模型中，序参量是磁化强度。两者的物理含义不同，但在临界点附近都可以用同一个形式的有效自由能描述：

这就是 Landau 理论的核心工作：不再从具体微观模型出发，而是写下满足对称性和稳定性要求的序参量自由能。对于 Ising 铁磁体，，外场是磁场；对于液-气系统，，与其共轭的场可以理解为化学势偏离临界值。

从这个自由能出发，极小化条件给出平均场临界行为：

也就是

这正是 David Tong 所说的：van der Waals 方程和平均场 Ising 模型给出相同的临界指数。它们相同，不是因为液体分子真的等同于 Ising 自旋，而是因为二者在临界点附近被同一个平均场序参量自由能控制。

这些答案有时是错的，是因为平均场自由能忽略了临界涨落。真实三维液-气临界点属于三维 Ising 普适类，临界指数并不等于平均场值。Landau 理论的价值在于统一了不同系统的平均场结构；它的局限则提示我们下一步必须加入空间涨落，也就是 Landau-Ginzburg 理论。

Landau Theory and Landau-Ginzburg Theory

前面我们从 Ising 模型和 van der Waals 方程看到一个共同结构：相变附近最重要的变量不是所有微观自由度，而是一个宏观序参量。Landau 理论的出发点就是把自由能直接写成序参量的函数，然后用对称性和稳定性限制它的形式。

因此 Landau 理论不是从配分函数精确求和开始，而是把很多微观细节压缩进少数系数中。它回答的问题是：如果我知道相变的序参量、对称性和稳定性，那么自由能景观会怎样改变？

1. Landau 理论的出发点

设序参量为。在铁磁体中；在液-气相变中，可以取。Landau 理论假设，在临界点附近自由能密度可以按序参量展开：

如果体系有 Ising 型反演对称性，且外场，自由能必须在下不变，因此奇次项消失。外场是和序参量共轭的变量，会加入一项。最常用的 Landau 自由能写成

这里是控制参数，随温度穿过零；保证大时自由能向上，不会无界下降。平衡态不是由单独决定，而是由自由能极小值决定：

2. 二级相变

先考虑且的情形：

极值条件为

所以可能的解是

当时，，只有是稳定极小值，体系处在无序相。

当时，，变成极大值，而两个新的极小值出现：

序参量从零连续长出来，因此这是一种连续相变，也叫二级相变。自由能景观不是突然换成另一张图，而是随着穿过零，中心极小值逐渐变平、失稳，再分裂成两个对称极小值。

Landau free-energy landscape for a continuous transition: above Tc the stable minimum is at φ = 0; below Tc the center becomes unstable and two symmetry-related minima appear.

外场不为零时，状态方程为

在高温侧且小外场下，，所以

在临界等温线上，，于是

因此 Landau 理论给出平均场指数

3. 一级相变

二级相变的典型 Landau 图像依赖对称性，因此自由能只含偶次项。一级相变可以从另一种更直观的情形看出来：如果自由能中允许奇次项，或者 Ising 模型中加入外场，那么左右两个方向不再等价。

只要存在或这种奇次项，就有

这不是自发破缺，而是显式破坏对称性：外场已经偏好某一个符号的磁化。平均场 Ising 自由能在时就是这种情况。把展开后会出现的幂，因此展开成的函数时会混入奇次项。

低温时自由能仍然可能有双井结构，但因为对称性已经被外场破坏，两个极小值通常不一样深。较低的极小值是真正的平衡态；另一个较高但仍然局域稳定的极小值是亚稳态。

亚稳态为什么能暂时存在？因为它虽然不是全局最低，但仍然满足局域稳定条件：

系统如果已经落在亚稳态井里，不能通过无穷小变化直接滑到真正稳定态，而必须先越过中间的自由能势垒。因此一级相变常伴随过冷、过热、成核和滞后现象。

First-order transition as exchange of the global minimum: one side stable, coexistence with equal depths, and the other side stable.

一级相变点不是某个极小值刚刚失稳的位置，而是两个局域极小值的自由能相等的位置。若两个相对应的序参量为和，相变点满足

跨过这个点时，全局最低点从一个井切换到另一个井，因此平衡序参量发生有限跳变：

这就是一级相变的核心：不是序参量从零连续长出来，而是两个局域稳定相竞争，最终由自由能较低者成为真正平衡态；在共存点两个相自由能相同，跨过共存点序参量跳变。液-气相变的一阶共存线就是这种图像：气相极小值和液相极小值在共存线上自由能相等。

亚稳态最终消失的位置叫 spinodal。它不是相变点，而是局域极小值和中间极大值合并、势垒消失的位置，由

决定。

4. Landau-Ginzburg Theory

Landau 理论把序参量当成空间均匀的数。但临界点附近最重要的正是长波长空间涨落，因此必须把序参量升级为空间场：

但是Ising模型中最小尺度是格点，因此实际上是粗例化后局域平均。从而Landau-Ginzburg 自由能泛函写成

这里局域势能项决定每一点更喜欢无序还是有序；梯度项惩罚空间变化，表示相邻区域的序参量不愿意突然跳变。

若只看高温无序相中的小涨落，可以暂时忽略四次项，得到高斯近似：

下面把这个式子变到傅里叶空间。约定

如果是实场，则傅里叶分量满足

先看质量项：

利用空间积分给出的函数

于是，从而

再看梯度项。傅里叶空间中求导等价于乘以：

同样利用，得到

也就是

于是动量空间关联函数具有 Ornstein-Zernike 形式：

把分母写成，可以读出关联长度

这个之所以叫关联长度，是因为动量空间中的这种形式

傅里叶变回实空间后会给出指数衰减。也就是说，实空间关联函数大致满足

更精确地说，在高维中还会乘上一个随距离缓慢变化的幂次因子；但控制关联在多远距离上被截断的主要尺度就是。当 Landau 系数时，，说明长距离关联不再被有限尺度截断。

这说明 Landau-Ginzburg 理论已经开始描述空间关联：当时，，长波长模式的代价变小，关联长度发散。

不过高斯近似仍然是平均场性质的。真正的问题是四次相互作用会让不同波长的涨落彼此耦合。这个耦合在高维不重要，平均场指数可用；在低维和临界点附近会变得重要，从而修正临界指数。这就是从 Landau-Ginzburg 理论走向重整化群的入口。

因此，高斯近似虽然已经允许在空间中涨落，但它仍然给出和 Landau 理论相同的平均场结果。原因是：高斯近似只保留二次项，每个傅里叶模式都是独立的高斯变量，涨落模式之间没有相互作用。

例如在高温侧，均匀 Landau 理论在附近展开到二次阶就是

Landau-Ginzburg 高斯近似只是把这个二次涨落推广到所有波长：

所以它能给出空间关联和关联长度，但临界指数仍然是平均场的。例如

真正超出平均场的是四阶项。在傅里叶空间中，它不再是单个模式的平方，而是把四个模式耦合起来：

临界点附近，长波模式变软，涨落变大，模式之间的耦合就可能不能忽略。平均场指数是否被修正，取决于这些涨落相互作用在长距离下是否重要；这正是 Wilson 重整化群要回答的问题。

Numerical Renormalization Group

Fri, 17 Jul 2026 00:00:00 GMT

1. Ising 模型的数值采样：典型方法与主要问题

在 Kadanoff 数值重整化群中，第一步通常是从原始 Ising 模型产生可靠的微观系综。后续的 blocking、有效耦合反演以及临界指数估计，都依赖于该系综是否正确代表目标 Boltzmann 分布。因此，采样算法的选择、热化判据、自相关时间估计和误差分析构成数值 RG 的基础环节。

1.1 Ising 模型与目标分布

以二维方格 Ising 模型为例，微观变量为，哈密顿量可写为

数值采样的目标是在给定下产生满足 Boltzmann 分布的构型序列：

后续所有热平均均由样本平均近似，例如

1.2 局域 Metropolis 更新（1953）

最基本的 Markov Chain Monte Carlo 方法是单自旋翻转 Metropolis 算法。每一步随机选择格点，提出，并按接受率

接受或拒绝。该方法实现简单，且容易检验 detailed balance；但在临界点附近，由于相关长度增大，单自旋局域更新难以快速改变大尺度畴结构，因此会出现严重的临界慢化。

该接受率的有效性来自 detailed balance。设目标平衡分布为

若 proposal 概率关于正反过程对称，即，则 detailed balance 条件

等价于要求接受率满足

Metropolis 选择

当时，新构型能量较低，正向过程必然接受；反向过程的接受率为。当时，正向过程以接受，反向过程必然接受。两种情况下均有

因此 Boltzmann 分布是该 Markov 链的不变分布。只要链同时满足遍历性，长时间采样即收敛到目标热平衡分布。

1.3 Cluster 更新：Swendsen-Wang（1987）与 Wolff（1989）

对铁磁 Ising 模型，临界点附近更常用 Wolff 或 Swendsen-Wang cluster 算法。其基本思想是按照 Fortuin-Kasteleyn 表示构造同向自旋簇，并整体翻转一个或多个簇。相邻同向自旋之间的成键概率为

FK 表示的出发点是将每条边的 Boltzmann 权重改写为

当时，上式给出；当时，由于，上式给出。因此该改写与原 Ising 权重完全等价。

若目的仅是证明配分函数等价，上述单边恒等式已经足够。引入的作用不是改变模型，而是把括号中的两项解释为一个可采样的二值辅助变量。具体地，

其中对应“不放置 bond”，贡献；对应“放置 bond”，贡献，因此只有同向自旋之间才能被连接。

这种扩展变量的价值在于把代数分解转化为联合概率模型。在该扩展空间中，只是“同向边以概率连边”，而只是“每个 cluster 独立赋值为 ”。因此，是使 cluster update 成为严格 Gibbs sampling 的辅助变量。对求和后仍恢复原来的 Ising 自旋分布。

引入 bond 变量后，可定义联合分布

该式说明：异号相邻自旋之间不能放置 bond；同号相邻自旋之间以概率放置 bond。对 bond 变量求和后恢复原 Ising 权重，因此该联合表示在边缘分布意义下等价于原自旋模型。

更明确地说，该联合分布的归一化常数与原 Ising 配分函数只差一个由单边恒等式带来的整体因子。对所有边相乘并在扩展空间中求和，有

因此，若记上式乘积为扩展空间中的未归一化权重，则联合概率分布为，其中。这一步只说明 FK 表示与原模型等价；要得到采样算法，还需要考察该联合分布的条件分布。

首先固定自旋构型。由于是逐边乘积，且在给定后每条边的 bond 变量只出现在对应边因子中，故条件分布因子化为

对单条边，有

若，则，只能取。若，则该边权重为，归一化后得到与。这正是 cluster 算法中“只在同向邻居之间以概率放置 bond”的规则。

其次固定 bond 构型，采样自旋构型。联合权重中的因子表明，只要某条边被占据，即，就必须有。因此，同一个 connected cluster 内的所有自旋必须相同，而不同 clusters 之间没有相互约束。

对 Ising 模型，每个 cluster 因而可以独立赋值为或，且两者权重相同，故。于是，交替采样与就给出 Swendsen-Wang 算法：先由当前自旋构型生成 FK bonds，再对每个 cluster 独立重采样自旋。

Swendsen-Wang 算法可视为对联合分布的 Gibbs sampling，其步骤为：

给定当前自旋构型，对每条最近邻边采样 bond：若，令；若，则以概率令。

由所有的边构造 FK clusters。

固定 bond 构型，对每个 cluster 独立采样一个自旋值，概率各为，并令对所有成立。

重复以上两类条件采样，得到新的自旋构型序列。

Wolff 算法是相同思想的单簇版本：随机选择一个种子自旋，只沿同向邻居以概率生长一个 cluster，然后将该 cluster 整体翻转。与 Swendsen-Wang 相比，Wolff 每步只更新一个簇，但在二维临界 Ising 中通常同样十分高效。

Wolff 算法每步构造并翻转一个簇；Swendsen-Wang 算法则分解整个系统为多个簇并同时更新。由于 cluster 更新能够直接改变临界涨落中的大尺度结构，其动态临界指数通常显著小于局域更新，因此是二维 Ising 临界采样的标准高效方案。

1.4 VAN 与神经网络采样（2019）

Variational Autoregressive Network（VAN）的主干不是把神经网络仅作为 Metropolis-Hastings 的 proposal，而是把自回归神经网络作为变分概率分布，直接近似目标 Boltzmann 分布。其优化目标是最小化反向 KL 散度

代入 Boltzmann 分布后，有

其中真实自由能为，而变分自由能为

由于，故。训练 VAN 即是降低，从而使接近 Boltzmann 分布。

自回归结构保证概率分布自动归一化。给定一个预先规定的格点顺序，VAN 将联合概率分解为条件概率乘积：

因此，模型可以按顺序 ancestral sampling 生成构型，同时也能精确计算任意生成构型的归一化概率。这使得可用来自模型自身的样本估计，而不需要预先准备来自目标 Boltzmann 分布的训练数据。

参数更新可写成 score-function / policy-gradient 形式：

实际实现中通常用 Monte Carlo 样本估计该梯度，并可加入 baseline 降低方差。因而 VAN 的核心流程是：用自回归网络定义归一化变分分布，直接从采样，估计变分自由能及其梯度，然后优化网络参数。生成近似独立样本是训练后的结果之一，而不是该方法的定义性主干。

在二维铁磁 Ising 这类 cluster 算法适用的模型中，Wolff 和 Swendsen-Wang 通常仍是更标准、更稳健的临界采样基准。VAN 更适合作为变分求解与生成式采样框架，尤其适用于传统 cluster 构造困难、分布多峰或存在复杂约束的模型；其代价是训练过程本身可能成为主要计算瓶颈。

2. Kadanoff 数值重整化群的实施方案

Kadanoff 数值重整化群的基本任务，是将微观格点模型的 Boltzmann 分布通过给定的粗粒化映射推送到粗变量空间，并在适当的算符基底中构造相应的有效哈密顿量。若需要显式求出粗粒化后的耦合常数，标准数值框架是 Monte Carlo Renormalization Group，常用实现为 inverse Monte Carlo 或 Swendsen 方法。

1. 微观模型与算符表示

设微观构型记为。在一组算符上，无量纲哈密顿量可写为

其中为耦合常数，可取最近邻能量、次近邻能量、磁场项或多体相互作用项。以下符号约定均采用；若采用，线性响应公式中的符号需相应调整。

2. 微观系综的数值采样

在给定裸耦合下，通过 Monte Carlo 方法产生满足的构型序列。在临界点附近，应优先采用 Wolff 或 Swendsen-Wang 等 cluster update，以减小临界慢化的影响。采样前需要充分热化，采样后需要估计自相关时间，并据此给出统计误差。

3. 粗粒化映射

选定尺度因子以及从微观变量到粗变量的映射，即

例如二维 Ising 模型中可采用 majority rule。若块内正负自旋数相等，需要事先规定无偏的 tie-breaking 规则。重复实施次粗粒化后，线性尺度变为。

4. 粗粒化系综

对每个微观样本施加相同的粗粒化映射，得到粗格点构型序列

从概率分布的角度看，RG 变换定义为

由此得到的粗格点构型集合称为 blocked ensemble。粗格点算符的样本平均均在该系综上计算。

5. 精确定义的有效哈密顿量

粗粒化后的有效哈密顿量由以下恒等式定义：

该表达式给出了 Wilson-Kadanoff 意义下的精确有效作用量。然而，对一般格点系统，上式所含的微观构型求和无法直接完成，因此需要在数值上引入算符截断。

6. 有效作用量的算符截断

在粗格点上选取一组有限的局域算符，并令

即使原始模型只含最近邻相互作用，粗粒化后也会生成所有由对称性允许的项，包括次近邻项、多体项与更长程项。以 Ising 型变量为例，可写为

因此，数值 RG 中得到的耦合流通常是精确 RG 流在有限算符子空间中的投影。算符基底的选择直接决定截断误差。

7. 耦合常数的反演

inverse Monte Carlo 的基本条件是矩匹配：有效模型中的算符平均应等于 blocked ensemble 中的样本平均，即

定义

根据线性响应关系，有

因此，Newton 迭代给出 Swendsen inverse Monte Carlo 公式

其中为候选有效模型中的算符协方差矩阵。它同时给出各算符的涨落尺度与相互相关性，因此其逆矩阵在迭代中起到预条件化作用。

8. RG 流与临界指数

对同一微观系综连续实施粗粒化，并在每一级上反演有效耦合，可得到耦合空间中的 RG 流：

在固定点附近，线性化 RG 变换为

若为的本征值，则相应 RG 指数为

热方向指数与相关长度指数满足

9. 二维 Ising 模型中的最小实现

在临界点附近采样二维方格 Ising 模型，优先采用 Wolff 或 Swendsen-Wang 更新。

经过热化后保存近似独立的构型样本，并估计自相关时间。

对每个构型施加 majority-rule blocking，并可重复多级粗粒化。

在粗格点上测量最近邻、次近邻、plaquette 四体项、磁化等算符。

选定有限算符基底，并通过 inverse Monte Carlo 解矩匹配方程，得到各级 blocking 后的有效耦合。

比较不同系统尺寸与不同 blocking level 的结果，以检验有限尺寸效应和固定点附近的稳定性。

10. 误差来源与一致性检验

算符截断误差：有限算符基底只能给出精确 RG 流在该子空间中的投影。

有限尺寸误差：过多的 blocking 会使有效格点数过小，从而破坏热力学极限近似。

协方差矩阵病态：算符强相关会导致放大统计噪声，可通过删去冗余算符、增加样本量或引入正则化缓解。

符号约定误差：不同哈密顿量记号会改变响应方程中的正负号。

粗粒化规则依赖：不同 blocking scheme 会改变非普适耦合，但临界指数等普适量应保持一致。

结论

Kadanoff 数值重整化群可概括为：采样微观系综，施加粗粒化映射得到 blocked ensemble，在有限算符基底中用矩匹配或 inverse Monte Carlo 反演有效耦合，并由连续 blocking 得到 RG 流、固定点及临界指数。

Renormalization Group

Wed, 15 Jul 2026 00:00:00 GMT

1. Problems

Renormalization Group 的出发点不是先引入一套新的计算技巧，而是先把 Landau-Ginzburg 理论中真正没有解决的问题说清楚。Landau-Ginzburg 已经把序参量从一个均匀变量推广成空间场，因此它能描述关联函数和关联长度；可是如果我们仍然只在高斯近似或鞍点附近工作，临界指数仍然停留在平均场结果。问题是：临界点附近的涨落为什么不能被当作小修正？什么时候平均场会失效？

1.1 Landau-Ginzburg ：平均场与它的失败

对 Ising 型二级相变，Landau-Ginzburg 理论把序参量写成一个实标量场。最简单的自由能泛函是

这里的梯度项惩罚空间不均匀，控制距离临界点的远近，保证自由能在大场强下稳定，是与序参量共轭的外场。若忽略空间涨落，只取均匀场，就回到 Landau 平均场理论：

在零外场下，极值条件给出

因此高温侧时稳定解是；低温侧时出现两个等价极小值

这给出平均场指数。类似地，高温侧的均匀磁化率来自

所以；在临界等温线上，，因此。若进一步保留高斯涨落，在高温侧忽略项，可得

于是动量空间关联函数为 Ornstein-Zernike 形式

这说明 Landau-Ginzburg 理论比均匀 Landau 理论前进了一步：它已经看见了空间关联长度，并给出。然而这些指数仍然是平均场指数。原因是高斯理论只描述彼此独立的 Fourier 模式，而真正的相互作用会让不同波长的涨落耦合起来。

平均场失败的物理原因可以这样说：它假设临界点附近的主要行为由一个代表性平均值控制，涨落只是围绕这个平均值的小扰动。但临界点附近发散，一个涨落团簇可以跨越任意大的尺度；此时没有一个固定的局域尺度可以把涨落平均掉。系统不是许多近似独立的小区域，而是多尺度涨落彼此嵌套的整体。

1.2 Ginzburg criterion：什么时候涨落不可忽略

Ginzburg criterion 的目的，是把“涨落很重要”这句话变成一个可检验的不等式。思路是比较相关体积内的平均场序参量平方，和同一体积内的热涨落强度。如果涨落远小于平均场值，平均场自洽；如果涨落和平均场值同阶，平均场就不能作为起点。

先看低温侧。平均场给出

一个相关体积内的粗粒化序参量可以写成

它的涨落量级由关联函数积分估计：

这一步可以展开得更清楚。先定义局域涨落，则粗粒化平均场的涨落是

所以方差是

连通关联函数定义为

因此

现在利用平移不变性。对固定的，令相对坐标。如果忽略相关体积边界附近的非主导修正，内层积分的量级为

外层积分只给出一个体积因子，于是双重积分不是给出，而是给出

代回方差表达式，就得到

最后，磁化率本身就是连通关联函数的空间积分，差别只在于是否把或这样的常数吸收到定义中：

因为离临界点但接近临界点时，在后被指数衰减截断，所以积分的主要贡献来自。因此，也可以把相对坐标重新记为通常的：

所以相关体积平均后的涨落量级就是

在高斯近似中，，所以

平均场要求这个涨落远小于：

代入上面的量级估计，得到

这就是 Ginzburg criterion 的核心形式。它告诉我们：当时，反而使左边趋于 0，平均场在临界点附近越来越可靠；当时，会使左边发散，说明无论多小，只要足够接近临界点，涨落最终都会压倒平均场。

因此四维是理论的上临界维数。高于四维，相互作用在长距离下变得不重要，Gaussian fixed point 控制临界行为，平均场指数成立；低于四维，相互作用在长距离下不可忽略，必须寻找超出 Gaussian fixed point 的新临界理论。

这正是 Renormalization Group 要解决的问题：不是一次性计算所有涨落，而是按长度尺度逐层处理涨落，观察参数等在粗粒化下如何流动。Kadanoff block spin 给出这个思想的物理图像，Wilson RG 把它变成可计算的动量壳积分，而 Wilson-Fisher fixed point 则是在时替代平均场的非平庸临界固定点。

2. Kadanoff to Wilson

第一节说明了为什么平均场不够：临界点附近的涨落不是局域小修正，而是跨越许多长度尺度的集体现象。第二节的任务，是把“多尺度涨落”变成一种系统方法。Kadanoff 给出实空间中的粗粒化图像；Wilson 则把这个图像改写成连续场论中可计算的动量壳积分。

2.1 Coarse Instantiation

Landau-Ginzburg 模型本身就已经是粗粒化后的有效理论。我们不再直接操作微观自旋，而是先从微观模型出发，把一小块区域里的自旋平均成连续序参量场。

这里是粗粒化长度，是以为中心、线度为的小盒子。于是我们把所有满足同一个的微观构型加总掉，得到这个粗粒化场的有效自由能：

所以从这一刻起，后面的操作对象都不是原始微观哈密顿量，而是这个有效自由能。Landau-Ginzburg 泛函只是对它再做长波展开后的标准形式。换句话说，RG 不是先从裸微观模型直接开始，而是先站在这个 coarse-grained effective theory 上，再讨论 Kadanoff block spin 和 Wilson coarse-graining。

2.2 Kadanoff block spin

Kadanoff 的基本想法是：临界点附近关联长度很大，系统中出现许多大小不同的相关团簇。因此我们不应该只盯着单个格点自旋，而应该把一小块区域看成一个新的有效自由度。

Block average calculation

把 block spin 的定义先换成连续场语言。取线度为的小盒子，定义块平均场

这是 Kadanoff coarse-graining 的核心：局域变量不是由单点决定，而是由一个体积平均决定。现在把它做 Fourier 变换，就能看到短波模式如何被压掉。

这个公式来自矩形窗口函数的 Fourier 变换。若把盒子写成以为中心，令，则

把原场展开为

代回块平均定义：

括号中的量就是窗口函数：

单个方向的积分为

因此对于居中盒子，

如果盒子取为而不是居中盒子，则每个方向多出一个整体相位或其复共轭，取决于 Fourier 约定。这个相位不影响对高动量模式的抑制；真正重要的是 sinc 因子。

这个 form factor 在长波极限下接近 1，在短波极限下强烈抑制高动量模式：

这里

所以 block averaging 自动给出一个有效 cutoff ：高于这个尺度的 Fourier 分量被平均掉，留下的只剩慢变的长波模式。

上面的 form factor 说明了 block averaging 在动量空间中如何压低短波模式。接下来从实空间再看同一件事：block average 后的变量涨落幅度是否真的变小？这就需要计算块平均场的方差。若方差随 block 体积增大而下降，说明粗粒化后的变量确实更平滑；若临界点附近方差不按普通中心极限定律下降，就说明长程相关已经破坏了“块内自由度近似独立”的直觉。

从定义出发，块平均场为

定义局域涨落和块平均涨落：

因为平均操作是线性的，

于是块平均场的方差为

展开平方，把平均值移入积分：

再用连通关联函数

就得到

若远离临界点，相关长度远小于 block 尺度，可以把关联函数近似成局域相关：

代入方差公式：

先对积分：

于是只剩一个体积积分：

这就是中心极限定律的连续场版本：一个 block 内大约有个近似独立自由度，平均后的方差按缩小。

更一般地，只要关联长度有限，，就不必真的把写成严格的 δ 函数。由于只在内显著，对大 block 可近似为

因此

这说明真正控制方差缩放的不是单点噪声本身，而是关联函数在一个 block 内的积分。如果到临界点，发散，在块内不能看成短程函数。例如临界点附近

这时

这说明 block 平均确实让变量更平滑、更少涨落；但在临界点附近，时，相关函数不再是 δ 函数，方差不再简单按缩小，于是多尺度相关性就必须进入 RG。

Generation of operators in the Ising model

Kadanoff coarse-graining 的最直观形式，是先把原格点分成互不重叠的 blocks ，每个 block 先取平均磁化，再据其符号定义新自旋。

若，等价于，可以约定随机取，或采用固定 tie-breaking rule。这样得到一个从微观构型到粗粒化构型的映射

现在定义粗粒化后的有效 Hamiltonian。固定一个 coarse configuration ，把所有会被 block map 映到它的微观构型求和：

这就是“对 block 内部自由度求和”的精确定义：不是对直接平均，而是对 Boltzmann weight 求和，然后用负对数定义新的有效 Hamiltonian。

同一个 constrained sum 也可以写成 delta 约束形式：

将这一硬约束进一步写成 block-spin kernel，便得到

先看为什么一般 RG 流必须写在无穷多耦合的空间里。以最近邻 Ising 模型为起点：

在有限体积中，任意函数都可以严格展开在 Ising 变量的乘积基上。若 coarse-grained lattice 有个格点，则

这句话的含义是一个有限维函数空间的代数事实。若粗粒化后的格点数为，则是定义在个 Ising 构型上的函数：

因此这个函数空间的维数就是。记粗粒化后的格点集合为，其中每个标记一个 coarse-grained spin 。对任意子集，即任意一组粗粒化格点，定义乘积函数

例如，，。子集的数目也是，并且这些乘积函数彼此正交。

这是因为构成上函数空间的一组正交基：

证明如下。两个乘积函数相乘时，重复出现的自旋平方为，所以只剩下属于或属于但不同时属于二者的自旋：

这里是 symmetric difference，即只属于其中一个集合的格点。若，则，乘积恒等于 1，因此

若，则。取一个，求和中含有因子。对所有 Ising 构型求和时，固定其他自旋不变，与的两项正负抵消，所以

合并两种情况，得到正交归一关系

因此系数由投影公式给出：

这已经说明：即使原始只含最近邻二体项，粗粒化以后也会生成更高阶的耦合。

下面为了把这一点具体算出来，取二维 square-lattice Ising 的最简单 decimation 作为例子。Decimation 并不是标准的 Kadanoff block-spin majority rule：它不是把一个 block 平均或投影成一个新自旋，而是保留一个子格点上的原自旋作为新的 coarse variables，把其余子格点求和掉。这里采用 decimation，是因为它能精确展示一次粗粒化如何生成新的有效相互作用。

对图中的局部星形簇，消去中心黑格点后，四个保留自旋的局部有效权重定义为

原来的最近邻 Hamiltonian 在这个局部簇上的贡献为

因此

这个结果已经只依赖保留自旋，下一步是把它重新写成这些保留自旋之间的有效相互作用。由对称性，最一般的局部形式可以写为

这里是写在 Boltzmann weight 指数中的有效耦合；若写回 Hamiltonian，则对应局部贡献。

所有系数都可以直接用 Ising 乘积基的正交性求出。令

由于指数右边就是在乘积基上的展开，各个系数由正交投影给出：

这里每个求和都遍历的全部 16 个构型。记

按照分类，构型数分别为。因此常数项为

对边耦合，投影到上。直接枚举给出

对角耦合由正方形对称性或直接投影到得到相同结果：

四自旋耦合投影到上：

所以这一局部 decimation 的完整系数为

所以一次精确 decimation 已经从最近邻 Ising 模型生成了保留格点之间的多种二体耦合和四自旋耦合。继续迭代时，不同局部因子相互重叠，还会生成更远程和更高阶的项。因此后面的记号

不是形式上的装饰，而是 Ising 模型在粗粒化下不封闭的必然结果。这里的表示 decimation 后保留下来的 coarse variables，是这些保留自旋的乘积项，例如二体项、四体项、更远程项等。进入下一小节讨论一般 RG flow 时，可以把当前层变量重新记作，于是写成通用形式。

2.3 RG flow, Fixed Point and Critical Point

RG flow

严格地说，本小节从这里开始已经不再只是 Kadanoff 原始意义上的 block-spin picture。Kadanoff 的核心是实空间 coarse-graining：把局域自由度组合成更粗的变量，并说明临界附近应当出现尺度变换。下面引入耦合空间、RG 映射、固定点、本征方向和临界指数时，实际上是在使用 Wilson 对 Kadanoff 思想的系统化：real-space Wilson RG。

因此本节的逻辑不是把所有内容都归为“纯 Kadanoff 计算”，而是先用 Kadanoff block spin 建立粗粒化的物理图像，再把它提升为 Wilson 式的 RG flow。下一节的 momentum-shell RG 是同一 Wilson 思想在动量空间中的可计算实现。

为了把 Kadanoff block spin 写成真正的 RG flow，不应只保留最近邻 Ising 耦合。设当前 coarse-grained Hamiltonian 已经展开在一组允许的算符上：

这里是耦合常数空间；包括最近邻、次近邻、多自旋项、长程项等所有在 coarse-graining 下会生成的相互作用。block-spin 规则可用一个条件概率核表示：

例如 majority rule 对应把固定为 block 内自旋和的符号；更一般地，也可以采用随机化的 coarse-graining 规则，使成为非平凡的条件概率分布。

给定这样的 block-spin kernel，做一次尺度因子为的粗粒化后，变量从变成，Hamiltonian 重新写成同一类算符展开，但耦合常数从变为：

因此 RG flow 主要追踪的不是某一个具体自旋构型如何运动，而是耦合空间中的点如何变换：。下面的 constrained trace 正是这个映射的定义。

上式定义了耦合空间中的映射

严格地说，单纯 coarse-graining 会把格距从变成，因此先得到的是定义在更粗格子上的 Hamiltonian。只有再做长度重标度，把新的格距重新作为单位格距，并把粗粒化后的变量重新命名为当前层变量，才可以把新旧理论看成同一个耦合空间中的两个点。

因此写成时，已经包含了 coarse-graining 之后的长度重标度这一步。

由于，配分函数保持不变，差别至多是 Hamiltonian 中一个与无关的加性常数：

这个等式说明 RG 不是丢弃热力学，而是把同一个配分函数重新写成更大晶格间距上的有效理论。为了理解 RG flow 如何区分临界点和非临界点，进一步考察相关长度在一次 RG 变换下如何变化。

从定义出发。设当前格距为，连通关联函数在远距离的指数衰减定义了物理相关长度：

若用格距作为长度单位，记无量纲相关长度为

一次尺度因子为的 coarse-graining 把格距变为。新的关联函数由粗粒化变量定义；但只要是原变量的局域粗粒化，并且与原序参量有非零 overlap，它的长距离连通关联函数具有同一个物理指数衰减长度。coarse-graining 改变短距离振幅和局域细节，长度重标度改变的是度量这个长度的格距单位：

于是

因此非临界点的 RG 流是严格不同的。若，反复粗粒化次后

Fixed Point

当时，重标度后的系统只剩格点尺度的相关性。高温相流向无序固定点，低温相流向有序固定点：

高温固定点可以更具体地理解。这里的是无量纲耦合常数；对最近邻 Ising，，所以高温极限对应。若所有相互作用耦合都为零，

则所有微观构型的 Boltzmann weight 相同。代入 coarse-graining 定义，得到

对于平移对称的 coarse-graining rule，右边只给出与无关的计数因子，因此仍只是常数。也就是说，无相互作用点是 RG 固定点：

高阶耦合虽然会在粗粒化中生成，但在高温固定点附近它们是原始小耦合的高阶函数，因此随一起消失。前面的 decimation 例子给出

利用小量展开

得到

因此在处所有非平凡相互作用耦合严格为零；在高温相内，反复 RG 会把有限相关长度的系统推向这个无序固定点。

低温固定点的行为不同。低温极限对应，此时相互作用不是趋于零，而是进入强耦合区域。仍以前面的 decimation 系数为例，利用

得到

所以低温固定点不是，而是强耦合固定点。更清楚的变量是 domain-wall fugacity。局部权重为

当四个保留自旋全同号、三同一反、两正两负时，权重分别满足

相对于全同号构型，含 domain wall 的构型被指数压低：

因此低温相的自然小参数不是，而是。低温 RG 流可理解为，也就是 domain wall 的权重消失，系统流向有序固定点。

Critical Exponent

临界点的特殊性在于

所以临界集合

在 RG 下不流向平庸有限相关长度理论，而是在临界面内流动。若存在非平庸固定点，则

这才是 Kadanoff 图像中尺度不变性的数学内容：在固定点处，coarse-graining 加上长度重标度后理论回到自身。

接下来要研究的不是固定点本身，而是临界固定点附近的流。这个稳定性分析回答三个问题：哪些相对于的扰动会把系统带离临界面，哪些扰动会在长距离下被遗忘，以及相关长度、磁化率等临界指数由哪些尺度因子决定。因此 relevant/irrelevant directions 和临界指数都来自固定点附近 RG 映射的线性化。

临界指数来自固定点附近的线性化。令

最低阶为

取的本征方向作为固定点附近的坐标方向。也就是说，把偏离量展开到这些本征方向上，第个本征方向上的增量坐标记为。在这组坐标中，RG 线性阶不再混合不同方向，而是

若，则本征坐标在粗粒化下按放大，称为 relevant；若，该本征坐标被压低，称为 irrelevant；若，需要看高阶项，称为 marginal。因此，要让一个点在 RG 下留在临界固定点的吸引流形上，所有 relevant 本征坐标必须调为零；否则任意非零 relevant 分量都会被放大，使流离开临界面并最终进入高温或低温平庸固定点。irrelevant 本征坐标则不需要调零，因为它们会在迭代中自动衰减。于是临界面在固定点附近由所有 relevant 本征坐标的调零条件给出：

这里是临界固定点附近的局部临界面，也就是该固定点的稳定流形：沿相对于的 irrelevant directions 可以有非零偏离，但这些偏离会被 RG 消去；沿相对于的 relevant directions 则必须精确调零。

对于具有对称且外场为零的 Ising 临界点，通常只有 thermal scaling field 需要调零；若允许外场，则 magnetic scaling field 也是 relevant。

普适性现在可以精确表述为：不同微观模型对应中不同初始点；只要它们的 RG 轨道流向同一个固定点，并且具有相同的 relevant directions，所有 irrelevant 坐标都会按衰减，所以长距离临界行为只依赖固定点数据，而不依赖微观耦合的细节。

最后把固定点本征坐标和临界指数联系起来。这里与分别表示 thermal 与 magnetic relevant eigen-directions 上的耦合增量坐标；其他本征方向上的耦合增量记为。它们在一次尺度因子为的 RG 下变为

现在看奇异自由能。设系统线度为，体积为。一次 RG 后，长度单位放大倍，粗粒化后的系统线度为，体积为。奇异自由能总量描述同一个长距离临界涨落，因此满足

把自由能密度定义为，则

约去，并代入本征坐标的缩放，就得到自由能密度的齐次标度律：

相关长度的标度律也来自同一个 RG 变换。相关长度是一个长度量；一次尺度因子为的 RG 后，耦合坐标变为，而用新格距为单位表示的相关长度缩小倍。因此等价地写成

下面从相关长度标度律推出相关长度指数。

先看零外场，并只保留主导的 thermal relevant direction；irrelevant 坐标对主导奇异幂律只给出修正。因此

因为是任意缩放因子，可以选它把右边第一个变量变成：

右边的是离临界点有限距离处的有限常数，所以主导奇异性由前面的幂次决定。相关长度临界指数定义为临界点附近相关长度的发散幂律：若，其中是临界点两侧的非普适振幅，则就是这个幂律的指数。因此这里得到

同一选择代入自由能标度律。仍取、忽略 irrelevant 坐标的主导贡献，并取，则

因此奇异自由能密度的主导幂律为

比热的奇异部分由自由能密度对温度变量的二阶导数给出。由于，对求导只差一个非奇异常数因子，因此可以用求导来读出临界幂次：

另一方面，比热指数的定义是

比较两个幂次，得到

再用，得到 hyperscaling 形式

由和还得到

若把 magnetic scaling dimension 写成

这些关系就把 Kadanoff 的固定点图像和通常的临界指数体系连接起来。

Comparison with Landau Mean-Field Exponents

Landau 理论给出的指数，是忽略临界涨落后得到的 mean-field exponents：

在 RG 语言中，这组结果对应 Gaussian fixed point，也就是的固定点。在线性化层面，Gaussian fixed point 给出

如果暂时把 Gaussian fixed point 的本征值形式代入前面的 hyperscaling 型指数关系，会得到

在上临界维数处，这个形式代入给出 Landau mean-field 指数

也就是 Landau mean-field 结果。这里要特别注意：在时 hyperscaling 给出，也与 Landau 一致。

但是在，耦合是 relevant，Gaussian fixed point 不再控制临界点。RG 流被吸引到非平庸的 Wilson-Fisher fixed point，固定点处的被涨落修正，因此指数偏离 Landau 值。例如的 Ising 普适类一阶结果为

这就是二者的核心区别：Landau 理论等价于停在 Gaussian fixed point；真正低于上临界维数时，涨落把临界行为带到 Wilson-Fisher fixed point，临界指数由该非平庸固定点的本征值决定。

对于，Gaussian fixed point 控制临界行为，Landau 指数仍然成立；但耦合虽然 irrelevant，却是 dangerously irrelevant variable。它不会改变固定点位置，却会进入磁化和自由能的奇异振幅，因此不能把前面的 hyperscaling 型公式机械地用于；特别是一般不再适用。

2.4 Wilson momentum-shell RG

Setup and three-step RG procedure

Wilson momentum-shell RG 的思想是：短距离涨落对应高动量模式，长距离涨落对应低动量模式。既然我们想知道长距离物理，就可以逐步积分掉高动量薄壳中的快模，再把系统重新缩放回原来的 cutoff。

从带 ultraviolet cutoff 的理论出发：

with

这里的 cutoff 要按有效理论来理解。的自由度被定义为只包含的 Fourier 模式；也就是说，在这个 effective field theory 内，的模式不是独立积分变量。它们并不是“物理上不存在”，而是已经在从微观模型到粗粒化场的过程中被积分掉或平均掉，其影响被吸收到以及更高阶局域算符的系数里。

因此，若把看作当前有效理论的变量，则可以说的不属于该理论的变量空间，或者等价地在这个表示中取为零。但这只是有效场的定义，不是对微观自由度的断言。

写成 sharp cutoff 是一种方便的理想化。真实的 coarse-graining 更常给出平滑的窗口函数，例如前面 block averaging 中的 form factor。只要关心的是长距离临界行为，sharp cutoff 与 smooth cutoff 的差别会改变非普适参数和高阶算符系数，但不改变普适临界指数。

把场分解成慢模和快模：

第一步是积分掉高动量薄壳中的快模：

这一步是 Kadanoff block spin 中“把块内部自由度求和”的连续版本。区别只是：这里被求和的不是某个实空间盒子里的自旋，而是动量空间薄壳中的短波涨落。

第二步是 rescale momentum，把 cutoff 恢复为：

这一步的意义是把一次 coarse-graining 后改变了的 cutoff 和长度单位恢复到原来的形式。积分掉的快模以后，剩下的慢模只满足。如果不 rescale，新的理论就定义在不同 cutoff 上，不能直接看作原来理论空间中的一个新点。

通过，剩余区域被重新映到。这样 RG 的结果不表现为理论定义域、格距或 cutoff 的改变，而表现为同一 cutoff 下耦合常数和场归一化的改变。也就是说，重整化后的变化被吸收到中，而不是留在系统结构本身的尺度单位里。

第三步是 rescale field，使梯度项保持标准归一化。若暂时忽略 anomalous dimension，在 tree-level 有

令场的重标度先写成待定形式

由于，有

因此梯度项变为

要求重标度后梯度项仍然保持标准归一化，即前面的系数仍为，就必须有

所以

经过这三步以后，新的有效泛函仍写成同样形式，但参数变了：

Tree-level calculation

现在真实计算 tree-level 变换。tree-level 的意思是：先不计算快模积分产生的 loop correction，只保留 cutoff 恢复和场重标度带来的经典尺度因子。快模积分形式上仍写为

在 tree-level 下，这一步只把 cutoff 从降到；快模涨落对的额外修正先不算。因此慢模部分写成

接着恢复 cutoff。令

再取场重标度

这样梯度项保持标准归一化：

质量项变为

四次项变为

外场项变为

因此 tree-level Wilson RG 真实算出来是

如果把，就可以写成 infinitesimal RG flow 的 tree-level 部分：

这立刻说明是 relevant perturbation，而的 tree-level scaling dimension 是。因此是理论的上临界维数。

One-loop correction and Wilson-Fisher fixed point

现在把快模积分真正算到 one-loop。以下取 Ising 普适类对应的单分量实标量场，并使用前面的归一化

这里

把场分成慢模和快模

记快模 Gaussian 平均为

有效自由能由

定义。对相互作用做 cumulant expansion：

第一项给出质量项修正。展开中含两个慢模、两个快模的部分：

把它写成，得到 tadpole correction

第二个 cumulant 给出四次耦合的 one-loop 修正。保留四个外部慢模、内部两条快模收缩线的连通部分，有三个等价通道，因此

于是积分掉快模后、还未重标度前，慢模有效参数为

现在取 infinitesimal shell，令，其中表示一次无穷小 RG 步长。定义

薄壳积分在 leading order 为

引入无量纲耦合

再做 momentum rescaling 和 field rescaling，使 cutoff 回到，得到 one-loop RG 方程

在临界点附近，对，四次耦合的 beta function 变成

这就是前面写成的结构；在当前归一化下。

固定点由给出。除 Gaussian fixed point 外，还有非零固定点

这就是 Wilson-Fisher fixed point。它不是的 Gaussian fixed point，而是由 tree-level 的放大效应和 one-loop 的抑制效应平衡产生的非平庸固定点。

为了得到临界指数，在线性阶考察固定点附近的扰动。Jacobian 的两个本征值在 one-loop 阶为

第一个是 thermal relevant direction，第二个是 quartic coupling 方向在 Wilson-Fisher fixed point 附近的 irrelevant direction。于是

在这个 one-loop 计算中，场的 anomalous dimension 仍为

因此

再代入前面的指数关系，可以得到一阶展开

固定点坐标本身依赖 cutoff scheme 和耦合归一化；但本征值和由它们给出的临界指数是普适的。这就是 Wilson-Fisher fixed point 对 Landau 平均场结果的系统修正。

Chapter 4 循环神经网络

Mon, 27 Apr 2026 00:00:00 GMT

第一节词向量

词表示与 Embedding 矩阵

接下来需要把自然语言转换成模型可以处理的数字。第一步通常是 tokenization（分词或切分 token）。英文可以按空格和标点切分，中文则通常需要额外的分词工具，或者直接使用更细粒度的字、子词作为 token。例如：

可以被切成：

得到所有 token 之后，就可以构建词表。词表本质上是一张从 token 到整数编号的映射表：

其中用来补齐不同长度的序列，表示词表中没有出现过的未知词，表示句子开始，表示句子结束。这样一句话就可以被转换成编号序列：

但是这里必须注意：这些数字只是词在词表中的索引，并不是真正有数值意义的特征。比如“我”被编号为 4，“喜欢”被编号为 5，并不表示“喜欢”比“我”大 1，也不表示它们在语义上距离更近；“学习”被编号为 7，也不表示它和“我”的语义距离是 3。编号的大小、差值、顺序都只是人为规定的词表位置，和词义没有直接关系。

如果直接把这些编号当成普通数字输入神经网络，模型会误以为 0、1、2、3、4 之间存在连续的大小关系，就像年龄、温度、价格那样可以比较和相减。但词不是这样的对象。词与词之间的关系不是由编号差决定的，而是由语义、上下文和使用方式决定的。

因此，我们需要把这些离散编号进一步转换成向量表示。最简单的方式是 one-hot 向量：如果词表大小为，每个词就对应一个维向量，其中只有该词对应的位置是 1，其余位置都是 0。这样做至少避免了“编号大小有意义”的误解。

从概率建模角度看，词表定义了模型每一步要预测的全部可能结果。如果词表大小为，那么模型每个时间步最终通常输出一个维向量，经过 softmax 后表示“下一个 token 是词表中每个词”的概率分布。

不过 one-hot 向量仍然非常稀疏，而且任意两个不同词之间都是正交的，无法表达语义相似性。所以现代神经网络中更常见的做法是通过 embedding 层，把离散编号映射成连续向量。这个连续向量才是模型真正用来计算的词表示。

例如，假设词表中有：

embedding 层并不是把 4、5、7 当成普通数字输入模型，而是把它们当成查表位置。假设 embedding 维度为 3，那么 embedding 矩阵可能是：

于是输入编号序列：

真正进入模型的是：

可以看到，编号只是用来找到对应行的地址；真正参与计算的是这一行向量。训练过程中，这些向量会被不断更新。如果“喜欢”和“学习”经常出现在相近上下文中，它们的向量就可能被学得更接近；如果两个词语义和用法差异很大，它们的向量距离就可能更远。

也可以构造一个 embedding 矩阵，写成

其中表示 one-hot 向量，表示新的词特征向量。

在图像任务中，我们也可以说卷积网络在学习一种 embedding：它把原始像素逐层变成更抽象的特征向量。但图像的原始输入噪声很高，像素之间存在大量局部冗余，所以卷积层同时承担了去噪、局部特征提取和信息压缩的作用。

语言任务有所不同。经过 tokenization 和词表映射之后，输入已经变成离散符号，例如“我”“喜欢”“学习”。这些符号不是原始像素那样的连续噪声信号，而是经过人类语言系统压缩后的单位。因此语言输入可以粗略看作一种低噪声、高抽象度的输入。正因为如此，我们不一定需要像图像那样先用卷积层逐级提取局部模式，而可以直接用一个 embedding 矩阵，把每个离散 token 映射成一个连续向量。

传统 embedding 训练方法

Word2Vec、负采样、GloVe 和早期基于词向量的情感分类，都是传统 embedding 训练方法。它们在现代大模型中已经不再是 NLP 的主线，因为现代模型通常把 embedding 层和 Transformer 主体一起端到端训练，并且得到的是上下文化表示。但这些方法仍然有教学价值：它们解释了词向量为什么可以被学习、上下文为什么能塑造语义，以及大词表为什么会带来计算开销。

Word2Vec

那么 embedding 矩阵如何学习？最自然的思路是设计一个预测任务，让模型在任务中自动学习词向量。典型结构如下：

这本质上是一个词预测任务。我们可以使用固定窗口，从任意长度的句子中采样训练样本。

还可以设计不同的训练任务：

使用左右各 4 个词预测中心词，这就是CBOW。

使用中心词预测附近词，这就是 skip-gram。

GloVe 词向量

GloVe（Global Vectors）的思想和 Word2Vec 不太一样。Word2Vec 是通过一个局部预测任务学习词向量，例如用中心词预测上下文；GloVe 则更直接：它先统计整个语料中词与词一起出现的次数，然后让词向量去拟合这些全局统计规律。

首先构造一个共现矩阵。矩阵中的元素表示：当第个词作为中心词时，第个词在它附近窗口中出现了多少次。例如，如果我们在大量文本中发现“深度”附近经常出现“学习”，那么就会比较大；如果“深度”和“香蕉”几乎不一起出现，那么就会很小。

构造方式可以写成：

这里的窗口大小是人为设定的，比如向左向右各看 5 个词。窗口越大，统计到的关系越偏向主题相关；窗口越小，统计到的关系越偏向语法和局部搭配。

GloVe 的核心假设是：如果两个词经常在相似上下文中出现，它们应该有相似的词向量。更具体地说，词向量的内积应该能够反映词与词之间的共现强度。因此它希望：

这里可以理解为词作为上下文词时的向量，可以理解为词作为中心词时的向量，和是偏置项。左边是模型根据词向量计算出的分数，右边是语料统计出来的真实共现强度。

为什么右边使用，而不是直接使用？因为词频差异通常非常大。比如某些高频词可能出现几十万次，而低频词只出现几次。如果直接拟合原始次数，高频词会支配整个训练过程。取对数之后，数量级被压缩，模型更关注“是否显著共现”而不是只追逐极端高频词。

于是 GloVe 的训练目标就是让所有词对的预测分数尽量接近真实的对数共现次数：

这个式子可以逐项理解：

：中心词和上下文词的向量相似度。

：两个词各自的偏置，用来吸收词频本身带来的影响。

：真实语料中统计到的共现强度。

平方项：预测值和真实统计值之间的误差。

：对所有词对都计算这个误差。

：权重函数，用来决定某个词对的误差有多重要。

为什么还需要权重函数？因为共现次数太小的词对往往噪声很大，比如两个词只偶然同框一次，不应该让它们强烈影响训练；但共现次数太大的词对也不能无限放大，否则高频词会压倒一切。因此 GloVe 使用一个截断的权重函数：

当很小时，也小，说明这个词对的统计不太可靠，训练时权重较低；当增大到之后，权重最多就是 1，不会继续无限增大。这样既降低了低频噪声的影响，也避免了高频词完全主导训练。

如果，说明两个词从未在窗口中共现，此时没有定义。实际训练中通常只对的词对计算目标，或者让，使这些没有共现的词对不参与这一项损失。

最后，GloVe 会得到两套向量：中心词向量和上下文词向量。实践中可以只使用其中一套，也可以把二者相加或平均作为最终词向量。直观上，GloVe 学到的是：哪些词经常共享相似上下文，哪些词在全局语料统计中具有相近位置。

词向量偏见

词向量中的偏见来自训练语料本身的偏见。例如 “Man is to computer programmer as woman is to homemaker.” 这种类比就反映了语料中的性别偏见。因为词向量是从真实语料中学习出来的，如果语料中长期把某些职业、身份、行为和特定性别、种族或群体绑定在一起，词向量空间也会把这种统计关系保留下来。

以性别偏见为例，词向量去偏通常分为三步。

第一步是找到偏见方向。比如可以用多组性别成对词来估计性别方向：

这些差向量大致都指向“男性到女性”或“女性到男性”的方向。把这些方向综合起来，就可以得到词向量空间中的性别方向。粗略理解，就是词向量空间里专门表示性别差异的那条轴。

第二步是对性别中性词做 neutralize（中和）。有些词本身不应该带有性别方向，例如：

对于这类词，我们希望去掉它们在性别方向上的投影。设某个词向量为，性别方向为单位向量，那么在性别方向上的投影为：

去掉这一部分后得到：

这样做的意思是：保留这个词作为职业、身份或概念的主要语义，但尽量去掉它不应该携带的性别偏向。

第三步是对性别相关词做 equalize（等距化）。有些词本身确实和性别有关，例如：

这些词不能简单中和，因为它们的语义本来就包含性别信息。我们希望的是：它们在性别方向上保持对称，同时在其他语义方向上尽量一致。比如 “grandmother” 和 “grandfather” 都表示祖辈亲属，区别主要应该只在性别方向上，而不应该让其中一个离 “nurse” 更近、另一个离 “doctor” 更近。

因此 equalize 的目标是让一组成对词围绕中性中心对称分布。直观地说，就是先找到它们共同的非性别语义中心，再让它们沿性别方向等距离地分开。这样可以保留必要的性别差异，同时减少不必要的社会偏见。

第二节循环神经网络

循环神经网络（Recurrent Neural Network, RNN）的思想可以追溯到 20 世纪 80 年代。它的核心目标是让神经网络处理序列数据：当前时刻的计算不仅依赖当前输入，也依赖过去时刻留下的隐藏状态。因此，RNN 很自然地被用于语言、语音和时间序列建模。

但是普通 RNN 很快暴露出一个关键困难：当序列很长时，梯度需要沿时间反复传播，容易出现梯度消失或梯度爆炸，导致模型难以学习长程依赖。为了解决这个问题，Hochreiter 和 Schmidhuber 在 1997 年提出了 LSTM（Long Short-Term Memory）。LSTM 通过记忆单元和门控结构，让模型能够选择性地保留、遗忘和输出信息，从而更稳定地建模长距离依赖。

GRU（Gated Recurrent Unit）则是在 2014 年左右提出的更简化的门控 RNN。它保留了门控控制信息流的思想，但结构比 LSTM 更简单，参数更少，训练也更轻量。可以粗略理解为：RNN 是最基本的循环结构，LSTM 是更强但更复杂的长程记忆结构，GRU 则是在能力和简洁性之间做折中的版本。

语言生成建模

语言生成建模的目标是给一个语言分配概率。假设一个句子由组成，我们真正想建模的是整个句子同时出现的概率：

根据概率论中的链式法则，联合概率可以拆成一连串条件概率的乘积：

也就是说，并不是一次性判断整个句子，而是在每个位置上问：在已经看到前面所有词的情况下，下一个词是什么。

循环神经网络

循环神经网络（Recurrent Neural Network, RNN）直接从这个设计出发，它的结构如下图所示：

如果把 RNN 用作语言模型，那么每个时间步的输出是一个词表上的分类softmax概率分布。

在生成文本时，我们可以从这个概率分布中采样得到下一个词，再把这个词作为后续时间步的输入。这样不断重复，就可以生成一个完整序列，并且把所有概率乘起来得到：

RNN 的前向传播公式为：

其中是第个时间步的隐藏状态，是当前输入，是上一个时间步传来的记忆；控制当前输入如何影响隐藏状态，控制历史状态如何传递，则把隐藏状态映射为当前输出。

RNN 的反向传播

直观上，RNN 的反向传播如下图所示：

其中红色箭头表示前向传播，蓝色箭头表示反向传播。我们定义每个时间步的损失函数和总损失为：

这个反向传播过程通常称为 BPTT（Backpropagation Through Time，沿时间反向传播）。它的核心思想并不神秘：我们先把 RNN 按时间展开，把同一个循环单元复制成上的一串网络，然后对这个展开后的深层网络做普通反向传播。

区别在于，RNN 在每个时间步使用的是同一组参数，例如、、。因此这些参数的梯度不是只来自某一个位置，而是来自所有时间步的累加：

也就是说，第个时间步产生的损失会沿着时间链条向前传播，影响更早的隐藏状态；而每一个时间步对共享参数造成的影响，最后会被加总起来更新同一组参数。

对于某个隐藏状态，它接收到的梯度通常有两部分：一部分来自当前时间步自己的输出损失，另一部分来自后续时间步传回来的梯度：

如果任务是 many-to-one，例如情感分类，可能只有最后一个时间步有直接损失；但前面的时间步仍然会通过后续隐藏状态收到梯度。

这也解释了为什么普通 RNN 容易出现梯度消失和梯度爆炸。因为梯度要沿着时间反复乘以类似和激活函数导数的项：

当这些连乘项的模长长期小于 1，梯度就会迅速消失；长期大于 1，梯度就会爆炸。因此 BPTT 虽然形式上只是普通反向传播，但在长序列上会暴露出 RNN 的核心困难。

RNN 的各种用法

不同任务对应不同的 RNN 输入输出结构：

one to many：文本生成等任务

many to one：常用于情感分类、文本分类等任务

many to many，且输入输出长度不同：常用于机器翻译等任务

双向 RNN

双向 RNN 可以和前面提到的 CBOW 做一个类比：CBOW 用目标词左右两侧的上下文来预测中心词，而双向 RNN 也是同时利用当前位置左侧和右侧的信息。区别在于，CBOW 通常把窗口内的词向量做简单组合，而双向 RNN 会分别用正向递推和反向递推建模上下文。

当一个任务不仅需要当前位置之前的信息，还需要当前位置之后的信息时，就可以使用双向 RNN。

在这类任务中，预测某个位置的输出时，可能同时需要上文和下文。双向 RNN 的做法是同时进行正向递推和反向递推：

Deep RNN

前面讨论的是 RNN 在时间方向上展开得有多长，也就是序列长度的问题。但对于复杂任务，模型往往还需要在层数方向上变深。深层 RNN 可以理解为：每个时间步内部不只做一次循环单元计算，而是把多个 RNN 层堆叠起来，使低层提取局部序列特征，高层进一步组合更抽象的时序表示。其结构可以写成：

对于深层 RNN，计算单元可以记为，有：

梯度消失、GRU 与 LSTM

对于深层 RNN 或长序列 RNN，梯度消失是非常严重的问题，因为它会让网络只能学习短程模式。一个典型例子是句子 “The cat, which already ate…, was full”。普通 RNN 很难长期记住主语是单数的 “cat”，可能会被中间复数成分干扰，从而输出 “The cat, which already ate…, were full”。为了解决这类长程依赖问题，研究者提出了 GRU 和 LSTM。

Empirical Evaluation of Gated Recurrent Neural Networks on...

In this paper we compare different types of recurrent units in recurrent neural networks (RNNs). Especially, we focus on more sophisticated units that implement a gating mechanism, such as a long...

https://arxiv.org/abs/1412.3555

GRU（Gated Recurrent Unit）

在普通 RNN 中，我们只计算。但在 GRU 中，还要计算门控项：

其中表示 update。由于 sigmoid 函数的输出位于 $(0,1)$，所以有：

GRU 的作用是用额外的线性层和 sigmoid 门，决定当前时间步的新信息应该写入多少、旧记忆应该保留多少。它给 RNN 引入了一种动态稀疏性：不是每个时间步都必须完全改写记忆，而是由门控制信息流。

完整 GRU 中还有另一个门：

并且有：

LSTM（Long Short-Term Memory）

LSTM 可以看作更完整的门控 RNN。它显式区分细胞状态和隐藏状态 $a$，并使用三个门：更新门、遗忘门和输出门：

单元内部的计算为：

其中更新门控制新信息写入多少，遗忘门控制旧记忆保留多少，输出门控制细胞状态中有多少信息暴露为隐藏状态。

如果门的计算还依赖记忆单元，这种结构称为 peephole connection。

Attention 模型

普通 RNN 最大的问题之一是：第个时间步只能直接看到第个时间步传给它的隐藏状态。这个隐藏状态本质上是对过去所有信息的压缩，而压缩过程可能丢失信息；如果序列很长，早期信息在反复传递中还可能被进一步削弱甚至损坏。

因此，与其只依赖一个已经被压缩过的状态量，不如让当前时间步直接向前连接到多个历史状态，并用一个权重决定应该重点看哪里。这就是 Attention 的基本动机：不要把所有历史信息强行塞进一个固定长度的向量，而是允许模型在需要时回头查看不同位置的信息。

Attention 模型的核心思想是给解码器一个注意力权重，使它在生成每个词时，可以对输入序列中的不同位置分配不同关注程度。结构如下：

表示在生成时，模型应该对编码器特征投入多少注意力。并且有：

其中可以由一个小型神经网络计算，它的输入通常是上一时刻解码器状态和编码器特征。

第三节语言模型

大规模预训练

前面讨论的 Word2Vec、GloVe 等方法，核心目标是先在大语料上训练一个词向量表，然后把这个词向量表迁移到下游任务中使用。这个思路在当时非常重要，因为很多下游任务的数据很少，单独训练一个模型很难学到足够好的语言表示。

现代语言模型把这个思路推进了一步：不再只预训练一个静态的 embedding 矩阵，而是预训练整个神经网络。也就是说，embedding 层、注意力层、前馈网络层，以及最后的输出层，都会一起在大规模文本上训练。训练完成后，模型不只是知道每个词大致是什么意思，还学到了语法结构、上下文依赖、常识关联和复杂的生成能力。

这就是大规模预训练（large-scale pretraining）的基本思想：先在海量无标注文本上设计一个通用的自监督任务，让模型学习语言本身的统计规律；然后再把这个模型迁移到具体任务中，例如分类、问答、翻译、摘要、代码生成等。

对于自回归语言模型，最常见的预训练任务就是预测下一个 token：

训练时，模型看到前面的 token，输出词表上的概率分布，然后用真实的下一个 token 作为监督信号。这种监督信号不需要人工标注，因为文本天然具有顺序：每一个位置的下一个 token 都可以作为训练标签。因此，只要有足够大的语料，就可以构造出大量训练样本。

和传统 embedding 方法相比，大规模预训练的关键区别在于：它学到的不是固定词向量，而是上下文化表示。同一个 token 在不同句子中会得到不同的内部表示。例如“苹果”在“我吃了一个苹果”和“苹果发布了新手机”中语义不同，现代语言模型可以根据上下文给出不同表示，而静态词向量通常只能给它一个固定向量。

因此，现代语言模型可以理解为：embedding 不再是最终目标，而只是模型的第一层输入表示；真正重要的是经过多层网络加工后的上下文表示，以及由这些表示产生的下一个 token 概率分布。

预训练的损失函数

对于自回归语言模型，预训练目标是让模型尽可能准确地预测下一个 token。假设一个训练序列为：

模型在第个位置看到前面的 token：

然后输出一个词表上的概率分布：

其中表示模型参数。真实的下一个 token 是，因此我们希望模型分配给真实 token 的概率越大越好。

从最大似然估计的角度看，我们希望最大化整段文本的概率：

为了计算方便，通常取对数，把连乘变成求和：

在深度学习里，我们通常把最大化问题改写成最小化损失函数，于是得到负对数似然损失：

如果对每个位置取平均，就是更常见的形式：

这个损失也可以理解成交叉熵损失。因为真实标签通常是 one-hot 分布：真实 token 对应的位置概率为 1，其余 token 概率为 0；模型输出的是 softmax 概率分布。交叉熵会惩罚模型没有把足够高的概率分配给真实 token。

模型生成

训练完成后，语言模型就可以用于生成文本。生成过程本质上是重复同一个步骤：给定已经生成的上下文，模型输出下一个 token 的概率分布，然后我们从这个分布中选择一个 token，把它接到上下文后面，再继续预测下一个 token。

形式上，如果当前已经有：

模型会输出：

也就是词表上所有 token 的概率。问题在于：拿到这个概率分布后，我们应该如何选择下一个 token？不同选择方式会产生不同的生成风格。

最简单的方法是 greedy decoding（贪心解码）。它每一步都选择当前概率最高的 token：

比如模型给出：

greedy 就会直接选择“学习”。这种方法简单、稳定、速度快，但问题是它只看当前一步最优，不保证整句话最优。很多时候，当前概率最高的词接下去可能导致后续句子变差。

更稳妥的方法是 beam search（束搜索）。它不是每一步只保留一个候选，而是保留概率最高的前条候选序列，其中称为 beam size。例如时，模型每一步都保留目前总概率最高的 3 条路径，然后继续扩展它们。这样可以避免过早地把一些暂时不是第一名、但后续可能更好的序列丢掉。

Beam search 的目标可以写成寻找概率最高的完整序列：

实际计算时通常使用对数概率，避免许多小概率连乘造成数值下溢：

Beam search 常用于机器翻译、摘要等希望输出稳定、确定性较强的任务。但它也有缺点：生成结果可能偏保守、缺少多样性，而且容易偏向短句，所以实践中常配合长度惩罚。

除了 greedy 和 beam search，生成时还经常调节 temperature（温度）。Temperature 不是改变模型参数，而是在 softmax 前调整 logits 的尺度。设模型输出的 logits 为，带 temperature 的 softmax 为：

其中就是 temperature。

当时，保持原始分布不变。当时，logits 会被放大，概率分布变得更尖锐，高概率 token 更容易被选中，生成结果更稳定、更保守。极端情况下，很小，效果会接近 greedy。

当时，logits 会被压缩，概率分布变得更平坦，低概率 token 也更有机会被采样到，生成结果更随机、更有多样性，但也更容易出现不稳定或不合理的内容。

例如原始分布可能是：

降低 temperature 后，可能变成：

升高 temperature 后，可能变成：

因此，temperature 控制的是生成的随机性和多样性：低温更确定，高温更发散。实际使用中，严肃问答、代码生成通常倾向较低 temperature；创意写作、头脑风暴可以使用较高 temperature。