词嵌入模型的目的是针对每个词学习一个高维密集表征，其中嵌入向量之间的相似性显示了相应词语之间语义或句法的相似性。Skip-gram是一种学习词嵌入算法的模型。skip-gram模型(包括很多其它词嵌入模型)背后的主要思想是：如果两个词汇项有相似的上下文，则它们是相似的。

换句话说，假设有一个句子，比如“cats are mammals”，如果用“dogs”替换“cats”，该句子仍然是有意义的。因此在这个例子中，“dogs”和“cats”有相似的上下文(即“are mammals”)。

基于以上假设，我们可以考虑一个上下文窗口(包含K个连续项)。然后跳过其中一个词，试着学习一个可以得到除了跳过的这个词以外所有词项，并且可以预测跳过的词的神经网络。因此，如果两个词在一个大语料库中多次具有相似的上下文，那么这些词的嵌入向量将会是相似的。