京东-优惠雷达
新人页面
精选商品
首月0月租体验,领12个月京东PLUS
自营热卖

旧版本YouTube之sequence_mask

风吹向你。 24天前   阅读数 42 0

hi各位大佬好,我是小明哥,温故而知新,因此有些代码就是要常看,说不定会有意想不到的收获。本文是在旧版本YouTube的代码理解上进一步解析,查看sequence_mask的含义。尽管之前已经有了初步理解,但仍旧不够。

For Recommendation in Deep learning QQ Second Group 102948747
For deep learning QQ Group 629530787
I'm here waiting for you 
不接受这个网页的私聊/私信!!

本宝宝长期征集真实情感经历(发在我公号:美好时光与你同行),长期接受付费咨询(啥问题都可),付费改代码。付费咨询,专属服务,快人一步!!!

 1-pad_sequences补零的方法

一般user点击序列为[1,2,3,4,5,6],按照先后顺序点击了6个,如果设置的是长度最大为10的seq,那么后面要补零操作,train_seqs=[1,2,3,4,5,0,0,0,0,0],target=[6],mask=[1,1,1,1,1,0,0,0,0,0],这是新版本所用的方法,然鹅旧版本是倒序的,train_seqs=[5,4,3,2,1,0,0,0,0,0],其他不变

>>> seq
[5, 4, 3, 2, 1]
>>> pad_sequences([seq],10,padding='post',truncating='post',value=0)
array([[5, 4, 3, 2, 1, 0, 0, 0, 0, 0]], dtype=int32)
>>> seq
[12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1]
>>> pad_sequences([seq],10,padding='post',truncating='post',value=0)
array([[12, 11, 10,  9,  8,  7,  6,  5,  4,  3]], dtype=int32)

这是两个例子,意思是越靠近现在的点击越重要。

2-mask理解,假设max_len=10

>>> u_hist_len=user_features[feature_length_name]
>>> u_hist_len
<tf.Tensor 'hist_len_1:0' shape=(None, 1) dtype=int32>
>>> mask = tf.sequence_mask(u_hist_len,10, dtype=tf.float32)
>>> mask
<tf.Tensor 'Cast_1:0' shape=(None, 1, 10) dtype=float32>
>>> mask = tf.transpose(mask, (0, 2, 1))
>>> mask
<tf.Tensor 'Transpose:0' shape=(None, 10, 1) dtype=float32>
mask = tf.tile(mask, [1, 1, embedding_size])

>>> mask = tf.tile(mask, [1, 1, 16])
>>> mask
<tf.Tensor 'Tile:0' shape=(None, 10, 16) dtype=float32>

u_hist_len是用户点击的item个数,embedding_size是item embedding维度(假设为16)

到此,可以看出与之前的理解并无二致,只不过之前是取代了sequence_mask的作用,而是手动写出的mask

3-聚合方式

上述得到的mask与seq_input点乘得到序列embedding,然后除以点击item的个数u_hist_len

>>> seq_input2=tf.keras.Input(shape=(10,16),dtype=tf.float32)
>>> hist_emb = tf.reduce_sum(seq_input2 * mask, 1, keepdims=False)
>>> hist_emb.shape
TensorShape([None, 16])
hist_emb  = tf.divide(hist_emb , tf.cast(u_hist_len, tf.float32)+1e-9)

据此得到的item序列emb与user_emb拼接得到user_emb(初步),然后经过三层左右的dense得到最终的user_emb,这就是旧版YouTube的思想

4-sampled_softmax_loss

这个玩意之前ComiRec中也是同样的操作,事实说明是一样的。融会贯通只在一刹那!

tf.nn.sampled_softmax_loss(weights=item_embs,
                      biases=zero_bias,
                      labels=item_target,
                      inputs=user_embs,
                      num_sampled=100,
                      num_classes=item_count,
                                          )

5-获取user_emb向量

训练完成后,之前的新版YouTubeSRGNNComiRec等模型中,均是采用分批过模型的方式得到user_emb,这就比较Low了,而旧版YouTube则无需分批,直接由输入到输出,相当牛逼。

分析后发现,只是采用了下面的做法,输入和输出指定即可,这种看起来稍微高端点,哈哈

model.__setattr__("user_input", user_inputs_list)
model.__setattr__("user_emb", user_dnn_out)

>>> user_inputs_list
[<tf.Tensor 'user_id_1:0' shape=(None, 1) dtype=int32>, <tf.Tensor 'hist_item_id_1:0' shape=(None, max_len) dtype=int32>, <tf.Tensor 'hist_len_1:0' shape=(None, 1) dtype=int32>]
user_model = tf.keras.Model(inputs=model.user_input, outputs=model.user_emb)
UserEmbeddings = user_model.predict(test_input, batch_size=**)

愿我们终有重逢之时,而你还记得我们曾经讨论的话题。


注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: