لتقرأ السطور القليلة القادمة فأنا افترض ان لديك معرفة ب NN , RNN ,Transformers
وفي هذه المرحلة يتم عرض مجموعة من unstrctured text data على الموديل حتى لا يبدأ من الصفر عند التدريب
وهي تحديد موضع كل كلمة وتحديد مكانها وعلاقتها بالكلمات الاخرى في الجملة ومعنى كل كلمة
وهي مهمه جدا في العملية سواء في encoder and decoder: To zero attention outputs wherever there is just padding in the input sentences وفي decoder عشان يمنع peaking
دي مرحلةة layers في الشبكة العصبية