آشنایی با ساختار و کاربردهای پارس‌برت (ParsBERT)

در این کارگاه قصد داریم تا بخش‌های زیر را پوشش دهیم:

- مرور کلی پژوهش‌های انجام گرفته در زمینه پردازش متن / مدل‌های زبانی
- آشنایی با مفهوم و ساختار مکانیزمی به نام Attention
- بررسی مفهوم و ساختار Transformers
- هر آنچه لازم است در رابطه با BERT بدانید
- آشنایی با مدل ParsBERT و HuggingFace 
- تحلیل بصری مدل ParsBERT 
- معرفی کارهای آتی

مدل‌هایی که در این کارگاه به ساده‌سازی و تحلیل آنها‌ خواهیم پرداخت عبارت‌اند از:

Google/bert-base-multilingual-uncased

HooshvareLab/bert-fa-base-uncased

و همچنین مقالاتی که پایه و اساس این کارگاه هستند و آشنایی و مطالعه اولیه آنها لازم و ضروری می‌باشند به قرار زیر هستند:

- Attention Is All You Need, Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, Ł. and Polosukhin, I., 2017. Attention is all you need. In Advances in neural information processing systems (pp. 5998-6008).

- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J., Chang, M.W., Lee, K. and Toutanova, K., 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

- ParsBERT: Transformer-based Model for Persian Language Understanding, Farahani, M., Gharachorloo, M., Farahani, M. and Manthouri, M., 2020. ParsBERT: Transformer-based Model for Persian Language Understanding. arXiv preprint arXiv:2005.12515.