کاور
"آشنایی با ساختار و کاربردهای پارس‌برت (ParsBERT)" در تاریخ جمعه ۱ اسفند ساعت ۲۰:۰۰ به پایان رسیده است.
جزئیات
مهلت ثبت‌نام
قیمت (تومان)
تعداد

کارگاه آشنایی با ساختار و کاربردهای پارس‌برت (ParsBERT)

در این کارگاه قصد داریم تا بخش‌های زیر را پوشش دهیم:

- مرور کلی پژوهش‌های انجام گرفته در زمینه پردازش متن / مدل‌های زبانی
- آشنایی با مفهوم و ساختار مکانیزمی به نام Attention
- بررسی مفهوم و ساختار Transformers
- هر آنچه لازم است در رابطه با BERT بدانید
- آشنایی با مدل ParsBERT و HuggingFace 
- تحلیل بصری مدل ParsBERT 
- معرفی کارهای آتی

 

مدل‌هایی که در این کارگاه به ساده‌سازی و تحلیل آنها‌ خواهیم پرداخت عبارت‌اند از:

Google/bert-base-multilingual-uncased

HooshvareLab/bert-fa-base-uncased

 

و همچنین مقالاتی که پایه و اساس این کارگاه هستند و آشنایی و مطالعه اولیه آنها لازم و ضروری می‌باشند به قرار زیر هستند:

- Attention Is All You Need, Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, Ł. and Polosukhin, I., 2017. Attention is all you need. In Advances in neural information processing systems (pp. 5998-6008).

- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J., Chang, M.W., Lee, K. and Toutanova, K., 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

- ParsBERT: Transformer-based Model for Persian Language Understanding, Farahani, M., Gharachorloo, M., Farahani, M. and Manthouri, M., 2020. ParsBERT: Transformer-based Model for Persian Language Understanding. arXiv preprint arXiv:2005.12515.

سخنرانان

دکتر محمد منثوری
دکتر محمد منثوری
هم بنیانگذار و سرپرست تحقیق یادگیری عمیق هوشواره

محمد منثوری دانش آموخته دکتری برق-کنترل دانشگاه خواجه نصیر الدین طوسی که هم اکنون به عنوان عضو هیات علمی دانشگاه شاهد و سرپرست تحقیق یادگیری ماشین/عمیق در هوشواره مشغول به همکاری است. ایشان همچنین مدرس دروس شبکه‌های عصبی، یادگیری ماشین، یادگیری عمیق و یادگیری تقویتی در دانشگاه های شاهد و آزاد (واحد تهران شمال) هستند.

مهندس مهرداد فراهانی
مهندس مهرداد فراهانی
هم بنیانگذار و سرپرست تحقیق پردازش زبان هوشواره

مهرداد فراهانی از دانش آموخته‌های ارشد مهندسی کامپیوتر گرایش هوش‌مصنوعی که هم اکنون به عنوان سرپرست تحقیق پردازش زبان طبیعی در هوشواره مشغول به همکاری است. او وتیم تحقیقاتی هوشواره توانسته‌اند اولین مدل‌های تک زبانه پارسی را پیاده‌سازی و در اختیار محققین این حوزه قرار دهند.

سوالات متداول

آشنایی با مفهوم مدل‌های زبانی/پیش آموزش داده شده و همچنین علاقه به فعالیت در زمینه پردازش زبان و آشنایی با مقالات معرفی شده در توضیحات کارگاه.
رویداد به صورت آنلاین برگزار خواهد شد و هدف این رویداد بیشتر ساده‌سازی و تشریح مفاهیم موضوع کارگاه خواهد بود.
Attention Is All You Need, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, ParsBERT: Transformer-based Model for Persian Language Understanding
بله، همه منابع در اختیار شما قرار خواهد گرفت.
کارگاه در یک روز و در یک جلسه ۳ ساعته برگزار خواهد شد.
خیر، در این کارگاه هدف ساده‌سازی و تحلیل مفاهیم این حوزه خواهد بود و شامل پیاده‌سازی-کدی نخواهد بود اما به شدت برای کارگاه‌های بعدی که همراه با کد و یادگیری هستند توصیه می‌شود.

زمان‌بندی

عنوانشروعپایان
مرور کلی کارهای انجام گرفته در زمینه پردازش متن / مدل‌های زبانی--
آشنایی با مفهوم و ساختار مکانیزمی به نام Attention--
بررسی مفهوم و ساختار Transformers--
هر آنچه لازم است در رابطه با BERT بدانید--
آشنایی با مدل ParsBERT و HuggingFace --
تحلیل بصری مدل ParsBERT --
معرفی کارهای آتی--

برگزارکنندگان

هوشواره
هوشواره
گروه تحقیقاتی هوشواره

گروه تحقیقاتی هوشواره متشکل از محققین داخل و خارج کشور در حوزه‌های یادگیری ماشین، یادگیری عمیق، پردازش زبان طبیعی و بینایی ماشین می‌باشند که توانسته‌اند در سال‌های اخیر قدم‌های مهمی در برخی از این حوزه‌ها بردارند و ابزار و امکاناتی را برای دیگر محققین این زمینه‌ها فراهم نمایند.

برگزار‌کننده

آواتار

هوشواره

گروه تحقیقاتی هوشواره متشکل از محققین داخل و خارج کشور در حوزه‌های یادگیری ماشین، یادگیری عمیق، پردازش زبان طبیعی و بینایی ماشین می‌باشند که توانسته‌اند در سال‌های اخیر قدم‌های مهمی در برخی از این حوزه‌ها بردارند و ابزار و امکاناتی را برای دیگر محققی

رویداد های برگزارشده۱

رویدادهای زیر را به شما پیشنهاد می‌کنیم

تا ۳۱ اردیبهشت

دوره های رباتیک دانشگاه علم و صنعت ایران

  • آنلاین
  • از ۱۲۰,۰۰۰ تومان
  • دانشگاه علم و صنعت ایران
تا ۲۳ اردیبهشت

برنامه‌نویسی R با رویکرد بیوانفورماتیکی

  • آنلاین
  • ۷۹۰,۰۰۰ تومان
  • Computer Researchers
تا ۳۱ شهریور

کارگاه پروژه محور سیستم‌های پیشنهادگر در پایتون

  • آنلاین
  • از ۲۵۰,۰۰۰ تومان
  • انجمن علمی دانشجویی مهندسی صنایع دانشگاه خوارزمی
تا ۸ اردیبهشت

دوره آموزشی مقدماتی نرم‌افزار آباکوس(Abaqus)

  • آنلاین
  • از ۱۶۰,۰۰۰ تومان
  • انجمن علمی مهندسی مکانیک دانشگاه علم و صنعت ایران