Youtor
دراسة نموذج quotجيسquot للغة العربية Delve into JAIS Arabic LLM تفاصيل أكثر
>> YOUR LINK HERE: ___ http://youtube.com/watch?v=Aj3KAS9l8U8
في هذا الفيديو, سندرس بعمق تفاصيل أكبر نموذج لغوي للغة العربية JAIS • نموذج جيس تم تطويره لخدمة أغراض اللغتين العربية و الإنجليزية • في الورقة العلمية التي تتكون من خمسين صفحة, الكثير جدا من التفاصيل التي سنستعرضها سويا في هذا الفيديو لنلق الضوء على معايير اختيار بيانات التدريب و أحجام النماذج • كما سنقوم بتجربة النموذج في النهاية, مستعرضين عدد من الحالات الخاصة بالنموذج • الفيديو سيتطرق الى العديد من التفاصيل التي يمكن استعراضها من القائمة التالية • 00:00 JAIS • 02:55 Jais Base Model • 04:21 Prev Multilingual Language Models • 05:00 Samples of JAIS reponses • 05:32 JAIS Pretraining Data • 06:10 Language Distribution Scale • 06:56 Cross-Lingual transfer • 07:54 Arabic Datasets • 08:30 Baai Dataset • 09:17 Common Crawl Dataset • 09:58 OSCAR Dataset • 11:00 WudaoCleaner • 11:48 Arabert Processor • 13:36 Maktabah Dataset • 14:10 Data Leakage with LLMs • 15:35 C4 Dataset • 16:40 UN Meetings transcripts • 17:15 Tokenization • 17:52 Arabic Data Augmentation Techniques • 19:30 Data upsampling | Techniques and Problems • 22:06 Pile Dataset • 23:21 The risk of unbalancing of data purposes • 25:00 Enron Dataset and data privacy • 26:13 Data Preprocessing and Filtering • 29:20 CAMel Tools Normalization • 29:53 Preprocessing Consistancy • 31:28 ChinChilla Scaling Law and Arabic Datasets • 35:50 Byte-Pair Encoding Tokenizer • 36:50 Fertility Scores for Evaluating the Tokenizers • 38:33 ALiBi Positional Encoding • 40:40 SwiGLU Activation Function • 41:10 Optimal Hyper Parameters • 42:10 Data Distributions and Loss • 43:20 Instruction-Tuning Dataset • 44:04 Signle-Turn Vs. Multi-Turn Datasets • 45:05 Culture Limitations of Instructions Data • 46:10 GPT4-Based Synthetic Data • 47:00 Downstream Evaluation • 47:41 World Knowledge Evaluation • 48:15 Commonsense Reasoning Evaluation • 48:29 Misinformation and Bias Evaluation • 48:41 MMLU Dataset • 50:06 TruthfulQA Dataset • 53:30 GPT4-Based General Evaluation • 55:45 LLM Safety • 56:49 The Five-Areas of LLMs risks • 57:40 DoNotAnswer Dataset • 58:22 LDNOOBW Dataset • 58:55 Hate speech Detection • 59:20 System Message and Its complexity • 01:01:00 Test the full precision JAIS-Chat-13B • 01:06:36 System Message Sensitivity • 01:07:45 Generation with TextStreamer • 01:07:58 Test the float16 precision JAIS-Chat-13B • شارك الفيديو اذا أعجبك المحتوى
#############################
