Phi-3 Mini AI حاوی حداکثر 3.8 میلیارد پارامتر است و با استفاده از مجموعه داده های آموزشی برای مدل های زبان بزرگ مانند GPT-4 آموزش داده می شود.
مایکروسافت قصد دارد به زودی Phi-3 Small (7 میلیارد پارامتر) و Phi-3 Medium (14 میلیارد پارامتر) را منتشر کند. این پارامتر تعداد دستورالعمل های پیچیده ای را که مدل می تواند درک کند را نشان می دهد.
مایکروسافت Phi-2 را در دسامبر 2023 منتشر کرد که به خوبی مدل های بزرگتر مانند Llama 2 بود. مایکروسافت می گوید که Phi-3 بهتر از مدل قبلی خود عمل می کند و می تواند پاسخ هایی نزدیک به یک مدل 10 برابر بزرگتر ارائه دهد.
در مقایسه با همتایان بزرگتر خود، مدل‌های هوش مصنوعی کوچک اغلب ارزان‌تر هستند و در دستگاه‌های شخصی مانند تلفن‌ها و لپ‌تاپ‌ها عملکرد بهتری دارند.
در اوایل سال 2024، مایکروسافت در حال ساخت تیمی بود که به طور خاص بر روی مدل‌های سبک‌تر هوش مصنوعی متمرکز بود. علاوه بر فی، این شرکت همچنین Orca-Math را توسعه داد. مدلی که مسائل ریاضی را حل می کند.
مدل میکروزبان جدید مایکروسافت با پارامترهای بسیار کمتر از ChatGPT بهتر عمل می کند.
اریک بوید، معاون پلتفرم هوش مصنوعی Microsoft Azure می‌گوید، توسعه‌دهندگان Phi-3 را با استفاده از یک «بوت استرپ» آموزش دادند. آنها از نحوه یادگیری کودکان از داستان ها و کتاب های قبل از خواب با کلمات ساده تر الهام گرفتند.
بوید می گوید: «کتاب های زیادی برای کودکان وجود ندارد. بنابراین، ما فهرستی از بیش از 3000 کلمه برداشتیم و از LLM خواستیم تا «کتاب‌های کودکان» را برای آموزش Phi-3 ایجاد کند.
خانواده مدل‌های Phi-3 برخی از دانش‌های رایج را می‌دانند. اما آنها نمی توانند GPT-4 یا هر LLM دیگری را شکست دهند.
منبع: زومیت
منبع: https://www.yjc.ir/fa/news/8719019/%DA%A9%D9%88%DA%86%DA%A9%E2%80%8C%D8%AA%D8%B1%DB%8C%D9%86-%D9%85%D8%AF%D9%84-%D9%87%D9%88%D8%B4-%D9%85%D8%B5%D9%86%D9%88%D8%B9%DB%8C-%D9%85%D8%A7%DB%8C%DA%A9%D8%B1%D9%88%D8%B3%D8%A7%D9%81%D8%AA-%D8%B1%D9%88%D9%86%D9%85%D8%A7%DB%8C%DB%8C-%D8%B4%D8%AF