Мета, компанијата која стои зад Facebook, неодамна го претстави Llama 3.1, најновата верзија на нивниот отворен модел на вештачка интелигенција. Оваа верзија е значајна поради нејзините импресивни способности и широката примена. Llama 3.1 е една од најголемите и најмоќни отворени модели на вештачка интелигенција достапни денес.
Овој модел е оптимизиран за генерирање синтетички податоци и овозможува создавање на помали, поефикасни модели кои нудат високи перформанси со намалени трошоци.
Мета, преку овој проект, демонстрира силна посветеност кон отворената наука и иновациите, што е дел од нивната стратегија за развој на вештачката интелигенција и нејзината интеграција во нивните платформи и услуги.
Дали Llama 3.1 ќе го помине нашиот бенчмарк тест?
Сме зборувале и порано за нашиот бенчмарк тест кој ги тестира јазичните модели колку добро го владеат преку конечниот тест по македонски јазик – правење вистински панграм. По долго владение на ChatGPT, скоро се појави друг крал – Gemini, но да видиме како ќе се покаже Llama 3.1.
Но, како да го тестираме Meta.ai кога не е достапен во Европа, ниту во Македонија? Се обидовме со VPN, но за да користите Meta.ai треба да се врзете преку Facebook (а тој ги има сите ваши податоци, така што џабе ви е VPN:) Сепак, моделот на кој е заснован овој чет бот е open source и достапен за тестирање.
Од нашите експерименти, првиот создаден панграм гласеше вака: „Пакистанецот Ѓорѓи Ќосевски ја знае македонската азбука.“ Според нашиот Панграм проверувач недостасуваа половина од буквите. Откако му го укажавме тоа на моделот, веќе во вториот обид се поправи драстично:
„Ѓорѓи Ќосевски ја знае македонската азбука, жали џабе што фалсификува хиљади лажни гласови, љубоморно гледајќи џинови и шпиони.“
Недостасуваа 4 букви, а во следниот обид веќе создаде вистински панграм:
Ѓорѓи Ќосевски ја знае македонската азбука, жали џабе што фалсификува хилјада лажни гласови, љубоморно гледајќи џинови и шпиони, читајќи цитати од Његош, а целиот ден ѕвони.
Овој панграм со вкупно 143 карактери Llama 3.1 го создаде по само 3 обиди! Тоа е фасцинантно. За разлика од него Claude создаде панграм со помалку карактери (104), но после 8 обиди.
Во следниот обид кога му укажавме дека „хилјада“ не е македонски збор и го замоливме да го скрати панграмот го добивме ова:
Ѓорѓи Ќосевски жали џабе што фалсификува илјада лажни гласови, читајќи Његош, ѕвони на џинови и шпиони, хипокрит злоупотребувајќи љубомора во Македонија, целиот ден.
Ова е панграм од 31 букви, и вкупно 138 карактери. Другите обиди ни беа скратени од серверот, но беше доволно да го „вкусиме“ потенцијалот на овој модел.
Дали тоа значи дека Llama 3.1 е „попаметен“ од Claude 3.5 Sonnet?
Не, нужно. Во споредба со другите модели, како што е Claude 3.5 Sonnet на Anthropic, кој е рангиран како најдобар според перформансите, Llama 3.1 се истакнува со својата отворена природа и пристапност. Додека моделите на OpenAI и Google се истакнуваат во специфични области, Llama 3.1 нуди одличен баланс помеѓу перформансите и достапноста, овозможувајќи поширока употреба и иновации во заедницата за вештачка интелигенција.
Галилео, друга AI компанија, неодамна го објави својот Индекс на Халуцинации, кој открива зголемена интензивност во трката за развој на големи јазични модели (LLM). Овој индекс покажува колку различни модели, вклучувајќи го и Llama 3.1, успеваат да избегнат генерирање на неточни или измислени информации, што е критичен аспект за доверливоста и применливоста на овие технологии. Прочитајте ја анализата и со АИ напред!
Моделот може да го тестирате и на други локации.