���ã��gӭ�M(j��n)�������зf���¿Ƽ�����˾�ٷ��W(w��ng)վ��
�Ї� 2024��04��28�ա����˹�����оƬ�аl(f��)�����A(ch��)����ƽ�_��˾��оԪ��������������Meta��Microsoft���^�l(f��)��������̱����x��Llama 3ϵ�к�Phi-3ϵ��ģ���������M(j��n)һ���o�_�l(f��)���ṩ�����L�r����оԪ�ǵ�NPU����月F(tu��n)�(du��)Ѹ��푑�(y��ng)���ѻ���AX650Nƽ�_��� Llama 3 8B��Phi-3-miniģ���m����
Llama 3
�����壬Meta�l(f��)����Meta Llama 3ϵ���Z��ģ�ͣ�LLM�������w����һ��(g��)8Bģ�ͺ�һ��(g��)70Bģ���ڜyԇ����(zh��n)�У�Llama 3ģ�͵ı��F(xi��n)�ஔ(d��ng)��ɫ���ڌ�(sh��)���ԺͰ�ȫ���u�������c��Щ���������е��]Դģ�Ͳ���������
�ٷ��W(w��ng)ַ��https://llama.meta.com/llama3
�ڼܘ�(g��u)������Llama 3�x���˘�(bi��o)��(zh��n)�ăH��a��decoder-only��ʽTransformer�ܘ�(g��u)�����ð���128K token�~�R���ķ��~����Llama 3ʹ���˳��^15T�Ĺ��_��(sh��)��(j��)�M(j��n)��Ӗ(x��n)��������5%���Ӣ�Ĕ�(sh��)��(j��)�����w30��N�Z�ԣ�Ӗ(x��n)����(sh��)��(j��)����ǰ��Llama 2���߱���
����(j��)Meta�Ĝyԇ�Y(ji��)����Llama 3 8Bģ����MMLU��GPQA��HumanEval�ȶ��(xi��ng)���ܻ���(zh��n)�Ͼ����^��Gemma 7B��Mistral 7B Instruct��70Bģ�̈́t��Խ����������]Դģ��Claude 3�����g�汾Sonnet���ȸ��Gemini Pro 1.5������ك�ؓ(f��)��
��(sh��)�H�ϰ�Y(ji��)����ĿǰAX650N�ѽ�(j��ng)�����Llama 3 8B Int8�汾���m�䣬������Int4������ÿ��token��(sh��)߀���ٷ�һ�����ܝM���������˙C(j��)������
Phi-3
Llama 3���l(f��)���]��ã��������־́����������ǿ������֙C(j��)���\(y��n)�е�С�w��ģ����
���ܶ���ܛ�l(f��)��������С�ߴ�ģ��Phi-3���M��Phi-3-mini����(y��u)�����ɲ������֙C(j��)�������������ܿ����cMixtral 8x7B��GPT-3.5��ģ����������ܛ��ʾ��ԓ��(chu��ng)����Ҫ���������|(zh��)�����õ�Ӗ(x��n)����(sh��)��(j��)����
�ھ�DEMO��https://ai.azure.com/explore/models/Phi-3-mini-4k-instruct/version/2/registry/azureml
��(sh��)�H�ϰ�Y(ji��)����ĿǰAX650N�ѽ�(j��ng)�����Phi-3-mini Int8�汾���m�䣬���ܝM���������˙C(j��)������
�����ɹ�
AX650N�ܵ�һ�r(sh��)�g���Llama 3��Phi-3���m����Դ�ڽ����ԁ����P(gu��n)�F(tu��n)�(du��)��������ˬF(xi��n)��NPU�����ᘌ����Z��ģ�͵�֧�ֺ��{(di��o)��(y��u)��Ŀǰ����Llama 3֮�����ѽ�(j��ng)�����Llama 2��TinyLlama��Phi-2��Qwen1.5��ChatGLM3�ȇ���(n��i)���������_Դ���Z��ģ���m����
���P(gu��n)�ɹ���ጷŵ��_�l(f��)����^(q��)��https://github.com/AXERA-TECH/ax-llm���gӭ�L�r��
���m(x��)Ӌ(j��)��
������AIPC��Ԫ������оԪ�nj�ᘌ�AIPC�ij�Ҋ��(y��ng)���ṩ����Ľ�Q��������ְl(f��)�]��оͨԪNPU����Ч�ȵļ��g(sh��)��(y��u)�������N��Ȥ�Ĵ�ģ�͌�(sh��)�F(xi��n)���ԃr(ji��)���ػ����������������˶��õ����ģ�͡������댍(sh��)�`���ջ�AI��������������
�P(gu��n)�ڐ�оԪ�ǣ�
��оԪ�ǰ댧(d��o)�w�ɷ�����˾������2019��5���������ڴ��������I(l��ng)�ȵ��˹����ܸ�֪�c߅��Ӌ(j��)��оƬ������(w��)�ǻ۳����������{�C(j��)�����Լ�AR/VR�Ⱦ��߅���Ͷ˂�(c��)�O(sh��)���Ј�����˾���Ѓɴ���ļ��g(sh��)������о����AI-ISP�͐�оͨԪ��Ͼ���NPU�����^ȥ������r(sh��)�g�������Ĵ����w����оƬ�a(ch��n)Ʒ���аl(f��)�����a(ch��n)��������оԪ�DZ��С��ջ�AI��������������ʹ�����ԡ���(g��u)������һ���ĸ�֪�cӋ(j��)��ƽ�_����Ը���������ڳɞ��������电(sh��)�ֻ�������鲻ͬ�ИI(y��)�ṩ�˹����ܵĻ��A(ch��)����ƽ�_��ʹ���������|�ֿɼ���
�ߴa�P(gu��n)ע�҂�
���棺0755-82591176
�]�䣺vicky@yingtexin.net
��ַ�����������A�^(q��)���νֵ����δ��973�f�����S��(chu��ng)�I(y��)�@A��2��A08