Orca pode imitar e aprender a partir de modelos de linguagem de IA, como o GPT-4.
A Microsoft, em parceria com a OpenAI, tem implementado gradualmente capacidades de IA em seus produtos e serviços, além de construir modelos menores, específicos para casos de uso. A Microsoft Research apresentou um novo modelo de IA chamado Orca, que aprende imitando grandes modelos de linguagem. De acordo com o artigo de pesquisa, o Orca foi projetado para superar as limitações de modelos menores, imitando os processos de raciocínio de grandes modelos de base como o GPT-4.
Modelos de linguagem como o Orca podem ser otimizados para tarefas específicas e treinados utilizando grandes modelos de linguagem como o GPT-4. Devido ao seu tamanho menor, o Orca requer menos recursos computacionais para executar e operar. Os pesquisadores podem otimizar seus modelos de acordo com suas necessidades e executá-los de forma independente, sem depender de um grande centro de dados.
Também leia: A Microsoft lança uma poderosíssima ferramenta de design… O Microsoft Designer
Em Ótimo Estar!
De acordo com o artigo de pesquisa, o Orca, um modelo de IA com 13 bilhões de parâmetros, pode imitar e aprender a partir de grandes modelos de linguagem como o GPT-4, e é baseado em Vicuna. Ele pode aprender explicações, processos de pensamento passo a passo e outras instruções complexas com a ajuda do ChatGPT-4, pode ter mais de um trilhão de parâmetros.
Os testes submetidos a Orca
A Microsoft está utilizando dados de imitação em larga escala e diversificados para promover a aprendizagem progressiva com o Orca. Ela já superou o Vicuna em 100% em benchmarks de raciocínio complexo sem supervisão, como o Big-Bench Hard (BBH). O novo modelo também é alegadamente 42% mais rápido do que os modelos de IA convencionais no AGIEval.
Em termos de raciocínio, apesar de ser um modelo menor, diz-se que o Orca está no mesmo nível do ChatGPT em benchmarks como o BBH. Além disso, ele demonstra um desempenho competitivo em exames acadêmicos como SAT, LSAT, GRE e GMAT, embora fique atrás do GPT-4.
A equipe de pesquisa da Microsoft afirma que o Orca pode aprender utilizando explicações passo a passo criadas por humanos. E também por modelos de linguagem mais avançados. Espera-se que ele adquira habilidades e capacidades aprimoradas com o tempo.
Por fim, leia também: Mercedes-Benz está levando o controle de voz para dentro do carro a um novo nível com o ChatGPT
