Inteligência Artificial Offline: Como Instalar e Usar IA Localmente no Seu Computador

É possível utilizar a inteligência artificial (IA) no seu computador de forma totalmente offline. O LM Studio é um software que permite baixar e executar modelos de linguagem livres e open-source diretamente na sua máquina local.

Os modelos de linguagem de IA mais conhecidos e open-source incluem o Llama, criado pela Meta (empresa responsável pelo Facebook). Existem várias outras LLMs (Large Language Models) que são open-source. É importante entender a diferença entre modelos fechados e abertos:

  • Modelos fechados: Geralmente usados como serviços em nuvem, como o ChatGPT.
  • Modelos abertos: Permitem baixar o código-fonte e instalar na sua máquina local para uso offline.

LM Studio
O LM Studio é uma ferramenta que simplifica o processo de baixar, instalar e usar modelos de linguagem em seu computador. Com ele, você pode:

  • Baixar diversos modelos de linguagem open-source
  • Configurar e otimizar os modelos para seu hardware
  • Criar um ambiente de chat para interagir com o modelo escolhido

Para usar o LM Studio, siga os seguintes passos:

  1. Baixe o LM Studio do site oficial: https://lmstudio.ai
  2. Instale o software seguindo as instruções para seu sistema operacional
  3. Abra o LM Studio e navegue até a seção de modelos disponíveis
  4. Escolha e baixe um modelo de linguagem (por exemplo, Llama 3.1)
  5. Configure o modelo de acordo com as especificações do seu hardware
  6. Inicie o ambiente de chat integrado
  7. Comece a fazer perguntas e interagir com o modelo offline

O vídeo acima, no início do texto, mostra todos esses passos.

É importante ressaltar que a performance depende da capacidade do seu hardware. Modelos maiores requerem hardware mais potente. Por exemplo, aqui foi possível executar o modelo 3.1 8B em um notebook com 4 CPUs e 8GB de RAM, mas foi bem lento. O recomendado para esse modelo seria no mínimo 8 CPUs. Idealmente, um PC gamer com GPU poderosa.

Veja print do teste realizado. 
Desliguei a conexão da internet e fiz uma pergunta inicial. Perguntei sobre a localização de Cabo Verde.

Após a resposta, fiz uma segunda pergunta sobre a maior ilha do arquipélago, sem mencionar Cabo Verde. O sistema reconheceu o contexto e forneceu a resposta, conforme evidenciado pelo print a seguir.

O processo foi bastante lento devido ao hardware limitado do meu computador. Já planejo adquirir um PC gamer com uma GPU de alta capacidade para melhorar o desempenho.

Benefícios da IA Offline
Usar IA offline traz várias vantagens. A principal delas é a privacidade dos seus dados. Ninguém precisa saber as perguntas que você submete ao modelo de linguagem, nem os rastros de resposta que você recebe. Além disso, para cargas de trabalho mais elevadas, você não precisa comprar tokens ou pagar por um serviço de nuvem como GPT, Gemini ou Claude, etc. Trata-se de um novo paradigma.

O sistema de relatórios Badiu MReport atualmente gera relatórios do Moodle e pode ser usado para criar arquivos Excel com dados que podem ser analisados no LM Studio. Imagine extrair o relatório mais utilizado no MReport, como a lista geral de inscrições com informações sobre notas e conclusão de cursos, e em seguida utilizar o LM Studio para uma análise detalhada e mapeamento de tendências

Na empresa Badiu, já estamos repensando nossas linhas de produtos e serviços para se integrar a essa nova realidade. Estamos planejando ter um servidor próprio rodando um serviço de inteligência artificial integrado aos produtos da Badiu, como o MReport e o GC2, entre outros.


Considerações Finais
A inteligência artificial é uma nova realidade e a Badiu está focada na pesquisa para se manter alinhada com a inovação. O sistema Badiu A2I é uma solução de gestão prompt e assistente de integração das regras de negócio de uma organização com o modelo de linguagem de IA. Em breve, devemos lançar um chatbot focado no atendimento ao aluno no LMS Moodle, baseado em IA. Várias outras linhas de ação estão em execução. Você pode aproveitar essas inovações para atualizar sua linha de trabalho e processos. O uso de IA offline, garantindo a privacidade, já é uma realidade. Não fique fora disso.