Galeria de LLM no dispositivo para experimentação privada no Android
Llama.cpp Edge Gallery AI, da De-devs, traz interação com modelos de linguagem grandes no dispositivo para dispositivos Android para inferência e experimentação privadas e offline. O aplicativo executa LLMs localmente através do mecanismo llama.cpp e gerencia arquivos de modelo no formato GGUF, evitando serviços em nuvem. Os elementos-chave incluem importação e catalogação de modelos, inferência local e indicadores de recursos por dispositivo. Ele é direcionado a entusiastas de IA, desenvolvedores móveis e profissionais focados em privacidade que exigem acesso a modelos isolados para testes ou protótipos.
Fluxos de trabalho conversacionais suportam testes práticos de modelo em um único dispositivo
O aplicativo foca em chats baseados em sessão onde você importa um modelo, abre uma conversa e itera interativamente. A interface de chat inteligente expõe prompts de início rápido, seções "pensando" colapsáveis e destaques em texto negrito para marcar fragmentos de resposta importantes. Ferramentas de organização permitem que você marque favoritos e troque modelos salvos sem reconstruir prompts. Este design é adequado para testes exploratórios, ajuste de prompts e fluxos de trabalho de prototipagem local em vez de implantação em larga escala.
Interface e configuração enfatizam controle sobre conveniência para profissionais
Os controles expõem ajustes em nível de dispositivo em vez de escondê-los atrás de assistentes. Os usuários podem definir contagens de threads da CPU para trocar velocidade de inferência por limites de bateria e térmicos, e um indicador integrado de orientação de RAM ajuda a estimar a adequação antes de carregar um modelo. Uma tela de benchmark embutida relata tokens por segundo para comparação direta entre configurações. Juntos, esses elementos pedem ao usuário que tome decisões sobre recursos em vez de assumir uma configuração única.
Desempenho escala com o tamanho do modelo e as capacidades do dispositivo
A taxa de transferência no dispositivo depende do processador, da memória disponível e das escolhas de quantização; o benchmark do aplicativo ajuda a quantificar essa relação. Para geração de tokens mais rápida, escolha contagens de parâmetros menores ou níveis de quantização mais altos, enquanto modelos maiores precisam de hardware de maior desempenho. O aplicativo expõe essas compensações e permite que você meça tok/s, o que ajuda a decidir se deve testar um modelo compacto para iteração rápida ou um modelo maior quando a fidelidade importa.
O aplicativo se adequa a testadores tecnicamente proficientes que valorizam a privacidade e o controle local
O aplicativo é uma opção prática para entusiastas de IA e desenvolvedores móveis que precisam de acesso a modelos privados, residentes no dispositivo, e estão confortáveis em lidar com arquivos de modelo e ajustes de dispositivo. Não é voltado para usuários que buscam um assistente conversacional plug-and-play, respaldado na nuvem; espere configuração prática e seleção de modelo para alcançar desempenho confiável em um determinado dispositivo.
