Tuto IA : LLamasté, ChatGPT sur ton PC

Infomaniak partage les valeurs de Tech Café : éthique, écologie et respect de la vie privée. Découvrez les services de notre partenaire sur Infomaniak.com On vous explique comment faire tourner votre propre ChatGPT sur votre propre ordinateur, de la méthode la plus accessible à la méthode la plus avancée. ❤️ Patreon 💬 Discord 💻 techcafe.fr Niveau bébé - Un chatbot sur son PC Pourquoi faire ? La science ! L’innovation ! Mais surtout le fun. - LLM ça : C’est quoi un modèle de langage ? - Section kézako : tokens, contexte, vecteurs et samplers. - Niveau facile : les logiciels qui font tout (ou presque) Faraday.dev et LM Studio. - Matériel : ai-je tout l’équipement pour prendre soin de mon LLama ? Niveau bambin - GGML et GPTQ : du JPEG pour les IA ? C’est flou… - Que choisir ? Un 34b en Q3_K_S ou un 13b en Q4_K_M ? Bonne question ! - Niveau moyen : KoboldCpp et l’embarras du choix des IA… - Les samplers en détails : top_k, top_p, tfs, mirostat et on en passe (rassurez-vous). Niveau barbu - Niveau difficile : Oobabooga, lora et plugins, llamacpp et ses grammaires. - Sampling spéculatif : de l’art de gagner du temps en travaillant pour rien. - PrivateGPT, et pourquoi je ne discuterais pas avec mes PDF ? - Odyssée de la barre d’espace : avec Open-interpreter, met Hal 9000 dans ton PC. - Llama, des licences peu poétiques, il y a aussi les MPT, Openllama, Falcon, etc. Liens bonus - Quelques liens pour se tenir au courant: - Tech Café 😝 - r/localllama - r/oobabooga - r/deeplearning - Et deux chaînes YouTube. - Les modèles “chatGPT” valeurs sûres : llama2chat, Vicuna1.5, NousHermes-llama2. - Le modèle “fine-tuné” en français : Vigogne-2. - Les modèles 18+ et waifu friendly : Mythomax-L2, Pygmalion2. - Les modèles qui codent : codellama-instruct, wizardlm-codellama. - À retrouver dans la taille et la saveur de votre choix grâce à TheBloke (Tim Jobbins). - Et pour tester le GROS Llama et le TRES GROS Falcon gratuit… Participants - Une émission préparée par Guillaume Poggiaspalla - Présenté par Guillaume Vendé