Nu er det let at køre en LLM på din egen computer

Mozilla, som er mest kendt for browseren Firefox, har sammen med programmøren Justine Tunney gjort det nemt at køre en LLM lokalt på din egen computer.

Today we’re announcing the first release of llamafile and inviting the open source community to participate in this new project.

llamafile lets you turn large language model (LLM) weights into executables.

Say you have a set of LLM weights in the form of a 4GB file (in the commonly-used GGUF format). With llamafile you can transform that 4GB file into a binary that runs on six OSes without needing to be installed.

This makes it **dramatically easier** to distribute and run LLMs. It also means that as models and their weights formats continue to evolve over time, llamafile gives you a way to ensure that a given set of weights will remain usable and perform consistently and reproducibly, forever.

Introducing llamafile - Mozilla Hacks - the Web developer blog

Ja, det virker meget lettere. Tidligere har det i hvert fald været meget besværligt.

1. Download llamafile-server-0.1-llava-v1.5-7b-q4 fra Justine Tunneys folder på Hugging Face

   curl -LO https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llamafile-server-0.1-llava-v1.5-7b-q4

2. Gør den binære fil eksekverbar

   chmod 755 llamafile-server-0.1-llava-v1.5-7b-q4

3. Kør din nye eksekverbare, som starter en webserver på port 8080:

   ./llamafile-server-0.1-llava-v1.5-7b-q4

4. Naviger til http://127.0.0.1:8080/ for at begynde at interagere med modellen i din browser.

På min computer kan modellen præstere 6 tokens per sekund.

Kvaliteten er ikke på niveau med GPT-4 modellerne fra OpenAI.

Her er et eksempel:

User: Hi

Llama: Hello! How can I help you today?

User: Kan du tale dansk

Llama: Ja, jeg kan tale dansk. Hvordan kan jeg hjælpe dig idag?

User: I dag, ikke idag

Llama: Ah, forstår! Jeg er her for at hjælpe dig med alt det du har brug for. Hvad kan du bruge mig til?

User: Kan du skrive en lille artikel om det man kalder atrocity propaganda

Llama: Selvfølgelig! Atrocity propaganda er en type propaganda, der sætter fokus på grusomme eller ondskabsfulde begivenheder for at skabe frygt og håndpligt hos modtagernes deltagelse. Det kan inkludere billeder af blodige scene, voldtekt, tortur og andre grusomme handlinger. Målet med denne form for propaganda er ofte at opmuntre til krig eller støtte en politisk agenda.

Atrocity propaganda har været brugt i mange konflikter gennem historien, og det kan have effekt på menneskerens følelser og handlinger. Det er imidlertid vigtigt at bemærke, at denne form for propaganda ofte kræver en kritisk tilgang, da det kan være svært at afgøre, om billeder eller beskrivelser eksakte