Kør AI lokalt på din linux box.

Ja du læste rigtigt.

Du kan nu køre AI på din egen Linux box med lidt magic, men det kræver du har et nvidia kort i pc’en.
For at få det til at virke skal du installere et tool fra ollamna.com
Hvis du følger denne guide er du hurtigt igang.

Først install af tool.
$ curl -fsSL https://ollama.com/install.sh | sh
Installing ollama to /usr/local/bin…
[sudo] password for user:
Creating ollama user…
Adding ollama user to render group…
Adding ollama user to video group…
Adding current user to ollama group…
Creating ollama systemd service…
Enabling and starting ollama service…
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.

$ ollama pull llama2
pulling manifest
pulling 8934d96d3f08… 100% – 3.8 GB
pulling 8c17c2ebb0ea… 100% – 7.0 KB
pulling 7c23fb36d801… 100% – 4.8 KB
pulling 2e0493f67d0c… 100% – 59 B
pulling fa304d675061… 100% – 91 B
pulling 42ba7f8a01dd… 100% – 557 B

Det er nogle store filer.

$ ollama run llama2

Fuck det er vildt det her. Min egen AI
Prøv at spørge den om hvad iron/jern er.

Loading

Leave a Reply

Your email address will not be published. Required fields are marked *