You are viewing a single comment's thread from:
RE: Steem Powerup Day 01.08.26[GER/ENG]
Viel Spaß mit Hermes ist ein nettes spielzeug :)
Nemotron ist echt fix ja. Noch 2 Tipps . Erstens schau mal ob bei dir auf dem vps das dashboard von hermes läuft wenn ja deaktivieren .
Mit diesen 3 befehlen solltest du das raus bekommen
- ss -tulpn | grep -E 'python|node|hermes' Zeigt alle lauschenden TCP-Ports und die zugehörigen Prozesse an
2)ss -tulpn | grep :8000 (prüft ob irgendwas direkt auf dem port 8000 läuft) - curl -I http://localhost:8000 hiermit prüfst du ob auf dem server ein server unter dem port läuft.
Deaktivieren kannst du das entweder in der .env datei oder in der config.yaml von hermes danach musst du den container nochmal neu starten falls du was gefunden hast.
Zweiter tipp deaktiviere in der Config.yaml skills und tools die du nicht brauchst . Spart erstesn token beim start das ist besonders wenn du vor hast hermes mit nem lokalen llm mal zu betreiben wichtig. Es ist schon ein unterschied ob Hermes mit 10k Token von 64k context length startet oder mit 20k. Bei Nemotron fällt das mit 1 Millionen Token nicht so ins Gewicht.
Danke Nerdi!
Dashboard ist installiert, läuft aber nicht, sollte so passen. Hab ja im gleichen LXC-Container auch open WebUI laufen, damit kann ich auch auf Hermes zugreifen. Ob ich das so lasse weiß ich noch nicht, normales Zeug kann man ja auch andere KI's fragen :-)
Bei den Skills und Tools hab ich aufgeräumt und mit Hilfe von Hermes einen schlanken Systemprompt erstellt, eingebunden in der config.yaml mit:
So sieht's jetzt aus:
Skills kann ich bei Bedarf nachladen, also kein Ding.
Wow ok und ich war schon stolz dass ich auf 10k runter gekommen bin ich glaube ich muss mir da ein paar Tipps von dir holen :D
Sichere dir auf jedenfall deine config.yaml weil Hermes überschreibt gerne bei nem update die yaml .
Bin grad ziemlich begeistert! Hab mir die Hermes WebUI https://github.com/nesquena/hermes-webui installiert, war relativ einfach.
Damit kann ich die open WebUI löschen, welche allein 10-20 GB verbraten hat. Der komplette Container mit Hermes und der Hermes WebUI inkl. Ubuntu 24.04 hat jetzt 6 GB und alles läuft flüssig. Allerdings über Openrouter, ohne lokales Modell. Lokal macht auf nem VPS mit 4 Kernen ohne GPU eh wenig Sinn.
Also falls du mal auf deinen VPS-Agent Zugriff über das Web brauchst, kannst die verlinkte UI mal ansehen. Läuft auch auf dem Smartphone einwandfrei. (Im Gegensatz zu Hermes Desktop, wo der Chat so klein geschrieben ist, das es nur mit Adlerauge lesbar ist)
Jetzt wünsch ich dir ne gute Woche mit wenig Stress wg. der Bahn.
Oh, ups, ok, gut zu wissen!
Darfst du auch, Hermes hat mich verarscht. Die Zahlen scheinen nur theoretisch zu sein, wenn seine Optimierungen wirken würden. Tun sie aber nicht, der prompt_file Eintrag in der config wird ignoriert.
Hab ihm die agent/system_prompt.py patchen lassen, so dass der System-Prompt in eine Datei geschrieben wird. Und die hat, grpfff..., 12.65k und das ohne Tools, also ohne die json die von den platform_toolsets noch dazukommen.
Wollt ich dir nur schreiben, also 10k ist top!