Cohere Toolkit installieren & API-Anfragen senden – Anleitung für Ubuntu

Das Cohere Toolkit ist ein vollständig entwickeltes Open-Source-Repository zur Erstellung generativer KI-Anwendungen. Es bietet Benutzeroberflächenkomponenten für wissensbasierte Assistenten, unterstützt KI-Modelle von Cohere Platform, Bedrock und SageMaker und lässt sich nahtlos in Unternehmensdatenquellen integrieren. Mit dem Cohere Toolkit können Sie Retrieval-Augmented-Generation-(RAG)-Anwendungen entwickeln und bereitstellen, die interaktiv, anpassbar und auf spezialisierte Wissensbereiche abgestimmt sind.

Voraussetzungen

Stellen Sie sicher, dass folgende Anforderungen erfüllt sind, bevor Sie mit der Installation fortfahren:

• Eine Ubuntu-24.04-Instanz mit einem nicht-root sudo-Benutzer.
• Docker und Docker Compose müssen installiert sein, da sie für das Cohere Toolkit erforderlich sind.
• Ein gültiger API-Schlüssel für das Cohere Toolkit.

Cohere Toolkit API-Schlüssel abrufen

Folgen Sie diesen Schritten, um Ihren API-Schlüssel zu erhalten:

1. Erstellen Sie ein Konto bei Cohere.
2. Melden Sie sich in Ihrem Cohere-Konto an.
3. Gehen Sie im Navigationsbereich zu API-Schlüssel.
4. Kopieren Sie den Standard-Testschlüssel aus dem Abschnitt Testschlüssel und speichern Sie ihn für später.

Installation von Poetry

Poetry ist ein Abhängigkeitsverwaltungstool für Python, mit dem Sie eine isolierte Umgebung für das Cohere Toolkit erstellen können. Folgen Sie diesen Schritten, um Poetry und Python 3.11 unter Ubuntu 24.04 zu installieren.

Deadsnakes PPA-Repository hinzufügen

Zunächst müssen Sie das Deadsnakes PPA-Repository hinzufügen, um auf mehrere Python-Versionen zugreifen zu können:

$ sudo add-apt-repository ppa:deadsnakes/ppa

APT-Paketindex aktualisieren

Wenden Sie die Änderungen des Repositorys an:

$ sudo apt update

Python 3.11 installieren

Installieren Sie die erforderliche Python-Version:

$ sudo apt install python3.11

Das Cohere Toolkit benötigt Python 3.11. Falls während des Installationsprozesses eine nicht unterstützte Version erkannt wird, wird automatisch auf Python 3.11 umgestellt, sofern diese Version verfügbar ist.

Poetry installieren

Als Nächstes installieren Sie Poetry:

$ sudo apt install python3-poetry

Installation überprüfen

Stellen Sie sicher, dass Poetry erfolgreich installiert wurde:

$ poetry --version

Die erwartete Ausgabe sieht folgendermaßen aus:

Poetry (version 1.8.2)

Ein neues Projekt initialisieren

Erstellen Sie eine neue pyproject.toml-Konfiguration mit folgendem Befehl:

$ poetry init

Während der Einrichtung geben Sie die Projektdetails ein. Achten Sie darauf, ^3.11 als kompatible Python-Version festzulegen.

Beispielkonfiguration

Package name [linuxuser]:
Version [0.1.0]:
Description []:
Author [None, n to skip]: n
License []:
Compatible Python versions [^3.12]: ^3.11
Would you like to define your main dependencies interactively? (yes/no) [yes]
Package to add or search for (leave blank to skip):
Would you like to define your development dependencies interactively? (yes/no) [yes]
Package to add or search for (leave blank to skip):

Do you confirm generation? (yes/no) [yes]

Virtuelle Umgebung aktivieren

Aktivieren Sie eine neue virtuelle Umgebung mit Python 3.11:

$ poetry env use 3.11

Die erwartete Ausgabe sollte folgendermaßen aussehen:

Creating virtualenv linuxuser-W6smXhkx-py3.11 in /home/linuxuser/.cache/pypoetry/virtualenvs
Using virtualenv: /home/linuxuser/.cache/pypoetry/virtualenvs/linuxuser-W6smXhkx-py3.11

Installation des Cohere Toolkits unter Ubuntu 24.04

Das Cohere Toolkit stellt zwei Konfigurationsvorlagen bereit—configuration.template.yaml und secrets.template.yaml—mit denen sich neue Konfigurationen schnell einrichten lassen. Befolgen Sie die nachstehenden Schritte, um das Repository zu klonen und das Toolkit zu konfigurieren.

Schritt 1: Zum Home-Verzeichnis wechseln

Stellen Sie sicher, dass Sie sich im Home-Verzeichnis befinden, bevor Sie fortfahren:

$ cd

Schritt 2: Repository klonen

Laden Sie das Cohere Toolkit-Repository von GitHub herunter:

$ git clone https://github.com/cohere-ai/cohere-toolkit.git

Schritt 3: In das Projektverzeichnis wechseln

Wechseln Sie in das geklonte Verzeichnis:

$ cd cohere-toolkit

Schritt 4: Geheimnisse konfigurieren

Kopieren Sie die Datei secrets.template.yaml, um eine neue Datei für geheime Schlüssel zu erstellen:

$ cp src/backend/config/secrets.template.yaml src/backend/config/secrets.yaml

Öffnen Sie die Datei mit einem Texteditor, um Ihren API-Schlüssel hinzuzufügen:

$ nano src/backend/config/secrets.yaml

Suchen Sie die folgende Sektion und ersetzen Sie den Beispiel-API-Schlüssel durch Ihren tatsächlichen Cohere API-Schlüssel:

deployments:
 cohere_platform:
  api_key: hMtMgJGNbtymq-example

Schritt 5: Konfigurationsdatei einrichten

Kopieren Sie die Datei configuration.template.yaml, um eine neue Konfigurationsdatei zu erstellen:

$ cp src/backend/config/configuration.template.yaml src/backend/config/configuration.yaml

Konfiguration des Cohere Toolkits

Das Cohere Toolkit enthält eine Makefile-Datei, die den Einrichtungsprozess erleichtert, indem sie wesentliche Aufgaben wie Kompilierung, Initialisierung, Tests und Umgebungsanpassungen automatisiert. Befolgen Sie die nachstehenden Schritte, um das Backend und Frontend korrekt zu konfigurieren.

Schritt 1: Zum Toolkit-Verzeichnis wechseln

Stellen Sie sicher, dass Sie sich im richtigen Verzeichnis befinden, bevor Sie Setup-Befehle ausführen:

$ cd ~/cohere-toolkit

Schritt 2: Erste Einrichtung ausführen

Starten Sie die Ersteinrichtung mit folgendem Befehl:

$ sudo make first-run

Falls ein Fehler im Zusammenhang mit psycopg2 auftritt, kann dieser wie folgt aussehen:

make[1]: *** [Makefile:104: setup] Error 1
make[1]: Leaving directory '/home/linuxuser/cohere-toolkit'
make: *** [Makefile:128: first-run] Error 2

Das Problem tritt auf, weil psycopg2 (2.9.10) keine PEP-517-Builds unterstützt. Dies liegt an der Build-Umgebung und nicht an Poetry.

Schritt 3: pyproject.toml aktualisieren

Um das Problem zu beheben, öffnen Sie die pyproject.toml-Datei mit einem Editor:

$ nano pyproject.toml

Finden Sie den folgenden Abschnitt und kommentieren Sie die Zeile für psycopg2 aus, indem Sie ein # davor setzen. Ersetzen Sie es durch psycopg2-binary:

[tool.poetry.dependencies]
python = "~3.11"
#psycopg2 = "^2.9.9"
psycopg2-binary = "^2.9.9"

Ändern Sie den Abschnitt [tool.poetry.group.setup.dependencies] entsprechend:

[tool.poetry.group.setup.dependencies]
python = "~3.11"
#psycopg2 = "^2.9.9"
psycopg2-binary = "^2.9.9"

Speichern Sie die Datei und schließen Sie den Editor.

Schritt 4: Abhängigkeiten fixieren

Um die Änderungen anzuwenden, führen Sie den folgenden Befehl aus:

$ poetry lock

Schritt 5: Setup erneut ausführen

Wiederholen Sie nun die Einrichtung:

$ sudo make first-run

Schritt 6: Konfiguration abschließen

Während der Installation müssen Sie verschiedene Eingaben bestätigen:

• Drücken Sie Enter, um den Standard-Backend-API-Hostnamen beizubehalten:

Enter your public API Hostname or press enter for default [recommended]: http://localhost:8000

• Wählen Sie die Entwicklungsumgebung als Build-Ziel:

Select the build target:
> dev
  prod

• Drücken Sie Enter, um den Python-Interpreter zu deaktivieren (dieser benötigt zusätzliche Konfigurationen).

• Drücken Sie Enter, um die Tavily-Internetsuche zu deaktivieren, es sei denn, Sie haben einen TAVILY_API_KEY.

Enter the value for TAVILY_API_KEY:

• Wählen Sie die Cohere Platform als Modellbereitstellungsoption und drücken Sie Enter, um die Konfiguration zu speichern.

Select the model deployments you want to set up:
> [ ] Azure
  [ ] Bedrock
  [X] Cohere Platform
  [ ] SageMaker

Konfiguration überprüfen

Wenn die Einrichtung erfolgreich war, sollte eine Meldung wie folgt erscheinen:

backend-1    | INFO:     Started server process [9]
backend-1    | INFO:     Waiting for application startup.
backend-1    | INFO:     Application startup complete.

Das Cohere Toolkit läuft nun unter den folgenden Adressen:

• Frontend: http://localhost:4000
• Backend: http://localhost:8000

Netzwerkkonfiguration

Um den Zugriff auf das Cohere Toolkit Backend zu ermöglichen, öffnen Sie den erforderlichen Port:

$ sudo ufw allow 8000/tcp

Falls UFW nicht installiert ist, installieren Sie es und erlauben Sie SSH-Zugriff:

$ sudo apt install ufw -y && sudo ufw allow ssh

Wenden Sie die Firewall-Regeln an:

$ sudo ufw reload

API-Anfragen mit dem Cohere Toolkit senden

Das Cohere Platform-Modell bietet zwei API-Endpunkte für die Kommunikation:

• Nicht-streamende Anfragen: http://localhost:8000/v1/chat
• Streamende Anfragen: http://localhost:8000/v1/chat-stream

Folgen Sie den nachstehenden Schritten, um eine API-Anfrage an das Cohere-Backend zu senden.

Schritt 1: Eine Anfrage senden

Verwenden Sie eine Eingabeaufforderung, eine Anweisung oder eine Frage, um eine Anfrage an den nicht-streamenden Endpunkt zu stellen. Das folgende Beispiel zeigt, wie Sie Informationen abrufen können:

$ curl --location 'http://localhost:8000/v1/chat' \
--header 'User-Id: user-id' \
--header 'Content-Type: application/json' \
--data '{
  "message": "Was ist centron?"
}'

Fazit

Herzlichen Glückwunsch! Sie haben das Cohere Toolkit erfolgreich unter Ubuntu 24.04 installiert und eine API-Anfrage an das Cohere-Backend gesendet. Mit diesem Toolkit können Sie auf die Cohere-Modelle Command, Embed und Rerank zugreifen. Darüber hinaus lässt es sich mit externen Frameworks wie LangChain und LlamaIndex integrieren, um leistungsstarke Anwendungen mit großen Sprachmodellen (LLMs) zu entwickeln.

Für weitere Anpassungen und detaillierte Anleitungen besuchen Sie die offizielle Cohere Toolkit-Dokumentation.