AI Test Engineer (F/M/*)

Aus Europa, für Europa – Wir bauen die führende Business-KI.

Wir sind Aachens größtes und Kölns am stärksten wachsende KI-Startup.

KMUs profitieren davon, wenn internes Wissen sofort nutzbar wird und intelligente Agenten darauf reagieren können. Wir glauben an eine Zukunft, in der Business-KI, einschließlich Agenten innerhalb von amber und anderen Plattformen, auf einer gemeinsamen Kontextschicht arbeitet, sodass Teams schneller arbeiten, Übergaben nahtlos erfolgen und das Know-how im Unternehmen bleibt.

Aufgaben

• Du entwickelst, planst und optimierst Teststrategien für unsere KI-Anwendungen und sorgst dafür, dass Qualität von Anfang an mitgedacht wird

• Du führst manuelle und automatisierte Tests für AI-Features, APIs und Workflows durch und baust diese kontinuierlich aus

• Du validierst Antworten, Prompts, Modellverhalten und Agentenlogiken hinsichtlich Qualität, Konsistenz und Robustheit und stellst sicher, dass unsere KI zuverlässig performt

• Du identifizierst, dokumentierst und verfolgst Fehler, Edge Cases und Qualitätsrisiken damit nichts durch die Maschen fällt.

• Du erstellst Testfälle, Testdaten und Evaluationskriterien für unterschiedliche Anwendungsszenarien und schaffst damit die Grundlage für belastbare Qualitätsaussagen

• Du arbeitest eng mit Produktmanagement, Engineering und unseren Data/AI-Teams zusammen, um die Qualitätssicherung entlang des gesamten Entwicklungsprozesses sicherzustellen

• Du unterstützt aktiv beim Aufbau unserer QA-Prozesse, treibst Testautomatisierung voran und etablierst zuverlässige Release-Checks

• Du analysierst das Systemverhalten hinsichtlich Performance, Zuverlässigkeit und Nutzerqualität und leitest daraus konkrete Verbesserungen für unsere Plattform ab

Qualifikationen

• Du hast ein abgeschlossenes Studium in Informatik, Wirtschaftsinformatik, Mathematik oder einem vergleichbaren Bereich

• Du bringst Erfahrung im Software Testing / QA mit und hast bereits Webanwendungen, APIs oder datengetriebene Systeme getestet

• Du interessierst dich für KI-Systeme, LLMs, Prompting oder AI-Workflows. Idealerweise hast du hier bereits erste praktische Erfahrung gesammelt

• Du beherrschst gängige Testmethoden sicher, vom Testfall-Design bis zur systematischen Fehleranalyse

• Du hast idealerweise Erfahrung mit Testautomatisierung und kennst dich mit gängigen Tools aus dem QA-Umfeld aus

• Du verfügst über ein solides technisches Verständnis für Schnittstellen, Datenflüsse und systematische Ursachenanalyse

• Du arbeitest strukturiert, präzise sowie analytisch und verlierst auch bei komplexen Sachverhalten nicht den Überblick

• Du kommunizierst klar und überzeugend auf Deutsch und Englisch und hast einen hohen Anspruch an die Qualität deiner Arbeit

Benefits

• Team Offsites – Da du in einem internationalen Team arbeiten wirst, treffen wir uns Zweimal im Jahr alle zusammen irgendwo in Europa

• Du hast die Wahl: Entweder ein bezuschusstes Deutschlandticket oder eine Urban Sports Club Mitgliedschaft gehen auf uns

• Wir leben ein Hybrides Arbeitsmodell: Wir sind der Meinung, dass es wichtig ist regelmäßig in Person zusammenzuarbeiten. Darum treffen wir uns 3 mal wöchentlich an einem unserer Standorte

• Damit Du vor Ort auch gut versorgt bist, gibt es bei uns jeden Arbeitstag vor Ort digitale, steuerfreie Essensgutscheine direkt aufs Handy

• Attraktive Vergütung. Zusätzlich belohnen wir herausragende Mitarbeitende mit Unternehmensanteilen und lassen Sie so direkt am Unternehmenserfolg teilhaben

• Starte in einem Unternehmen, das Dich wachsen lässt – egal, ob Du deine Skills in Deinem Bereich ausbauen oder andere Fähigkeiten erlernen möchtest

• Wir fördern Deine persönliche Entwicklung durch Weiterbildung und Raum für Eigenverantwortung

• Ein Team von motivierten Leuten, die Bock haben, KI-Lösungen auch für mittelständische Unternehmen zugänglich zu machen

• Arbeite mit den neusten Technologien & Tools 🔨

Klingt spannend? Dann hilf uns jetzt und schick uns einfach kurz deinen CV. Wir freuen uns auf dich!

Bitte beachte: Für diese Position berücksichtigen wir ausschließlich Bewerber:innen mit Wohnsitz in Deutschland.

Let’s go big together 🚀