151 Jobs für Spark in Österreich

• Entwicklung, Implementierung und Wartung robuster, skalierbarer und effizienter Datenpipelines (ETL/ELT).
• Konzeption und Aufbau von Data Warehouses, Data Lakes und Data Marts in Cloud-Umgebungen (AWS, Azure oder GCP).
• Integration von Daten aus einer Vielzahl von Quellen, darunter relationale Datenbanken, APIs und Streaming-Dienste.
• Optimierung von Datenprozessen und Abfragen zur Verbesserung von Performance und Kosten-Effizienz.
• Sicherstellung der Datenqualität, Datenintegrität und Datensicherheit über die gesamte Dateninfrastruktur hinweg.
• Zusammenarbeit mit Data Scientists, Analysten und Softwareentwicklern, um deren Datenanforderungen zu erfüllen.
• Bewertung und Einführung neuer Technologien und Tools im Big-Data- und Cloud-Bereich.
• Entwicklung und Implementierung von Monitoring- und Alerting-Systemen für Datenpipelines und Infrastruktur.
• Erstellung und Pflege technischer Dokumentationen.
• Mentoring von Junior-Data-Engineers und Förderung von Best Practices im Team.

• Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik, Ingenieurwissenschaften oder einer verwandten quantitativen Disziplin.
• Mehrjährige, fundierte Berufserfahrung als Data Engineer, insbesondere im Bereich Big Data und Cloud-Technologien.
• Sehr gute Kenntnisse in mindestens einer großen Cloud-Plattform (AWS, Azure, GCP) und deren Data Services.
• Erfahrung mit verteilten Datenverarbeitungssystemen wie Apache Spark, Hadoop oder ähnlichen Technologien.
• Sicherer Umgang mit SQL und NoSQL-Datenbanken.
• Kenntnisse in Programmiersprachen wie Python, Scala oder Java für Datenverarbeitung.
• Erfahrung mit ETL/ELT-Tools und Orchestrierungswerkzeugen (z.B. Apache Airflow).
• Verständnis von Data Warehousing-Konzepten und Datenmodellierung.
• Erfahrung mit Containerisierungstechnologien (Docker, Kubernetes) ist von Vorteil.
• Starke analytische Fähigkeiten, Problemlösungskompetenz und eine strukturierte Arbeitsweise.
• Ausgezeichnete Kommunikationsfähigkeiten und Teamfähigkeit, auch im Remote-Umfeld.
• Sehr gute Deutschkenntnisse und gute Englischkenntnisse.

• Design, Aufbau und Wartung robuster und skalierbarer Datenpipelines (ETL/ELT) in Cloud-Umgebungen (AWS, Azure, GCP).
• Integration verschiedener Datenquellen (Datenbanken, APIs, Logs, Streaming-Daten).
• Optimierung der Datenqualität und -konsistenz.
• Entwicklung und Implementierung von Data Warehousing und Data Lake Lösungen.
• Automatisierung von Datenprozessen und Monitoring der Systemperformance.
• Zusammenarbeit mit Data Scientists und Analysten, um deren Datenanforderungen zu verstehen und zu erfüllen.
• Sicherstellung der Datensicherheit und Compliance.
• Bewertung und Implementierung neuer Datenmanagement-Technologien.
• Fehleranalyse und Fehlerbehebung in Dateninfrastrukturen.
• Dokumentation von Datenmodellen, Pipelines und Prozessen.

• Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik oder einer verwandten quantitativen Disziplin, oder vergleichbare praktische Erfahrung.
• Nachgewiesene Erfahrung als Data Engineer oder in einer ähnlichen Rolle mit Fokus auf Cloud-Plattformen und Big Data Technologien.
• Fundierte Kenntnisse in SQL und NoSQL Datenbanken.
• Erfahrung mit Cloud-spezifischen Diensten (z.B. AWS S3, Redshift, Glue; Azure Data Factory, Synapse; GCP BigQuery, Dataflow).
• Programmierkenntnisse in Python, Java oder Scala für Datenverarbeitung.
• Erfahrung mit verteilten Datenverarbeitungssystemen wie Apache Spark oder Hadoop.
• Kenntnisse in Containerisierung (Docker, Kubernetes) und Orchestrierung sind von Vorteil.
• Ausgeprägte analytische und Problemlösungsfähigkeiten.
• Fähigkeit, selbstständig und effektiv in einem Remote-Team zu arbeiten.
• Sehr gute Deutsch- und Englischkenntnisse.

• Entwurf, Aufbau und Wartung skalierbarer Datenpipelines und ETL/ELT-Prozesse.
• Konfiguration und Management von Big-Data-Plattformen (z.B. Hadoop-Ökosystem, Spark, Data Lakes).
• Implementierung von Datenqualitätsstandards und -kontrollen.
• Optimierung von Datenbanken und Data Warehouses für Performance und Kosteneffizienz.
• Zusammenarbeit mit Data Scientists und Analysten, um deren Datenanforderungen zu verstehen und zu erfüllen.
• Entwicklung und Implementierung von Monitoring- und Alerting-Systemen für die Dateninfrastruktur.
• Sicherstellung der Datensicherheit und Einhaltung relevanter Datenschutzbestimmungen (z.B. DSGVO).
• Evaluation und Einführung neuer Technologien im Bereich Big Data und Cloud Computing.
• Mentoring und technische Anleitung für Junior Data Engineers im Team.
• Automatisierung von Datenprozessen und Infrastrukturmanagement.

• Abgeschlossenes Studium (Master/Promotion) in Informatik, Ingenieurwesen, Mathematik oder einem verwandten quantitativen Fachbereich.
• Mehrjährige praktische Erfahrung als Data Engineer, idealerweise in einer leitenden oder Senior-Rolle.
• Fundierte Kenntnisse in mindestens einer Programmiersprache wie Python, Scala oder Java.
• Umfangreiche Erfahrung mit Big-Data-Technologien wie Apache Spark, Hadoop, Hive oder Presto.
• Erfahrung im Umgang mit Cloud-Plattformen (AWS, Azure, GCP) und deren Datendiensten (z.B. S3, Blob Storage, BigQuery, Redshift).
• Kenntnisse in SQL und NoSQL-Datenbanken.
• Erfahrung mit Datenmodellierung und Data Warehousing-Konzepten.
• Verständnis von agilen Entwicklungsmethoden und CI/CD-Praktiken.
• Ausgezeichnete Problemlösungs- und analytische Fähigkeiten.
• Sehr gute Kommunikationsfähigkeiten und die Fähigkeit, komplexe technische Sachverhalte zu erklären.
• Fließende Deutschkenntnisse, gute Englischkenntnisse sind von Vorteil.

Have you always wanted to work in a successful IT company? Then take advantage of your chance:
JOB WORLD GmbH is a partner of the leading IT companies in Austria. We offer dedicated Big Data Administrators (Apache Hadoop/Cloudera) top access to interesting IT jobs.
We are looking for ***DIRECT EMPLOYMENT*** for a renowned IT company
Big Data Administrator (Apache Hadoop/Cloudera) (all genders)

• Administrate, monitor and optimize our Big Data environment based on Apache Hadoop from Cloudera (AWS-Cloud)
• Manage and maintain services like Kafka, Flink, NiFi, DynamoDB and Iceberg Tables
• IaaC deployment via Terraform
• Plan and execute updates/upgrades
• Advise our Data Engineers and Data Scientists on the selection of Hadoop services for business use cases
• 3rd level support through troubleshooting and error analysis
• Support workload optimization (eg. query optimization)
• Evaluation and implementation of Cloud Native Services
• Technical education (Computer Science HTL, Computer Science Degree, Data Science etc.)
• Technical education (computer science studies, etc.)
• At least 5 years experience in Apache Hadoop Cloudera environments. Migration to AWS
• Experience in system administration of Linux systems (RedHat)
• Expertise in building and operating Big Data environments based on Apache Hadoop clusters
• Permanent position in a renowned IT company
• Explicit willingness to overpay: The annual gross salary is at least € 70.000,- (full-time) depending on qualifications and experience
• Our technology: Using state-of-the-art technologies is part of our mission
• Modern company: Constantly growing company, flat hierarchies, self-organized teams and agile way of working
• Attractive working environment: Homeoffice, flexible working hours, individual training, family-friendly company, ergonomic workplace, top hardware and much more
• Your personal benefits: Additional day off on your birthday, parking spaces or good public transport connections, relocation support, meal allowance or company restaurant, community events, various benefits, company doctor, etc.

• Entwurf, Entwicklung und Implementierung von skalierbaren Big-Data-Architekturen und Datenpipelines.
• Auswahl und Integration von Technologien für Datenverarbeitung, -speicherung und -management.
• Optimierung der Leistung und Effizienz von Datenflüssen und Datenbanken.
• Gewährleistung von Datenqualität, -integrität und -sicherheit.
• Führung und technisches Mentoring eines Teams von Data Engineers.
• Zusammenarbeit mit Data Scientists und Business-Analysten zur Erfüllung von Datenanforderungen.
• Entwicklung und Wartung von CI/CD-Pipelines für Dateninfrastruktur.
• Überwachung und Troubleshooting von Big-Data-Systemen.
• Etablierung von Data Governance-Praktiken.

• Master-Abschluss in Informatik, Ingenieurwesen oder einem verwandten quantitativen Bereich.
• Mindestens 6 Jahre Erfahrung im Data Engineering, davon 2+ Jahre in einer Lead- oder Senior-Rolle.
• Tiefes Verständnis von Big-Data-Technologien (z.B. Spark, Hadoop, Kafka, Hive).
• Umfangreiche Erfahrung mit Cloud-Plattformen (AWS, Azure, GCP) und ihren Daten-Services.
• Sehr gute Kenntnisse in Python, Scala oder Java und SQL.
• Erfahrung mit verschiedenen Datenbanktypen (relationale, NoSQL, Data Warehouses).
• Fähigkeit zur Analyse und Optimierung komplexer Datenflüsse.
• Ausgeprägte Führungs- und Kommunikationsfähigkeiten.
• Problemlösungskompetenz und proaktive Arbeitsweise.

• Aktuell immatrikuliert in einem Bachelor- oder Masterstudium in Informatik, Data Science, Wirtschaftsinformatik oder einem verwandten technischen Bereich.
• Grundlegendes Verständnis von Datenbanken, SQL und Datenmodellierung.
• Erste Programmiererfahrung, idealerweise in Python.
• Grundkenntnisse über Big-Data-Konzepte und -Technologien sind von Vorteil.
• Analytisches Denkvermögen und eine hohe Problemlösungskompetenz.
• Selbstständige und sorgfältige Arbeitsweise mit ausgeprägter Lernbereitschaft.
• Gute Deutsch- oder Englischkenntnisse.
• Hohe Motivation, sich in einem Remote-Umfeld zu engagieren und neue Fähigkeiten zu erlernen.

• Eine spannende Gelegenheit, praktische Erfahrungen im Bereich Data Engineering und Big Data zu sammeln.
• Mentoring durch erfahrene Fachleute in einem dynamischen Remote-Team.
• Einblick in die Arbeit mit modernsten Technologien und Tools.
• Eine flexible und remote Arbeitsumgebung, die eine gute Vereinbarkeit mit dem Studium ermöglicht.
• Möglichkeit zur Übernahme in eine Festanstellung nach erfolgreichem Abschluss des Praktikums.

• Entwicklung, Implementierung und Wartung von Machine Learning Modellen für verschiedene Anwendungsfälle (z.B. Vorhersagemodelle, Klassifizierung, Anomalieerkennung).
• Analyse großer, komplexer Datensätze (Big Data) zur Identifizierung von Mustern, Trends und Einsichten.
• Datenaufbereitung, Feature Engineering und Auswahl geeigneter Algorithmen.
• Entwicklung von Algorithmen und Skripten zur Automatisierung von Prozessen und zur Optimierung von Geschäftsanwendungen.
• Zusammenarbeit mit Produktmanagern, Ingenieuren und Stakeholdern, um deren Datenbedürfnisse zu verstehen und Lösungen zu entwickeln.
• Aufbau und Pflege von Datenpipelines und ETL-Prozessen.
• Validierung und fortlaufende Verbesserung bestehender Modelle.
• Präsentation von Analyseergebnissen und Modellergebnissen in verständlicher Form für technische und nicht-technische Zielgruppen.
• Bleiben Sie auf dem neuesten Stand der Forschung und der Technologien im Bereich Data Science und Machine Learning.

• Abgeschlossenes Masterstudium oder Promotion in Informatik, Statistik, Mathematik, Physik oder einem verwandten quantitativen Fachgebiet.
• Mehrjährige Berufserfahrung als Data Scientist oder Machine Learning Engineer, mit nachweislicher Erfolgsbilanz bei der Entwicklung und Bereitstellung von ML-Modellen.
• Starke Programmierkenntnisse in Python und/oder R sowie Erfahrung mit relevanten Bibliotheken (z.B. TensorFlow, PyTorch, Scikit-learn, Pandas, NumPy).
• Erfahrung im Umgang mit Big-Data-Technologien (z.B. Spark, Hadoop, Hive) und Cloud-Plattformen (AWS, Azure, GCP).
• Gute Kenntnisse in SQL und Erfahrung mit relationalen und NoSQL-Datenbanken.
• Fundiertes Verständnis von statistischen Methoden, Machine Learning Algorithmen und Datenmodellierung.
• Erfahrung in der Softwareentwicklung und im Umgang mit Versionskontrollsystemen wie Git.
• Ausgezeichnete analytische und Problemlösungsfähigkeiten.
• Sehr gute Kommunikationsfähigkeiten in Deutsch und Englisch.

• Entwurf, Entwicklung und Implementierung von skalierbaren Machine Learning Pipelines und KI-Modellen in der Cloud.
• Arbeit mit großen Datensätzen (Big Data) und Optimierung von Datenverarbeitungsstrategien.
• Auswahl und Anwendung geeigneter Algorithmen und Frameworks für ML-Aufgaben.
• Training, Validierung und Deployment von Modellen unter Berücksichtigung von Effizienz und Leistung.
• Zusammenarbeit mit Data Scientists, Softwareentwicklern und Produktmanagern zur Umsetzung von KI-Lösungen.
• Aufbau und Pflege von MLOps-Infrastrukturen zur Automatisierung von Modellentwicklungs- und Deployment-Prozessen.
• Überwachung und Optimierung der Performance von KI-Systemen in produktiven Umgebungen.
• Forschung und Bewertung neuer Technologien und Methoden im Bereich KI/ML und Big Data.
• Dokumentation von Prozessen, Modellen und Architekturen.
• Mentoring jüngerer Teammitglieder und Förderung einer Kultur des Wissensaustauschs.

• Abgeschlossenes Studium (Master oder Promotion) in Informatik, Data Science, KI oder einem verwandten quantitativen Fach.
• Mehrjährige praktische Erfahrung als AI/ML Engineer oder in einer vergleichbaren Rolle.
• Fundierte Kenntnisse in Python und gängigen ML-Bibliotheken (TensorFlow, PyTorch, Scikit-learn).
• Umfassende Erfahrung mit Cloud-Plattformen (AWS, Azure oder GCP) und deren ML-Diensten.
• Expertise in Big Data Technologien wie Spark, Hadoop oder ähnlichen Ökosystemen.
• Starkes Verständnis von Datenstrukturen, Algorithmen und Softwareentwicklungsprinzipien.
• Erfahrung mit containerbasierten Technologien (Docker, Kubernetes).
• Kenntnisse in MLOps-Praktiken und Werkzeugen.
• Ausgeprägte Problemlösungsfähigkeiten und analytisches Denken.
• Exzellente Kommunikationsfähigkeiten und Teamfähigkeit, auch in einem verteilten Team.
• Sehr gute Englischkenntnisse in Wort und Schrift.