85 Jobs für Spark in Österreich
Senior Data Engineer (Big Data)
Vor 7 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Als Senior Data Engineer sind Sie verantwortlich für die Konzeption, Entwicklung und Wartung unserer Big-Data-Plattformen und Datenpipelines. Sie stellen sicher, dass große Mengen an Rohdaten effizient gesammelt, verarbeitet, gespeichert und für Analysezwecke zur Verfügung gestellt werden. Die Rolle erfordert ein tiefes technisches Verständnis von verteilten Systemen, Cloud-Technologien und modernen Data-Engineering-Praktiken. Sie arbeiten eng mit Data Scientists, Analysten und Softwareentwicklern zusammen, um datengesteuerte Lösungen zu ermöglichen.
Ihre Hauptaufgaben:
- Entwicklung, Implementierung und Wartung von skalierbaren Big-Data-Pipelines und ETL/ELT-Prozessen.
- Design und Aufbau robuster und performanter Datenarchitekturen in Cloud-Umgebungen (z.B. AWS, Azure, GCP).
- Arbeit mit einer Vielzahl von Datenquellen und Datenbanktechnologien (z.B. Data Lakes, Data Warehouses, NoSQL-Datenbanken).
- Optimierung von Datenflüssen und Abfragen für maximale Effizienz und Kosteneffektivität.
- Sicherstellung der Datenqualität, -integrität und -sicherheit.
- Entwicklung von Monitoring- und Alerting-Systemen für Datenpipelines.
- Zusammenarbeit mit Data Scientists und Analysten zur Bereitstellung von Daten für maschinelles Lernen und Analysen.
- Erforschung und Einführung neuer Technologien und Tools im Bereich Big Data und Data Engineering.
- Automatisierung von Data-Engineering-Aufgaben durch Skripte und Tools.
- Dokumentation von Datenflüssen, Architekturen und Prozessen.
- Abgeschlossenes Studium der Informatik, Ingenieurwissenschaften, Statistik oder eines verwandten technischen Fachs.
- Mehrjährige Berufserfahrung als Data Engineer oder in einer ähnlichen Rolle im Big-Data-Umfeld.
- Umfangreiche Erfahrung mit Big-Data-Technologien wie Spark, Hadoop, Kafka und verwandten Ökosystemen.
- Praktische Erfahrung mit Cloud-Plattformen (AWS, Azure oder GCP) und deren Daten-Services.
- Fundierte Kenntnisse in SQL und NoSQL-Datenbanken.
- Programmierkenntnisse in Python, Scala oder Java sind unerlässlich.
- Erfahrung mit Datenmodellierung und Data Warehousing-Konzepten.
- Kenntnisse in DevOps-Praktiken und CI/CD-Pipelines sind von Vorteil.
- Starke analytische Fähigkeiten und Problemlösungskompetenz.
- Sehr gute Kommunikationsfähigkeiten und die Fähigkeit, technische Konzepte zu erklären.
- Fließende Deutsch- und Englischkenntnisse.
Remote Data Engineer - Big Data & Cloud
Vor 2 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Ihre Kernaufgaben:
- Entwurf, Implementierung und Optimierung von skalierbaren ETL/ELT-Pipelines für verschiedene Datenquellen.
- Entwicklung und Wartung von Data Lakes und Data Warehouses in Cloud-Umgebungen (AWS, Azure oder GCP).
- Implementierung von Big-Data-Technologien und Frameworks wie Spark, Hadoop und Flink.
- Sicherstellung der Datenqualität, -integrität und -sicherheit über die gesamte Datenlebensdauer.
- Automatisierung von Datenflüssen und Monitoring von Dateninfrastrukturen.
- Zusammenarbeit mit Data Scientists, Analysten und anderen Stakeholdern, um deren Datenanforderungen zu verstehen und zu erfüllen.
- Performance-Tuning von Datenabfragen und -verarbeitungsprozessen.
- Erforschung und Einführung neuer Technologien und Best Practices im Bereich Big Data und Cloud.
- Dokumentation von Datenarchitekturen, Prozessen und Standards.
- Beitrag zur Weiterentwicklung unserer Data-Governance-Strategie.
Was Sie mitbringen:
- Abgeschlossenes Studium der Informatik, Ingenieurwissenschaften oder eines verwandten Fachs.
- Nachgewiesene Berufserfahrung als Data Engineer, Data Architect oder in einer ähnlichen Rolle mit Fokus auf Big Data und Cloud.
- Profunde Kenntnisse in mindestens einer großen Cloud-Plattform (AWS, Azure, GCP) und deren Daten-Services.
- Umfangreiche Erfahrung mit SQL und NoSQL-Datenbanken.
- Starke Programmierkenntnisse in Python oder Scala sind unerlässlich.
- Praktische Erfahrung mit Big-Data-Technologien wie Apache Spark, Kafka oder Hadoop-Ökosystem.
- Verständnis von Data Warehousing-Konzepten und Dimensional Modeling.
- Erfahrung mit Orchestrierungstools wie Airflow.
- Ausgeprägte Problemlösungsfähigkeiten und eine analytische Denkweise.
- Sehr gute Kommunikationsfähigkeiten in Deutsch und Englisch, um effektiv im globalen Remote-Team zu agieren.
- Hohe Selbstorganisation und die Fähigkeit, eigenverantwortlich zu arbeiten.
Diese Position bietet eine einzigartige Gelegenheit, von zu Hause aus an spannenden Projekten mitzuwirken und sich fachlich weiterzuentwickeln. Wenn Sie ein Experte im Umgang mit Daten und Cloud-Technologien sind und eine flexible Arbeitsumgebung schätzen, dann freuen wir uns auf Ihre Bewerbung.
Lead Data Engineer - Big Data Platform
Vor 9 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Wir erwarten von Ihnen ein abgeschlossenes Studium der Informatik, Wirtschaftsinformatik oder eines verwandten technischen Fachs sowie mindestens 5 Jahre Berufserfahrung im Bereich Data Engineering, davon mehrere Jahre in einer leitenden Funktion. Fundierte Kenntnisse in Big Data Technologien wie Hadoop, Spark, Kafka, Flink sowie Erfahrung mit Cloud-Plattformen (AWS, Azure, GCP) sind unerlässlich. Sie beherrschen mindestens eine gängige Programmiersprache wie Python oder Scala und haben tiefgreifende Kenntnisse in SQL und NoSQL Datenbanken. Erfahrung mit Data Warehousing Konzepten und modernen ETL/ELT-Tools ist ebenfalls erforderlich. Ausgezeichnete Führungsqualitäten, starke analytische und konzeptionelle Fähigkeiten sowie die Fähigkeit, komplexe technische Herausforderungen zu lösen und proaktiv zu kommunizieren, sind entscheidend.
Ihre Hauptaufgaben umfassen die technische Führung des Data Engineering Teams, die Definition von Architekturstandards und Best Practices für die Datenverarbeitung, sowie die Überwachung und Optimierung der bestehenden Dateninfrastruktur. Sie sind verantwortlich für die Einführung neuer Technologien und Methoden zur Verbesserung der Datenqualität und -verfügbarkeit. In dieser Rolle werden Sie an der Entwicklung von strategischen Roadmaps für die Datenplattform mitwirken und sicherstellen, dass diese mit den Geschäftszielen des Unternehmens übereinstimmen. Sie fördern eine Kultur der kontinuierlichen Verbesserung und des Wissensaustauschs innerhalb des Teams und des Unternehmens. Die Arbeit erfolgt hybrid, mit der Möglichkeit, sowohl im Büro in **Linz, Oberösterreich**, als auch remote zu arbeiten, was ein hohes Maß an Flexibilität bietet. Sie werden auch für die Einführung von Data Governance Praktiken mitverantwortlich sein, um die Datenintegrität und Sicherheit zu gewährleisten.
Wir bieten eine herausfordernde Führungsaufgabe in einem dynamischen Umfeld, die Möglichkeit, mit modernsten Technologien zu arbeiten, und ein attraktives Gehaltspaket. Wenn Sie ein engagierter und erfahrener Data Engineering Leader sind, der die Zukunft der Datenverarbeitung mitgestalten möchte, freuen wir uns auf Ihre Bewerbung für unseren Standort in **Linz, Oberösterreich**. Sie werden Teil eines innovativen Unternehmens, das großen Wert auf Datenanalyse und datengesteuerte Entscheidungen legt. Dieses Angebot richtet sich an Personen, die ihre Karriere auf die nächste Stufe heben und einen signifikanten Einfluss auf die technologische Entwicklung unseres Klienten ausüben möchten.
Graduate Data Engineer (Big Data Solutions)
Vor 10 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Remote Data Engineer - Big Data Solutions
Vor 13 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Ihre Verantwortung:
- Konzeption, Entwicklung und Implementierung skalierbarer Big Data-Architekturen und Pipelines.
- Datenintegration aus verschiedenen Quellen (z.B. Sensordaten, Produktionssysteme, ERP-Systeme) in unsere Data Lakes und Data Warehouses.
- Optimierung von Datenspeichern und Datenverarbeitungsprozessen für Performance und Kosten.
- Entwicklung und Wartung von ETL/ELT-Prozessen unter Verwendung moderner Technologien wie Spark, Kafka, Hadoop, Airflow etc.
- Zusammenarbeit mit Data Scientists und Analysten, um Daten für fortgeschrittene Analysen, maschinelles Lernen und KI-Modelle bereitzustellen.
- Sicherstellung der Datenqualität, Datenkonsistenz und Datensicherheit.
- Automatisierung von Datenprozessen und Monitoring von Systemen.
- Dokumentation von Datenmodellen, Pipelines und Prozessen.
- Evaluierung und Implementierung neuer Technologien und Tools im Big Data-Umfeld.
Ihr Profil:
- Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik, Ingenieurwissenschaften oder eines verwandten Faches.
- Nachgewiesene Berufserfahrung im Bereich Data Engineering, insbesondere mit Big Data-Technologien.
- Tiefe Kenntnisse in SQL und Erfahrung mit NoSQL-Datenbanken.
- Umfangreiche Erfahrung mit Cloud-Plattformen (AWS, Azure oder GCP) und deren Big Data Services.
- Sehr gute Programmierkenntnisse in Python oder Scala.
- Praktische Erfahrung mit verteilten Systemen wie Spark, Hadoop und Kafka.
- Erfahrung mit Workflow-Orchestrierungstools wie Apache Airflow.
- Kenntnisse in der Entwicklung von Data Warehouses und Data Lakes.
- Starke Problemlösungsfähigkeiten und eine analytische Denkweise.
- Ausgezeichnete Kommunikationsfähigkeiten und die Fähigkeit, effektiv in einem remote Team zu arbeiten.
- Fließende Deutsch- und gute Englischkenntnisse.
Remote Senior Data Engineer für Big Data Plattformen
Vor 8 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Ihre Kernaufgaben:
- Entwurf, Aufbau und Optimierung von robusten und skalierbaren Datenpipelines und ETL/ELT-Prozessen für Big-Data-Umgebungen.
- Management und Weiterentwicklung unserer Cloud-basierten Big-Data-Infrastruktur (z.B. AWS, Azure, GCP).
- Sicherstellung der Datenqualität, Datenintegrität und Datenverfügbarkeit.
- Entwicklung und Implementierung von Datenmodellierungsstrategien.
- Zusammenarbeit mit Data Scientists zur Bereitstellung von Daten für Machine-Learning-Modelle und analytische Aufgaben.
- Automatisierung von Datenprozessen und Infrastrukturmanagement.
- Bewertung und Einführung neuer Technologien und Tools im Bereich Big Data und Data Engineering.
- Performance-Tuning von Datenbanksystemen und Abfragen.
- Mentoring von Junior Data Engineers und Förderung von Best Practices.
- Dokumentation von Architekturen, Prozessen und Implementierungen.
Ihr technisches Profil:
- Abgeschlossenes Master- oder Promotionsstudium in Informatik, Data Science, Ingenieurwesen oder einem verwandten MINT-Fach.
- Mindestens 5 Jahre nachweisbare Berufserfahrung im Bereich Data Engineering, insbesondere mit Big-Data-Technologien.
- Sehr gute Kenntnisse in Programmiersprachen wie Python, Scala oder Java.
- Umfangreiche Erfahrung mit verteilten Datenverarbeitungssystemen (z.B. Spark, Hadoop).
- Fundierte Kenntnisse in Cloud-Plattformen (AWS, Azure, GCP) und deren Daten-Services.
- Erfahrung mit modernen Datenbanktechnologien (SQL, NoSQL) und Data Warehousing Konzepten.
- Kenntnisse in Orchestrierungstools (z.B. Airflow) und Containerisierung (Docker, Kubernetes).
- Starke analytische Fähigkeiten und Problemlösungskompetenz.
- Ausgezeichnete Kommunikationsfähigkeiten und die Fähigkeit, remote effektiv zu arbeiten.
Wir bieten eine herausfordernde und spannende Rolle in einem innovativen Umfeld, die Möglichkeit zur Weiterentwicklung und ein wettbewerbsfähiges Gehaltspaket. Wenn Sie ein Experte für Daten sind und in einem flexiblen Arbeitsmodell glänzen möchten, freuen wir uns auf Ihre Bewerbung.
Junior Data Engineer für Big Data Infrastruktur (Remote)
Vor 14 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Ihre Aufgaben während des Praktikums/ der Einstiegsposition:
- Unterstützung bei der Entwicklung und Implementierung von ETL-Pipelines (Extract, Transform, Load).
- Mithilfe beim Aufbau und der Wartung von Big Data Speichersystemen (z.B. Data Lakes, Data Warehouses).
- Implementierung von Datenqualitätsprüfungen und Monitoring-Mechanismen.
- Mitarbeit bei der Automatisierung von Datenflüssen und Infrastruktur-Aufgaben.
- Erstellung von Skripten und Tools zur Datenaufbereitung und -transformation.
- Kennenlernen und Anwenden von Big Data Technologien wie Spark, Hadoop, Kafka oder vergleichbaren Frameworks.
- Unterstützung der Data Scientists bei der Bereitstellung von Daten für Analysen und Machine Learning Modelle.
- Dokumentation von Datenflüssen, Systemkonfigurationen und Prozessen.
- Fehlerbehebung und Support bei technischen Problemen im Big Data Umfeld.
- Teilnahme an Team-Meetings und Einarbeitung in agile Entwicklungsmethoden.
- Aktuell immatrikuliert in einem Bachelor- oder Masterstudium der Informatik, Wirtschaftsinformatik, Data Science, Ingenieurwissenschaften oder einem verwandten quantitativen Fachbereich.
- Grundlegendes Verständnis von Datenbanken, SQL und Datenmodellierung.
- Erste Programmierkenntnisse, vorzugsweise in Python, Java oder Scala.
- Grundkenntnisse in Linux/Unix-Umgebungen sind von Vorteil.
- Eine hohe Lernbereitschaft, analytische Fähigkeiten und Problemlösungskompetenz.
- Teamfähigkeit und die Bereitschaft, aktiv im virtuellen Team mitzuarbeiten.
- Sehr gute Deutsch- und/oder gute Englischkenntnisse.
- Die Fähigkeit, selbstständig und proaktiv zu arbeiten.
- Eine große Leidenschaft für Daten und die Bereitschaft, sich in neue Technologien einzuarbeiten.
Seien Sie der Erste, der es erfährt
Über das Neueste Spark Jobs In Österreich !
Senior Data Engineer mit Fokus auf Big Data
Vor 13 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Ihre Aufgaben:
- Entwurf, Aufbau und Optimierung skalierbarer Big-Data-Architekturen und Datenpipelines.
- Entwicklung robuster ETL/ELT-Prozesse zur Datenintegration aus verschiedenen Quellen.
- Sicherstellung der Datenqualität, Datenintegrität und Datenverfügbarkeit.
- Implementierung von Data-Warehousing- und Data-Lake-Lösungen.
- Optimierung von Datenbankabfragen und Performance-Tuning von Datenbanksystemen.
- Zusammenarbeit mit Data Scientists und Analysten, um deren Datenanforderungen zu verstehen und zu erfüllen.
- Evaluation und Implementierung neuer Technologien und Tools im Big-Data-Umfeld.
- Erstellung und Pflege technischer Dokumentationen.
- Sicherstellung der Datensicherheit und Einhaltung von Datenschutzrichtlinien.
- Mentoring von juniorigeren Data Engineers und Wissensaustausch im Team.
Ihr Profil:
- Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik, Data Science oder eines verwandten technischen Feldes.
- Mehrjährige praktische Erfahrung im Bereich Data Engineering, insbesondere mit Big-Data-Technologien (z.B. Hadoop, Spark, Kafka, Flink).
- Fundierte Kenntnisse in mindestens einer SQL- und einer NoSQL-Datenbank.
- Erfahrung mit Cloud-Plattformen (AWS, Azure, GCP) und deren Daten-Services.
- Sehr gute Programmierkenntnisse, insbesondere in Python oder Java/Scala.
- Kenntnisse in Data-Warehousing-Konzepten und BI-Tools sind von Vorteil.
- Ausgeprägte Problemlösungsfähigkeiten und eine analytische, detailorientierte Arbeitsweise.
- Fähigkeit, komplexe technische Sachverhalte zu verstehen und zu kommunizieren.
- Teamfähigkeit und proaktive Herangehensweise.
- Fließende Deutschkenntnisse und gute Englischkenntnisse.
Data Scientist (Big Data Analytics)
Heute
Job angesehen
Arbeitsbeschreibung
Ihre Verantwortlichkeiten:
- Analyse komplexer und umfangreicher Datensätze zur Identifizierung von Trends, Mustern und Erkenntnissen
- Entwicklung, Implementierung und Validierung von Machine-Learning-Modellen und statistischen Algorithmen
- Aufbau und Optimierung von Datenpipelines für die Datenaufbereitung und -integration
- Erstellung von Dashboards und Berichten zur Visualisierung von Analyseergebnissen für Stakeholder
- Beratung von Fachabteilungen hinsichtlich datengestützter Entscheidungsfindung
- Zusammenarbeit mit Data Engineers und Softwareentwicklern zur Implementierung von Lösungen in Produktionsumgebungen
- Recherche und Anwendung neuester Methoden im Bereich Data Science und künstliche Intelligenz
- Dokumentation der entwickelten Modelle und Analysemethoden
- Präsentation von Ergebnissen und Empfehlungen vor verschiedenen Zielgruppen
- Beitrag zur Weiterentwicklung der Data-Science-Strategie des Unternehmens
Ihr Profil:
- Abgeschlossenes Masterstudium oder Promotion in Informatik, Statistik, Mathematik, Physik oder einem verwandten quantitativen Fach
- Mehrjährige praktische Erfahrung als Data Scientist oder in einer ähnlichen analytischen Rolle
- Fundierte Kenntnisse in statistischer Modellierung, Machine Learning und Datenmining-Techniken
- Erfahrung mit Programmiersprachen wie Python oder R und relevanten Bibliotheken (z.B. scikit-learn, TensorFlow, PyTorch)
- Kenntnisse in SQL und Erfahrung mit Big-Data-Technologien (z.B. Spark, Hadoop) sind von Vorteil
- Erfahrung in der Datenvisualisierung (z.B. Tableau, Power BI)
- Ausgeprägte analytische und konzeptionelle Fähigkeiten
- Sehr gute Kommunikationsfähigkeiten, um technische Konzepte verständlich zu erklären
- Teamfähigkeit und die Fähigkeit, eigenständig zu arbeiten
- Sehr gute Deutsch- und Englischkenntnisse
Wir bieten ein innovatives Arbeitsumfeld, spannende Projekte und attraktive Entwicklungsmöglichkeiten. Wenn Sie ein passionierter Data Scientist sind und gerne in einer hybriden Arbeitskultur tätig sind, freuen wir uns auf Ihre Bewerbung.
Cloud-Architekt - Big Data & KI
Vor 6 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Ihre Hauptaufgaben umfassen:
- Entwurf und Architektur von hoch skalierbaren und fehlertoleranten Cloud-Lösungen (AWS, Azure, GCP) für Big Data und KI-Workloads.
- Beratung und Unterstützung von Entwicklungsteams bei der Implementierung von Datenpipelines und Machine-Learning-Modellen in der Cloud.
- Auswahl geeigneter Cloud-Services und -Tools für Datenverarbeitung, Speicherung, Analyse und KI-Anwendungen.
- Sicherstellung von Sicherheit, Compliance und Kostenoptimierung der Cloud-Infrastruktur.
- Entwicklung von Automatisierungsstrategien für Infrastrukturmanagement und Deployment (Infrastructure as Code).
- Performance-Tuning und Optimierung von Big Data und KI-Systemen in der Cloud.
- Erstellung technischer Dokumentationen, Best Practices und Leitlinien für Cloud-Architekturen.
- Evaluierung neuer Cloud-Technologien und Trends, um Innovationen voranzutreiben.
- Zusammenarbeit mit internen und externen Partnern, um komplexe technische Herausforderungen zu lösen.
- Mentoring von Junior-Ingenieuren und Förderung einer Kultur der technischen Exzellenz.
- Abgeschlossenes Studium im Bereich Informatik, Software-Engineering, Data Science oder einer verwandten technischen Disziplin.
- Mehrjährige Erfahrung in der Cloud-Architektur, insbesondere mit Big Data-Technologien (z.B. Spark, Hadoop, Kafka) und KI/ML-Plattformen.
- Tiefe Kenntnisse mindestens einer großen Cloud-Plattform (AWS, Azure oder GCP) und deren Dienste.
- Erfahrung mit Containerisierungstechnologien (Docker, Kubernetes).
- Kenntnisse in Infrastructure as Code (Terraform, Ansible).
- Starke analytische und problemlösende Fähigkeiten.
- Ausgezeichnete Kommunikations- und Kollaborationsfähigkeiten, insbesondere in einem verteilten Team.
- Fließende Deutschkenntnisse sind erforderlich; gute Englischkenntnisse sind von Vorteil.
- Die Fähigkeit, selbstständig zu arbeiten und komplexe Projekte erfolgreich zu managen.
Wenn Sie ein Experte in Cloud-Architektur sind und eine Leidenschaft für Big Data und KI haben, freuen wir uns darauf, Sie in unserem virtuellen Team willkommen zu heißen. Gestalten Sie die Zukunft der Technologie mit uns, von Ihrem Homeoffice im Raum Traun, Upper Austria, AT .