86 Jobs für Hadoop in Österreich
Senior Data Engineer (Big Data)
Vor 7 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Als Senior Data Engineer sind Sie verantwortlich für die Konzeption, Entwicklung und Wartung unserer Big-Data-Plattformen und Datenpipelines. Sie stellen sicher, dass große Mengen an Rohdaten effizient gesammelt, verarbeitet, gespeichert und für Analysezwecke zur Verfügung gestellt werden. Die Rolle erfordert ein tiefes technisches Verständnis von verteilten Systemen, Cloud-Technologien und modernen Data-Engineering-Praktiken. Sie arbeiten eng mit Data Scientists, Analysten und Softwareentwicklern zusammen, um datengesteuerte Lösungen zu ermöglichen.
Ihre Hauptaufgaben:
- Entwicklung, Implementierung und Wartung von skalierbaren Big-Data-Pipelines und ETL/ELT-Prozessen.
- Design und Aufbau robuster und performanter Datenarchitekturen in Cloud-Umgebungen (z.B. AWS, Azure, GCP).
- Arbeit mit einer Vielzahl von Datenquellen und Datenbanktechnologien (z.B. Data Lakes, Data Warehouses, NoSQL-Datenbanken).
- Optimierung von Datenflüssen und Abfragen für maximale Effizienz und Kosteneffektivität.
- Sicherstellung der Datenqualität, -integrität und -sicherheit.
- Entwicklung von Monitoring- und Alerting-Systemen für Datenpipelines.
- Zusammenarbeit mit Data Scientists und Analysten zur Bereitstellung von Daten für maschinelles Lernen und Analysen.
- Erforschung und Einführung neuer Technologien und Tools im Bereich Big Data und Data Engineering.
- Automatisierung von Data-Engineering-Aufgaben durch Skripte und Tools.
- Dokumentation von Datenflüssen, Architekturen und Prozessen.
- Abgeschlossenes Studium der Informatik, Ingenieurwissenschaften, Statistik oder eines verwandten technischen Fachs.
- Mehrjährige Berufserfahrung als Data Engineer oder in einer ähnlichen Rolle im Big-Data-Umfeld.
- Umfangreiche Erfahrung mit Big-Data-Technologien wie Spark, Hadoop, Kafka und verwandten Ökosystemen.
- Praktische Erfahrung mit Cloud-Plattformen (AWS, Azure oder GCP) und deren Daten-Services.
- Fundierte Kenntnisse in SQL und NoSQL-Datenbanken.
- Programmierkenntnisse in Python, Scala oder Java sind unerlässlich.
- Erfahrung mit Datenmodellierung und Data Warehousing-Konzepten.
- Kenntnisse in DevOps-Praktiken und CI/CD-Pipelines sind von Vorteil.
- Starke analytische Fähigkeiten und Problemlösungskompetenz.
- Sehr gute Kommunikationsfähigkeiten und die Fähigkeit, technische Konzepte zu erklären.
- Fließende Deutsch- und Englischkenntnisse.
Remote Data Engineer - Big Data & Cloud
Vor 2 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Ihre Kernaufgaben:
- Entwurf, Implementierung und Optimierung von skalierbaren ETL/ELT-Pipelines für verschiedene Datenquellen.
- Entwicklung und Wartung von Data Lakes und Data Warehouses in Cloud-Umgebungen (AWS, Azure oder GCP).
- Implementierung von Big-Data-Technologien und Frameworks wie Spark, Hadoop und Flink.
- Sicherstellung der Datenqualität, -integrität und -sicherheit über die gesamte Datenlebensdauer.
- Automatisierung von Datenflüssen und Monitoring von Dateninfrastrukturen.
- Zusammenarbeit mit Data Scientists, Analysten und anderen Stakeholdern, um deren Datenanforderungen zu verstehen und zu erfüllen.
- Performance-Tuning von Datenabfragen und -verarbeitungsprozessen.
- Erforschung und Einführung neuer Technologien und Best Practices im Bereich Big Data und Cloud.
- Dokumentation von Datenarchitekturen, Prozessen und Standards.
- Beitrag zur Weiterentwicklung unserer Data-Governance-Strategie.
Was Sie mitbringen:
- Abgeschlossenes Studium der Informatik, Ingenieurwissenschaften oder eines verwandten Fachs.
- Nachgewiesene Berufserfahrung als Data Engineer, Data Architect oder in einer ähnlichen Rolle mit Fokus auf Big Data und Cloud.
- Profunde Kenntnisse in mindestens einer großen Cloud-Plattform (AWS, Azure, GCP) und deren Daten-Services.
- Umfangreiche Erfahrung mit SQL und NoSQL-Datenbanken.
- Starke Programmierkenntnisse in Python oder Scala sind unerlässlich.
- Praktische Erfahrung mit Big-Data-Technologien wie Apache Spark, Kafka oder Hadoop-Ökosystem.
- Verständnis von Data Warehousing-Konzepten und Dimensional Modeling.
- Erfahrung mit Orchestrierungstools wie Airflow.
- Ausgeprägte Problemlösungsfähigkeiten und eine analytische Denkweise.
- Sehr gute Kommunikationsfähigkeiten in Deutsch und Englisch, um effektiv im globalen Remote-Team zu agieren.
- Hohe Selbstorganisation und die Fähigkeit, eigenverantwortlich zu arbeiten.
Diese Position bietet eine einzigartige Gelegenheit, von zu Hause aus an spannenden Projekten mitzuwirken und sich fachlich weiterzuentwickeln. Wenn Sie ein Experte im Umgang mit Daten und Cloud-Technologien sind und eine flexible Arbeitsumgebung schätzen, dann freuen wir uns auf Ihre Bewerbung.
Lead Data Engineer - Big Data Platform
Vor 9 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Wir erwarten von Ihnen ein abgeschlossenes Studium der Informatik, Wirtschaftsinformatik oder eines verwandten technischen Fachs sowie mindestens 5 Jahre Berufserfahrung im Bereich Data Engineering, davon mehrere Jahre in einer leitenden Funktion. Fundierte Kenntnisse in Big Data Technologien wie Hadoop, Spark, Kafka, Flink sowie Erfahrung mit Cloud-Plattformen (AWS, Azure, GCP) sind unerlässlich. Sie beherrschen mindestens eine gängige Programmiersprache wie Python oder Scala und haben tiefgreifende Kenntnisse in SQL und NoSQL Datenbanken. Erfahrung mit Data Warehousing Konzepten und modernen ETL/ELT-Tools ist ebenfalls erforderlich. Ausgezeichnete Führungsqualitäten, starke analytische und konzeptionelle Fähigkeiten sowie die Fähigkeit, komplexe technische Herausforderungen zu lösen und proaktiv zu kommunizieren, sind entscheidend.
Ihre Hauptaufgaben umfassen die technische Führung des Data Engineering Teams, die Definition von Architekturstandards und Best Practices für die Datenverarbeitung, sowie die Überwachung und Optimierung der bestehenden Dateninfrastruktur. Sie sind verantwortlich für die Einführung neuer Technologien und Methoden zur Verbesserung der Datenqualität und -verfügbarkeit. In dieser Rolle werden Sie an der Entwicklung von strategischen Roadmaps für die Datenplattform mitwirken und sicherstellen, dass diese mit den Geschäftszielen des Unternehmens übereinstimmen. Sie fördern eine Kultur der kontinuierlichen Verbesserung und des Wissensaustauschs innerhalb des Teams und des Unternehmens. Die Arbeit erfolgt hybrid, mit der Möglichkeit, sowohl im Büro in **Linz, Oberösterreich**, als auch remote zu arbeiten, was ein hohes Maß an Flexibilität bietet. Sie werden auch für die Einführung von Data Governance Praktiken mitverantwortlich sein, um die Datenintegrität und Sicherheit zu gewährleisten.
Wir bieten eine herausfordernde Führungsaufgabe in einem dynamischen Umfeld, die Möglichkeit, mit modernsten Technologien zu arbeiten, und ein attraktives Gehaltspaket. Wenn Sie ein engagierter und erfahrener Data Engineering Leader sind, der die Zukunft der Datenverarbeitung mitgestalten möchte, freuen wir uns auf Ihre Bewerbung für unseren Standort in **Linz, Oberösterreich**. Sie werden Teil eines innovativen Unternehmens, das großen Wert auf Datenanalyse und datengesteuerte Entscheidungen legt. Dieses Angebot richtet sich an Personen, die ihre Karriere auf die nächste Stufe heben und einen signifikanten Einfluss auf die technologische Entwicklung unseres Klienten ausüben möchten.
Graduate Data Engineer (Big Data Solutions)
Vor 10 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Remote Data Engineer - Big Data Solutions
Vor 13 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Ihre Verantwortung:
- Konzeption, Entwicklung und Implementierung skalierbarer Big Data-Architekturen und Pipelines.
- Datenintegration aus verschiedenen Quellen (z.B. Sensordaten, Produktionssysteme, ERP-Systeme) in unsere Data Lakes und Data Warehouses.
- Optimierung von Datenspeichern und Datenverarbeitungsprozessen für Performance und Kosten.
- Entwicklung und Wartung von ETL/ELT-Prozessen unter Verwendung moderner Technologien wie Spark, Kafka, Hadoop, Airflow etc.
- Zusammenarbeit mit Data Scientists und Analysten, um Daten für fortgeschrittene Analysen, maschinelles Lernen und KI-Modelle bereitzustellen.
- Sicherstellung der Datenqualität, Datenkonsistenz und Datensicherheit.
- Automatisierung von Datenprozessen und Monitoring von Systemen.
- Dokumentation von Datenmodellen, Pipelines und Prozessen.
- Evaluierung und Implementierung neuer Technologien und Tools im Big Data-Umfeld.
Ihr Profil:
- Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik, Ingenieurwissenschaften oder eines verwandten Faches.
- Nachgewiesene Berufserfahrung im Bereich Data Engineering, insbesondere mit Big Data-Technologien.
- Tiefe Kenntnisse in SQL und Erfahrung mit NoSQL-Datenbanken.
- Umfangreiche Erfahrung mit Cloud-Plattformen (AWS, Azure oder GCP) und deren Big Data Services.
- Sehr gute Programmierkenntnisse in Python oder Scala.
- Praktische Erfahrung mit verteilten Systemen wie Spark, Hadoop und Kafka.
- Erfahrung mit Workflow-Orchestrierungstools wie Apache Airflow.
- Kenntnisse in der Entwicklung von Data Warehouses und Data Lakes.
- Starke Problemlösungsfähigkeiten und eine analytische Denkweise.
- Ausgezeichnete Kommunikationsfähigkeiten und die Fähigkeit, effektiv in einem remote Team zu arbeiten.
- Fließende Deutsch- und gute Englischkenntnisse.
Remote Senior Data Engineer für Big Data Plattformen
Vor 8 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Ihre Kernaufgaben:
- Entwurf, Aufbau und Optimierung von robusten und skalierbaren Datenpipelines und ETL/ELT-Prozessen für Big-Data-Umgebungen.
- Management und Weiterentwicklung unserer Cloud-basierten Big-Data-Infrastruktur (z.B. AWS, Azure, GCP).
- Sicherstellung der Datenqualität, Datenintegrität und Datenverfügbarkeit.
- Entwicklung und Implementierung von Datenmodellierungsstrategien.
- Zusammenarbeit mit Data Scientists zur Bereitstellung von Daten für Machine-Learning-Modelle und analytische Aufgaben.
- Automatisierung von Datenprozessen und Infrastrukturmanagement.
- Bewertung und Einführung neuer Technologien und Tools im Bereich Big Data und Data Engineering.
- Performance-Tuning von Datenbanksystemen und Abfragen.
- Mentoring von Junior Data Engineers und Förderung von Best Practices.
- Dokumentation von Architekturen, Prozessen und Implementierungen.
Ihr technisches Profil:
- Abgeschlossenes Master- oder Promotionsstudium in Informatik, Data Science, Ingenieurwesen oder einem verwandten MINT-Fach.
- Mindestens 5 Jahre nachweisbare Berufserfahrung im Bereich Data Engineering, insbesondere mit Big-Data-Technologien.
- Sehr gute Kenntnisse in Programmiersprachen wie Python, Scala oder Java.
- Umfangreiche Erfahrung mit verteilten Datenverarbeitungssystemen (z.B. Spark, Hadoop).
- Fundierte Kenntnisse in Cloud-Plattformen (AWS, Azure, GCP) und deren Daten-Services.
- Erfahrung mit modernen Datenbanktechnologien (SQL, NoSQL) und Data Warehousing Konzepten.
- Kenntnisse in Orchestrierungstools (z.B. Airflow) und Containerisierung (Docker, Kubernetes).
- Starke analytische Fähigkeiten und Problemlösungskompetenz.
- Ausgezeichnete Kommunikationsfähigkeiten und die Fähigkeit, remote effektiv zu arbeiten.
Wir bieten eine herausfordernde und spannende Rolle in einem innovativen Umfeld, die Möglichkeit zur Weiterentwicklung und ein wettbewerbsfähiges Gehaltspaket. Wenn Sie ein Experte für Daten sind und in einem flexiblen Arbeitsmodell glänzen möchten, freuen wir uns auf Ihre Bewerbung.
Junior Data Engineer für Big Data Infrastruktur (Remote)
Vor 14 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Ihre Aufgaben während des Praktikums/ der Einstiegsposition:
- Unterstützung bei der Entwicklung und Implementierung von ETL-Pipelines (Extract, Transform, Load).
- Mithilfe beim Aufbau und der Wartung von Big Data Speichersystemen (z.B. Data Lakes, Data Warehouses).
- Implementierung von Datenqualitätsprüfungen und Monitoring-Mechanismen.
- Mitarbeit bei der Automatisierung von Datenflüssen und Infrastruktur-Aufgaben.
- Erstellung von Skripten und Tools zur Datenaufbereitung und -transformation.
- Kennenlernen und Anwenden von Big Data Technologien wie Spark, Hadoop, Kafka oder vergleichbaren Frameworks.
- Unterstützung der Data Scientists bei der Bereitstellung von Daten für Analysen und Machine Learning Modelle.
- Dokumentation von Datenflüssen, Systemkonfigurationen und Prozessen.
- Fehlerbehebung und Support bei technischen Problemen im Big Data Umfeld.
- Teilnahme an Team-Meetings und Einarbeitung in agile Entwicklungsmethoden.
- Aktuell immatrikuliert in einem Bachelor- oder Masterstudium der Informatik, Wirtschaftsinformatik, Data Science, Ingenieurwissenschaften oder einem verwandten quantitativen Fachbereich.
- Grundlegendes Verständnis von Datenbanken, SQL und Datenmodellierung.
- Erste Programmierkenntnisse, vorzugsweise in Python, Java oder Scala.
- Grundkenntnisse in Linux/Unix-Umgebungen sind von Vorteil.
- Eine hohe Lernbereitschaft, analytische Fähigkeiten und Problemlösungskompetenz.
- Teamfähigkeit und die Bereitschaft, aktiv im virtuellen Team mitzuarbeiten.
- Sehr gute Deutsch- und/oder gute Englischkenntnisse.
- Die Fähigkeit, selbstständig und proaktiv zu arbeiten.
- Eine große Leidenschaft für Daten und die Bereitschaft, sich in neue Technologien einzuarbeiten.
Seien Sie der Erste, der es erfährt
Über das Neueste Hadoop Jobs In Österreich !
Senior Data Engineer - Big Data & Cloud (m/w/d)
Heute
Job angesehen
Arbeitsbeschreibung
Ihre Hauptverantwortung wird die Konzeption, Entwicklung und Optimierung von Datenpipelines sein, um große Mengen an Rohdaten aus verschiedenen Quellen zu erfassen, zu transformieren und bereitzustellen. Sie arbeiten eng mit Data Scientists, Analysten und Softwareentwicklern zusammen, um sicherzustellen, dass unsere Dateninfrastruktur robust, effizient und für anspruchsvolle Analysen bereit ist. Dies beinhaltet die Auswahl und Implementierung geeigneter Technologien, die Automatisierung von Prozessen und die Sicherstellung der Datenqualität und -integrität. Die kontinuierliche Verbesserung der Systemleistung und die Suche nach innovativen Lösungen zur Datenverarbeitung stehen im Vordergrund.
Ihre Hauptaufgaben:
- Entwicklung, Implementierung und Wartung von skalierbaren und robusten ETL/ELT-Pipelines für Big Data.
- Design und Aufbau von Datenarchitekturen auf Cloud-Plattformen wie AWS, Azure oder GCP.
- Automatisierung von Datenprozessen und Implementierung von CI/CD-Pipelines für Data Engineering.
- Optimierung der Performance von Datenverarbeitungssystemen und Datenbanken.
- Gewährleistung der Datenqualität, -konsistenz und -sicherheit.
- Zusammenarbeit mit Data Scientists zur Bereitstellung von Daten für maschinelles Lernen und analytische Modelle.
- Bewertung und Auswahl von geeigneten Big Data Technologien und Tools.
- Erstellung und Pflege von technischer Dokumentation.
- Mentoring und Coaching von Junior Data Engineers.
Unsere Erwartungen an Sie:- Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik oder eines verwandten Feldes, oder vergleichbare praktische Erfahrung.
- Mehrjährige Berufserfahrung als Data Engineer, mit starkem Fokus auf Big Data Technologien und Cloud-Plattformen.
- Fundierte Kenntnisse in mindestens einer Programmiersprache wie Python, Scala oder Java.
- Erfahrung mit verteilten Systemen und Frameworks wie Spark, Hadoop oder Flink.
- Praktische Erfahrung mit Cloud-Diensten für Datenverarbeitung (z. B. S3, Redshift, BigQuery, Data Factory, EMR, Databricks).
- Kenntnisse in SQL und NoSQL-Datenbanken.
- Verständnis von Datenmodellierung und Data Warehousing Konzepten.
- Erfahrung mit Containerisierungstechnologien (Docker, Kubernetes) ist von Vorteil.
- Ausgeprägte analytische Fähigkeiten und Problemlösungskompetenz.
- Sehr gute Kommunikationsfähigkeiten und die Fähigkeit, in einem verteilten, internationalen Team zu arbeiten.
- Fließende Deutsch- und Englischkenntnisse.
Diese Remote-Position bietet eine einzigartige Gelegenheit, die Datentechnologie unseres Klienten maßgeblich mitzugestalten und an der Spitze der Innovation im Bereich Big Data und Cloud zu arbeiten. Wenn Sie eine Leidenschaft für Daten haben und ein anspruchsvolles, flexibles Arbeitsumfeld suchen, freuen wir uns auf Ihre Bewerbung.
Senior Data Engineer mit Fokus auf Big Data
Vor 13 Tagen gepostet
Job angesehen
Arbeitsbeschreibung
Ihre Aufgaben:
- Entwurf, Aufbau und Optimierung skalierbarer Big-Data-Architekturen und Datenpipelines.
- Entwicklung robuster ETL/ELT-Prozesse zur Datenintegration aus verschiedenen Quellen.
- Sicherstellung der Datenqualität, Datenintegrität und Datenverfügbarkeit.
- Implementierung von Data-Warehousing- und Data-Lake-Lösungen.
- Optimierung von Datenbankabfragen und Performance-Tuning von Datenbanksystemen.
- Zusammenarbeit mit Data Scientists und Analysten, um deren Datenanforderungen zu verstehen und zu erfüllen.
- Evaluation und Implementierung neuer Technologien und Tools im Big-Data-Umfeld.
- Erstellung und Pflege technischer Dokumentationen.
- Sicherstellung der Datensicherheit und Einhaltung von Datenschutzrichtlinien.
- Mentoring von juniorigeren Data Engineers und Wissensaustausch im Team.
Ihr Profil:
- Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik, Data Science oder eines verwandten technischen Feldes.
- Mehrjährige praktische Erfahrung im Bereich Data Engineering, insbesondere mit Big-Data-Technologien (z.B. Hadoop, Spark, Kafka, Flink).
- Fundierte Kenntnisse in mindestens einer SQL- und einer NoSQL-Datenbank.
- Erfahrung mit Cloud-Plattformen (AWS, Azure, GCP) und deren Daten-Services.
- Sehr gute Programmierkenntnisse, insbesondere in Python oder Java/Scala.
- Kenntnisse in Data-Warehousing-Konzepten und BI-Tools sind von Vorteil.
- Ausgeprägte Problemlösungsfähigkeiten und eine analytische, detailorientierte Arbeitsweise.
- Fähigkeit, komplexe technische Sachverhalte zu verstehen und zu kommunizieren.
- Teamfähigkeit und proaktive Herangehensweise.
- Fließende Deutschkenntnisse und gute Englischkenntnisse.
Senior Data Engineer (m/w/d) - Cloud & Big Data
Gestern
Job angesehen
Arbeitsbeschreibung
Ihre Hauptverantwortlichkeiten:
- Konzeption, Aufbau und Optimierung von skalierbaren Datenpipelines in Cloud-Umgebungen (AWS, Azure oder GCP).
- Entwicklung und Implementierung von ETL/ELT-Prozessen für verschiedene Datenquellen.
- Datenmodellierung und -management für Data Warehouses und Data Lakes.
- Sicherstellung der Datenqualität, -konsistenz und -verfügbarkeit.
- Entwicklung und Wartung von Big-Data-Lösungen unter Verwendung von Technologien wie Spark, Hadoop, Kafka etc.
- Implementierung von Monitoring- und Alerting-Systemen für die Dateninfrastruktur.
- Zusammenarbeit mit Data Scientists und Analysten zur Bereitstellung von Daten für Analysen und Machine Learning Modelle.
- Automatisierung von Datenprozessen und Infrastruktur-Management (Infrastructure as Code).
- Performance-Optimierung von Datenbanken und Datenabfragen.
- Sicherstellung der Einhaltung von Datensicherheits- und Datenschutzrichtlinien (z.B. DSGVO).
- Technische Führung und Mentoring von Junior-Teammitgliedern.
- Evaluation und Einführung neuer Technologien im Big-Data-Umfeld.
Ihr Profil:
- Abgeschlossenes Studium der Informatik, Wirtschaftsinformatik oder einer verwandten technischen Fachrichtung.
- Mehrjährige Berufserfahrung als Data Engineer, idealerweise im Big-Data- und Cloud-Umfeld.
- Tiefgehende Kenntnisse von Cloud-Plattformen (AWS, Azure oder GCP) und deren Daten-Services.
- Umfangreiche Erfahrung mit Programmiersprachen wie Python, Java oder Scala und SQL.
- Praktische Erfahrung mit Big-Data-Technologien (z.B. Apache Spark, Hadoop Ecosystem, Hive).
- Kenntnisse in Datenbanksystemen (relationale und NoSQL-Datenbanken).
- Erfahrung mit Datenvisualisierungs- und BI-Tools ist von Vorteil.
- Kenntnisse in Containerisierungstechnologien (Docker, Kubernetes) sind von Vorteil.
- Ausgeprägte Problemlösungsfähigkeiten und eine analytische Denkweise.
- Sehr gute Kommunikationsfähigkeiten in Deutsch und Englisch.
- Teamfähigkeit und die Fähigkeit, sowohl selbstständig als auch im Team zu arbeiten.
Wir bieten eine herausfordernde Position mit spannenden Projekten im Bereich moderner Datentechnologien. Sie profitieren von einem hybriden Arbeitsmodell, das Ihnen Flexibilität bietet, sowie von attraktiven Weiterbildungsmöglichkeiten und einem dynamischen Arbeitsumfeld in Wien. Wenn Sie die Zukunft der Datenverarbeitung aktiv mitgestalten wollen, freuen wir uns auf Ihre Bewerbung.