Data Engineer là một nghề khá nổi trong lĩnh vực công nghệ thông tin. Khá nhiều người đang đi làm cũng có xu hướng chuyển sang làm làm Data Engineer. Vậy bạn đã biết gì về Data Engineer? Hãy cùng INDA khám phá con đường trở thành một Data Engineer qua bài viết sau đây.
- Data Engineer (Kỹ sư dữ liệu) là gì?
DataEngineer hay kỹ sư dữ liệu là một nhân viên IT có công việc chính là chuẩn bị dữ liệu để phân tích hoặc sử dụng trong các hoạt động khác nhau của một tổ chức. Data Engineer là người phụ trách việc phát triển, xây dựng, kiểm tra và duy trì kiến trúc của hệ thống dữ liệu. Đồng thời, họ cũng chịu trách nhiệm đề xuất biện pháp cải thiện chất lượng dữ liệu.
Mục tiêu quan trọng nhất trong công việc của một Data Engineer là hoàn thiện và phát triển nguồn dữ liệu. Muốn làm được điều này họ sẽ phải thường xuyên cải tiến quy trình thiết lập dữ liệu, để có thể mô hình hóa, khai thác và sản xuất dữ liệu hiệu quả hơn. Các kỹ sư phần mềm này thường chịu trách nhiệm xây dựng các đường dẫn dữ liệu để tập hợp thông tin từ các hệ thống nguồn khác nhau. Họ làm sạch dữ liệu, tích hợp, hợp nhất và cấu trúc nó để sử dụng trong các ứng dụng phân tích. Họ đặt mục tiêu làm cho dữ liệu dễ dàng truy cập và tối ưu hóa hệ sinh thái dữ liệu lớn của tổ chức.
- Công việc của Data Engineer
Về cơ bản, công việc của Data Engineer hoàn toàn xoay quanh dữ liệu. Thông thường, nhiệm vụ của Data Engineer sẽ là xây dựng các luồng dữ liệu (data pipeline) để phân tích, vận hành, tích hợp và đồng bộ dữ liệu giữa các hệ thống riêng lẻ.
Các luồng dữ liệu này sẽ tập trung vào một chỗ duy nhất, gọi là kho chứa (data warehouse). Trong quá trình được đưa về kho chứa, dữ liệu sẽ được xử lý để thuận tiện hơn cho việc lưu trữ và sử dụng. Các doanh nghiệp coi trọng việc phát triển data warehouse vì họ cần dữ liệu phục vụ cho việc phân tích, theo dõi số liệu, lên báo cáo, dashboard và một số công tác vận hành khác.
Bên cạnh đó, Data Engineer cũng làm nhiệm vụ đem dữ liệu từ hệ thống này sang hệ thống khác để sử dụng cho một tính năng mới nào đó. Trong một số công ty nhỏ, Data Engineer có thể đảm nhận thêm nhiệm vụ lập báo cáo và dashboard. Với những Data Engineer giỏi hơn thì họ có thể đảm nhận một số nhiệm vụ có liên quan đến AI.
- Kỹ năng cơ bản của Data Engineer
Data Engineer được biết đến là vị trí công việc đòi hỏi người đảm nhận phải có chuyên môn cao. Vì vậy, để dấn thân vào nghề Data Engineer, bạn cần trang bị cho mình những kỹ năng cơ bản sau:
3.1 Data warehouse + SQL + ELT/ ETL
Data warehouse chính là đối tượng bạn phải xây dựng. Vì vậy hiểu rõ về nó là điều hiển nhiên. Cụ thể bạn cần nắm vững cấu trúc, cách thức vận hành, cách thực thi câu lệnh SQL, cách lấy dữ liệu ra và đưa lên hệ thống báo cáo visualization. Hiện nay data warehouse trên cloud đang được sử dụng phổ biến. Vì vậy, bạn cần tìm hiểu về Google BigQuery, AWS RedShift, Snowflakes.
SQL là ngôn ngữ lập trình giúp bạn tương tác với dữ liệu, lấy dữ liệu ra và chuyển hóa dữ liệu. Đây là công cụ mà Data Engineer phải giỏi nhất. Nói cách khác, SQL là yếu tố có tính sống còn đối với nghề Data Engineer.
Ngoài SQL và Data warehouse, kỹ sư dữ liệu còn phải nắm vững kỹ thuật ETL. Bởi vì đây là hai cách quan trọng giúp họ thu thập và chuyển hóa dữ liệu để dùng cho các mục đích khác nhau. Nói tóm lại, đã làm về dữ liệu thì ETL và ELT nên ở mức “tốt”.
3.2 Database
Database – cơ sở dữ liệu là nơi chứa dữ liệu. Vì vậy để làm việc với dữ liệu bạn cần hiểu về database. Bạn sẽ phải biết được cách các database lớn hiện nay như MySQL, Postgres, SQL Server và Oracle vận hành như thế nào và phải làm sao để tối ưu SQL khi cần lấy dữ liệu?
Kế tiếp bạn sẽ phải tìm hiểu thêm về các loại database mới, thường được dùng cho các mục đích riêng. Ngoài ra bạn cũng cần biết về NoSQL database. Đây là một loại database mới nhưng đang được sử dụng ngày càng nhiều.
3.3 Phát triển phần mềm
Data Engineer cũng cần có kiến thức về front end (web, app) và backend để biết các hệ thống này được xây dựng ra sao? Sử dụng bằng ngôn ngữ gì? Thậm chí còn phải tìm hiểu thật nhiều, thật sâu về chúng.
Có hiểu biết về phát triển phần mềm bạn sẽ làm việc với bên lập trình hiệu quả hơn và bạn có thể giải quyết các vấn đề phát sinh trong công việc tốt hơn. Hơn nữa, có hiểu biết về phát triển phần mềm còn giúp bạn tự động hóa công việc của mình, từ đó có thể tiết kiệm thời gian làm việc và giảm sai sót.
Ngoài ra, các công việc liên quan đến data pipeline cũng cần sử dụng các ngôn ngữ lập trình thường sử dụng trong xây dựng backend. Nên bạn có thể thông qua việc học về phát triển phần mềm để rèn luyện khả năng sử dụng ngôn ngữ lập trình.
3.4 Hạ tầng và cloud
Hạ tầng là những thứ có liên quan tới server, Linux, cách lưu trữ, cách dùng Docker. Còn cloud là công cụ để bạn thực hiện công việc. Nghĩa là bạn cần biết tạo ra một server, thiết lập nó, cài các công cụ cần thiết để hạ tầng có thể phân chia dữ liệu tùy theo nhu cầu và lượng dữ liệu cần xử lý.
3.5 Hiểu cơ bản khái niệm kinh doanh
Bên cạnh các kiến thức về chuyên môn thì Data Engineer cũng phải hiểu được các khái niệm kinh doanh cơ bản như quảng cáo, sản xuất, vận hành, chăm sóc khách hàng. Bởi vì các kiến thức này sẽ giúp bạn làm việc tốt hơn và giúp bạn biết phải làm gì để tạo ra giá trị cho công ty.
- Con đường trở thành Data Engineer
Đa phần các Data Engineer đều học về khoa học máy tính, công nghệ thông tin và các ngành liên quan. Điều đó đã giúp bạn có thể xây dựng nền tảng kiến thức cần thiết trong lĩnh vực phát triển nhanh chóng. Ngày nay Data Engineer là vị trí được doanh nghiệp chú trọng vì nhờ có dữ liệu họ có thể mở rộng quy mô và tận dụng tối đa tài nguyên dữ liệu của họ. Thế nhưng để bước đi trên con đường trở thành một Data Engineer giỏi bạn cần đáp ứng được những yêu cầu nhất định. Sau đây là các bước quan trọng có thể hữu ích với bạn:
Bước 1: Phát triển các kỹ năng cần thiết
Tìm hiểu các nguyên tắc cơ bản của điện toán đám mây, kỹ năng viết code và thiết kế cơ sở dữ liệu là điểm khởi đầu cho sự nghiệp trong khoa học dữ liệu của bạn. Dưới đây là một số kiến thức nền mà một Data Engineer phải có:
Coding: Thông thạo các ngôn ngữ lập trình là điều cần thiết cho vai trò này. Vì vậy hãy cân nhắc tham gia các khóa học để học hỏi và thực hành các kỹ năng của bạn. Các ngôn ngữ lập trình phổ biến bao gồm SQL, NoSQL, Python, Java, R và Scala.
Relational database và Non Relational database: Cơ sở dữ liệu xếp hạng cao trong số các giải pháp lưu trữ dữ liệu phổ biến nhất. Bạn nên làm quen với cả cơ sở dữ liệu quan hệ và không quan hệ, cũng như cách chúng hoạt động.
Hệ thống ETL (trích xuất, chuyển đổi và tải): ETL là quá trình bạn sẽ di chuyển dữ liệu từ database và các nguồn khác vào một kho lưu trữ duy nhất. Các công cụ ETL phổ biến bao gồm Xplenty, Stitch, Alooma và Talend.
Lưu trữ dữ liệu: Không phải tất cả các loại dữ liệu đều nên được lưu trữ theo cùng một phương pháp, đặc biệt là khi liên quan đến dữ liệu lớn. Ví dụ: khi bạn thiết kế các giải pháp dữ liệu cho một công ty, bạn sẽ cần biết nên sử dụng hồ dữ liệu hay kho dữ liệu.
Tự động hóa: Tự động hóa là một phần cần thiết khi làm việc với dữ liệu lớn, đơn giản vì các tổ chức có thể thu thập rất nhiều thông tin. Bạn sẽ có thể viết script để tự động hóa các tác vụ lặp đi lặp lại.
Học máy: Mặc dù học máy là mối quan tâm chính của các nhà khoa học dữ liệu, nhưng có thể hữu ích nếu bạn nắm được các khái niệm cơ bản để hiểu rõ hơn nhu cầu của họ trong nhóm của bạn.
Công cụ dữ liệu lớn: Data Engineer không chỉ làm việc với dữ liệu thông thường. Họ thường được giao nhiệm vụ quản lý dữ liệu lớn. Các công cụ và công nghệ đang phát triển và thay đổi theo từng công ty, nhưng một số công cụ phổ biến bao gồm Hadoop, MongoDB và Kafka.
Điện toán đám mây: Bạn sẽ cần hiểu về lưu trữ đám mây và điện toán đám mây khi các công ty ưu chuộng các dịch vụ này. Người mới bắt đầu có thể cân nhắc một khóa học về Dịch vụ Web Amazon (AWS) hoặc Google Cloud.
Bảo mật dữ liệu: Mặc dù một số công ty có thể có đội bảo mật dữ liệu chuyên dụng, nhưng nhiều Data Engineer vẫn được giao nhiệm vụ quản lý và lưu trữ dữ liệu một cách an toàn để bảo vệ chúng khỏi bị mất hoặc đánh cắp.
Bước 2: Lấy các chứng chỉ liên quan
Các chứng chỉ có thể xác nhận các kỹ năng của bạn với các nhà tuyển dụng tiềm năng. Chuẩn bị cho kỳ thi chứng chỉ là một cách tuyệt vời để phát triển kỹ năng và kiến thức của bạn. Một số lựa chọn tốt bao gồm Kỹ sư dữ liệu lớn liên kết, Kỹ sư dữ liệu chuyên nghiệp được chứng nhận của Cloudera, Kỹ sư dữ liệu được IBM chứng nhận hoặc Kỹ sư dữ liệu chuyên nghiệp được Google Cloud chứng nhận.
Bước 3: Xây dựng Portfolio
Portfolio cá nhân là thành phần quan trọng trong quá trình tìm kiếm việc làm, vì nó cho nhà tuyển dụng, người quản lý tuyển dụng và nhà tuyển dụng tiềm năng biết bạn có thể làm gì.
Bạn có thể thêm các dự án kỹ thuật dữ liệu mà bạn đã hoàn thành một cách độc lập hoặc như một phần của khóa học vào Portfolio của mình (sử dụng dịch vụ như Wix hoặc Squarespace). Ngoài ra, hãy đăng thành phẩm của mình lên phần Dự án trong hồ sơ LinkedIn hoặc lên một trang web như GitHub — cả hai đều là lựa chọn thay thế hợp lý cho một trang Portfolio chuyên nghiệp nếu bạn là người mới.
Bước 4: Tìm được việc làm
Hãy tìm cho mình một công việc trong lĩnh vực công nghệ thông tin ở cấp độ đầu vào. Công việc này có thể liên quan đến kỹ thuật dữ liệu hoặc không. Nhưng chỉ cần là một công việc về IT thì bạn đều có thể tiếp cận cách tổ chức dữ liệu của một doanh nghiệp. Những trải nghiệm này sẽ giúp bạn hiểu rõ hơn về cách mà dữ liệu được tạo ra, xử lý, lưu trữ và sử dụng. Bạn cũng hiểu được vì sao dữ liệu lại quan trọng. Bạn cũng biết được các Data Engineer không làm việc một mình và biết tìm ra cách xử lý vấn đề sáng tạo hơn.
Bước 5: Lấy các bằng cấp cao hơn
Nếu có điều kiện bạn có thể lấy bằng thạc sĩ về khoa học máy tính, kỹ thuật máy tính hoặc một chuyên ngành có liên quan. Học tập sẽ giúp bạn nâng cao kiến thức và kỹ năng chuyên môn. Đồng thời cũng giúp bạn mở rộng con đường trở thành một Data Engineer giỏi.
- Kết Luận
Trên đây chỉ là các bước phổ biến nhất giúp bạn trở thành một Data Engineer giỏi. Trên thực tế có nhiều con đường khác nhau để bạn theo đuổi sự nghiệp của một Data Engineer. Bởi vì không phải ai cũng khởi đầu sự nghiệp tại vị trí làm về kỹ thuật dữ liệu. Họ có thể bắt đầu từ vị trí Data Analyst, Data Scientist hoặc Business sau đó chuyển sang làm Data Engineer. Cho dù xuất phát điểm của bạn là gì thì chỉ cần trang bị cho mình những kiến thức và kỹ năng cần thiết với nghề Data Engineer là bạn có thể theo đuổi nghề này!