Chúng ta đều biết rằng ngành khoa học dữ liệu liên tục phát triển kéo theo các chức danh và vai trò công việc liên tục được tăng thêm. Trong những ngày đầu, hầu hết các vai trò trong ngành đều đi kèm với thuật ngữ “ big data”. Tuy nhiên, những năm vừa qua, khi Machine learning ngày càng được vận hành nhiều hơn, MLOps bắt đầu xuất hiện ở nhiều đầu mục công việc khác nhau. Ngày nay, khi các tổ chức phát triển, sự hiểu biết về data và phân tích dữ liệu (analytics) cũng ngày một tăng. Từ đó, ta nhìn thấy tăng lên về nhu cầu với vai trò Analytics Engineer. Bài viết này nhằm mục đích làm rõ vai trò của vị trí kỹ sư phân tích cũng như so sánh nó với các vị trí làm việc liên quan đến dữ liệu hiện tại.
Analytics Engineer – Kỹ sư phân tích là gì?
Kỹ sư phân tích – sự giao thoa giữa vị trí Data Engineer và Data Analyst. Vị trí này phân tích xử lý dữ liệu thô để tạo tạo ra dữ liệu có sẵn, được sắp xếp và dễ dàng phân tích hơn. Các kỹ sư phân tích làm việc cùng với các nhà phân tích dữ liệu, kỹ sư dữ liệu và nhà khoa học dữ liệu giúp công ty xử lý lượng data khổng lồ, tối ưu hóa và đưa ra quyết định tốt hơn.
Một ví dụ được đưa ra bởi Josie Hall – Quản lý chương trình tại Google có thể giúp bạn dễ dàng hình dung vị trí của một Analytics Engineer trong một đội dữ liệu như sau : “ Một đội làm việc với một chiếc tủ đựng đồ. Xét về công việc, các Data Engineer giống như những người xây dựng tủ, họ thu thập nguyên vật liệu ( gỗ, dụng cụ nghề mộc,..) và tiến hành lắp ráp lại với nhau để tạo ra chiếc tủ. Sau đó, các Analytics Engineer với công việc giống như những người mở tủ, bắt đầu cho đĩa, bát vào và sắp xếp chúng theo một thứ tự nhất định. Họ có thể sắp xếp chúng theo màu sắc, hình dạng, kích thước,… Bước này tương tự như cách dữ liệu được sắp xếp, chuẩn bị để đảm bảo dữ liệu có chất lượng và có thể phân tích hiệu quả. Tiếp đó chúng được chuyển đến cho các Data Analyst, lúc này họ biết mọi thứ được đặt ở đâu vì chúng được sắp xếp gọn gàng. Giống như việc họ có thể dễ dàng lấy chiếc cốc đang được tìm kiếm và pha một tách cafe!”.
Lý do xuất hiện của vị trí Analytics Engineer
Câu hỏi được đặt ra rằng “ Tại sao cần có vị trí này trong khi các vị trí hiện có hoàn toàn có thể đảm nhận công việc của các kỹ sư phân tích?”
Lý do đầu tiên là tạo ra sự chuyên môn hóa trong công việc. Trước khi vị trí Analytics Engineer phát triển, các Data Analyst sẽ sử dụng các công cụ trực quan hóa như Tableau hoặc Power BI để cung cấp thông tin chi tiết cho các bên liên quan, khách hàng. Đây là các công cụ tuyệt vời để phân tích dữ liệu nhưng không phải cách tốt nhất để chuyển đổi và lưu trữ dữ liệu.
Hãy tưởng tượng một kịch bản, khi các Data Engineer triển khai một đường truyền để truyền tải dữ liệu tiếp thị, tuy nhiên chất lượng lại không tốt. Các kỹ sư dữ liệu sử dụng thuần các kiến thức kỹ thuật để chuyên trách thiết kế, xây dựng, và duy trì hệ thống và quy trình để thu thập, lưu trữ, xử lý, và phân phối dữ liệu. Những người ở vai trò này không có kiến thức chuyên môn về kinh tế để hiểu được đâu là những chuyển đổi cần thiết nằm trong các nhiệm vụ có mức độ ưu tiên cao hơn từ doanh nghiệp.
Do đó, các Data Analyst có thể phải chuyển đổi tạm thời dữ liệu trong Tableau hoặc Power BI bằng cách xây dựng các bảng tạm thời của riêng họ trong quá trình làm việc cùng trong cơ sở dữ liệu quan hệ. Điều này gây mất thời gian và giảm hiệu quả công việc.
Lúc này kỹ sư phân tích dữ liệu sẽ tham gia. Vị trí này đòi hỏi vừa có kiến thức chuyên ngành vừa có kỹ năng kỹ thuật để tối ưu hóa chuyển đổi dữ liệu. Bằng cách làm việc chặt chẽ với nhà phân tích dữ liệu, kỹ sư phân tích có thể cung cấp dữ liệu sạch để nhà phân tích dữ liệu sử dụng bằng cách chuyển đổi dữ liệu bằng các công cụ và công nghệ phù hợp. Sự xuất hiện của vai trò mới này sẽ giúp doanh nghiệp tiết kiệm thời gian, tăng năng suất công việc và tối ưu hóa chi phí bỏ ra cho các khâu liên quan.
Sự khác biệt trong công việc của Data Engineer, Data Analysis và Analytics Engineer?
Như đã đề cập, kỹ sư dữ liệu đóng vai trò như cầu nối giữa Data Engineer và Data Analyst. Tuy vậy, ranh giới giữa các vai trò là khá mờ nhạt. Bởi vậy, chúng ta cần hiểu và phân biệt rõ công việc và bộ kỹ năng mỗi vị trí yêu cầu.
Kỹ sư dữ liệu ( Data Engineer) Kỹ sư phân tích ( Analytics Engineer) Nhà phân tích dữ liệu (Data Analyst) Công việc Xây dựng và duy trì đường ống dữ liệu ETL bằng cách sử dụng API của nhà cung cấp độc quyền.
Tối ưu hóa và tập trung dữ liệu trong hồ dữ liệu hoặc kho dữ liệu.
Cung cấp dữ liệu vào machine learning pipelines. Xử lý dữ liệu trên đám mây. Tối ưu hóa các pipelines được xây dựng bởi các kỹ sư dữ liệu để sử dụng.
Áp dụng các phương pháp thực hành kỹ thuật tốt nhất vào các mô hình dữ liệu được các nhà phân tích dữ liệu và nhà khoa học sử dụng.
Phát triển, chuẩn hóa và cải thiện tài liệu về dữ liệu. Phân tích dữ liệu và báo cáo thông tin chi tiết cho các bên liên quan.
Xây dựng bảng thông tin được sử dụng bởi toàn bộ tổ chức.
Tận dụng chuyên môn về chủ đề và kiến thức chuyên ngành để đưa ra khuyến nghị. Chuyên môn – Kỹ năng Kiến thức chuyên môn về cơ sở dữ liệu, Big data,..
Thành thạo kỹ năng sử dụng đa dạng các ngôn ngữ lập trình: java, python,…
Kỹ năng xử lý và phân tích dữ liệu, thiết kế hệ thống, machine learning. Kỹ năng lập trình và kỹ thuật dữ liệu.
Kiến thức chuyên ngành kinh doanh. Kỹ năng lập trình và truy vấn dữ liệu, sử dụng thành thạo các công cụ trực quan hóa dữ liệu.
Kiến thức chuyên ngành kinh doanh.
Kỹ năng giao tiếp và thuyết phục. Công cụ R, Python, SQL, Git, Shell và command-line tools.
Các công cụ dữ liệu lớn như Airflow hoặc Spark.
Các công cụ dựa trên đám mây như AWS, Azure, GCP hoặc Snowflake. R, Python, SQLite, Shell và command-line tools.
Các công cụ dựa trên đám mây như AWS, Azure, GCP, Snowflake hoặc dbt. R hoặc Python.
SQL, Power BI, Tableau.
Bộ kỹ năng cần có của một Analytics Engineer
Là kỹ sư phân tích, bạn cần sở hữu nhiều kỹ năng khác nhau. Chúng bao gồm các kỹ năng kỹ thuật giúp bạn làm việc với các Data Engineer và kỹ năng cùng kiến thức chuyên môn sử dụng khi làm việc cùng Data Analyst. Ngoài ra bạn cần trang bị thêm cả những kỹ năng mềm, sử dụng khi tương tác với đồng nghiệp, khách hàng và các bên liên quan.
Các kỹ sư phân tích dựa nhiều vào kỹ năng sử dụng các công cụ khác nhau để thực hiện nhiệm vị. Các kỹ năng công nghệ mà một Analytics Engineer nên có bao gồm:
Kiến thức về phân tích dữ liệu Kiến thức về mô hình hóa dữ liệu và quản lý cơ sở dữ liệu Có kinh nghiệm với các ngôn ngữ lập trình như Python và R Có kinh nghiệm sử dụng nền tảng đám mây như AWS và Azure Có kinh nghiệm về lưu trữ dữ liệu Có kinh nghiệm sử dụng các công cụ trích xuất, chuyển đổi, tải (ETL-Extract, load, transform) và trích xuất, tải, chuyển đổi (ELT) Kinh nghiệm sử dụng các công cụ tích hợp dữ liệu. Ngoài ra kỹ sư phân tích phải thuần thục việc mô hình hóa dữ liệu và lưu trữ. Vị trí này phải xuất sắc trong mô hình dữ liệu và kho dữ liệu, vì đây là nền tảng để cấu trúc và lưu trữ dữ liệu hiệu quả. Bộ kỹ năng này bao gồm hiểu các nguyên tắc thiết kế cơ sở dữ liệu, thành thạo SQL và quen thuộc với các giải pháp kho dữ liệu như Snowflake, Redshift hoặc BigQuery. Sự thành thạo trong lĩnh vực này đảm bảo rằng dữ liệu có thể truy cập được, đáng tin cậy và sẵn sàng để phân tích, cho phép kỹ sư hỗ trợ các giải pháp phân tích có khả năng mở rộng.
Không những thế, khả năng trực quan hóa dữ liệu và tạo báo cáo thông tin là rất quan trọng để chuyển đổi dữ liệu phức tạp thành thông tin chi tiết dễ hiểu. Kỹ sư phân tích nên có kỹ năng sử dụng các công cụ trực quan hóa dữ liệu như Tableau, Power BI hoặc Looker. Họ cần thiết kế bảng thông tin và báo cáo truyền đạt hiệu quả các phát hiện cho các bên liên quan, cho phép đưa ra quyết định dựa trên dữ liệu trong toàn tổ chức.
Một điểm khiến các kỹ sư phân tích khác biệt so với kỹ sư dữ liệu đó là sự hiểu biết về kiến thức chuyên môn chuyên ngành kinh doanh. Sự hiểu biết này cho phép họ chọn lựa và xử lý dữ liệu tối ưu. Vì các Analytics Engineer cần làm việc hiệu quả cả khi một mình và với đồng nghiệp cũng như các bên đối tác nên việc trang bị cho mình các kỹ năng mềm là thực sự cần thiết. Cụ thể trong đó có thể kể đến như: khả năng tư duy logic, tư duy phản biện và thuyết trình, kỹ năng nghiên cứu, kỹ năng lãnh đạo, khả năng hợp tác,…
Tiềm năng phát triển của vị trí kỹ sư phân tích
Vai trò của kỹ sư phân tích dữ liệu còn mới mẻ, có nghĩa là có rất ít người trên thị trường có các kỹ năng để thành công trong vai trò này. Nhu cầu ngày một tăng trong khi nguồn nhân lực chưa kịp thay đổi để đáp ứng. Đây chính là cơ hội cho các bạn thử sức ở vai trò này trước khi chúng trở nên cạnh tranh hơn.
Mức lương của các Analytics Engineer cũng được coi là con số đáng mơ ước của nhiều người.
Xu hướng lương Analytics Engineer
Theo aijobs.net , mức lương trung bình của Kỹ sư phân tích trung cấp/trung cấp trên toàn cầu nằm trong khoảng từ $91.000 đến $172.000.
Tại Việt Nam, mức lương theo cấp bậc dành cho vị trí nhân viên khoảng hơn $1000 cho vị trí nhân viên.
Mức lương Analysis Engineer
Kết luận
Trong lĩnh vực dữ liệu đang phát triển nhanh chóng vào năm 2024, các Kỹ sư Phân tích phải thể hiện chuyên môn của mình theo những cách phù hợp với nhu cầu ngày càng tăng của ngành. Hy vọng rằng bài viết này sẽ giúp bạn có cái nhìn khái quát về công việc Analytics Engineer và chọn được cho mình vị trí phù hợp trong công việc.
Mời các bạn tham khảo thêm:
KHOÁ HỌC TRUY VẤN VÀ THAO TÁC DỮ LIỆU SQL TỪ CƠ BẢN ĐẾN NÂNG CAO
KHÓA HỌC DATA WAREHOUSE : TỔNG HỢP, CHUẨN HÓA VÀ XÂY DỰNG KHO DỮ LIỆU TRONG DOANH NGHIỆP
KHÓA HỌC DATA MODEL – THIẾT KẾ MÔ HÌNH DỮ LIỆU TRONG DOANH NGHIỆP
LỘ TRÌNH TRỞ THÀNH DATA ENGINEER CHO NGƯỜI MỚI BẮT ĐẦU
DATA ENGINEER LÀ GÌ? CÔNG VIỆC CHÍNH CỦA DATA ENGINEER? CÁC KỸ NĂNG CẦN THIẾT