MLOps, hay Machine Learning Operations (Vận hành học máy), là một tập hợp các phương pháp hay quy trình nhằm hợp lý hóa quy trình phát triển, triển khai và duy trì các mô hình học máy (ML).
Nếu như bạn muốn nâng cao hiệu suất cho các dự án Machine Learning của mình? Hãy cùng khám phá top 5 công cụ MLOps nguồn mở mạnh mẽ, giúp bạn đơn giản hóa quy trình phát triển, triển khai và vận hành mô hình học máy một cách hiệu quả.
1. KitOps - Giải pháp đóng gói mô hình AI/ML tiêu chuẩn
KitOps là một dự án nguồn mở tiên tiến được thiết kế để tăng cường sự cộng tác giữa các nhà khoa học dữ liệu, nhà phát triển ứng dụng và các kỹ sư SRE (Site Reliability Engineer - Kỹ sư độ tin cậy hệ thống) làm việc trong lĩnh vực tích hợp hoặc quản lý các mô hình AI/ML tự lưu trữ.
Tại sao nên sử dụng KitOps? Hiện tại, không có hệ thống đóng gói tiêu chuẩn và có phiên bản cho các dự án AI/ML.
Để giải quyết vấn đề này, KitOps đã được xây dựng. Mục tiêu của KitOps là trở thành một thư viện các gói có phiên bản cho dự án AI của bạn, được lưu trữ trong một registry (nơi lưu trữ các gói phần mềm) doanh nghiệp mà bạn đã sử dụng.
Dưới đây là lý do tại sao ModelKit của Kit là giải pháp tốt hơn:
- Kết hợp các mô hình, tập dữ liệu, mã và tất cả ngữ cảnh mà các nhóm cần để tích hợp, kiểm tra hoặc triển khai:
-
Mã huấn luyện -
Mã mô hình -
Mô hình tuần tự -
Huấn luyện, xác thực và các tập dữ liệu khác -
Siêu dữ liệu
- Cho phép các nhóm sử dụng lại các registry vùng chứa hiện có của họ bằng cách đóng gói mọi thứ dưới dạng một tạo tác tuân thủ OCI (Open Container Initiative).
- Hỗ trợ giải nén chỉ một phần của gói mô hình vào máy cục bộ của bạn (tiết kiệm thời gian và dung lượng).
- Loại bỏ rủi ro giả mạo bằng cách sử dụng gói bất biến.
- Giảm thiểu rủi ro bằng cách bao gồm nguồn gốc của mô hình và tập dữ liệu.
Sử dụng kit pack để đóng gói sổ ghi chép Jupyter, mô hình tuần tự và tập dữ liệu của bạn (dựa trên Kitfile).
Sau đó, kit push nó vào bất kỳ registry tuân thủ OCI nào, ngay cả một registry riêng tư.
Hầu hết mọi người sẽ không cần mọi thứ, vì vậy chỉ cần kit unpack từ registry từ xa để lấy mô hình, chỉ các tập dữ liệu hoặc chỉ sổ ghi chép. Hoặc, nếu bạn cần mọi thứ thì kit pull sẽ lấy mọi thứ.
Bên trong KitOps có gì?
- ModelKit: Cốt lõi của KitOps là ModelKit, một định dạng đóng gói tuân thủ OCI cho phép chia sẻ liền mạch tất cả các tạo tác cần thiết liên quan đến vòng đời của mô hình AI/ML.
- Kitfile: Bổ sung cho ModelKit là Kitfile, một tệp cấu hình dựa trên YAML giúp đơn giản hóa việc chia sẻ cấu hình mô hình, tập dữ liệu và mã.
- Kit CLI: Kết nối mọi thứ lại với nhau là Giao diện dòng lệnh (CLI) của Kit. Kit CLI là một công cụ mạnh mẽ cho phép người dùng tạo, quản lý, chạy và triển khai ModelKit bằng cách sử dụng Kitfiles.
Bạn có thể tham khảo KitOps tại liên kết: https://kitops.ml/
2. Kubeflow - Nền tảng học máy và MLOps trên Kubernetes
Kubeflow là một nền tảng nguồn mở dành cho học máy và MLOps trên Kubernetes được Google giới thiệu. Các giai đoạn khác nhau trong vòng đời học máy điển hình được thể hiện bằng các thành phần phần mềm khác nhau trong Kubeflow, bao gồm phát triển mô hình, huấn luyện mô hình, phục vụ mô hình và học máy tự động.
Một số ưu điểm của Kubeflow:
- Kubeflow tương thích với các dịch vụ đám mây (AWS, GCP, Azure) và các dịch vụ tự lưu trữ.
- Nó cho phép các kỹ sư học máy tích hợp tất cả các loại framework AI để huấn luyện, tinh chỉnh, lên lịch và triển khai các mô hình.
- Nó cung cấp một bảng điều khiển tập trung để giám sát và quản lý các pipeline, chỉnh sửa mã bằng Jupyter Notebook, theo dõi thử nghiệm, registry mô hình và lưu trữ tạo tác.
Bạn có thể tham khảo Kubeflow tại liên kết: https://www.kubeflow.org/
3. MLflow - Quản lý vòng đời dự án học máy toàn diện
MLflow là một nền tảng mã nguồn mở, được xây dựng có mục đích để hỗ trợ các học viên và nhóm học máy trong việc xử lý sự phức tạp của quy trình học máy. MLflow tập trung vào toàn bộ vòng đời cho các dự án học máy, đảm bảo rằng mỗi giai đoạn đều có thể quản lý, theo dõi và tái tạo được.
Nó thường được sử dụng để theo dõi và ghi nhật ký thử nghiệm. Tuy nhiên, theo thời gian, nó đã trở thành một công cụ MLOps đầu cuối cho tất cả các loại mô hình học máy, bao gồm cả LLM (Mô hình ngôn ngữ lớn).
Bạn có thể quản lý toàn bộ hệ sinh thái học máy bằng cách sử dụng CLI, Python, R, Java và REST API.
MLFlow có 6 thành phần cốt lõi:
- Theo dõi (Tracking): phiên bản và lưu trữ các tham số, mã, số liệu và tệp đầu ra. Nó cũng đi kèm với hình ảnh trực quan về số liệu và tham số tương tác.
- Dự án (Projects): đóng gói mã nguồn khoa học dữ liệu để tái sử dụng và tái tạo.
- Mô hình (Models): lưu trữ các mô hình và siêu dữ liệu học máy ở định dạng tiêu chuẩn có thể được sử dụng sau này bởi các công cụ downstream (các công cụ xử lý dữ liệu sau khi được xử lý bởi mô hình). Nó cũng cung cấp các tùy chọn phục vụ và triển khai mô hình.
- Cơ quan đăng ký mô hình (Model Registry): kho lưu trữ mô hình tập trung để quản lý vòng đời của Mô hình MLflow. Nó cung cấp các phiên bản, dòng dõi mô hình, bí danh mô hình, gắn thẻ mô hình và chú thích.
- Công thức (Pipelines): các pipeline học máy cho phép bạn nhanh chóng đào tạo các mô hình chất lượng cao và triển khai chúng lên môi trường production.
- LLM: cung cấp hỗ trợ cho việc đánh giá, kỹ thuật nhắc nhở (prompt engineering), theo dõi và triển khai LLM.
Bạn có thể tham khảo MLflow tại liên kết: https://mlflow.org/
4. Metaflow - Tăng năng suất cho nhà khoa học dữ liệu
MetaFlow là một thư viện Python thân thiện với con người, giúp việc phát triển, triển khai và vận hành nhiều loại ứng dụng sử dụng nhiều dữ liệu trở nên đơn giản, đặc biệt là những ứng dụng liên quan đến khoa học dữ liệu, ML và AI. Metaflow ban đầu được phát triển tại Netflix để tăng năng suất cho các nhà khoa học dữ liệu làm việc trên nhiều dự án khác nhau, từ thống kê cổ điển đến học sâu hiện đại.
Metaflow ban đầu được phát triển tại Netflix để tăng năng suất cho các nhà khoa học dữ liệu. Giờ đây, nó đã được tạo thành mã nguồn mở, vì vậy mọi người đều có thể hưởng lợi từ nó.
Nó cung cấp một API (giao diện lập trình ứng dụng) thống nhất để quản lý dữ liệu, quản lý phiên bản, điều phối, đào tạo và triển khai chế độ và tính toán. Nó tương thích với các nhà cung cấp đám mây và framework học máy chính.
Bạn có thể tham khảo Metaflow tại liên kết: https://metaflow.org/
5. MLRun - Framework điều phối AI mã nguồn mở
MLRun là một framework điều phối AI nguồn mở để quản lý các ứng dụng ML và AI tạo sinh trong suốt vòng đời của chúng. Nó tự động hóa việc chuẩn bị dữ liệu, điều chỉnh mô hình, tùy chỉnh, xác thực và tối ưu hóa các mô hình ML, LLM và các ứng dụng AI trực tiếp trên các tài nguyên đàn hồi. MLRun cho phép triển khai nhanh chóng các đường ống phục vụ và ứng dụng theo thời gian thực có thể mở rộng trong khi cung cấp khả năng quan sát tích hợp và các tùy chọn triển khai linh hoạt, hỗ trợ các môi trường đa đám mây, lai và tại chỗ.
Các chức năng cốt lõi bên trong MLRun:
- Quản lý dự án : một trung tâm tập trung quản lý nhiều tài sản của dự án như dữ liệu, chức năng, công việc, quy trình làm việc, bí mật, v.v.
- Dữ liệu và hiện vật : kết nối nhiều nguồn dữ liệu khác nhau, quản lý siêu dữ liệu, lập danh mục và tạo phiên bản cho hiện vật.
- Cửa hàng tính năng : lưu trữ, chuẩn bị, lập danh mục và cung cấp các tính năng mô hình để đào tạo và triển khai.
- Chạy hàng loạt và quy trình công việc : chạy một hoặc nhiều chức năng và thu thập, theo dõi và so sánh tất cả kết quả và hiện vật của chúng.
- Đường ống phục vụ thời gian thực : triển khai nhanh chóng dữ liệu có thể mở rộng và đường ống học máy.
- Giám sát thời gian thực : giám sát dữ liệu, mô hình, tài nguyên và thành phần sản xuất.
Bạn có thể tham khảo MLRun tại liên kết: https://www.mlrun.org/
Mỗi dự án đều có một số điểm tương đồng và một số điểm khác biệt. Và mỗi sản phẩm đều khác nhau, do đó nhu cầu cũng khác nhau.
Nếu bạn là người đam mê mã nguồn mở và có hứng thú hoặc hiểu biết về MLOps/DevOps, hy vọng bài viết này giúp ích cho các bạn!