Làm thế nào để giảm chi phí điện toán AI

Brock Ferguson là người coi trọng thực hành hơn lý thuyết.

Công ty tư vấn về khoa học dữ liệu và máy học có trụ sở tại Chicago mà ông đồng sáng lập vào năm 2016, Strong Analytics , tập trung chủ yếu vào việc sản xuất các mô hình AI thay vì chỉ xây dựng bằng chứng khái niệm.

"Chúng tôi muốn thu hẹp khoảng cách giữa nghiên cứu trong phòng thí nghiệm và triển khai sản xuất", ông nói. "Chúng tôi suy nghĩ rất nhiều về điều đó".

Điều đó có nghĩa là phải suy nghĩ nhiều về chi phí — một vấn đề luôn hiện hữu trong tâm trí của những người thực hành và tư vấn về máy học, nhưng lại một lần nữa trở nên nổi bật nhờ bài đánh giá gần đây của Andreesen Horowitz nhấn mạnh đến chi phí điện toán cao và liên tục để xây dựng và triển khai các mô hình trí tuệ nhân tạo .

Ferguson cho biết bài đánh giá này “hoàn toàn đúng”.

Vậy chính xác thì các tổ chức có thể làm gì để giảm bớt căng thẳng đó? Hóa đơn cao của nhà cung cấp đám mây có phải là chi phí không may nhưng cần thiết khi kinh doanh ML không? Có bao giờ chuyển sang hệ thống lai có hợp lý hơn về mặt tài chính không? Chúng tôi đã hỏi Ferguson và một số chuyên gia khác để xin lời khuyên về cách tránh bị sốc giá liên tục.

Xử lý số liệu sớm

Có lẽ đây là điều hiển nhiên, nhưng đủ quan trọng để nêu rõ: Các công ty thực sự phải cân nhắc chi phí điện toán ngay từ đầu. Bước đầu tiên trong việc giải quyết chi phí sản xuất là lập mô hình các con số đó thật tốt trước khi triển khai hệ thống AI, David Linthicum, giám đốc chiến lược đám mây tại Deloitte, nói với Built In.

Ông cho biết, điều đó cung cấp cho các công ty "một cơ sở vững chắc để hiểu được số tiền sẽ chi tiêu và cho phép cân nhắc một số sự đánh đổi".

Điều đó bao gồm việc đảm bảo các công ty xem xét các điểm tinh tế hơn của cơ sở hạ tầng dữ liệu của họ ngay từ đầu. Trên thực tế, chi phí thường ít liên quan đến các dịch vụ AI xử lý dữ liệu và nhiều hơn về bản thân dữ liệu — lưu trữ, trích xuất, xuất và nhập dữ liệu, theo Tristan Morel L'Horset, trưởng nhóm phát triển cơ sở hạ tầng và đám mây tại Accenture .

Các phương pháp tiếp cận dữ liệu khác nhau tùy theo ứng dụng đang theo đuổi, vì vậy hãy quên đi một phương pháp phù hợp với tất cả. Nhưng một số mối quan tâm là phổ biến, như cái gọi là trọng lực dữ liệu. Tóm lại, hãy tính toán vị trí của dữ liệu.

“Hầu hết dữ liệu của bạn nằm ở đâu? Chúng tôi muốn xử lý và thực hiện các dịch vụ AI trên dữ liệu đó, nơi nó nằm nhiều nhất.” L'Horset cho biết.

Ông nói thêm rằng khi thiết lập lưu trữ dữ liệu, hãy cân nhắc cẩn thận dữ liệu nào bạn cần theo thời gian thực và dữ liệu nào bạn cần chậm hơn.

Ngoài ra, tính linh hoạt có thể tốn kém. Có thể có những chi phí lớn liên quan đến việc di chuyển dữ liệu giữa các khu vực và giữa các nhà cung cấp dịch vụ đám mây. Ông cho biết các công ty đã tìm cách giảm thiểu những chi phí đó bằng cách tập trung vào một nhà cung cấp chính duy nhất. Nhưng ngay cả khi các ứng dụng và dữ liệu được phân bổ trên nhiều nhà cung cấp khác nhau, vẫn giữ chúng được bản địa hóa với nhau để giúp tiết kiệm tiền, Linthicum cho biết, người nói thêm rằng việc cố gắng thương lượng chi phí đầu vào với nhà cung cấp của bạn cũng có thể có lợi.

L'Horset cho biết các công ty không cân nhắc đầy đủ các vấn đề như bản địa hóa dữ liệu và tính linh hoạt so với sự đổi mới giữa các nhà cung cấp dịch vụ đám mây "cuối cùng sẽ không tận dụng được hết giá trị của đám mây".

Hình ảnh: Shutterstock

Làm những việc dễ dàng

Các nhà cung cấp dịch vụ đám mây nổi tiếng đều bán các nguồn lực hiệu quả trực tiếp, như Cloud Cost and Asset Management của IBM , hoặc thông qua các liên minh bên thứ ba, như AWS Cloud Management Tools Partners của Amazon . Đừng tiết kiệm ở đây.

Linthicum cho biết: “Các tổ chức cần thiết lập quản lý chi phí, nơi việc sử dụng được theo dõi, phân tích và báo cáo”. “Các giới hạn cũng có thể được thiết lập bằng cách sử dụng các hệ thống này và điều này sẽ giúp doanh nghiệp tránh khỏi rắc rối vượt chi phí”.

Một cách nổi bật để sử dụng hiệu quả hơn là tự động mở rộng quy mô. Đây là cách làm tốt cho bất kỳ ai sử dụng điện toán đám mây, bao gồm cả những người sử dụng nó để chạy các mô hình học máy , theo Brock Ferguson, đồng sáng lập Strong Analytics.

"Mọi người có xu hướng thiết lập máy chủ hoặc cụm máy chủ rồi để nguyên như vậy", ông nói. "Thực tế là nếu bạn đang chạy API hoặc các tác vụ hàng loạt theo lịch trình, bạn cần phải phá bỏ cơ sở hạ tầng đó và khôi phục lại khi bạn cần".

"Bạn có thể tiết kiệm được khoảng 90 phần trăm chỉ bằng cách tắt mọi thứ", ông nói thêm. "Nghe có vẻ đơn giản nhưng hầu hết mọi người không thực sự làm điều đó và họ chỉ đang đốt một đống tiền".

Một biện pháp giảm chi phí khác dành riêng cho AI là chưng cất kiến ​​thức hoặc đào tạo một mô hình nhỏ, tinh gọn để tái tạo công việc của một mô hình lớn hơn, tốn nhiều tài nguyên hơn. Ferguson cho biết: "Bạn có thể chuyển từ yêu cầu một số máy chủ khủng hoặc thậm chí là GPU xuống thứ gì đó rẻ hơn, có thể dựa trên CPU, mà không phải hy sinh nhiều độ chính xác".

Đây là một lựa chọn khá dễ dàng, nhưng không phù hợp với mọi ứng dụng. Trọng tâm càng hẹp thì càng tốt. Ví dụ, các mô hình ngôn ngữ lớn, như trình dự đoán văn bản, không phải là ứng cử viên tuyệt vời, nhưng mô hình phân loại rất có thể là ứng cử viên. Ông nói: "Bạn thường có thể chắt lọc các mô hình đó khá nhiều". "Sau đó, bạn có thể chạy trên phần cứng hiệu quả hơn".

Ngoài ra còn có một hệ sinh thái nhỏ nhưng đang phát triển của các đối thủ cạnh tranh là nhà cung cấp dịch vụ đám mây, như Paperspace, và các dịch vụ cho thuê GPU, như Vast AI, tự quảng cáo là các giải pháp thay thế tiết kiệm chi phí cho AWS, Azure và Google Cloud. Các chuyên gia mà chúng tôi đã trao đổi hoặc không có kinh nghiệm trực tiếp hoặc coi chúng chủ yếu là các dịch vụ ngách. Và công bằng hay không, chúng vẫn được coi là không thể khởi nghiệp đối với nhiều doanh nghiệp.

“Có lẽ đối với các doanh nghiệp nhỏ, nhưng đối với các doanh nghiệp Global 2000, các nhà cung cấp đám mây công cộng lớn hơn thường chỉ là những gì được xem xét”, Linthicum cho biết. “Xét đến số lượng điểm hiện diện cần thiết và nhu cầu về quy mô được đảm bảo, các nhà cung cấp đám mây cần phải chi nhiều tỷ đô la để tham gia vào trò chơi đó và những người chơi nhỏ hơn thường chỉ đóng vai trò thích hợp”.

Sử dụng những gì đã có sẵn

Nếu bạn theo bản năng cảm thấy bắt buộc phải xây dựng mô hình AI của mình từ đầu, hãy đặt câu hỏi về bản năng đó. Các công ty có thể tiết kiệm chi phí bằng cách thử nghiệm các API giá rẻ và xây dựng trên các mạng nơ-ron được đào tạo trước mà Big Cloud đã cung cấp.

Karl Freund, một nhà phân tích cấp cao về điện toán hiệu suất cao và máy học tại Moor Insights and Strategy cho biết: "Một số người sẽ nói rằng bất kỳ AI nào đáng làm đều đáng làm theo yêu cầu — Tôi không chắc mình có đồng ý với điều đó không". "Có một số thành quả dễ dàng, dễ đạt được đối với việc áp dụng AI có thể được phục vụ đầy đủ chỉ bằng cách truy cập Microsoft Azure".

Nhiều công ty đã có sẵn cơ sở hạ tầng của Microsoft, vì vậy có thể mở rộng các ứng dụng đó bằng bất kỳ tính năng AI nào có sẵn trên Azure phù hợp với mục tiêu của tổ chức. Tương tự với các văn phòng thiên về Google, mặc dù các công cụ của họ kém mạnh mẽ hơn một chút khi so sánh, theo Freund. Bạn có thể cảm thấy hơi bị ràng buộc với các mạng được đào tạo trước của nhà cung cấp đó, nhưng đây là sự đánh đổi về chi phí-lợi ích đáng để cân nhắc.

Và mặc dù có mức độ ràng buộc với nhà cung cấp, vẫn có những con đường để mở rộng.

"Nếu bạn muốn thêm một số thành phần dữ liệu của riêng mình, bạn có thể làm như vậy", ông nói. "Về cơ bản, bạn xây dựng một mạng nơ-ron xử lý trước nằm trước mạng nơ-ron được đào tạo trước của họ".

Hình ảnh: Shutterstock

Hãy cân nhắc đến việc xử lý kết hợp hoặc tại chỗ

Phần lớn các công ty có xu hướng thực hiện công việc tính toán học máy của họ trên đám mây. Freund cho rằng ít nhất 80 phần trăm là như vậy. Nhưng các công ty nên cảnh giác để ý khi nào thì phương pháp kết hợp bắt đầu có ý nghĩa hơn — hoặc, trong những trường hợp hiếm hơn, khi nào thì việc di chuyển toàn bộ sang tại chỗ có thể có ý nghĩa hơn.

Đánh giá gần đây của Andreessen Horowitz nhấn mạnh rằng việc đào tạo lại các mô hình để ngăn chặn sự trôi dạt dữ liệu là một cam kết tài chính liên tục, mặc dù "có thể coi đây là chi phí một lần".

Lời khuyên của Freund phù hợp với quan điểm đó, đặc biệt là khi liên quan đến câu hỏi nên đưa lên đám mây hay không (hoặc bổ sung cho đám mây).

“Đào tạo không phải là một lần rồi xong”, ông nói. “Bạn phải liên tục cập nhật các mô hình mạng nơ-ron của mình để giữ cho chúng luôn mới với các thành phần và mẫu dữ liệu mới. Việc đào tạo đó có thể khá tốn kém trên đám mây”.

Ông cho biết, vào thời điểm đó, có thể tiết kiệm chi phí hơn nếu đầu tư mua một số GPU và trang bị chúng cho các máy chủ tại chỗ.

Mặt khác, các hệ thống hoàn toàn tại chỗ là một loài chim hiếm hơn, nhưng chúng không nên bị loại bỏ ngay lập tức đối với các doanh nghiệp đang thực hiện các ứng dụng học sâu nặng với phần mềm thực hiện cùng một tác vụ nhiều lần. Linthicum cho biết: "Thực tế là điện toán tại chỗ truyền thống luôn phải là một lựa chọn, ngay cả khi bạn đã di chuyển khối lượng công việc và dữ liệu lên đám mây công cộng".

Ông nói thêm: “Trong một số trường hợp, khối lượng công việc không nên di chuyển ngay từ đầu và cần phải di chuyển trở lại để hoạt động bình thường. Đây là trường hợp khi nhà cung cấp đám mây công cộng không cung cấp nền tảng tương tự, chẳng hạn như máy chủ lớn và một số bộ xử lý cũ hơn.”

Đây là một trò chơi đánh giá liên tục. "Mặc dù đám mây công cộng là câu trả lời trong hầu hết thời gian, nhưng chúng không phải lúc nào cũng là câu trả lời", ông nói. "Các doanh nghiệp cần phải giữ một tâm trí cởi mở".

Các lựa chọn tốt nhất cho on-prem là gì? Freund đề cập đến Hệ thống DGX của Nvidia phổ biến nhưng đắt tiền, đây là máy chủ được cấu hình sẵn với GPU tích hợp. Đây là khoản đầu tư hàng nghìn đô la và việc chuyển sang on-prem sẽ kéo theo chi phí bảo mật mà người dùng đám mây không phải đối mặt, vì vậy không nên xem nhẹ. Nhưng các doanh nghiệp lớn nên theo dõi chặt chẽ các hóa đơn đám mây hàng tháng của mình để xem khi nào thì lựa chọn kết hợp hoặc on-prem bắt đầu có ý nghĩa.

Theo dõi thị trường GPU

Một hy vọng lớn lao trong số những người hành nghề AI là khi bộ xử lý tiếp tục tiến bộ, chi phí sẽ giảm tương ứng. Đánh giá của Andreessen Horowitz đã dội một gáo nước lạnh vào sự lạc quan đó, tuyên bố rằng điện toán phân tán "chủ yếu giải quyết vấn đề tốc độ — không phải chi phí", nhưng một số chuyên gia vẫn coi dự đoán đó là có cơ sở và thúc giục các công ty ghi nhớ điều đó.

Linthicum cho biết: “Chi phí sẽ giảm xuống khi các hệ thống này được tối ưu hóa nhiều hơn, sử dụng ít dung lượng lưu trữ và sức mạnh tính toán hơn”. “Những tiến bộ như AI không máy chủ có nghĩa là nhà cung cấp dịch vụ đám mây phải tìm ra những tài nguyên tốt nhất và ít tốn kém nhất đáp ứng nhu cầu của hệ thống AI ngay tại thời điểm thực hiện. Điều này có nghĩa là sẽ không có tình trạng mua quá nhiều hoặc quá ít tài nguyên, điều này ảnh hưởng đáng kể đến chi phí của các tài nguyên theo thời gian”.

Freund cũng tin rằng cải tiến bộ xử lý sẽ giúp giảm chi phí. Mặt khác, ông cũng thấy thời gian giao hàng bị trì hoãn hết lần này đến lần khác. Với những ngoại lệ đáng chú ý như Google, công ty đã công bố TPU vào năm 2016 và Tesla, công ty hiện đang sử dụng bộ xử lý độc quyền của riêng mình trong các phương tiện, kỳ vọng kéo dài nhiều năm rằng nhiều đối thủ cạnh tranh của Nvidia sẽ xuất hiện — và do đó giảm chi phí — hầu như không diễn ra trong thực tế.

“Về mặt trung tâm dữ liệu, Intel đã cố gắng đưa chip của họ ra thị trường trong hơn ba năm”, ông nói. “Cuối cùng họ đã từ bỏ, mua một công ty khởi nghiệp [Habana Labs] và đang bắt đầu lại”.

Nhưng sau khi chứng kiến ​​một số công trình thiết kế của các công ty khởi nghiệp như Habana và Groq, được ra mắt bởi các cựu chiến binh trong nhóm phát triển TPU của Google, Freund lạc quan rằng sẽ có sự điều chỉnh — nếu không muốn nói là sớm thôi.

“Những anh chàng này đều có thiết kế thực sự tuyệt vời và tại một thời điểm nào đó sẽ có những sản phẩm sản xuất có thể cạnh tranh với Nvidia và cung cấp mức giá thấp hơn”, ông nói. “Điều đó vẫn chưa xảy ra”.