Bạn nghĩ sao về việc "chuyển đổi video live-action thành hoạt hình"? Đây không phải đơn giản là việc ghi lại chuyển động, mà là ghi lại một chuỗi trong đời thực và sau đó trí tuệ nhân tạo (AI) sẽ phụ trách chuyển thể mọi thứ thành hoạt hình theo phong cách anime. Nhưng làm thế nào mà một AI tạo hình ảnh có thể chuyển đổi video? Tất nhiên, nếu theo lý thuyết thì điều này không thể, nhưng thực tế thì vẫn có cách để làm được.

Cụ thể, AI sẽ chuyển đổi từng khung hình của video gốc thành phong cách anime, tạo thành một bộ sưu tập hình ảnh, và khi được phát theo trình tự từng cái ảnh một sẽ tạo lại video gốc nhưng với một phong cách mới. Tuy nhiên, cách làm này vẫn có một số vấn đề nhất định, vì AI không biết rằng nó phải duy trì "cùng một ký tự trong tất cả các lần lặp lại".

Vấn đề chính là AI tạo ra "nhân vật anime" dựa trên vị trí của người mẫu trong một khung hình nhất định, nhưng không phải lúc nào ảnh nhân vật được tạo ra cũng giống hệt nhau hoàn toàn. Đến khi những hình ảnh này được chiếu theo trình tự, có thể nhận thấy rằng nhân vật do AI tạo ra sẽ có thay đổi vào những thời điểm nhất định. Tuy điều đó tạo ra hiệu ứng hấp dẫn về mặt hình ảnh, nhưng không chính xác về mặt kỹ thuật.

Thế nhưng, có vẻ như điều này đang dần được khắc phục. Người dùng Reddit  u/neilwong2012 đã chia sẻ quá trình chuyển đổi từ video người thật sang phong cách anime, bằng cách sử dụng công cụ Stable Diffusion và MultiControlNet, và kết quả hết sức bất ngờ.

Rõ ràng, kết quả mà AI tạo ra trong video trên rất ấn tượng và khá ổn định về phong cách. Điều này thu hút khá nhiều bình luận của cư dân mạng:

- Hình ảnh động rất nhất quán, không có một số phần nhất định bị mờ liên tục và hiện tượng biến dạng xảy ra rất khó nhận thấy so với các video khác.

- Bạn đã đưa rotoscoping lên một cấp độ hoàn toàn mới và nó thực sự ấn tượng khi xem.

- Chỉ cần một vài bước nữa để hoàn thiện kỹ thuật này thôi.

- Hãy đợi khoảng năm năm nữa và đây sẽ trở thành cách sản xuất anime và phim hoạt hình trong tương lai.

- Cách làm này tiềm năng cũng rất lớn đối với trò chơi điện tử.

- Điều này sẽ trở thành tiêu chuẩn chất lượng anime cho hoạt hình chuyển động trong nhiều năm tới?

- Trong vài tháng nữa, biết đâu người ta có thể tạo ra bất kỳ phim hoạt hình nào. Hãy nghĩ đến những phần tiếp theo của loạt anime chưa từng được thực hiện, như Highschool of the Dead Season 2 chẳng hạn.