“Máy hoạt động rất tốt với số. Nhưng chúng không tốt với các biểu tượng (symbols)”, Lê Việt Quốc nói. Và ngôn ngữ là một điều gì có tính biểu tượng cao.
Bí quyết là tìm một cách để dịch các biểu tượng thành số. “Làm thế nào để xây dựng một khái niệm thành một cấu trúc toán học để máy móc có thể xử lý nó – điều đó vẫn còn chưa rõ”, anh nói. Nhưng, với những thứ như Word2Vec và các công nghệ xử lý ngôn ngữ tự nhiên khác, Quốc và những người khác đang sẵn sàng để làm một tiến bộ nhất định ở đây. Và đó là những gì chúng ta cần để xây dựng các máy có thể thực sự hiểu được những lượng thông tin khổng lồ, được đưa lên mạng với mỗi giây phút trôi qua.
“Sẽ không thể có cách nào để có sự giám sát đầy đủ cho điều đó”, Richard Socher, người đã làm nghiên cứu tiến sĩ về học sâu bên cạnh Quốc tại Stanford, và tiếp tục tập trung vào NLP, nói. “Hy vọng là thông qua sự kết hợp của việc học không giám sát và có giám sát, bạn thực sự có thể có được một hệ thống sẽ làm những việc làm kinh ngạc bạn”.
Đoạn văn bằng số
Theo những gì được biết, chuyên gia mạng nơ ron Yoshua Bengio đã phát triển một thuật toán thông minh đã ánh xạ các từ (words) thành véc-tơ, và điều này đủ thông minh để gom các từ biểu thị (represent) các khái niệm tương tự thành các nhóm. Ví dụ, các từ thứ hai hoặc thứ ba sẽ có các véc-tơ tương tự, vì chúng biểu thị các ngày trong tuần, trong khi một cái gì đó như bánh sandwich sẽ có một sự biểu thị toán học hoàn toàn khác.
Sự tiến hoá tự nhiên sẽ biểu thị những ý tưởng phức tạp hơn − giống như câu hoặc toàn bộ đoạn văn − về mặt toán học. Đầu năm nay, Quốc công bố một bài báo với một người khác của Google, Tomas Mikolov, thực hiện điều đó. Họ mô tả “các véc-tơ đoạn văn”, các cách toán học để biểu thị cho toàn bộ đoạn văn.
Để có máy dịch tốt, Google sẽ phải xây dựng một số mạng nơ ron thực sự lớn − lớn hơn nhiều so với những gì nó đã xây dựng cho nhìn và nói. Ảnh minh hoạ.
Google sẽ không nói liệu nó hiện đang có lợi ích từ công việc này hay không − hay lợi thế nào − nhưng bài báo đề cập đến phân tích tình cảm (sentiment analysis,) và Quốc thừa nhận đây có thể là một trong những ứng dụng của nó. Nói cách khác, nó tìm cách hiểu các quan điểm – thậm chí cả cảm xúc.
Thậm chí gần đây, Quốc đã công bố một bài báo với các nhân viên Google, Ilya Sutskever và Oriol Vinyals, về máy dịch bằng cách sử dụng các mạng thần kinh sâu. Nó được trình bày tại hội nghị Neural Information Processing Systems Foundation ở Montreal vào tuần tới.
Hệ thống này sử dụng một cái gì đó gọi là “mạng thần kinh lặp lại” (recurrent neural networks). Bởi vì chúng phức tạp hơn nên có thể khó đào tạo hơn so với các mạng thần kinh tích chập (convolutional neural networks) được sử dụng rộng rãi hơn. Nhưng lợi thế lớn nhất của chúng là chúng có một bộ nhớ tích hợp, một đặc điểm làm cho chúng đặc biệt hữu ích cho những thứ có tính chuỗi (sequential), như ngôn ngữ. “Rất nhiều người trong chúng ta quan tâm đến việc làm thế nào để ánh xạ một chuỗi dài hơn thành một véc-tơ. Véc-tơ đoạn văn là một cách tiếp cận, nhưng điều này có rất nhiều lợi thế”, Việt Quốc nói. “Nó có thể nhớ thứ tự các từ trong chuỗi… Nó có thể xử lý các đầu vào có kích thước thay đổi”.
Một bộ não lớn hơn nhiều
Theo bài báo, cách tiếp cận mới tốt hơn các thuật toán máy dịch khác, nhưng đây chỉ là một trong những ứng dụng có thể có của nó. Quốc nói rằng công trình mới này cũng có thể hữu ích cho việc trả lời các câu hỏi trên web, tự động hoá phụ đề và có thể phân tích tình cảm − mặc dù anh cho biết anh vẫn chưa thử. Để tận dụng đầy đủ các loại thuật toán này, Google sẽ phải xây dựng một số mạng nơ ron thực sự lớn − lớn hơn nhiều so với những gì nó đã xây dựng cho nhìn và nói. Geoff Hinton, nhân vật trung tâm của phong trào học tập sâu, hiện đang làm việc tại Google, sử dụng một sự so sánh thích hợp. Với não bộ kích thước của một con chim bồ câu, ông nói với WIRED năm ngoái, “Bạn có thể có mọi lý do để tin rằng bạn có thể làm một tầm nhìn tốt. Nhưng bạn không muốn trò chuyện với một con chim bồ câu”.
Như một thực tế, một não bộ bồ câu vẫn có thể hoạt động tốt hơn ngay cả những hệ thống thần kinh tiên tiến nhất thế giới, gồm cả Google Brain, về một số nhiệm vụ. Tuy nhiên, Hinton đã gia nhập Google, ông nói, để xây dựng một trong những mạng nơ ron lớn nhất cho tới nay, một trong số đó có thể “làm lý tính bình thường rất tốt”.
Với sự giúp đỡ của những người như Lê Việt Quốc, điều đó có thể xảy ra.