Overview of IEEE ISM 2017

The 19th International Symposium on Multimedia was held at the Splendor Hotel, Taichung city, Taiwan from Dec. 11 to Dec. 13, 2017. This year, the conference covers broad and diverse topics of multimedia computing, which includes the following main topics:

• 360-degree video and image

Immersive media such as 360-degree videos is becoming more and more important, being supported by YouTube, Facebook and other streaming platforms. The first keynote speech by Prof. Girod from Standford University gives a very nice overview of immersive video for Head-Mounted Displays. His research group is now focusing on generation of stereoscopic, 6 Degree of Freedom (6DoF) immersive video content. There are four papers addressing different problems of 360-degree video delivery. Our paper proposes a novel adaptation approach for viewport-adaptive streaming of 360-degree video. The second paper studies the optimal encoding ladders for tiled 360-degree video. The problem is formulated as an optimization problem that considers not only the distortion but also the system resources such as storage cost. However, their solution is not specific to 360-degree video. The third paper performs a perceptual analysis of perspective projection for Viewport rendering in 360-degree image. The analysis focuses on two projection-related parameters: 1) the distance from the projection center and the video center and 2) the Field of View. Yet, the way they carry out the subjective test is not appropriate as the viewers watch the content on a flat screen instead of the HMD. The fourth paper studies three QoE aspects which are immersion, interaction, and Visual Quality in Interactive 3D Tele-Immersion applications. For that purpose, the authors have designed a penalty shootout game and carried out subjective tests. The results show that using HMDs such as Oculus Rift results in better user experience compared to a third person view on 3D TV. Also, the immersion and interaction are very important to the user experience.

• Learning

Understanding multimedia content is a crucial task in many applications such as camera surveillance. Many papers apply deep learning for crowd scene understanding, visual relationship recognition (e.g., text-to-image translation for robot), human action classification, and automatic classification of microstructures in thermal barrier coating images, real-time annotations of motion data stream, 3D action recognition. The use of convolutional neuron network (CNN) for non-reference Image Quality Assessment (blind IQA) is also proposed. There is a very interesting paper that proposes a compression framework for deep learning models. Their results show that using a simple quantization combining with arithmetic coding can reduce the bitrate by 92% with minimal impact on the accuracy.

•  Retrieval, recommendation, and summarization

There are two papers regarding personalized video recommendation. The first paper applies machine learning to 1) identify users behind a shared account and 2) predict each user’s preference based on ‘contextual information’. The second paper proposes a framework to automatically select features on Factorization Machine based Context-aware recommendation systems. As for summarization, a new summarization method for blog articles using image-text alignment techniques has been proposed. Another paper proposes a new approach for automatic summarization of video collections that leverages a structured minimum-risk classifier and efficient submodular inference.

• Visual Aspects

The first paper presents a method for automatically detecting a good surface in a daily living and working space to support improvisatory projection without a pre-installed projection surface. The second paper proposes a new framework to convert textual instructions into coherent visual descriptions (text instructions annotated with images).

• Video Streaming

The first paper proposes to modify Peer-to-Peer Streaming Peer Protocol (PPSPP) to support streaming over Wifi P2P connection. The second paper proposes a SDN-enabled optimization-based scheme for optimally sharing the bandwidth among network flows within a residential gateway. The scheme targets online game flows and try to provide them with a higher QoE while not starving other traffic flows. The third paper presents a new scheme that limits energy consumption in a transcoding system. The fourth paper introduced a Dynamic Rate Controller (DRC) for conversational video streaming applications, especially for HDVC. DRC uses the novel concept of future budget, plus a window based bitrate history to adjust to bandwidth changes faster and with higher quality than other rate controllers.

The best paper award is awarded to a paper investigating the quantitative determinants of film mood across different types of scenes. The film scenes are classified by their location, time of day, and their use of dialogue and music. It is found that the mood ratings and their quantitative determinants differed across the scene types. There is also several demos: Deep learning based throughput estimation, real-time pattern recognition.

Đài Loan du ký

Tuần trước, tôi đến Đài Loan để tham gia một hội thảo khoa học. Đây là một phần trong hoạt động nghiên cứu khoa học trong thời gian học Tiến sỹ. Hội thảo tổ chức ở Đài Trung, một trong 3 thành phố lớn nhất của Đài Loan. Vì đang có thẻ cư trú của Nhật nên tôi thuộc diện miễn visa, chỉ cần đăng ký một cái form online là được. Đây là một quy định mới cho công dân của các nước Đông Nam Á. Mỗi lần đi hội thảo, việc mất thời gian và mệt mỏi nhất là di chuyển :). Chuyến bay của tôi hạ cánh ở Đài Bắc sau hơn 3 tiếng và tôi phải di chuyển về Đài Trung. Từ sân bay, tôi phải di chuyển về ga tàu trung tâm, rồi từ ga tàu trung tâm đi tàu cao tốc đến Đài Trung mất khoảng một tiếng. Đến Đài Trung mất khoảng 1 tiếng để đi về khách sạn. Tổng cộng từ lúc lên máy bay ở Nhật cho đến khi về đến khách sạn ở Đài Trung mất khoảng 12 tiếng.
Về đến khách sạn vừa mệt vừa đói, việc đầu tiên là đi tìm đồ ăn. Quán đầu tiên tôi đến tên là Ding Tai Fun, một trong những quán nổi tiếng nhất Đài Loan về dim sum và Xia long bao. Đây là hai món ăn đặc trưng của Đài Loan. Quán này nổi tiếng nên phải đợi 80 phút mới được vào. Cũng vì là quán nổi tiếng nên vào bàn là gọi hết những món đặc trưng nhất ra. Háo hức để thưởng thức nhưng đến khi ăn rồi thì thấy thực sự không ngon như mình nghĩ ban đầu. Vỏ bên ngoài thì hơi cứng còn nhân bên trong thì rất ngấy.
Ngày thứ hai, tôi dành cả ngày để tham gia hội nghị. Đến tối thì đi một cái chợ đêm (Night market) ở gần khách sạn. Chợ đêm là một nét đặc trưng nữa ở Đài Loan, mở hàng tối và bán cả quần áo lẫn thức ăn. Vì mục đích chính là thưởng thức ẩm thực nên tôi chỉ tập trung đi tìm món ăn, hy vọng bù lại ngày hôm trước. Đúng là ở chợ đêm có rất nhiều món ăn lạ mắt, thứ làm tôi ấn tượng đầu tiên là một món làm từ gà, nhìn qua thì là thấy gà được luộc lên, chặt nhỏ rồi trộn với một thứ nước sốt màu nâu nâu. Ăn thử một miếng thì có vịt hơi ngọt ngọt. Sau đó là đến mùi của đậu phụ thối (stinky tofu). Đã nghe nói là cái này mùi khó chịu lắm nhưng đến lúc ngửi thật mới biết được thế nào là khó chịu. Nhìn nó thì cũng như đậu phụ rán của mình nhưng mùi thì không muốn ăn. Sau đó tôi ăn một món làm giống như bánh mỳ của mình, bên trong nhân có thịt lợn, dưa chuột và tương ớt, nhưng vỏ thì giống như vỏ bánh bao. Hương vị ăn rất ngon. Cảm giác rất thân thuộc. Sau đó là một món tên gọi là 'o den'. Món này ở Nhật và ở Hàn cũng có. Món đó đơn giản là luộc rau củ, đậu, lòng lợn, xương lợn thật nhừ. Tôi vào gọi suất, vì không biết một tý tiêng Đài nào nên mấy đứa nhân viên nó nói gì cũng gật, kết quả là lấy ra một bát to đùng. Ăn vào thì thấy rất ngon, thịt với rau củ rất mềm, nước thì rất ngọt vì được ninh rất lâu. Tôi rời chợ đêm về khách sạn tầm 11h tối nhưng các chợ đêm ở đây thường hoạt động đến 1,2 giờ sáng.
Ngoài chợ đêm thì trên các tuyến phố có rất nhiều quán ăn mà nhìn bên ngoài giống như hàng quán ở bên mình. Có một điều đặc biệt ở Đài Loan là xe máy và oto đều để ở ngoài đường và có vạch kẻ chỉ định chỗ đỗ cho từng cái. Số lượng xe máy chắc còn nhiều hơn cả oto và nhìn qua thì phần lớn là của SYM, một hãng xe máy của Đài Loan. Đường phố, nhà cửa thì thiết kế rất giống bên mình, cả cái cầu vượt chỗ trạm dừng xe buýt thì giống hệt chỗ đường Trần Đại Nghĩa. Có một điều khá thú vị về xe bus ở Đài Loan là nếu mình không vẫy tay thì họ sẽ không dừng mà đi qua luôn bến đỗ ấy. Lúc ngồi trên xe cũng vậy phải ấn nút thông báo thì họ mới dừng lại. Thế nên mới sinh ra chuyện là tra trên google thì rõ ràng là 9 điểm dừng, nhưng thực tế thì mới 4 điểm đã đến rồi.
Ngày thứ ba tôi dành cả ngày tham gia hội thảo và buổi tối thì có tiệc chiêu đãi (banquet) của hội nghị. Mấy ngày trước thì cũng có cơm hộp ăn nhưng thấy nó không giống khách sạn 4 sao lắm. Nhưng đến hôm ăn chiêu đãi thì đúng là ngon thật. Thực đơn phải đến 10 món mà món nào cũng ngon, phần lớn là các món chế biến từ gà, ăn ngon lành đến gần 10h tối mới xong. Tôi ngồi cùng bàn với một anh cũng đang học tiếng sỹ ở Mỹ. Cùng làm một lĩnh vực và đều là làm thực nghiệm nhiều nên anh em nói chuyện rất hợp. Nghe chuyện của anh thì thấy học tiến sỹ ở Nhật còn sướng chán. Nếu ở Mỹ thì cứ đi hội nghị ở nước ngoài là phải xin visa lại, rồi các thầy cũng không muốn sinh viên đi đâu lâu. Nghe anh kể thì sáu năm rồi anh mới lại về Việt Nam.
Sáng ngày thứ tư ở Đài Loan, cũng là ngày cuối cùng của hội nghị, tôi di chuyển lên Đài Bắc chơi một hôm. Ở mấy ngày đi lại nên cũng quen tàu xe nên không phải hỏi nhiều. Tôi đi lên Đài Bắc bằng tàu cao tốc. Hệ thống tàu cao tốc ở Đài Loan rất hiện đại, rất giống ở bên Nhật, tốc độ khoảng 300 Km một giờ và cứ khoảng 4 phút thì lại có một chuyến. Giá vé đi khoảng 300km là khoảng 600 ngàn VNĐ, rẻ hơn ở Nhật rất nhiều. Nhưng thu nhập ở Đài Loan thì lại thấp hơn ở Nhật. Sau khi đến khách sạn ở Đài Bắc, tôi ra tàu đi chơi luôn. Điểm đến đầu tiên là đài tưởng niệm Tưởng Giới Thạch, cách chỗ khách sạn khoảng 20 phút đi xe buýt. Trong khi đi xe buýt ở Đài Trung không mất tiền, ở Đài Bắc thì mỗi lần lên xe buýt sẽ mất khoảng 12 ngàn VNĐ. Đài tưởng niệm Tưởng Giới Thạch nằm ở khu trung tâm của thành phố, bên trong tòa nhà chính là tượng của Tưởng Giới Thạch và bản ghi những câu nói nổi tiếng của ông. Từ chỗ khu tưởng niệm đi bộ khoảng 15 phút tôi đi đến một quán ăn bình dân nổi tiếng của Đài Loan, tên gọi là Jing Feng. Món ăn nổi tiếng ở đây là lu rou fan, chỉ đơn giản là cơm với thịt kho tàu nhưng mà rất ngon và giá thì rất bình dân. Cái món lu rou fan này là có ở khắp khác quán ăn bình dân ở Đài Loan, kiểu như phở ở bên Việt Nam mình. Ngoài ra cũng có nhiều các món khác như canh xương, rau xào, miến. Nếu đến Đài Bắc thì tôi nghĩ đây là một chỗ nên đến để ăn.
Sau đó tôi lên xe buýt để đi đến một địa điểm nổi tiếng khác tên là Jiu Fen Old Street, cách trung tâm thành phố khoảng 40Km. Nó là một khu làng ở trên đỉnh núi, cái chữ 'Jiu Fen' dịch ra tiếng Việt có nghĩa là Cửu Phần, tức là trước đây chỉ có đúng 9 căn nhà. Lúc xe buýt sắp đến thì mưa bắt đầu to, vì là ở trên núi và lại gần biển nữa nên mưa rất to và gió thì rất mạnh, xuống xe buýt tôi phải mua ngay một cái áo mưa tiện lợi. Ở chỗ Jiu Fen này giờ thì có rất nhiều nhà chứ không phải chỉ là 9 cái như hồi xưa, chủ yếu là phố bán đồ phục vụ cách du lịch. Rất đông khách du lịch đến đây, đường phố rất hẹp, đi chen chúc nhau, một đoạn lại ngửi thấy mùi đậu phụ thối đặc trưng. Đi đến cuối khu phố thì sẽ đến một quán trà cổ. Trà ở Đài Loan rất thơm, cách pha chế thì cũng giống như trà của mình nhưng có một điểm đặc biệt là có 2 cái chén cho mỗi người. Hai cái chén có thể tích y hệt nhau, một cái thì cao nhưng nhỏ, còn một cái thì thấp nhưng to hơn. Ngồi từ quán này có thể nhìn được toàn bộ khung cảnh phía dưới, chắc là rất đẹp, nhưng hôm tôi đến đấy thì mưa quá to nên chỉ ngồi một lúc rồi về. Nhắc đến trà thì ngoài trà khô, nhắc đến Đài Loan còn một loại trà khác rất phổ biển ở Việt Nam là trà sữa trân châu. Tôi bắt gặp rất nhiều người Đài Loan đang uống hoặc đang đợi mua trà sữa ở các quán bên đường. Tôi mua một cốc ở một quán tên là '50 Lan', một quán trà sữa nổi tiếng của Đài Loan. Hồi trước ở Việt nam tôi cũng đã từng uống trà sữa nhưng vì lâu quá rồi nên cũng chẳng nhớ vị nó thế nào, đến khi uống thì thấy rất ngon, đặc biệt là cái hạt trân châu.
Rời khu Jiu Fen về đến chỗ khách sạn thì đã khoảng 7h tối cũng là lúc các chợ đêm bắt đầu hoạt động, thế là tôi ghé vào một chợ đêm tên là 'Rao He Night Street'. Trước cổng chợ thì có một cái chùa rất to. Giống như chợ đêm ở dưới Đài Trung, cái chợ đêm này cũng rất náo nhiệt, đông đúc dù là trời có mưa. Món ăn ở đây cũng khác nhưng cảm giác là không ngon như cái ở Đài Trung. Tôi xếp hàng mua một một cái bánh tiêu Đài Loan, cách làm nó giống như bánh bao nhưng lại được nướng trong lò than. Vỏ bánh ăn rất giòn còn nhân bánh thì khá ngon. Một món ăn phổ biên nữa là món gà chiên. Bạn sẽ bắt gặp rất nhiều quán gà chiên ở Đài Loan, gà được chặt nhỏ, tẩm bột chiên. Lúc ăn thì có bột ớt nên hơi cay cay, ăn khá là ngon. Chắc là món này mọi người thích ăn nên tôi không thấy tiệm KFC nào cả.
Ngày thứ năm, tôi di chuyển ra sân bay để bay về Nhật. Việc cuối cùng trước khi về Nhật là lấy tiền còn dư trong cái thẻ đi lại ra. Cái thẻ tên là Easy Card, dùng để đi tàu điện ngầm và xe bus, rất tiện. Còn nếu đi tàu cao tốc thì phải mua vé ở quầy bán. Máy bay của tôi đáp xuống sân bay ở Nhật lúc 5h tối, kết thúc gần một tuần đi Đài Loan. Một chuyến đi với khá nhiều trải nghiệm, thức ăn ngon, thời tiết ấm áp, gặp gỡ nói chuyện với nhiều người bạn mới. Nỗi sợ đi máy bay vẫn còn nhưng vì bay ngắn nên cũng không quá mệt. Chuẩn bị quay lại với công việc thường ngày, một số việc còn phải kết thúc trong năm nay và rất nhiều kế hoạch trong năm mới.

Notes from Big Data Networking Symposium

In Nov. 26, I attended the third Big Data Symposium organized at the University of Aizu. Here are some notes from the presentations.

• The presentations focus on methods for generating/processing/delivering Big Data. This is very necessary because huge amount of data are being generated by Internet-connected devices.
• As for content generation, a method for constructing 3D videos from 2D videos using motion parallax, which states that among objects moving at the same speed, the remote ones seem to move at lower speed, is presented. The same parallax is also applied for mean-shift detection and segmentation of images.
• As for content processing, in-memory computing, a new architecture that can significantly reduce the processing time is presented. The basic idea is to store the data in the memory (RAM) so that the data can be accessed much more quicker than the traditional way of accessing HDD, thereby reduce the processing time. To support in-memory computing, a new kind of memory, called storage class memory (SCM), has been developed. As the name suggests, SCM have very huge capacity (can up to several terabytes) that can store all application data in it.
• As for content delivery, one of the key challenge is how to delivery the data of different applications with different requirements. For example, real-time applications such as searching, streaming video usually have very stringent requirement on the delay. To address this challenge in the presence of Big Data, Fog computing architecture has been proposed. The basic idea of Fog computing is to put additional processing nodes closer to the users so that 1) the delay can be reduced and 2) the load of the central server can be reduced too. For example, the additional nodes can perform some pre-processing to eliminate redundancy in the raw data before sending to the central server for processing.

Con người Nhật Bản

Hai ngày cuối tuần vừa rồi, lab mình tổ chức open lab, sự kiện để giới thiệu về hoạt động nghiên cứu của lab cho học sinh cũng như người dân trong vùng. Ở các trường đại học ở Nhật, đây là hoạt động thường niên. Như ở trường của mình thì một năm có 2 lần tổ chức. Trong bài này, mình muốn chia sẻ những điều mình ấn tượng về những người đến thăm lab của mình.

Người đầu tiên vào xem demos của lab mình là 1 cậu học sinh cấp ba. Dù mới học sinh phổ thông nhưng những gì mình giải thích cả bạn đều hiểu và còn hỏi thêm về những công nghệ mới như deep learning. Hỏi ra mới biết là bạn từ Miyagi (một nơi cách chỗ mình gần 200Km) đến, và biết được về sự kiện này qua Internet :). Mình cảm thấy rất ấn tượng, dù mới là học sinh cấp 3 nhưng bạn đã quan tâm về những gì sẽ làm ở trường đại học và tìm đến tận nơi để xem. Ngoài bạn này mình còn gặp 4, 5 bạn học sinh cấp ba nữa, phần lớn là ở các tỉnh khác đến, và đều tự đi một mình. Nhớ lại hồi cấp ba thì mình chỉ biết chúi mũi vào giải toán nâng cao, chỉ quanh quẩn ở xóm làng chứ chưa bao giờ nghĩ là ở trường đại học họ làm gì, càng không nghĩ sẽ đi để tìm hiểu thêm.

Một phần đông trong những người vào xem lab của mình là bố mẹ dẫn con đi xem, phần lớn là học sinh cấp 3 chuẩn bị thi vào đại học. Mình rất ấn tượng về một bà mẹ cùng 2 cậu con trai đến từ tỉnh Chiba (cách chỗ mình hơn 300Km). Cậu con trai lớn sắp tới sẽ thi vào đại học. Bà mẹ hỏi han rất kỹ không chỉ về học tập mà còn về cuộc sống trong trường đại học: Lab có bao nhiêu người? Có nhiều người nước ngoài không? Trong lab thì trao đổi bằng tiếng anh hay tiếng nhật?. Những bố mẹ khác dẫn con đi tham gia những sự kiện này mục đích chính cg là để xem có cho con vào học trường của mình không nên họ hỏi han rất kỹ càng, chi tiết. Thiết nghĩ, nếu những trường đại học ở Việt Nam cũng tổ chức những sự kiện như thế này, thì đó sẽ là cơ hội rất tốt để bố mẹ, nhà trường định hướng nghề nghiệp cho con cái.

Với mình phần vui nhất là khi những đứa trẻ con bé tý nó vào xem, hỏi han, nghịch ngợm linh tinh. Hơi mệt nhưng thấy bọn nó thích thú mấy cái mình làm thấy rất vui. Bố mẹ Nhật cho trẻ con đi khám phá, tìm hiểu nhiều thứ từ khi chúng còn bé tý. Chắc thế mà đến khi lớn chúng tự lập nhanh hơn và có thể tự mình tìm hiểu. Còn trẻ con thì ở đâu cũng như nhau. Nghịch ngợm, chí chóe, hạnh họe nhau đủ kiểu, đặc biệt là con trai, hài ơi là hài.

Một trong những vị khách cuối cùng là 4 ông bà, chắc đều đã ngoài 70. Khi họ vào trong lab nhìn thấy nhiều máy tính thì có một ông bảo thế này chắc là tốn điện lắm. Mình cũng không biết trả lời thế nào. Sau đó, các ông bà hỏi han về những cái nghiên cứu, lab mình có làm một dự án về chẩn đoán bệnh trầm cảm dùng machine learning, các ông bà rất hứng thú về cái này, hai người còn muốn tham gia thí nghiệm chẩn đoán. Đợt này, ông Saito (người giúp đỡ thiết bị đồ dùng cho sv quốc tế ở trường mình) cũng đến thăm. Ông rất quan tâm về hướng nghiên cứu mới về AR/VR của lab mình. Mình phải giải thích, trả lời rất nhiều câu hỏi của ông. Dù đã hơn 75 tuổi, ông vẫn nắm bắt được hết những vấn đề mình trình bày và có nhiều câu hỏi rất hay.

Hai buổi open lab đã kết thúc, dù mỗi buổi chỉ kéo dài 3 tiếng nhưng cg giúp mình hiểu thêm rất nhiều điều về đất nước và con người Nhật. Hẹn gặp lại vào năm sau.

Hello world

This blog presents my latest research results, covers trends in multimedia networking, as well as shares my personal experiences.