Bài báo: “A Scalable Hate Speech Detection System for Vietnamese Social Media Using Real-Time Big Data Processing and Distributed Deep Learning”
Link bài báo:
Sinh viên thực hiện:
• Đinh Văn Cơ – 19521293 – KHDL2019: Tác giả chính
• Nguyễn Thị Mai Phương – 19522064 - KHDL 2019: Tác giả chính.
• Võ Trần Đại – 19521308 - KHDL 2019: Tác giả chính.
Giảng viên hướng dẫn:
• TS. Đỗ Trọng Hợp
Tóm tắt bài báo:
In this study, a system to detect hate and offensive social network comments in real-time using big data and distributed deep learning technology is presented. In the offline phase, state-of-the-art deep learning models are trained in a distributed manner using the BigDL library. The trained models are then integrated into the real- time big data processing component powered by Apache Spark, which is a big data framework capable of processing a huge amount of comments in real-time. In the online phase, continuous stream of comments from Facebook are crawled and channeled through Kafka to this real-time big data processing component to output hate speech detection results. These results are then then analyzed, and the statistical data is displayed in a web-app powered by Flask. Therefore, this work not only focuses on accuracy but also emphasizes the system’s practicality. Thanks to state- of-the-art deep learning models, the system can achieve high accuracy in hate speech detection. With the deployed big data technology, the system can collect and process huge amounts of Facebook comments and produce statistical results in real-time.
"Chúng em xin gửi lời chân thành cảm ơn đến thầy Đỗ Trọng Hợp, người đã luôn hỗ trợ mạnh mẽ và cố vấn, đưa ra lời khuyên cũng như các định hướng cho chúng em trong suốt quá trình học tập cũng như hoàn thành nghiên cứu này"
|
|
Mọi thông tin chi tiết xem thêm tại fanpage: Trường Đại học Công nghệ Thông tin
Đông Xanh - Cộng tác viên truyền thông trường Đại học Công nghệ Thông tin
