• 首页 首页 icon
  • 工具库 工具库 icon
    • IP查询 IP查询 icon
  • 内容库 内容库 icon
    • 快讯库 快讯库 icon
    • 精品库 精品库 icon
    • 问答库 问答库 icon
  • 更多 更多 icon
    • 服务条款 服务条款 icon

爬取某著名评分网站影评,jieba分词实现的影评情感,最后由python绘图对结果可视化三

武飞扬头像
潘帕斯的雄鹰
帮助1

*********************************************************************

该项目已经发布到github上了,有需要的朋友可以从这里获取

*********************************************************************

目录

第二部分 正文

        (三)、利用jieba分词进行简单的情感分析和绘图

                1.数据预处理部分

                2.定义情感分析函数,用于从分词后的列表中

                        取出词频排名前20且长度大于1的情感词,作为这部电影的情感词

                3.主函数部分,情感分析并为每部电影绘制词

                        云图,每个类型的电影绘制词频排名前20的情感词统计图


        

学新通

学新通

第二部分 正文

        (三)、利用jieba分词进行简单的情感分析和绘图

                jieba分词是一个优秀的python中文分词包,里面有许多的功能这里就不一个一个地介绍,而是利用其中的词性标注功能来完成本次情感分析的任务。首先看一下文本情感分析的定义:

                所谓文本情感分析,又称意见挖掘、倾向性分析等。简单而言,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。互联网(如博客和论坛以及社会服务网络如大众点评)上产生了大量的用户参与的、对于诸如人物、事件、产品等有价值的评论信息。这些评论信息表达了人们的各种情感色彩和情感倾向性,如喜、怒、哀、乐和批评、赞扬等。基于此,潜在的用户就可以通过浏览这些主观色彩的评论来了解大众舆论对于某一事件或产品的看法。(来自百度百科)

                以上是百度百科对情感分析的定义,我这里结合那位同学的要求和分词结果的特性,采用了以下的策略:保留词性标注中所有的形容词,并只保留长度大于1的形容词来确保情感的完整表达。

                1.数据预处理部分

  1.  
    # coding: utf-8
  2.  
    # 作者(@Author): 榕城候佳人
  3.  
    # 创建时间(@Created_time): 2022/11/19 9:03
  4.  
    # 修改时间(@Modified_time): 2022/11/19 9:03
  5.  
     
  6.  
    """
  7.  
    对电影评论提取关键词
  8.  
    """
  9.  
     
  10.  
     
  11.  
    # 首先引入jieba分词包和自定义工具包utiliti(在项目代码中)的函数,方便绘制词云图、条形图和数据预处理。
  12.  
    import os
  13.  
     
  14.  
    import jieba
  15.  
     
  16.  
    from utility.draw_imgs import draw_pie
  17.  
    from utility.make_wordcloud import wordcloud_
  18.  
    from utility.preprocess import TextPreprocessor
  19.  
     
  20.  
    # 实例化一个文本处理器,后续对影评的各种操作通过调用该处理器实现。
  21.  
    processor = TextPreprocessor(stopword_file="stopword_normal.txt")
  22.  
     
  23.  
  24.  
     
  25.  
学新通

                2.定义情感分析函数,用于从分词后的列表中取出词频排名前20且长度大于1的情感词,作为这部电影的情感词。

        
  1.  
    def emotion_analyse(info: list):
  2.  
    """
  3.  
    情感分析,统计所有出现的情感词个数,取前20个做条形图
  4.  
    :param:info:一个类型的电影的所有情感词
  5.  
    :return:该类型电影下,字典形式的出现次数前二十的情感词
  6.  
    """
  7.  
     
  8.  
    dict_word = {}
  9.  
    for i in range(len(info)):
  10.  
    # 情感词长度大于2
  11.  
    if len(info[i]) == 1:
  12.  
    continue
  13.  
    if info[i] not in dict_word:
  14.  
    dict_word[info[i]] = 1
  15.  
    else:
  16.  
    dict_word[info[i]] = 1
  17.  
    word_sorted = sorted(dict_word.items(), key=lambda x: x[1], reverse=True)
  18.  
     
  19.  
    return word_sorted[:20]
学新通

                3.主函数部分,情感分析并为每部电影绘制词云图,每个类型的电影绘制词频排名前20的情感词统计图

  1.  
    if __name__ == '__main__':
  2.  
     
  3.  
    # 打开不同类型电影影评所在文件夹
  4.  
    classes = os.listdir('movie_comment')
  5.  
     
  6.  
    # 主循环
  7.  
    for movie_class in classes:
  8.  
     
  9.  
    # 获得该类型电影下的所有电影影评所在文件
  10.  
    movies = os.listdir('movie_comment/' movie_class)
  11.  
     
  12.  
    # 存储整个类型下的不同影评信息
  13.  
    whole_name = []
  14.  
    whole_loc = []
  15.  
    whole_time = []
  16.  
    whole_agency = []
  17.  
    whole_works = []
  18.  
    whole_n = []
  19.  
    whole_a = []
  20.  
    whole_v = []
  21.  
    whole_other = []
  22.  
     
  23.  
    # 获得单个电影的影评信息
  24.  
    for movie in movies:
  25.  
    with open(os.path.join('movie_comment/', movie_class, movie), 'r', encoding='utf-8') as f:
  26.  
    # 读取整个影评文件
  27.  
    sentences = f.read()
  28.  
     
  29.  
    """
  30.  
    每次循环保留一个电影所有影评形容词的词性标注的信息,
  31.  
    用于绘制后面整个类型的情感词统计图(这里只使用到了形容词)
  32.  
    """
  33.  
    whole_a.extend(processor.get_a(sentences))
  34.  
    # whole_name.extend(processor.get_name(sentences))
  35.  
    # whole_loc.extend(processor.get_loc(sentences))
  36.  
    # whole_time.extend(processor.get_time(sentences))
  37.  
    # whole_name.extend(processor.get_time(sentences))
  38.  
    # whole_agency.extend(processor.get_agency(sentences))
  39.  
    # whole_works.extend(processor.get_work(sentences))
  40.  
    # whole_n.extend(processor.get_normal_n(sentences))
  41.  
    # whole_v.extend(processor.get_verb(sentences))
  42.  
     
  43.  
    """利用文本处理器中的获取形容词的函数获得形容词列表,再
  44.  
    将李列表用空格连接成一个字符串用于构建词云图
  45.  
    """
  46.  
    wordcloud_(text=' '.join(processor.get_a(sentences)), file_path=movie_class,
  47.  
    file_name=movie[:-11] '_情感词云图.jpg')
  48.  
     
  49.  
    """
  50.  
    根据上面存储整个影评词性标注信息的列表,
  51.  
    绘制该类型电影情感词的条形统计图
  52.  
    """
  53.  
    emotion_words = emotion_analyse(whole_a)
  54.  
    path = os.path.join('./word_clouds', movie_class, movie_class '_情感词语条形统计图.jpg')
  55.  
    draw_pie(title=f"{movie_class}情感分析图", info=emotion_words, path=path)
  56.  
     
  57.  
    # 绘制该类型电影的情感词云图
  58.  
    wordcloud_(text=' '.join(whole_a), file_path=movie_class, file_name=movie_class "_情感词云图.jpg")
  59.  
    print(f"完成{movie_class}部分")
学新通

               

完结撒花

学新通

这篇好文章是转载于:学新通技术网

  • 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
  • 本站站名: 学新通技术网
  • 本文地址: /boutique/detail/tanhhacbfa
系列文章
更多 icon
同类精品
更多 icon
继续加载