岱左吧

代做作业_国开电大作业代做_奥鹏作业代写_各科作业辅导

北京开放大学大数据技术综合实训(Python)课程综合实训代做案例

admin    2024-09-28    17

 

微信号:wuyouhw
添加微信好友, 获取更多信息
复制微信号

大数据技术综合实训(Python)课程

 

 

第一部分  课程环境

一.实训环境

实训环境需要配置Python环境。其中实训2部分需要联通互联网以获取在线网页数据。其中,需要额外安装的Python包有:requestsjiebatqdmwordcloudmatplotlib。同学们可以根据实际情况选用Jupiter NotebookPyCharmVisual StudioSublime Text等软件作为Python编程的IDE

 

第二部分  综合实训内容与要求

 

实训1 Python基础演练

一、实训内容

复习巩固Python语言的基础语法、数据类型、控制逻辑、文件读写、函数等相关知识,为具体的实训操作打基础。

二、实训要求

1.了解Python数据类型与表达式Python中的模块与包。

2.掌握Python数值表示与数值计算;Python字符串及简单字符串处理;列表、元组、字典、集合的简单运算与操作;Python中顺序、分支、循环结构的实现方法;Python基本类型的输入输出;文本文件及格式化JSON文件的读写;函数的定义与调用方法。

 

实训2 网页爬取与内容可视化

一、实训内容

爬取网页数据,提取其中中文内容,分词后绘制词云图,以分析网页内容主题和风格特点。

可选扩展内容:基于BeautifulSoup的网页内容解析、基于宽度优先搜索与网址提取的多网页内容爬取、基于多网页内容爬取和词云图可视化的网站主题分析。

二、实训要求

1.了解网页数据的基本格式与网页中文本内容的组织方式。

2.理解python中中文字符编码范围,能够利用给定公式筛选字符串中的中文内容。

3.掌握基于requests包的网页内容爬取方法;基于jieba工具的中文词切分方法;基于collections.Counter的词频统计方法;基于wordcloud的词云图绘制方法。

三、实训步骤

本实训包含4个主要步骤,每个步骤的内容及建议学时数如下:

步骤1 基于requests的网页数据获取

步骤2 网页数据中的中文文本筛选

步骤3 基于jieba的中文分词与词频统计

步骤4 基于wordcloud的词云图可视化

 

实训3 新闻语料数据的统计与可视化分析

一、实训内容

读取、分析新闻语料数据,进行简单的主题统计、出现特定关键词的篇数统计、词频统计等。并针对统计结果进行可视化展示与分析。

可选扩展内容:基于词频信息与sklearn的新闻主题分类及分类结果可视化,自由设计更多具有实际意义的可视化展示与分析内容。

二、实训要求

1.了解大数据统计与数据可视化分析的意义。

2. 理解新闻文本信息统计的常用方法。

3.掌握饼图、柱状图、折线图、词云图等数据可视化方法。

三、实训步骤

步骤1 新闻语料读取与类型统计分析

步骤2 新闻主题的饼图可视化

步骤3 月份出现篇数的柱状图、折线图可视化

步骤4 科技新闻内容的词云可视化

四、实施建议

步骤4开始前建议复习“实训2步骤4 基于wordcloud的词云图可视化”

 

实训4 基于词频的篇章语义相似度与红楼梦内容分析

一、实训内容

基于词频统计与给定公式,完成红楼梦篇章语义相似度计算;基于篇章语义相似度分析红楼梦作者信息;基于matplotlibwordcloud的词频数据可视化。

可选扩展内容:基于词频信息与sklearn主题模型的篇章语义建模、基于篇章语义相似度与K-means方法的篇章语义聚类分析。

二、实训要求

1.了解基于词频的篇章语义相似度计算方法,能够基于给定公式或函数完成篇章语义相似度计算。

2.理解采用篇章语义相似度分析红楼梦作者信息的方法。

3.掌握针对词频数据的柱状图、折线图等数据可视化方法。

三、实训步骤

本实训包含3个主要步骤,每个步骤的内容及建议学时数如下:

步骤1 基于词频的红楼梦篇章语义相似度分析

步骤2 基于篇章语义相似度的红楼梦作者分析

步骤3 基于matplotlibwordcloud的词频数据可视化

四、实施建议

步骤1开始前建议复习“实训2步骤3 基于jieba的中文分词与词频统计”

步骤4开始前建议复习“实训2步骤4 基于wordcloud的词云图可视化”与“实训3步骤3 月份出现篇数的柱状图、折线图可视化

 

实训5 综合实训

一、实训内容

综合利用实训1-4所学内容,学生自选或由教学点安排相关数据,开展统计、分析、可视化等内容。形成报告或进行分享展示。

 

二、实训要求

通过该综合实训,理解大数据处理、分析、可视化的相关技术与流程。使学生将所学知识融会贯通,提高学生分析问题和解决问题的综合能力。

 


本文链接:https://daizuozuoye8.com/?id=931

转载声明:本站发布文章及版权归原作者所有,转载本站文章请注明文章来源!

上一篇   下一篇

相关文章

请发表您的评论

复制成功
微信号: wuyouhw
添加微信好友, 获取更多信息
我知道了
添加微信
微信号: wuyouhw
添加微信好友, 获取更多信息
一键复制加过了
微信号:wuyouhw添加微信