一键发布展会信息
首页 会展 研讨会 上海10月Python大数据技术核心编程

上海10月Python大数据技术核心编程

汉语

2020-10-24 至 2020-10-27

上海

13007454000

13932327338@163.com

一、培训简介课程学习目标1.每个算法模块按照“原理讲解→分析数据→自己动手实现→特征与调参”的顺序。2.“Python数据清洗和特征提取”,提升学习深度、降低学习坡度。3.增加网络爬虫的原理和编写,从获取数据开始,重视将实践问题转换成实际模型的能力,分享工作中的实际案例或Kaggle案例:广告销量分析、环境数据异常检测和分析、数字图像手写体识别、Titanic乘客存活率预测、用户-电影推荐、真实新闻组数据主题分析、中文分词、股票数据特征分析等。4.强化矩阵运算、概率论、数理统计的知识运用,掌握机器学习根本。5.阐述机器学习原理,提供配套源码和数据。6.以直观解释,增强感性理解。7.对比不同的特征选择带来的预测效果差异。8.重视项目实践,重视落地。思考不同算法之间的区别和联系,提高在实际工作中选择算法的能力。9.涉及和讲解的部分Python库有:Numpy、Scipy、matplotlib、Pandas、scikit-learn、XGBoost、libSVM、LDA、Gensim、NLTK、HMMLearn。课程目标本课程特点是从数学层面推导最经典的机器学习算法,以及每种算法的示例和代码实现(Python)、如何做算法的参数调试、以实际应用案例分析各种算法的选择等。二、时间地点
上海10/24-10/2723日报到

有疑问可咨询:13643136553或邮件13932327338@163.com中科图云小助手微信TuyunAssistant更多资讯可关注:服务号:中科图云AICloud订阅号:中科图云三、培训对象大数据分析应用开发工程师、大数据分析项目的规划咨询管理人员、大数据分析项目的IT项目高管人员、大数据分析与挖掘处理算法应用工程师、大数据分析集群运维工程师、大数据分析项目的售前和售后技术支持服务人员四、培训内容课程模块课程主题主要内容及案例和演示模块一机器学习的数学基础1-数学分析1.机器学习的一般方法和横向比较2.数学是有用的:以SVD为例3.机器学习的角度看数学4.复习数学分析5.直观解释常数e6.导数/梯度7.随机梯度下降8.Taylor展式的落地应用9.gini系数10.凸函数11.Jensen不等式12.组合数与信息熵的关系模块二机器学习的数学基础2-概率论与贝叶斯先验1.概率论基础2.古典概型3.贝叶斯公式4.先验分布/后验分布/共轭分布5.常见概率分布6.泊松分布和指数分布的物理意义7.协方差(矩阵)和相关系数8.独立和不相关9.大数定律和中心极限定理的实践意义10.深刻理解最大似然估计MLE和最大后验估计MAP11.过拟合的数学原理与解决方案模块三机器学习的数学基础3-矩阵和线性代数1.线性代数在数学科学中的地位2.马尔科夫模型3.矩阵乘法的直观表达4.状态转移矩阵5.矩阵和向量组6.特征向量的思考和实践计算7.QR分解8.对称阵、正交阵、正定阵9.数据白化及其应用10.向量对向量求导11.标量对向量求导12.标量对矩阵求导工作机制模块四Python基础1-Python及其数学库1.解释器Python2.7与IDE:Anaconda/Pycharm2.Python基础:列表/元组/字典/类/文件3.Taylor展式的代码实现4.numpy/scipy/matplotlib/panda的介绍和典型使用5.多元高斯分布6.泊松分布、幂律分布7.典型图像处理8.蝴蝶效应9.分形与可视化模块五Python基础2-机器学习库1.scikit-learn的介绍和典型使用2.损失函数的绘制3.多种数学曲线4.多项式拟合5.快速傅里叶变换FFT6.奇异值分解SVD7.Soble/Prewitt/Laplacian算子与卷积网络8.卷积与(指数)移动平均线9.股票数据分析模块六Python基础3-数据清洗和特征选择1.实际生产问题中算法和特征的关系2.股票数据的特征提取和应用3.一致性检验4.缺失数据的处理5.环境数据异常检测和分析6.模糊数据查询和数据校正方法、算法、应用7.朴素贝叶斯用于鸢尾花数据8.GaussianNB/MultinomialNB/BernoulliNB9.朴素贝叶斯用于18000+篇/Sogou新闻文本的分类模块七回归1.线性回归2.Logistic/Softmax回归3.广义线性回归4.L1/L2正则化5.Ridge与LASSO6.ElasticNet7.梯度下降算法:BGD与SGD8.特征选择与过拟合模块八Logistic回归1.Sigmoid函数的直观解释2.Softmax回归的概念源头3.Logistic/Softmax回归4.最大熵模型5.K-L散度6.损失函数7.Softmax回归的实现与调参模块九回归实践1.机器学习sklearn库介绍2.线性回归代码实现和调参3.Softmax回归代码实现和调参4.Ridge回归/LASSO/ElasticNet5.Logistic/Softmax回归6.广告投入与销售额回归分析7.鸢尾花数据集的分类8.交叉验证9.数据可视化模块十决策树和随机森林1.熵、联合熵、条件熵、KL散度、互信息2.最大似然估计与最大熵模型3.ID3、C4.5、CART详解4.决策树的正则化5.预剪枝和后剪枝6.Bagging7.随机森林8.不平衡数据集的处理9.利用随机森林做特征选择10.使用随机森林计算样本相似度11.数据异常值检测模块十一随机森林实践1.随机森林与特征选择2.决策树应用于回归3.多标记的决策树回归4.决策树和随机森林的可视化5.葡萄酒数据集的决策树/随机森林分类6.波士顿房价预测模块十二提升1.提升为什么有效2.梯度提升决策树GBDT3.XGBoost算法详解4.Adaboost算法5.加法模型与指数损失模块十三提升实践1.Adaboost用于蘑菇数据分类2.Adaboost与随机森林的比较3.XGBoost库介绍4.Taylor展式与学习算法5.KAGGLE简介6.泰坦尼克乘客存活率估计模块十四SVM1.线性可分支持向量机2.软间隔的改进3.损失函数的理解4.核函数的原理和选择5.SMO算法6.支持向量回归SVR模块十五SVM实践1.libSVM代码库介绍2.原始数据和特征提取3.葡萄酒数据分类4.数字图像的手写体识别5.SVR用于时间序列曲线预测6.SVM、Logistic回归、随机森林三者的横向比较模块十六聚类(一)1.各种相似度度量及其相互关系2.Jaccard相似度和准确率、召回率3.Pearson相关系数与余弦相似度4.K-means与K-Medoids及变种5.AP算法(Sci07)/LPA算法及其应用模块十七聚类(二)1.密度聚类DBSCAN/DensityPeak(Sci14)2.DensityPeak(Sci14)3.谱聚类SC4.聚类评价AMI/ARI/Silhouette5.LPA算法及其应用模块十八聚类实践1.K-Means++算法原理和实现2.向量量化VQ及图像近似3.并查集的实践应用4.密度聚类的代码实现5.谱聚类用于图片分割模块十九EM算法1.最大似然估计2.Jensen不等式3.朴素理解EM算法4.精确推导EM算法5.EM算法的深入理解6.混合高斯分布7.主题模型pLSA模块二十EM算法实践1.多元高斯分布的EM实现2.分类结果的数据可视化3.EM与聚类的比较4.Dirichlet过程EM5.三维及等高线等图件的绘制6.主题模型pLSA与EM算法模块二十一主题模型LDA1.贝叶斯学派的模型认识2.Beta分布与二项分布3.共轭先验分布4.Dirichlet分布5.Laplace平滑6.Gibbs采样详解模块二十二LDA实践1.网络爬虫的原理和代码实现2.停止词和高频词3.动手自己实现LDA4.LDA开源包的使用和过程分析5.Metropolis-Hastings算法6.MCMC7.LDA与word2vec的比较8.TextRank算法与实践模块二十三隐马尔科夫模型HMM1.概率计算问题2.前向/后向算法3.HMM的参数学习4.Baum-Welch算法详解5.Viterbi算法详解6.隐马尔科夫模型的应用优劣比较模块二十四HMM实践1.动手自己实现HMM用于中文分词2.多个语言分词开源包的使用和过程分析3.文件数据格式UFT-8、Unicode4.停止词和标点符号对分词的影响5.前向后向算法计算概率溢出的解决方案6.发现新词和分词效果分析7.高斯混合模型HMM8.GMM-HMM用于股票数据特征提取模块二十五
课堂提问与互动讨论



五、师资介绍张老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(WebGameDaas)平台项目等。六、颁发证书参加相关培训并通过考试的学员,可以获得:工业和信息化部颁发的-《Python大数据高级技能证书》。该证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。注:请学员带一寸彩照2张(背面注明姓名)、身份证复印件一张。七、培训费用7800元/人(含教材、培训费、考证费以及学习用具等费用)食宿统一安排,费用自理。



分享到微信收藏39举报活动