大数据与人工智能 - 解惑,主 题,人工智能的历史 1956年达特茅斯会议召开，人工智能正式提上议程 智能时代什么时候来临？ 当机器拥有语音识别、图像识别、自然语音理解等这些 人最本质的智慧能力的时候，那么大数据人工智能 时代已经来临。,人工智能历史及发展,人工智能应用1-围棋,人工智能应用2-聊天机器人,人工智能应用3-图片识别,“little girl is eating piece of cake.“,人工智能应用4-人脸识别,人工智能应用5-图片文字提取,人工智能应用6-自动驾驶汽车,Machine Learning(ML) is a scientific discipline that deals with the construction and study of algorithms that can learn from data. 机器学习是一门从数据中研究算法的科学学科。 机器学习直白来讲，是根据已有的数据，进行算法选择，并基于算法和数据构建模型，最终对未来进行预测,机器学习定义,1：传统模型算法 2：深度学习算法,机器学习算法,1：决策树算法 2：K-近邻算法 3：支持向量机(SVN) 4：关联分析(Apriori) 5：隐马尔科夫模型(HMM) 6：AdaBoost算法 7：朴素贝叶斯算法 ,传统算法,深度神经网络(DNN) (Deep Neural Network) 应用场景：搜索排序、推荐排序,深度学习,卷积神经网络(CNN) (Convolutional Neural Network) 应用场景：图像识别、视频分析,深度学习,循环神经网络(RNN) (Recurrent Neural Network) 应用场景：语音识别、自然语言处理,深度学习,投资策略 1：选择项目 2：选择时间 3：风险控制 4：买入项目 5：卖出项目,智能P2P投资系统,预测流程,新闻及政策预测投资走向,数据收集,数据处理,文本向量化,信息抽取,中文分词,特殊过滤,情感分析,中文分词,分词操作,词向量表示 1：One-Hot稀疏编码 橙子 1 0 0 0 0 菠萝 0 1 0 0 0 2：Embedding稠密编码 橙子 0.3 0.2,向量表示,词编码训练 （Word2Vec） 1：基于上下文预测词 2：基于词预测上下文 可通过以下实现 1：python Gensim 工具包 2：world2Vec google开源,向量标记训练,投入模型进行训练 例如：卷积神经网络 CNN 基本原理：二维图像分解 方格卷积变换池化 取出最大值输出 (最终得出图像的类别),模型训练,图像与单词连接 思路：一维单词-二维矩阵 以单词向量作为输入 项目收益的波动作为输出,模型训练,一：数据来源 1：网络爬虫 2：开源工具 3：大数据平台 二：预测步骤 1 : 数据清洗 例如通过jieba分词系统 分词、过滤等操作 2：通过 python中的 numpy、pandas、Matplotlib完成数据预处理及特征提取操作 3：通过tensorflow、tflearn深度学习工具包进行深度学习建模。,开发流程总结,对比：,智能与非智能比较,人工智能应用开发流程,数据收集,数据清洗,特征工程,数据建模,如果你是下面的行业 1：司机 2：医生 3：记者 4：翻译 5：会计 6：律师 你应该怎么办？,面对人工智能,Q&A,