当前位置:首页 > 人工智能
  • 人工智能植入技术成熟,老年痴呆和健忘症将不再可怕

    人工智能植入技术成熟,老年痴呆和健忘症将不再可怕

    “对于活着的人来说,悲剧难以承受。”这是比尔·盖茨近期对阿尔茨海默症(即老年痴呆症)的总结。他之前宣布斥资1亿美元支持对该病症的研究。 在好莱坞鬼才导演诺兰的电影《记忆碎片》(Memento)中,男主角莱昂纳多·谢尔比也是悲剧的承受者。因为脑部受重创得了一种奇怪的“短期记忆丧失症”,他再也不能形成长期记忆,只能记住十分钟前发生的事情。 “科技控”诺兰的电影叙事很科学——谢尔比发病的原因是大脑中的海马体遭到了严重损伤。海马体是与人类的记忆关系最密切的脑组织,负责将短期记忆转化成长期记忆。海马体受损通常会造成人们难以组织新的记忆,以及难以搜索过去的记忆。 不过,失忆的谢尔比乃至众多阿尔茨海默症患者的命运,可能很快被人工智能(AI)植入技术与“脑机接口”改写。 人类距离实现借助外力获取超能力的梦想,只是时间问题。 从控制肢体到提高记忆 在上月中旬举行的美国神经系统科学学会(SfN)年会上,南加利福尼亚大学(下称“南加大”)生物医药工程副教授宋东首次公开了他的团队最新的科研成果:他们发现,通过在20名患有癫痫的病人脑中植入脑电极设备,就能将他们的记忆有效提升15%至25%。 此外,通过对比这些患者的大脑活动和情绪变化的细节,南加大的研究人员还展示了人类首张“情绪地图”,揭示了情绪是如何随着时间推移在大脑中编码的。 “这是一项开创性的工作。”宋东告诉记者,“目前我们还没有正式发布实验的报告,我们正在撰写神经编码,来提升记忆的功能。” 不仅如此,在美国华盛顿举行的这次年会上,来自不同研究机构的科学家们利用大脑植入设备检测情绪障碍引起的异常状态,并通过AI算法释放电脉冲回击大脑,使大脑在没有医生介入的情况下恢复到健康状态。目前这些研究已完成了初步的人体试验。 宋东向记者解释道:“对于阿尔茨海默症或癫痫患者来说,在疾病刚开始的时候,通过在他们的大脑中植入设备,能够帮助形成新的记忆。但是对于阿尔茨海默症患者过去的记忆,并没有太大帮助。” 尽管如此,宋东的实验还是证明了这一技术具有修复患者长期记忆的潜在能力。“这种记忆修复术的目标是修复大脑的海马体功能,海马体主要负责长时记忆的存储转换和定向等功能。”宋东对记者表示。 海马体能将短时记忆进行巩固,从而转换成长时记忆。海马体在事件发生的环境背景及细节内容的记忆中也起着非常重要的作用。对新近发生的事件,包括很多细节,一般都由海马体来完成。海马体不健全的人,可能无法记住曾经去过的地方以及如何前往想去的地点。 但研究人员倾向于认为,随着时间的推移,记忆细节会随之减少,海马体这时的作用也越来越小。 宋东表示:“失去的记忆将无法重新获得的原因是,长期记忆虽然是通过海马体形成的,但不是存储在海马体内。” 早在上世纪50年代,科学家就已经注意到大脑海马体与记忆间的关系——如果切除掉海马体,那么以前的记忆就会一同消失。不过,关于“海马体的神经细胞是如何把信息固定下来的”问题一直没能解决。 此外,对于大脑海马体运转机制的研究,也早在十几年前就已经开始了。纽约大学研究人员很早就开始利用电极来监控学习中的猴子大脑神经活动的情形。而哈佛大学研究人员则研发出了“动态估计算法系统”(dynamic esTImaTIon algorithms),帮助分析记录猴子的行为与神经信息。实验发现,海马体内的神经元,与新的联想记忆形成有关。 事实上,电极植入在医疗上已经对帕金森等运动障碍疾病有了较为成熟的治疗方案。2016年,荷兰乌特勒支大学医学院的神经科学家尼克·拉姆塞(Nick Ramsay)完成了全球首例临床大脑植入手术,实现对ALS患者(渐冻人)思想的解读,使他们能与外界沟通。 目前全球有很多医院已经能够进行电极植入手术,这就好像在人脑中安装一个“起搏器”,原理和心脏起搏器一样,通过深部脑刺激来改变脑部的神经活动,进而影响患者的肢体行动。 但此前,这种刺激脑的方式用于情绪障碍的治疗时,收效甚微。宋东团队的突破在于解决了提高患者记忆力的问题。提高记忆力对于紧张备考的学生或者是对于记人名有困难的人来说,可以助他们一臂之力;但对于受痴呆症和阿尔茨海默症折磨的患者来说,绝对是改变生命的技术。 影响超过1亿人的命运 在今年11月,比尔·盖茨以个人名义宣布注资5000万美元,与风投基金DemenTIa Discovery Fund(痴呆症发现基金)一起寻求脑萎缩疾病的治疗方法。另外,他还将投资5000万美元于研究阿尔茨海默症的初创企业。 盖茨表示:“随着阿尔茨海默症和其它痴呆症患者数量的快速增长,以及人类寿命的延长,这类疾病正在给患者及其家属带来情感和经济上的负担。这是一个日益严峻的问题。” 虽然已有几十年的相关科学研究,但是目前医学界仍然没有可以延缓阿尔茨海默症进程的治疗方法。目前的药物治疗只能缓解一些症状。此前包括礼来在内的制药巨头的临床试验,都在最后阶段宣告失败。 根据非营利机构阿尔茨海默症国际组织(Alzheimer’s Disease InternaTIonal)的数据,老年痴呆症在全球范围内影响了近5000万,预计到2050年将会影响超过1.3亿。 美国阿尔茨海默协会表示,年龄增长是导致阿尔茨海默症的最直接的因素,该疾病的患者大多是年龄65岁以上的老人。随着人口老龄化趋势加剧,到2020年,发达国家超过五分之一的人口年龄将超过65岁。 “脑机接口”成资本风口 对于宋东团队的研究,美国冷泉港实验室神经科学主席安东尼·扎得(Anthony Zador)有所保留。他对记者表示:“因为该实验结果尚未发表在权威科学杂志上,因此我对实验的方法还是存有怀疑。等我看到实验的数据后,可能会改变目前的怀疑态度。” 尽管宋东团队的最新研究结果有待更加有说服力的数据来验证,但是如果在大脑植入电极真的能够帮助脑疾病患者提高记忆力,哪怕是一小部分的记忆,这对于整个社会而言,都创造了非常巨大的经济效益。 也正是因为解决人脑疾病所带来的巨大社会财富,近年来资本不断涌入人工智能和神经科学方面的初创公司。所谓的“脑机接口”名副其实地成为了资本的“风口”,这其中就不乏“钢铁侠”马斯克(Elon Musk)投资的“神经织网”公司Neuralink。他们希望投资研发出能够读取人脑活动和将“神经信息”写入大脑的设备,以此来对抗未来人工智能对人类潜在的侵袭。 但是对于这种人脑侵入式技术,目前的手术成本仍然很高,而更大的障碍来自于人体对于植入物的排异反应。 尽管如此,一位曾在美国某医院观看过在帕金森患者的大脑中植入电极全过程的上海某高校脑科学研究人员对记者表示:“与整容相比,开颅手术人性化多了。美国的患者排着队要做这种手术,医院都做不过来。” 目前,雅培、美敦力等医疗企业是这种大脑植入器械的主要供应商。 未来如果能解决人体排异反应及颅骨向外传输信息减损这两大问题,那么电脑将会对人的思维意识进行更为准确的识别。这一方面将有助于电脑更加了解人类大脑活动特征,指导电脑更好地模仿人脑;另一方面也能让电脑更好地与人协同工作。 当然,脑机接口的技术在为记忆障碍人士带来福音的同时,也引发了伦理道德的争议。反对人士认为,如果能够通过增强人类感官功能、提升记忆力等手段来控制人们的情绪和行为,那么产生的社会问题也将难以估量。

    时间:2020-07-14 关键词: 人工智能 智能医疗

  • DBN算法的基本知识解读

    DBN算法的基本知识解读

    2006年Hinton发表了一篇革命性的论文“Hinton, G. E., Osindero, S. and Teh, Y.,A fast learning algorithmfor deep belief nets.Neural ComputaTIon 18:1527-1554, 2006”,引领了DBN深度信念网络的研究,并突破了深度学习的架构。 DBN深度置信网络是神经网络的一种,既可以用于非监督学习,类似于一个Autoencoder自编码机;也可以用于监督学习,作为分类器来使用。因此十分值得研究。 DBN深度置信网络是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布,对P(ObservaTIon|Label)和 P(Label|ObservaTIon)都做了评估,而判别模型仅仅评估了后者P(Label|ObservaTIon)。 DBN算法概念: DBN深度置信网络(Deep BeliefNets)是一种生成模型,也是神经网络的一种,通过训练其神经元间的权重,可以让整个神经网络按照最大概率来生成训练数据。不仅可以使用DBN来识别特征、分类数据,还可以用它来生成数据。 DBN由多层神经元构成,这些神经元又分为2种:显性神经元和隐性神经元。显性神经元用于接收输入,隐性神经元用于提取特征,因此隐性神经元也叫特征检测器(Feature Detectors)。最顶上的两层间的连接是无向的,组成联合内存(associative memory)。较低的其他层之间有连接上下的有向连接。最底层代表了数据向量(data vectors),每一个神经元代表数据向量的一维。 DBN组成元件是RBM受限玻尔兹曼机。训练DBN的过程是一层一层地进行的。在每一层中,用数据向量来推断隐层,再把这一隐层当作下一层 (高一层)的数据向量。 作为神经网络,神经元自然是其必不可少的组成部分。DBN由若干层神经元构成,组成元件是RBM受限玻尔兹曼机,DBN网络结构限制为两层:可视层和隐层,层与层之间存在连接,但层内的单元间不存在连接,隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。具体DBN网络结构如下图所示。 DBN算法本质: 从非监督学习来讲,其目的是尽可能地保留原始特征的特点,同时降低特征的维度。从监督学习来讲,其目的在于使得分类错误率尽可能地小。而不论是监督学习还是非监督学习,DBN算法本质都是Feature Learning的过程,即如何得到更好的特征表达。 DBN训练过程: DBN 是由多层 RBM 组成的一个神经网络,它既可以被看作一个生成模型,也可以当作判别模型,其训练过程是:使用非监督贪婪逐层方法去预训练获得权值。 DBN训练过程如下: 1)充分训练第一个RBM; 2)固定第一个RBM的权重和偏移量,然后使用其隐性神经元的状态,作为第二个RBM的输入向量; 3)充分训练第二个RBM后,将第二个RBM堆叠在第一个RBM的上方; 4)重复以上1)~3)任意多次; 5)如果训练集中的数据有标签,那么在顶层的RBM训练时,这个RBM的显层中除了显性神经元,还需要有代表分类标签的神经元,一起进行训练; 6)DBN 训练完成。 最终训练成的生成模型如下图所示: 用公式表示为: 概括的说,将若干个RBM“串联”起来则构成了一个DBN。上一个RBM的隐层即为下一个RBM的显层,上一个RBM的输出即为下一个RBM的输入。训练过程中,需要充分训练上一层的RBM后才能训练当前层的RBM,直至最后一层。 注:隐层激活单元和可视层输入之间的相关性差别就作为权值更新的主要依据。 DBN训练过程非常重要,这种逐层叠加RBM的方式叫做Greedy Layer-Wise Training,它是最开始提出深度学习时候的核心! DBN调优过程: DBN生成模型使用ContrastiveWake-Sleep算法进行调优,其算法调优过程是: 1) 除了顶层 RBM,其他层RBM的权重被分成向上的认知权重和向下的生成权重; 2)Wake阶段(认知过程):通过外界的特征和向上的权重 (认知权重)产生每一层的抽象表示(结点状态) ,并且使用梯度下降修改层间的下行权重 (生成权重) 。 3)Sleep 阶段(生成过程):通过顶层表示和向下权重,生成底层的状态,同时修改层间向上的权重。 DBN使用过程: 1)使用随机隐性神经元状态值,在顶层 RBM 中进行足够多次的Gibbs吉布斯抽样; 2)向下传播,得到每层的状态。 DBN算法优点: 1)灵活性好; 2)扩展容易; 3)性能较好; 4)并行计算; 5)相比前向神经网络,训练较快,收敛时间较少。 DBN算法缺点: 1)只能是一维的数据; 2)需要为训练提供一个有标签的样本集; 3)学习过程较慢; 4)不适当的参数选择会导致收敛于局部最优解; 5)没有明确地处理对观察变量时间联系的学习。 注:扩展的CDBNs(卷积DBNs) 考虑到2维数据结构。 DBN算法应用: 很多的情况下,DBN是作为无监督学习框架来使用的,它的应用范围较广,扩展性也强,可应用于机器学习之手写字识别、语音识别和图像处理等领域。且在语音识别中取得了很好的效果。 语音识别:微软研究人员通过与hinton合作,首先将RBM和DBN引入到语音识别声学模型训练中,并且在大词汇量语音识别系统中获得巨大成功,使得语音识别的错误率相对减低30%。 结语: DBN算法是机器学习之神经网络的一种,既可以用于非监督学习,也可以用于监督学习,值得深入研究。DBN是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布。通过训练其神经元间的权重,可以让整个神经网络按照最大概率来生成训练数据。不仅可以使用DBN来识别特征、分类数据,还可以用它来生成数据。DBN算法是一种非常实用的学习算法,应用范围较广,扩展性也强,可应用于机器学习之手写字识别、语音识别和图像处理等领域。

    时间:2020-07-14 关键词: 人工智能 深度学习 dbn

  • 神经网络引擎成就苹果人工智能发展

    神经网络引擎成就苹果人工智能发展

      伴随着苹果全新一代iPhone智能手机iPhone 8、iPhone 8 Plus和iPhone X的发布,所有最初我们想了解的任何信息现在几乎都已一清二楚,包括零售价格、全新命名、机型数量,还有诸多最新功能等等,其实大多数信息在发布会之前就已经被爆料出来了。尽管如此,iPhone X、面部识别技术,以及AR现实增强技术这些新特性,依然十分引人注目。   不过,有一项可能苹果在发布会上或宣传中没有着重提及的特征,可能很多人忽视了它的存在,那就是强大的AI人工智能特性。   苹果新发布的三款机型均搭载了全新的移动芯片A11仿生,苹果表示A11仿生是iPhone上有史以来最强大、最智能的芯片。关于“最强大”这一点,通过昨天的Geekbench 4官方提供的基准测试数据我们已经了解到, A11定制的6核心CPU性能在移动领域已无敌手,全面领先市面上一切Android旗舰智能手机,与骁龙835比单核领先超过110%,多核也有55% 左右的领先。   其实A11性能领先早已经是可以预料到的事情,不过“最智能”又在哪里呢?其实这与A11集成的神经网络引擎有非常大的关系。虽然苹果发布会这部分基本一笔带过,而且宣传低调,但不可否认的是,A11仿生成为了苹果第一枚神经网络引擎的SoC移动芯片,其神经网络引擎就是专门用于运行AI人工智能的处理单元,为此苹果在A11的命名上通过“仿生”特别突出了AI技术特征。   与 AI人工智能发展相冲突的隐私保护   在讨论神经网络引擎之前,我们先来说说苹果 AI人工智能的进程。众所周知,苹果是一家极其注重隐私的公司,之前很多例子已经足够证明这点。库克甚至一直对外宣称,苹果的保密性比美国 CIA还要高。   因此大量分析认为,正是隐私保护情节的阻碍让苹果失去了对 AI人工智能的主动权,最终导致今天在 AI人工智能竞赛中的落伍。苹果不仅在让设备更具人性化这方面落后于其他的科技巨头,而且在人工智能云计算方面的地位也很低,长期处于边缘化。为何这么说呢?   深度学习是 AI人工智能的一个分支学科,通常需要收集大量数据,并将这些数据聚合在云端,以便于深度了解,获得洞察力,但这些做法与苹果在数据保护上的严格立场不一致。苹果在 iOS 系统的 FaceTIme 和 iMessage 应用中,使用的是端到端加密技术,并没有对用户的任何个人资料或信息进行维护或管理,这也与苹果对消费者数据保护的坚定观点保持一致。   虽然苹果的立场值得称赞,但是却让自身的 AI 发展难以前行,因为苹果自己也收集不到推进其 AI 人工智能发展所需的大数据,直到现在依然如此。   AI 的全新开始,并非重新开始   在今天移动互联网时代数据爆炸,大数据的出现让 AI 人工智能变得越来越好用。虽然很多移动设备的数据可以在云计算中得到更深入的分析,因为有例如 Google TPU,NVIDIA Volta 这种强大的 AI 运算解决方案。但问题是,数据需要花费一定时间才能到达云端,而苹果考虑隐私不会将数据传到云端,因此让一款移动设备提供略微接近云硬件的计算性能相当用必要。   苹果在发布会上解释称,有一种 AI 人工智能叫作机器学习,即让设备通过观察的方式进行学习。因此,一枚移动 SoC 芯片中,应该有专门负责虚拟神经元和深度学习的 AI 处理单元,而神经网络引擎就是专为机器学习而开发的硬件,它不仅能执行神经网络所需的高速运算,而且具有杰出的能效。   简而言之,通过神经网络引擎能够担 CPU 和 GPU 的任务,大幅提升芯片的运算效率,以更少的能耗更快的完成更多任务。在 A11仿生中,苹果自家的神经网络引擎采用双核设计,两个核心专为 AI 人工智能特定的机器学习算法而设计的,实时处理过程中,每秒运算次数最高可达6000亿次。   苹果表示,神经网络可以在 CPU 主处理单元或 GPU 图形处理单元上运行,但对于这种神经网络类型的编程模型,利用针对这些应用的定制芯片,在执行相同任务时,它将比使用图形引擎更加节能。神经网络引擎的神秘之处在于,它能够处理矩阵乘法和浮点处理的能力,分担 CPU 和 GPU 之外的特定任务,实现了硬件性能大幅改善。   其实苹果很早就十分清楚移动 AI 处理单元的趋势。几天前,苹果硬件技术高级副总裁斯强尼·斯洛基接受采访时表示,3年前发布搭载 A8芯片的 iPhone 6时,苹果就已经在开发 A11仿生芯片了,然而三年前移动行业关于 AI 和机器学习的话题还不多。斯强尼·斯洛基特别强调,“内置神经网络引擎是苹果在3年打的一个赌。”   神经网络引擎服务于现在和未来   苹果称,有了“神经网络引擎服”的 A11 变得十分智能,因为能够把云端基于大数据深度学习训练成型的神经网络传输到手机中,与本地的神经网络引擎结合提供完整的 AI 知识和能力。而对于本地的 AI 人工智能处理,目前神经网络引擎已胜任诸多任务,包括更智能的够识别人物、地点和物体,为“面容 ID”和“动话表情”等创新的功能提供强大的性能等等。   其中对于 iPhone X 的“面容 ID”就运用到了智能面部识别和机器学习这些 AI 人工智能技术。其原深感摄像头系统,通过泛光感应元件会借助不可见的红外光线,来“照亮”识别人的脸,然后点阵投影器将30000 多个肉眼不可见的光点投影在人脸部,绘制出精确细致、独一无二的深度面谱,而红外摄像头会探测点阵反射的细微变化,读取点阵图案,捕捉它的红外图像数据。?   关键是,被捕捉到的这些非常精确的红外图像和点阵图案的深度数据,将会被发送至 A11 仿生这枚芯片中的神经网络,创建脸部的数学模型,再将这些精准绘制面谱的数据发送至安全隔区,以确认数据是否匹配。苹果从来不会将生物识别的数据传输到网络上,面容 ID 功能的面谱数据同样如此。   与此同时,面容 ID 功能在神经网络引擎的 AI 人工智能技术下,就算人脸的样貌随着时间而改变,也能随之进行调整适应,哪怕是化妆、卸妆、戴上眼镜、帽子或留起胡须时也能一眼认出。一般使用照片或面具这种欺骗性手段来破解面容 ID,在 AI 技术下基本是不可能的事情。?   AI??技术除了服务于面容 ID 之外,新一代 iPhone 的相机系统也受益于此。例如人像模式自拍现在有了神经网络引擎的 AI 技术加持,景深虚化效果更加突出,而且所延伸出的“人像光效”这一特性,也利用到了 AI 复杂的算法,计算出容貌特征会怎样受到光线影响,利用数据创造出色的光效。至于“动话表情”,AI 技术能够让捕捉到的运动更准确的分析肌肉运动,以便于重现神态。      当然了,A11 的神经网络引擎是是苹果 AR 增强现实体验和 Siri 私人助理的核心,而且未来还将运用到更多方面,并扩展到更多苹果生态的领域当中,包括医疗健康相关应用、无人驾驶汽车系统、Apple Watch、Apple TV 和 HomePod 音箱等,让更多原本生硬的设备也能采用与人类同样的方式进行交互,变得真正会思考。   注重隐私的情况下,苹果 AI 将持续进步?   苹果是手机行业最早踏入 AI 人工智能领域厂商之一,早在2011 年就已经在 iPhone 当中首度集成 Siri 智能助理,为其提供相应的语音识别支持。A11 仿生芯片的亮相是苹果在 AI 人工智能领域的又一大动作,其神经网络引擎标志着全新的开始。尽管苹果??AI 人工智能目前仍落后于其他竞争对手,但利用神经网络引擎这种新的方式,苹果可以做到不侵犯用户隐私的情况下加速发展。   A11 仿生芯片集成的神经网络引擎,主要针对本地大量的数据处理,配合芯片本身强劲的处理能力,大幅提升认知能力,为用户本地提供最直达的服务,隐私数据本地处理的安全性毋庸置疑。而在本地 AI 处理能力强劲的情况下,还能配合发展多年的云端 AI 数据协同展开,进一步为设备提供完整的、高效的体验。   无论如何,在移动 SoC 集成 AI 人工智能处理单元这一全新模式上,苹果比其他竞争对手有更大的优势,重点就是苹果行业标杆的软硬结合实力以及成熟的生态圈。很多基于 AI 计算的功能,如面部识别、文本分析和语音识别等功能,开发者能够更迅速的将其运用到 app 里无缝切换于 CPU 和 GPU 之间,以提供最强的性能和效率。   同时,得益于庞大的生态圈和设备技术,一旦完成一项应用,便可迅速增殖到每一款 iOS 设备上,扩大适用范围,利用 AI 进一步体现出苹果独一无二的产品体验。苹果表示,“iPhone X 解锁了 iPhone 的下一个十年”,相信除了全面屏和面容 ID 之外,AI 神经网络引擎也将会是其中的关键点之一。

    时间:2020-07-14 关键词: CPU 苹果 人工智能 深度学习

  • 智能语音与人脸识别技术

    智能语音与人脸识别技术

      不用动手,只需开口就能驾驭身边的智能设备,这样的体验明显好很多。因此,各大科技巨头纷纷布局智能音响,想让它成为家用科技产品的控制入口。除了智能音箱,人脸识别技术已成为目前创业热度最高的细分领域,尤其是应用在金融身份认证和安防场景。多位业内人士表示,中国地大物博人口众多,在人工智能替代领域具有诸多优势,且有望实现AI技术商业化运作在国际上领先。   1、争夺智能语音交互消费级服务   阿里巴巴正式发布旗下首款智能音箱天猫精灵X1,苹果开发者大会上HomePod智能音响压轴出场,在此之前亚马逊Echo已累计销售近千万台。智能音响成为语音交互技术重要载体,受吹捧的另一个原因在于智能音响有望成为未来各种家用科技产品的控制入口。   另外一方面通过苹果Siri、微软小冰、度秘这些语音助手,进而延伸出的实时语音翻译、语音输入法、语音控制等,智能语音技术供应商已经挖掘出众多应用领域,正在加速消费级服务。   而在汽车应用方面,科大讯飞已与奔驰、宝马、丰田等国际厂商、国内汽车厂商实现合作。在今年,科大讯飞又与长安汽车宣布将在汽车电子智能化的技术研发、产品设计、以及整车应用领域展开全面深度合作,共同研发智能汽车。   百度创始人李彦宏在演讲中多次提到,软硬件结合的人工智能产品将是重要方向,今年2月份百度收购渡鸦科技,在外界看来百度正在加紧人工智能技术输出,通过软硬结合将产品落地到生活场景中。   今年面世以来,百度DuerOS系统已与美的、海尔、TCL、联想、vivo、HTC、中信国安广视、小鱼在家等知名企业达成合作,并在电视、冰箱、智能穿戴和车载等多个场景,为用户带来“动口不动手”的生活体验。   思必驰首席营销官龙梦竹表示,其更看好垂直领域的应用。目前聚焦在智能家居、车载物联网、机器人等领域,通过赋能传统科技企业,实现产业升级。   2、“看不见”的人脸识别   语音技术借助手机智能助手、智能音响等已经开始被大规模应用。而图像识别则显得有点清冷,并没有被普通消费者广为讨论。那是否意味着图像识别离我们很遥远呢?   龙梦竹在接受采访时指出,用户在使用美图秀秀等自拍软件的过程中,都会用到人工智能图像技术。拍照时需要自动捕捉人脸的位置,美颜、加特效的实现需要锁定人的面部、鼻子、眼睛。百度以图搜图、天猫商品搜索皆是用的是图像识别技术。语音技术之所以感知度更高一些,是因为用户参与主动说话以及存在语音反馈这些方面。   商汤科技联合创始人、CEO徐立博士表示,在公安监控系统、家庭安防系统、身份认证、娱乐互联网等领域人脸识别技术已经应用多年,成为计算机视觉最先落地的行业应用。在商汤科技的合作名单中,出现最多的是银行、金融等企业用户,其SenseTIme人脸识别技术与京东钱包合作,用户在京东钱包上扫描人脸,即可完成比对,实现密码解锁,代替传统密码登录方式。   计算机视觉初创公司Insight创始人Jeff Lin在接受记者采访中提到,人脸识别技术是目前创业热度最高的细分领域,尤其是金融身份认证和安防场景,已经成为人工智能创业公司重点布局场景。

    时间:2020-07-14 关键词: 人脸识别 智能语音 计算机 人工智能

  • 谷歌尝试将人工智能运用到医学领域

    谷歌尝试将人工智能运用到医学领域

    据报道,谷歌正在训练机器来预测病患的死亡时间。它的“医学大脑”(Medical Brain)团队取得了一些AI进展,如预测疾病症状、死亡风险等等,该互联网巨头有望借此打入医疗保健市场。 一名患有晚期乳腺癌的妇女来到城市医院,她的肺部已经充满了积液。她看了两个医生,做了放射扫描。医院的电脑读取了她的生命体征,估算出她在住院期间死亡的几率为9.3%。 之后轮到谷歌来进行估算。该公司开发的一种新型算法分析了关于该妇女的信息——17.5639万个数据点——然后对她的死亡风险做出评估:19.9%。她几天后就去世了。 今年,谷歌发布了一份令人痛心的、关于这名身份不明的女性死亡的报告。它凸显了神经网络在医疗保健领域的潜力,这种人工智能软件特别擅长利用数据来自行学习和改进。谷歌开发了一种可以预测各种病患结果的工具,包括人们可能在医院待多久,再次入院的几率以及他们不久后死亡的几率。 给医学专家们留下最深刻印象的是,谷歌能够筛选以前无法获取的数据:隐藏在pdf文件中的注释或者旧图表上的潦草文字。神经网络吞噬了所有这些非常规记录的信息,然后得出预测。它比现有的技术要快得多,也更加准确。谷歌的系统甚至显示了是基于哪些记录得出结论的。 多年来,医院、医生和其他卫生保健提供者一直在寻求更好地利用所储存的电子健康记录和其他患者数据。在适当的时候分享和突显更多的信息可以挽救生命——至少可以帮助医务工作者减少在文书工作上的时间,进而增加在病人护理上的时间。但是,目前挖掘健康数据的方法既费用不菲,又繁琐耗时。 斯坦福大学副教授尼格姆·沙阿(Nigam Shah)表示,现在的预测模型有80%的时间都花在了使数据具有可表达性的“枯燥粗活”上。而谷歌的方法避免了这个。沙阿说,“你可以把数据直接扔进厨房洗涤池里,之后的工作你完全不用操心。”他是谷歌发表在《自然》(Nature)期刊的研究论文的合著者。 下一步是? 今年,谷歌首席人工智能主管杰夫·迪恩(Jeff Dean)对彭博社表示,谷歌的下一步是将这种预测系统推向诊所。迪恩的健康研究团队(有时被称为“医学大脑”团队)正在研究一系列的人工智能工具,这些工具能够准确地预测症状和疾病,既人带来希望的同时,也带来一些警示。 在公司内部,人们对这一项目感到非常兴奋。“他们终于给AI找到了一个具有商业前景的应用。”一位谷歌员工表示。自从Alphabet旗下的谷歌在2016年宣布要成为“AI为先”的公司以来,它在这一领域的大部分工作都是为了改进现有的互联网服务。而来自医学大脑团队的进展则给了谷歌进入一个全新市场的机会——这是两位联合创始人拉里·佩奇(Larry Page)和谢尔盖·布林(Sergey Brin)一直在反复尝试的事情。 如今,医疗保健领域的软件大多是人工编写的。Alphabet旗下医疗保健公司Verily的前高管、投资公司Foresite Capital常务董事维克·巴贾杰(Vik Bajaj)指出,相比之下,谷歌的方法——让机器自己学习解析数据——“完全可以跑在所有人的前面。”他还说,“他们知道什么问题值得解决。他们现在已经做了足够多的小实验,来确切地搞清楚富有成效的发展方向是什么。” 按照迪恩的设想,该人工智能系统将指导医生使用特定的药物和诊断方式。另一位谷歌研究人员说,现有的模型忽略了一些重要的医学事件,包括病人是否做过手术。在他看来,现有的人工编码模型是医疗保健技术发展的“一个显而易见的巨大障碍”。 数据隐私问题 尽管人们对谷歌的潜力持乐观态度,但利用人工智能改善医疗结果仍然是一个巨大的挑战。其他公司,尤其是IBM旗下的沃森(Watson),也曾尝试将人工智能应用于医疗领域,但在节省费用和将技术整合到偿付系统方面收效甚微。 谷歌长期以来一直在寻求获取数字医疗记录,但结果不尽相同。在最近的研究中,这家互联网巨头与加州大学旧金山分校和芝加哥大学达成了协议,获得了460亿份匿名患者数据。谷歌的人工智能系统为两家医院创建了预测模型,而不是创建同时涵盖这两家医院的数据分析预测模型,后者是一个更难解决的问题。打造面向所有医院的解决方案则将更具挑战性。谷歌正在努力拉拢新的合作伙伴,以便获取更多的医疗记录信息。 对医疗领域的深入研究,只会给本已掌握海量个人信息的谷歌增加更多的信息。数据公司Immuta的首席隐私官安德鲁·伯特(Andrew Burt)表示:“在利用我们所生成的所有数据上,谷歌和其他科技巨头将拥有一种独特的、近乎垄断的能力。”他和儿科肿瘤学家塞缪尔·沃尔切布姆(Samuel Volchenboum)最近写了一篇专栏文章,称政府应该阻止这些数据成为“少数公司独有的资产”,比如在谷歌占据主导地位的在线广告领域实施干预。 当涉及到患者信息时,谷歌表现得非常谨慎,尤其是在公众日益关注企业的数据收集行为的当下。去年,Alphabet旗下的另一家人工智能实验室DeepMind在没有预先告知患者的情况下测试一款分析公共医疗记录的应用程序,因此受到了英国监管机构的严厉抨击。在最新的研究中,谷歌和它的医院合作伙伴坚称他们的数据是匿名的,安全的,并且在病人许可的情况下使用。沃尔切布姆说,如果项目范围扩展到小型的医院和医疗保健网络,那么该公司在数据隐私问题可能将很难保持那种严密性。 不过,沃尔切布姆相信这些算法可以拯救生命和帮助节省费用。他希望,健康记录将来会与其他的数据结合在一起利用。最终,人工智能模型可能纳入有关当地天气和交通的信息——其他影响病患结果的因素。“医院基本上就像一个有机体。”他说。 鲜少公司拥有比谷歌更好的分析这种有机体的条件。该公司和另一家Alphabet子公司Verily正在开发一种能够追踪更多生物信号的设备。即使没有大量的消费者购买使用它打造的可穿戴健康追踪设备,谷歌也还有很多其他的数据来源可以挖掘。它了解天气和交通状况。谷歌的Android手机可以追踪人们走路的方式等方面的信息,这些信息在测量精神状况下降以及其他一些疾病上很有价值。所有的这些数据都可能被纳入到整个医疗算法里。 谈商业模式还为时过早 医疗记录只是谷歌的人工智能医疗计划的一部分。它的医学大脑团队在分别针对放射学、眼科和心脏病学打造人工智能系统。他们也在研究皮肤病。员工开发了一款用于发现恶性皮肤病变的应用;为了进行检测,一位手臂上有15个假纹身的产品经理会在办公室里走来走去。 人工智能主管迪恩强调称,这种实验依赖的是认真严肃的医疗咨询,而不仅仅是好奇的软件程序员。谷歌公司正在印度开展一项新的试验,利用其人工智能软件来分析眼睛图像,以寻找糖尿病视网膜病变的早期迹象。迪恩说,在推出系统之前,谷歌让三名视网膜专家激烈地讨论了早期的研究结果。 随着时间的推移,谷歌可以将这些系统授权提供给诊所,或者把它们作为一种诊断即服务(diagnosTIcs-as-a-service)来通过公司的云计算部门出售。微软公司也在开发预测型人工智能服务。要将产品商业化,谷歌首先需要获得更多的医疗记录,不过这些记录在不同的医疗机构中往往存在很大差异。谷歌可以去购买那些数据,但监管机构或消费者可能无法接受。该公司与加州大学旧金山分校和芝加哥大学的交易并不是商业性的。 该公司表示,现在就确定商业模式还为时过早。在谷歌举行的年度开发者大会上,医学大脑的成员莉莉·彭(Lily Peng)回顾了该团队的研究成果:其打造的系统在发现心脏病风险方面超过了人类。“再说一遍,”她说,“我想强调的是,这项研究确实还处在初期阶段。”

    时间:2020-07-14 关键词: 谷歌 人工智能 医疗

  • 人工智能–多层感知器基础知识解读

    人工智能–多层感知器基础知识解读

    今天我们重点探讨一下多层感知器MLP。  感知器(Perceptron)是ANN人工神经网络的一个概念,由Frank Rosenblatt于1950s第一次引入。 单层感知器(Single Layer Perceptron)是最简单的ANN人工神经网络。它包含输入层和输出层,而输入层和输出层是直接相连的。单层感知器仅能处理线性问题,不能处理非线性问题。今天想要跟大家探讨的是MLP多层感知器。 MLP多层感知器是一种前向结构的ANN人工神经网络, 多层感知器(MLP)能够处理非线性可分离的问题。 MLP概念: MLP多层感知器(MulTI-layerPerceptron)是一种前向结构的人工神经网络ANN,映射一组输入向量到一组输出向量。MLP可以被看做是一个有向图,由多个节点层组成,每一层全连接到下一层。除了输入节点,每个节点都是一个带有非线性激活函数的神经元。使用BP反向传播算法的监督学习方法来训练MLP。MLP是感知器的推广,克服了感知器不能对线性不可分数据进行识别的弱点。 相对于单层感知器,MLP多层感知器输出端从一个变到了多个;输入端和输出端之间也不光只有一层,现在又两层:输出层和隐藏层。 基于反向传播学习的是典型的前馈网络, 其信息处理方向从输入层到各隐层再到输出层,逐层进行。隐层实现对输入空间的非线性映射,输出层实现线性分类,非线性映射方式和线性判别函数可以同时学习。 MLP激活函数 MLP可使用任何形式的激活函数,譬如阶梯函数或逻辑乙形函数(logisTIc sigmoid funcTIon),但为了使用反向传播算法进行有效学习,激活函数必须限制为可微函数。由于具有良好可微性,很多乙形函数,尤其是双曲正切函数(Hyperbolictangent)及逻辑乙形函数,被采用为激活函数。 激活函数的作用是将非线性引入神经元的输出。因为大多数现实世界的数据都是非线性的,希望神经元能够学习非线性的函数表示,所以这种应用至关重要。 MLP原理: 前馈神经网络是最先发明也是最简单的人工神经网络。它包含了安排在多个层中的多个神经元。相邻层的节点有连接或者边(edge)。所有的连接都配有权重。 一个前馈神经网络可以包含三种节点: 1)输入节点(Input Nodes):也称为输入层,输入节点从外部世界提供信息,。在输入节点中,不进行任何的计算,仅向隐藏节点传递信息。 2)隐藏节点(Hidden Nodes):隐藏节点和外部世界没有直接联系。这些节点进行计算,并将信息从输入节点传递到输出节点。隐藏节点也称为隐藏层。尽管一个前馈神经网络只有一个输入层和一个输出层,但网络里可以没有也可以有多个隐藏层。 3)输出节点(Output Nodes):输出节点也称为输出层,负责计算,并从网络向外部世界传递信息。 在前馈网络中,信息只单向移动——从输入层开始前向移动,然后通过隐藏层,再到输出层。在网络中没有循环或回路。 MLP多层感知器就是前馈神经网络的一个例子,除了一个输入层和一个输出层以外,至少包含有一个隐藏层。单层感知器只能学习线性函数,而多层感知器也可以学习非线性函数。 一般采用BP反向传播算法来训练MPL多层感知器。采用BP反向传播算法就像从错误中学习。监督者在人工神经网络犯错误时进行纠正。MLP包含多层节点;输入层,中间隐藏层和输出层。相邻层节点的连接都有配有权重。学习的目的是为这些边缘分配正确的权重。通过输入向量,这些权重可以决定输出向量。在监督学习中,训练集是已标注的。这意味着对于一些给定的输入,能够知道期望的输出(标注)。 MLP训练过程大致如下: 1)所有边的权重随机分配; 2)前向传播:利用训练集中所有样本的输入特征,作为输入层,对于所有训练数据集中的输入,人工神经网络都被激活,然后经过前向传播,得到输出值。 3)反向传播:利用输出值和样本值计算总误差,再利用反向传播来更新权重。 4)重复2)~3), 直到输出误差低于制定的标准。 上述过程结束后,就得到了一个学习过的MLP网络,该网络被认为是可以接受新输入的。 MLP优点: 1)高度的并行处理; 2)高度的非线性全局作用; 3)良好的容错性; 4)具有联想记忆功能; 5)非常强的自适应、自学习功能。 MLP缺点: 1)网络的隐含节点个数选取非常难; 2)停止阈值、学习率、动量常数需要采用”trial-and-error”法,极其耗时; 3)学习速度慢; 4)容易陷入局部极值; 5)学习可能会不够充分。 MLP应用: MLP在80年代的时候曾是相当流行的机器学习方法,拥有广泛的应用场景,譬如语音识别、图像识别、机器翻译等等,但自90年代以来,MLP遇到来自更为简单的支持向量机的强劲竞争。近来,由于深层学习的成功,MLP又重新得到了关注。 常被MLP用来进行学习的反向传播算法,在模式识别的领域中算是标准监督学习算法,并在计算神经学及并行分布式处理领域中,持续成为被研究的课题。MLP已被证明是一种通用的函数近似方法,可以被用来拟合复杂的函数,或解决分类问题。 结语: MLP多层感知器是一种前向结构的ANN人工神经网络, 它能够处理非线性可分离的问题,值得深入研究。为了实现MLP多层感知器,会用到BP反向传播算法。MLP可使用任何形式的激活函数,但为了使用反向传播算法进行有效学习,激活函数必须限制为可微函数。MLP算法应用范围较广,扩展性也强,可应用于语音识别、图像识别、机器翻译等领域。

    时间:2020-07-14 关键词: 人工智能 感知器

  • 2018年国际消费类电子产品展览会:腾讯叮当人工智能助手揭秘

    2018年国际消费类电子产品展览会:腾讯叮当人工智能助手揭秘

     全球最大的国际消费类电子产品展览会(简称CES)在美国拉斯维加斯开幕,腾讯叮当首度公开发布“腾讯叮当生态伙伴计划”,腾讯智能平台产品部总经理莫沙表示,作为一款腾讯AI助手,腾讯叮当将全面开放积累两年的AI能力,为各产业互联网发展赋能。 首度发布生态合作伙伴计划 值得关注的是,作为一款AI助手,腾讯叮当面向业界首次正式揭开了“腾讯叮当生态伙伴计划”的神秘面纱,表示愿以共建共享的姿态开放腾讯AI能力,与众行业共享AI技术成果,为硬件设施的智能化提供解决方案,构建和谐的合作伙伴生态圈。今后腾讯会持续为越来越多的厂商提供AI语音技术和平台,将越来越多带有AI属性的产品带入普通用户的日常生活,从而通过硬件与AI的结合实现各种场景化智能产品的落地。 “腾讯叮当生态伙伴计划”的达成意味着腾讯叮当将成为人工智能领域的基础设施,作为一款AI助手,以“设备中枢”、“AI大脑”的方式为行业提供万能接口。通过寻找契合的合作伙伴,腾讯以AI+实现智慧连接,让AI科技从开发研究,落实到场景共建,进而在开放生态中实现价值的最大化。 此次展会,腾讯叮当的众多合作伙伴集体亮相助阵。优必选机器人、GGMM智能音箱以及1MORE智能运动耳机等合作产品均在CES展上展示其最新产品,而基于腾讯叮当智能语音解决方案的中外合作伙伴人工智能可穿戴设备新品也参与展出。此外,在展会上腾讯叮当还与国光电器、长虹、TCL等合作伙伴签署了战略合作协议,这预示着腾讯AI助手将会在家用电器领域与签约厂商进行更深入的合作交流。 开放AI能力为合作伙伴赋能 美国时间1月9日下午,腾讯叮当受邀出席了由腾讯汽车频道在展会上主办的“机器之光”论坛。在以“布局2020”与“制胜筹码”为主题的论坛圆桌会议上,腾讯智能平台产品部总经理莫沙与汽车、科技等领域创始人一起,就各企业发布的相关战略规划进行了讨论与交流,并以智能、共享、网联、能量、安全等未来出行领域关键词为核心,分别揭秘了各家企业手中所握有的王牌。 值得一提的是,在“制胜筹码”论坛中,腾讯智能平台产品部总经理莫沙就腾讯车联AI in Car战略问题,全面介绍了腾讯叮当在车联网领域的进展状况。腾讯车联服务包括智慧连接产品“腾讯我的车”、智慧交互产品“叮当语音助手”,智慧出行产品“腾讯车载地图”,以及基于科恩实验室研发的车联网安全体系。它汇集了腾讯体系内安全、内容、大数据、云和AI等方面能力,全面开放基于AI的连接能力和生态资源,致力于和合作伙伴一同为车主打造全方位的智慧车生活。叮当语音助手是腾讯车联服务平台的智慧交互产品,也是腾讯AI in Car车联战略的初步落地,其以AI赋能车联网的设想已在与广汽合作的iSPACE智联电动概念车中得以实施。 腾讯提出的“AI in All”便是利用AI的链接价值以扶持各行业迈入智能化时代的战略选择。经过2017年的发展,腾讯叮当积累了整体AI的全站技术,包揽了从唤醒、识别、理解到合成的全过程。从腾讯智能平台产品部总经理莫沙在论坛上的讲话中获悉,2018年将会是腾讯叮当迅猛增长的一年,叮当语音助手将会在技术成果的AI场景化落地方面取得更大突破,与合作伙伴一道,为车载、电视、音箱、机器人、可穿戴以及手机等六大场景“提供更多的实战型AI解决方案”。与此同时,在获得AI连接能力的延展后,腾讯还将从而更多合作伙伴一起,以AI助手的“软大脑”逐步为合作伙伴赋能。

    时间:2020-07-14 关键词: ces 腾讯 人工智能

  • 人工智能的热潮,我们应沉着冷静的对待

    人工智能的热潮,我们应沉着冷静的对待

      科技界的热词总是一波接一波。最先是“开放”,几乎所有巨头都在搭建自己的“开放平台”;接着是“云计算”,一夜之间,几乎所有的服务器都被“云”取代;再然后是“大数据”,每个公司都在说挖掘,可实际的成果却寥寥。   现在,我们又进入到了“AI”时代,有越来越多的企业都在用人工智能技术把自己“包装”得更为聪明。   从腾讯成立西雅图人工智能实验室,到百度宣称自己是一家人工智能公司,再到阿里开始兜售搭载着人工智能的音箱,人工智能这股风已经席卷了国内科技界。而这股浪潮不止局限在国内。据统计,到去年年底,在财富500强企业中,就有180家对外宣称自己要启动相关的人工智能项目。甚至有广告研究公司大胆预估,到了 2020 年,人工智能技术可能会出现在几乎所有的新科技产品的宣传之中。   如果人工智能能够代表一家公司的智商的话,那么财富 500 强俱乐部可以说在短短两年内,从充斥着懵懂无知孩童的幼儿园变成了一个平均智商过 120 的门萨俱乐部。   在这一热潮之中,也有人表达了他的顾虑。他担心,现在对人工智能的过度吹捧,会让消费者丧失对人工智能技术的信心。消费者一旦发现这些标榜着 “人工智能” 的产品与实际体验上的巨大落差,就会对人工智能保持怀疑态度。因为,就现在的技术来看,现在宣传的人工智能 (AI) ,与其说是人工智能 (AriTIfical Intelligence) ,倒不如说是人工吹捧 (ArTIfical Inflated) 。   如果让我们冷静下来观察一下业界,我们就会发现,尽管人工智能技术在近几年来飞速发展,但要是说很多公司突然之间在人工智能领域都有了值得宣传的进展,显然是不现实的。因为人工智能技术本身需要的是大量的数据支持和资金支持。   首先是数据。现在鲜有公司能够有足够多的数据来训练他们的人工智能。哪怕像苹果、Amazon这样的巨头,坐拥海量的数据,但表现到具体产品上——比如说Siri、Amazon Echo,其功能还是非常简单的。   其次是资金。先别说企业需要在人才、计算设备、数据存储方面的巨额投入,就单单是人工分拣数据这一项,就让Amazon 雇佣了一万五千名到两万名的低收入员工。这,足以看出 AI 对资金的需求量之大。   而如此巨大的资金投入,得到的却是一些看起来毫无革命性的结果,这对大部分公司来说,都是一个亏本的买卖。作为一线的开发者们,显然比公司高层更了解这个现实。就拿 VisionMobile 针对 8500 名开发者的调查来说,相信基于人工智能的聊天机器人(就是像小冰、小七、小鱼、 BabyQ 这样的聊天机器人)能够给公司带来利润的,不到 25%。   而人工智能的先行者——Facebook 也已经意识到了这一问题,在推出他们的人工智能机器人 Chatbot 短短 11 个月后,就决定削减在这方面的投入。   一边是尚处于起步阶段的人工智能,另一边却是公司营销部门越来越夸张的宣传。   据一位分析师在研究了 1,000 家宣称自己使用了人工智能的技术供应商后发现,大部分所谓的人工智能技术,采用的依旧是基础的、基于规则的机器学习和分析技术。这些技术,早在人工智能这个概念被热炒之前,就已经出现并被学界所使用;此外,这些技术的能力也远远未达到可以被称得上“人工智能”的程度。   换句话说,现在被用于产品中的“人工智能”,和科技巨头们花大价钱研究的,可以说得上是两种不同的事物。而营销部门的冒进,让大家乐观的以为,让人工智能驱动万物已经是指日可待。   这些过度的吹捧,对于正处于起步阶段的人工智能领域来说,恐怕更多的,带来的是“揠苗助长”的效果。   所以,如果大家都能够承认这一点,从简单的服务出发,脚踏实地,那么消费者和投资人对 AI 的信心,也不会在一次又一次的失望中消磨殆荆

    时间:2020-07-14 关键词: 人工智能

  • 关于人工智能实验室在食物领域的研究

    关于人工智能实验室在食物领域的研究

      之前由See Food Inc研发出的热狗识别app“不是热狗”(Not Hotdog)引发了AI界的热烈讨论,然而一个看上去简单的戏谑性app涉及到的AI技术却非常复杂,虽然在应用层面作用不大,却是人类AI历史上里程碑一样的产品,之前36Kr有过相关报道。   Not Hotdog的名声大噪引发了AI界对于食物识别的又一轮热潮,MIT的电脑科学和人工智能实验室(MIT Computer Science and ArTIficial Intelligence Laboratory)最近就在研究这个领域。MIT团队意图使用食物识别系统从美食制作视频中识别出菜谱的原料。MIT团队的pic2recipe(图片到接收器)系统运用计算机神经网络来判断社交网络上美食图片中食物的种类,从而还可以进一步分析上传者的健康习惯和饮食偏好。   Pic2recipe系统运用了瑞士科学家2014年研发的食物识别算法Food-101 Data Set,运用了其数据库中的101000张食物图片,而这些图片和CSAIL的Recipe1M database数据有交叉引用的部分。Recipe1M database的数据大多数是从一些流行的菜谱网站诸如All Recipes和Food.com中扒下来的。   目前该项技术离完全成熟还有很长一段路要走,当前系统识别的正确率只有65%左右。项目当前遇到的最大瓶颈还在于图片本身。联合研发人Nick Hynes表示,人们在拍摄食物照片的时候,食物的呈现会受到拍摄状态的影响,包括角度、远近、摆放和灯光等因素都可能造成识别结果的不同。在同一种食物出现在不同的菜谱中时,系统的识别错误率也会提升。

    时间:2020-07-14 关键词: 计算机 人工智能 神经网络

  • 关于机器学习PCA算法的主成分分析

    关于机器学习PCA算法的主成分分析

    前言:人工智能机器学习有关算法内容,人工智能之机器学习主要有三大类:1)分类;2)回归;3)聚类。今天我们重点探讨一下PCA算法。 PCA(主成分分析)是十大经典机器学习算法之一。PCA是Pearson在1901年提出的,后来由Hotelling在1933年加以发展提出的一种多变量的统计方法。 对于维数比较多的数据,首先需要做的事就是在尽量保证数据本质的前提下将数据中的维数降低。降维是一种数据集预处理技术,往往在数据应用在其他算法之前使用,它可以去除掉数据的一些冗余信息和噪声,使数据变得更加简单高效,从而实现提升数据处理速度的目的,节省大量的时间和成本。降维也成为了应用非常广泛的数据预处理方法。目前处理降维的技术有很多种,如SVD奇异值分解,主成分分析(PCA),因子分析(FA),独立成分分析(ICA)等。今天重点介绍主成分分析(PCA)。 PCA(主成分分析)算法目的是在“信息”损失较小的前提下,将高维的数据转换到低维,通过析取主成分显出的最大的个别差异,也可以用来削减回归分析和聚类分析中变量的数目,从而减小计算量。 PCA(主成分分析)通常用于高维数据集的探索与可视化,还可以用于数据压缩,数据预处理等。 PCA算法概念: PCA(PrincipalComponent Analysis)主成分分析,也称为卡尔胡宁-勒夫变换(Karhunen-Loeve Transform),是一种用于探索高维数据结构的技术。 PCA是一种较为常用的降维技术,PCA的思想是将维特征映射到维上,这维是全新的正交特征。这维特征称为主元,是重新构造出来的维特征。在PCA中,数据从原来的坐标系转换到新的坐标系下,新的坐标系的选择与数据本身是密切相关的。第一个新坐标轴选择的是原始数据中方差最大的方向,第二个新坐标轴选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复,重复次数为原始数据中特征的数目。大部分方差都包含在最前面的几个新坐标轴中。因此,可以忽略余下的坐标轴,即对数据进行降维处理。 PCA算法本质: PCA算法本质就是找一些投影方向,使得数据在这些投影方向上的方差最大,而且这些投影方向是相互正交的。这其实就是找新的正交基的过程,计算原始数据在这些正交基上投影的方差,方差越大,就说明在对应正交基上包含了更多的信息量。原始数据协方差矩阵的特征值越大,对应的方差越大,在对应的特征向量上投影的信息量就越大。反之,如果特征值较小,则说明数据在这些特征向量上投影的信息量很小,可以将小特征值对应方向的数据删除,从而达到了降维的目的。 PCA把可能具有相关性的高维变量合成线性无关的低维变量,称为主成分( principal components)。新的低维数据集会尽可能保留原始数据的变量。 简而言之,PCA本质上是将方差最大的方向作为主要特征,并且在各个正交方向上将数据“离相关”,也就是让它们在不同正交方向上没有相关性。 PCA算法中术语: 1、样本“信息量” 样本的“信息量”指的是样本在特征方向上投影的方差。方差越大,则样本在该特征上的差异就越大,因此该特征就越重要。在分类问题里,样本的方差越大,越容易将不同类别的样本区分开。 2、方差 希望投影后投影值尽可能分散,而这种分散程度,可以用数学上的方差来表述。在统计描述中,方差用来计算每一个变量(观察值)与总体均数之间的差异。此处,一个字段的方差可以看做是每个元素与字段均值的差的平方和的均值,即: 3、协方差 对于二维降成一维的问题来说,找到使得方差最大的方向就可以了。但是对于更高维的问题,需要用到协方差来表示其相关性。即: PCA理论基础: 1)最大方差理论。 2)最小错误理论。 3)坐标轴相关度理论。 PCA算法流程: 1)去平均值,即每一位特征减去各自的平均值; 2)计算协方差矩阵; 3)计算协方差矩阵的特征值与特征向量; 4)对特征值从大到小排序; 5)保留最大的个特征向量; 6)将数据转换到个特征向量构建的新空间中。 PCA降维准则: 1) 最近重构性:样本集中所有点,重构后的点距离原来的点的误差之和最小。         2) 最大可分性:样本在低维空间的投影尽可能分开。 PCA算法优点: 1)使得数据集更易使用; 2)降低算法的计算开销; 3)去除噪声; 4)使得结果容易理解; 5)完全无参数限制。 PCA算法缺点: 1)    如果用户对观测对象有一定的先验知识,掌握了数据的一些特征,却无法通过参数化等方法对处理过程进行干预,可能会得不到预期的效果,效率也不高; 2)    特征值分解有一些局限性,比如变换的矩阵必须是方阵; 3)    在非高斯分布情况下,PCA方法得出的主元可能并不是最优的。 PCA算法应用: PCA算法已经被广泛的应用于高维数据集的探索与可视化,还可以用于数据压缩,数据预处理等领域。在机器学习当中应用很广,比如图像,语音,通信的分析处理。PCA算法最主要的用途在于“降维”,去除掉数据的一些冗余信息和噪声,使数据变得更加简单高效,提高其他机器学习任务的计算效率。 结语: PCA是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于识别和提取数据的主要特征分量,通过将数据坐标轴旋转到数据角度上那些最重要的方向(方差最大);然后通过特征值分析,确定出需要保留的主成分个数,舍弃其他非主成分,从而实现数据的降维。降维使数据变得更加简单高效,从而实现提升数据处理速度的目的,节省大量的时间和成本。降维也成为了应用非常广泛的数据预处理方法。PCA算法已经被广泛的应用于高维数据集的探索与可视化,还可以用于数据压缩,数据预处理,图像,语音,通信的分析处理等领域。

    时间:2020-07-14 关键词: 算法 人工智能 pca

  • 你还在那担心拍照时眨眼吗?Facebook的AI新研究让你“眼界大开”

    你还在那担心拍照时眨眼吗?Facebook的AI新研究让你“眼界大开”

    现代生活中,我们P图的方式多种多样,比如去除红眼、镜头曝光,等等。但是,拍照眨眼仍然很难处理。不过,最近Facebook的一项AI新研究能够让照片中闭眼的你“眼界大开”。这一技术被誉为智能“内画”(intelligent in-painTIng),用开眼代替闭眼只是其中的用例之一。简单来说,就是程序会自动向空间填充那些它认为本该存在里面的东西。Adobe目前已经在”上下文感知检索“中充分利用了这项技术,让用户能够无缝替换掉那些不想要的功能。 当然,替换眼睛是这项技术面临的挑战之一。因为,眼睛具有复杂性和多变性的特点,所以系统很难改变或者是创建此类内容。 不过,由于Facebook掌握巨大的图片数据库,拥有许多人眨眼的照片,所以决定要尝试去破解这个难题。 想要实现这一点,就需要依靠生成式对抗性网络(GeneraTIve Adversarial Network,以下简称GAN),其本质上就是一个机器学习系统。这个系统要学会欺骗自己,让自己觉得所造的事物是真实可靠的。在GAN中,系统的其中一部分要学习去识别内容,而另一部分则负责去创造内容。当然,内容创造会根据内容识别的反馈信息来进行。 在这一条件下,这个网络既能够识别眼周环境,同时也能创建一双眼睛。正如上图所示,目前这项技术已经可以使用了,但是仍有一些不太理想的地方。系统似乎只是单一地复制粘贴人类的眼睛,但是并没有考虑到图像的一致性。 机器就是这么傻,他们没有办法理解的是,当人们睁开眼睛时,眼周的颜色并不会随之改变。或者换句话说,机器对于眼睛、颜色等信息都没有直观理解。 在Facebook研究人员输入的样本数据中,实验对象的眼睛都是睁开的。这样一来,GAN就能了解到眼睛在人体的位置、特定的形状,以及颜色,等等。 结果显示,并没有明显的色差或者是缝合痕迹。这是因为,系统中负责识别的部分非常清楚,真实的人类不长那样儿。 在测试中,人们经常会没办法判断,哪些照片是真的睁眼,哪些只是系统模拟的睁眼照片;误判率高达一半以上。 当然,这个系统也并非十全十美。在某些情况下,其仍然会出现失误。比如说,当一个人的眼睛被头发遮盖住,或者是颜色矫正出现偏差的时候,系统生成的照片中就会出现一些奇怪的阴影。当然,这些问题都是可以解决的。 可以想象,当Facebook未来某天在平台上审阅用户照片的时候,如果一旦发现某个用户的照片闭眼了,那么它就会自动用这个系统把用户眼睛打开…说实话,这是有点让人毛骨悚然。但是,至少这个系统可能可以拯救你相册里面的不少照片。

    时间:2020-07-14 关键词: 人工智能 facebook AI

  • 高通与微软达成战略合作推广AI助手

    高通与微软达成战略合作推广AI助手

    据报道,微软在2018年国际消费电子展上宣布,诸如高通等公司正在开发参考设计,鼓励硬件制造商将微软人工智能助手Cortana集成到更多设备中。此外,高通还宣布计划将Cortana作为其智能音频平台的重要组成部分。 高通公司发布的一份报告显示,与Cortana集成的高通智能音频平台计划于2018年上半年面向设备制造商发布。 加入微软的Cortana合作伙伴计划的还有SynapTIcs,Allwinner和Tomly。每个项目参与者都在为制造商开发参考设计方案,将Cortana整合到智能网络和智能家居设备中。 微软的Cortana Device SDK于2016年12月首次公开预览。 上个星期,智能设备制造商Johnson Controls宣布计划发布一个内置Cortana的智能恒温器。 除了参考设计之外,微软公司还宣布Cortana能够兼容霍尼韦尔,Ecobee,LIFX和TP-Link Kasa等主流智能家居品牌的设备,控制智能灯泡,恒温器和智能插头等设备。 Cortana背后有微软的支持,而到目前为止,其他科技公司的人工智能都已经成为今年国际消费电子展上的焦点。 去年秋天三星承诺将发布智能电视和家庭互联电冰箱。其人工智能助手Bixby也将被整合进哈曼国际的5G互联汽车平台。 谷歌昨日与JBL和索尼等合作伙伴一起,展示了如何其智能数字助理整合进智能音箱,同时演示了谷歌智能数字助理如何成为Android Auto用户体验的核心。 同样,亚马逊的智能助手Alexa已经被整合进许多设备中,相关产品涵盖了从厨房电器、无线耳机到车载现实设备以及增强现实眼镜等诸多种类。

    时间:2020-07-14 关键词: 高通 微软 人工智能

  • Q Learning算法学习

    Q Learning算法学习

    我们知道,TD-Learning时序差分是结合了动态规划DP和蒙特卡洛MC(请参见人工智能(31))方法,并兼具两种算法的优点,是强化学习的中心。 TD-learning时序差分大概分了6类。其中,策略行动价值qπ的off-policy时序差分学习方法: Q-Learning(单步),Double Q-Learning(单步)。今天重点介绍Q-Learning算法。 Q Learning算法是由Watkins于1989年在其博士论文中提出,是强化学习发展的里程碑,也是目前应用最为广泛的强化学习算法。 Q Learning算法概念: Q Learning算法是一种off-policy的强化学习算法,一种典型的与模型无关的算法,即其Q表的更新不同于选取动作时所遵循的策略,换句化说,Q表在更新的时候计算了下一个状态的最大价值,但是取那个最大值的时候所对应的行动不依赖于当前策略。 Q Learning始终是选择最优价值的行动,在实际项目中,Q Learning充满了冒险性,倾向于大胆尝试。 Q Learning算法下,目标是达到目标状态(Goal State)并获取最高收益,一旦到达目标状态,最终收益保持不变。因此,目标状态又称之为吸收态。 Q Learning算法下的agent,不知道整体的环境,知道当前状态下可以选择哪些动作。通常,需要构建一个即时奖励矩阵R,用于表示从状态s到下一个状态s’的动作奖励值。由即时奖励矩阵R计算得出指导agent行动的Q矩阵。 Q矩阵是agent的大脑。 Q Learning算法本质: QLearning属于TD-Learning时序差分学习。同样,该算法结合了动态规划和蒙特卡罗MC算法,模拟(或者经历)一个情节,每行动一步(或多步)后,根据新状态的价值,来估计执行前的状态价值。 下面提到的Q-Learning是单步更新算法。 Q Learning算法描述: Q-learning是一个突破性的算法。 利用下面公式进行off-policy学习,即用公式来表示Q-Learning中Q表的更新: Q(St,At)←Q(St,At)+α[Rt+1+γmax Q(St+1,a)?Q(St,At)] 其中: St: 当前状态state At: 从当前状态下,采取的行动acTIon St+1:本次行动所产生的新一轮state At+1: 次回acTIon Rt: 本次行动的奖励reward γ为折扣因子,0<= γ<1,γ=0表示立即回报,γ趋于1表示将来回报,γ决定时间的远近对回报的影响程度,表示牺牲当前收益,换取长远收益的程度。将累计回报作为评价策略优劣的评估函数。当前的回报值以及以前的回报值都可以得到,但是后续状态的回报很难得到,因此累计回报就难以计算。而Q-learning用Q函数来代替累计回报作为评估函数,正好解决这个问题。 α为控制收敛的学习率,0< α<1。通过不断的尝试搜索空间,Q值会逐步趋近最佳值Q*。 1)Q-learning单步时序差分学习方法算法描述 IniTIalize Q(s,a),s∈S,a∈A(s) arbitrarily, and Q(terminal, ˙)=0 Repeat (for each episode):  IniTIalize S  Choose A from S using policy derived from Q (e.g. greedy)  Repeat (for each step of episode):  Take action A, observe R,S′  Q(S,A)←Q(S,A)+α[R+γmaxa Q(S‘,a)Q(S,A)]  S←S′;  Until S is terminal 每个episode是一个training session,且每一轮训练意义就是加强大脑,表现形式是agent的Q矩阵元素更新。当Q习得后,可以用Q矩阵来指引agent的行动。 Q-learning使用了max,会引起一个最大化偏差(Maximization Bias)问题。 可以使用Double Q-learning可以消除这个问题。 2)Double Q-learning单步时序差分学习方法算法描述 Initialize Q1(s,a) and Q2(s,a),s∈S,a∈A(s) arbitrarily Initialize Q1(terminal, ˙)=Q2(terminal, ˙)=0 Repeat (for each episode):  Initialize S  Repeat (for each step of episode):  Choose A from S using policy derived from Q1 and Q2 (e.g. greedy)  Take action A, observe R,S′  With 0.5 probability:  Q1(S,A)←Q1(S,A)+α[R+γQ2(S′,argmax Q1(S′,a))Q1(S,A)]  Else:  Q2(S,A)←Q2(S,A)+α[R+γQ1(S′,argmax Q2(S′,a))Q2(S,A)]  S←S′;  Until S is terminal Double Q Learning算法本质上是将计算Q函数进行延迟,并不是得到一条样本就可以更新价值函数,而是一定的概率才可以更新。由原来的1条样本做到影响决策变为多条(至少两条)样本影响决策。 Q Learning理论基础: QLearning理论基础如下: 1)蒙特卡罗方法 2)动态规划 3)信号系统 4)随机逼近 5)优化控制 Q Learning算法优点: 1)所需的参数少; 2)不需要环境的模型; 3)不局限于episode task; 4)可以采用离线的实现方式; 5)可以保证收敛到 qπ。 Q Learning算法缺点: 1)    Q-learning使用了max,会引起一个最大化偏差问题; 2)    可能会出现更新速度慢; 3)    可能会出现预见能力不强。 注:使用Double Q-learning可以消除问题1);使用多步Q -learning可以消除问题2)和3)。 Q Learning算法应用: 从应用角度看,Q Learning应用领域与应用前景都是非常广阔的,目前主要应用于动态系统、机器人控制、工厂中学习最优操作工序以及学习棋类对弈等领域。 结语: Q Learning是一种典型的与模型无关的算法,它是由Watkins于1989年在其博士论文中提出,是强化学习发展的里程碑,也是目前应用最为广泛的强化学习算法。Q Learning始终是选择最优价值的行动,在实际项目中,Q Learning充满了冒险性,倾向于大胆尝试,属于TD-Learning时序差分学习。Q Learning算法已经被广泛应用于动态系统、机器人控制、工厂中学习最优操作工序以及学习棋类对弈等领域。

    时间:2020-07-14 关键词: 算法 人工智能

  • 浅谈ICA算法的概念、本质和流程

    浅谈ICA算法的概念、本质和流程

    ICA独立成分分析是近年来出现的一种强有力的数据分析工具(Hyvarinen A, Karhunen J, Oja E, 2001; Roberts S J, Everson R, 2001)。1994年由Comon给出了ICA的一个较为严格的数学定义,其思想最早是由Heranlt和Jutten于1986年提出来的。  ICA从出现到现在虽然时间不长,然而无论从理论上还是应用上,它正受到越来越多的关注,成为国内外研究的一个热点。 ICA独立成分分析是一种用来从多变量(多维)统计数据里找到隐含的因素或成分的方法,被认为是PCA主成分分析(请参见人工智能(46))和FA因子分析的一种扩展。对于盲源分离问题,ICA是指在只知道混合信号,而不知道源信号、噪声以及混合机制的情况下,分离或近似地分离出源信号的一种分析过程。  ICA算法概念: ICA(IndependentComponent Analysis) 独立成分分析是一门统计技术,用于发现存在于随机变量下的隐性因素。ICA为给观测数据定义了一个生成模型。在这个模型中,其认为数据变量是由隐性变量,经一个混合系统线性混合而成,这个混合系统未知。并且假设潜在因素属于非高斯分布、并且相互独立,称之为可观测数据的独立成分。 ICA与PCA相关,但它在发现潜在因素方面效果良好。它可以应用在数字图像、档文数据库、经济指标、心里测量等。 ICA算法本质: ICA是找出构成信号的相互独立部分(不需要正交),对应高阶统计量分析。ICA理论认为用来观测的混合数据阵X是由独立元S经过A线性加权获得。ICA理论的目标就是通过X求得一个分离矩阵W,使得W作用在X上所获得的信号Y是独立源S的最优逼近,该关系可以通过下式表示: Y = WX = WAS , A = inv(W) ICA相比与PCA更能刻画变量的随机统计特性,且能抑制高斯噪声。 从线性代数的角度去理解,PCA和ICA都是要找到一组基,这组基张成一个特征空间,数据的处理就都需要映射到新空间中去。 ICA理论基础: ICA理论基础如下: 1)标准正交基 2)白化 3)梯度下降 ICA目标函数: ICA的目标函数如下:  样本数据 x 经过参数矩阵 W 线性变换后的结果的L1范数,实际上也就是描述样本数据的特征。 加入标准正交性约束(orthonormality constraint)后,ICA独立成分分析相当于求解如下优化问题:  这就是标准正交ICA的目标函数。与深度学习中的通常情况一样,这个问题没有简单的解析解,因此需要使用梯度下降来求解,而由于标准正交性约束,又需要每次梯度下降迭代之后,将新的基映射回正交基空间中,以此保证正交性约束。  ICA优化参数:   针对ICA的目标函数和约束条件,可以使用梯度下降法,并在梯度下降的每一步中增加投影(projecTIon )步骤,以满足标准正交约束。过程如下:   ICA算法流程: 已知信号为S,经混和矩阵变换后的信号为:X=AS。对交叠信号X,求解混矩阵B,使Y=WX各分量尽量相互独立。求解W的过程并不一定是近似A的逆矩阵,Y也不是信号S的近似,而是为了使Y分量之间相互独立。目的是从仅有的观测数据X出发寻找一个解混合矩阵。 常见的方法:InfoMax方法(用神经网络使信息最大化),FasTICA方法(固定点算法,寻求X分量在W上投影(W^t)*X)的非高斯最大化。 主要算法流程如下:   1、预处理部分:1)对X零均值处理    2)球化分解(白化) 乘球化矩阵S,使Z=SX各行正交归一,即ZZ’=I 2、核心算法部分: 寻求解混矩阵U,使Y=UZ,Y各道数据尽可能独立(独立判据函数G)。 1)、由于Y独立,各行必正交。且通常取U保持Y各行方差为1,故U是正交变换。 2)、所有算法预处理部分相同,以后都设输入的为球化数据z,寻找正交矩阵U,使Y=Uz独立。 由于独立判据函数G的不同,以及步骤不同,有不同的独立分量分析法。 3、Fast ICA算法思路: 思路:属于探查性投影追踪 目的:输入球化数据z,经过正交阵U处理,输出Y=Uz 1)输入球化数据z,经过正交阵某一行向量ui处理(投影),提取出某一独立分量yi。 2)将此分量除去,按次序依次提取下去,得到所有的yi ,以及ui。 3)得到独立的基向量U U=WX Fast ICA算法程序如下:        funcTIon [Out1, Out2, Out3] =fasTIca(mixedsig, varargin) %FASTICA(mixedsig) estimates theindependent components from given % multidimensional signals. Each row ofmatrix mixedsig is one % observed signal. % = FASTICA (mixedsig); the rows oficasig contain the % estimated independent components. % = FASTICA (mixedsig); outputs the estimatedseparating % matrix W and the corresponding mixingmatrix A. mixedsig为输入向量,icasig为求解的基向量。 A即为混合矩阵,可以验证mixedsig=A×icasig。 W即为解混矩阵,可以验证icasig=W×mixedsig。 ICA算法优点: 1)收敛速度快。 2)并行和分布计算,要求内存小,易于使用。 3)能通过使用一个非线性函数g便能直接找出任何非高斯分布的独立分量。 4)能够通过选择一个适当的非线性函数g而使其达到最佳化。特别是能得到最小方差的算法。 5)仅需要估计几个(不是全部)独立分量,能极大地减小计算量。 ICA算法缺点: 1) 特征矩阵W的特征数量(即基向量数量)大于原始数据维度会产生优化方面的困难,并导致训练时间过长; 2) ICA模型的目标函数是一个L1范数,在 0 点处不可微,影响了梯度方法的应用。 注:尽管可以通过其他非梯度下降方法避开缺点2),也可以通过使用近似值“平滑” L1 范数的方法来解决,即使用 ( x2+ε )1/2 代替 |x|,对L1范数进行平滑,其中 ε 是“平滑参数”(smoothing parameter)。 ICA与PCA区别: 1) PCA是将原始数据降维并提取出不相关的属性,而ICA是将原始数据降维并提取出相互独立的属性。 2) PCA目的是找到这样一组分量表示,使得重构误差最小,即最能代表原事物的特征。ICA的目的是找到这样一组分量表示,使得每个分量最大化独立,能够发现一些隐藏因素。由此可见,ICA的条件比PCA更强些。 3) ICA要求找到最大独立的方向,各个成分是独立的;PCA要求找到最大方差的方向,各个成分是正交的。 4) ICA认为观测信号是若干个统计独立的分量的线性组合,ICA要做的是一个解混过程。而PCA是一个信息提取的过程,将原始数据降维,现已成为ICA将数据标准化的预处理步骤。 ICA算法应用: 从应用角度看,ICA应用领域与应用前景都是非常广阔的,目前主要应用于盲源分离、图像处理、语言识别、通信、生物医学信号处理、脑功能成像研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等。  结语: ICA是一种常用的数据分析方法,是盲信号分析领域的一个强有力方法,也是求非高斯分布数据隐含因子的方法。从样本-特征角度看,使用ICA的前提条件是,认为样本数据由独立非高斯分布的隐含因子产生,隐含因子个数等于特征数,要求的是隐含因子。ICA算法已经被广泛应用于盲源分离、图像处理、语言识别、通信、生物医学信号处理、脑功能成像研究、故障诊断、特征提取、金融时间序列分析和数据挖掘等领域。

    时间:2020-07-14 关键词: 人工智能 数据分析 ica

  • 关于TD Learning算法的分析

    关于TD Learning算法的分析

    导读: 人工智能之机器学习主要有三大类:1)分类;2)回归;3)聚类。今天我们重点探讨一下TD Learning算法。 TD Learning时序差分学习结合了动态规划DP和蒙特卡洛MC方法,且兼具两种算法的优点,是强化学习的核心思想。 虽然蒙特卡罗MC方法仅在最终结果已知时才调整其估计值,但TD Learning时序差分学习调整预测以匹配后,更准确地预测最终结果之前的未来预测。 TD Learning算法概念: TD Learning(Temporal-Difference Learning) 时序差分学习指的是一类无模型的强化学习方法,它是从当前价值函数估计的自举过程中学习的。这些方法从环境中取样,如蒙特卡洛方法,并基于当前估计执行更新,如动态规划方法。 TD Learning算法本质: TD Learning(Temporal-DifferenceLearning)时序差分学习结合了动态规划和蒙特卡洛方法,是强化学习的核心思想。 时序差分不好理解。改为当时差分学习比较形象一些,表示通过当前的差分数据来学习。 蒙特卡洛MC方法是模拟(或者经历)一段序列或情节,在序列或情节结束后,根据序列或情节上各个状态的价值,来估计状态价值。TD Learning时序差分学习是模拟(或者经历)一段序列或情节,每行动一步(或者几步),根据新状态的价值,然后估计执行前的状态价值。可以认为蒙特卡洛MC方法是最大步数的TD Learning时序差分学习。 TD Learning算法描述: 如果可以计算出策略价值(π状态价值vπ(s),或者行动价值qπ(s,a)),就可以优化策略。 在蒙特卡洛方法中,计算策略的价值,需要完成一个情节,通过情节的目标价值Gt来计算状态的价值。其公式: MC公式: V(St)←V(St)+αδt δt=[Gt?V(St)] 这里: δt – MC误差 α – MC学习步长 TD Learning公式: V(St)←V(St)+αδt δt=[Rt+1+γV(St+1)?V(St)] 这里: δt – TD Learning误差 α – TD Learning步长 γ – TD Learning报酬贴现率 TD Learning时间差分方法的目标为Rt+1+γ V(St+1),若V(St+1) 采用真实值,则TD Learning时间差分方法估计也是无偏估计,然而在试验中V(St+1)  用的也是估计值,因此TD Learning时间差分方法属于有偏估计。然而,跟蒙特卡罗MC方法相比,TD Learning时间差分方法只用到了一步随机状态和动作,因此TD Learning时间差分方法目标的随机性比蒙特卡罗MC方法中的Gt 要小,因此其方差也比蒙特卡罗MC方法的方差小。 TD Learning分类: 1)策略状态价值vπ的时序差分学习方法(单步多步) 2)策略行动价值qπ的on-policy时序差分学习方法: Sarsa(单步多步) 3)策略行动价值qπ的off-policy时序差分学习方法: Q-learning(单步),Double Q-learning(单步) 4)策略行动价值qπ的off-policy时序差分学习方法(带importance sampling): Sarsa(多步) 5)策略行动价值qπ的off-policy时序差分学习方法(不带importance sampling): Tree Backup Algorithm(多步) 6)策略行动价值qπ的off-policy时序差分学习方法: Q(σ)(多步) TD Learning算法流程: 1)单步TD Learning时序差分学习方法: IniTIalizeV(s) arbitrarily ?s∈S+ Repeat(for each episode): ?IniTIalize S ?Repeat (for each step of episode): ?? A←acTIongiven by π for S ??Take acTIon A, observe R,S′ ??V(S)←V(S)+α[R+γV(S′)?V(S)] ?? S←S′ ?Until S is terminal 2)多步TD Learning时序差分学习方法: Input:the policy π to be evaluated InitializeV(s) arbitrarily ?s∈S Parameters:step size α∈(0,1], a positive integer n Allstore and access operations (for St and Rt) can take their index mod n Repeat(for each episode): ?Initialize and store S0≠terminal ? T←∞ ? Fort=0,1,2,?: ?? Ift<Tt<T, then: ???Take an action according to π( ˙|St) ???Observe and store the next reward as Rt+1 and the next state as St+1 ???If St+1 is terminal, then T←t+1 ?? τ←t?n+1(τ is the time whose state's estimate is being updated) ?? Ifτ≥0τ≥0: ??? G←∑min(τ+n,T)i=τ+1γi?τ?1Ri ???if τ+n≤Tτ+n≤T then: G←G+γnV(Sτ+n)(G(n)τ) ???V(Sτ)←V(Sτ)+α[G?V(Sτ)] ?Until τ=T?1 注意:V(S0)是由V(S0),V(S1),…,V(Sn)计算所得;V(S1)是由V(S1),V(S1),…,V(Sn+1)计算所得。 TD Learning理论基础 TD Learning理论基础如下: 1)蒙特卡罗方法 2)动态规划 3)信号系统 TD Learning算法优点: 1)不需要环境的模型; 2)可以采用在线的、完全增量式的实现方式; 3)不需等到最终的真实结果; 4)不局限于episode task; 5)可以用于连续任务; 6)可以保证收敛到 vπ,收敛速度较快。 TD Learning算法缺点: 1)    对初始值比较敏感; 2)    并非总是用函数逼近。 TD Learning算法应用: 从应用角度看,TD Learning应用领域与应用前景都是非常广阔的,目前主要应用于动态系统、机器人控制及其他需要进行系统控制的领域。 结语: TD Learning是结合了动态规划DP和蒙特卡洛MC方法,并兼具两种算法的优点,是强化学习的中心。TD Learning不需要环境的动态模型,直接从经验经历中学习;也不需要等到最终的结果才更新模型,它可以基于其他估计值来更新估计值。输入数据可以刺激模型并且使模型做出反应。反馈不仅从监督学习的学习过程中得到,还从环境中的奖励或惩罚中得到。TD Learning算法已经被广泛应用于动态系统、机器人控制及其他需要进行系统控制的领域。

    时间:2020-07-14 关键词: 算法 人工智能

  • 新冠疫情加速公用事业部门转向人工智能

    新冠疫情加速公用事业部门转向人工智能

    人工智能(AI)在几乎可以想象到的每个行业中都有广泛的潜在应用,医疗保健、汽车、零售甚至快餐。 但是,在公用事业行业中,人工智能和机器学习(ML)开始展示其对业务许多方面的某些最有影响力的影响。电力公司越来越依赖AI来改善电力供应,例如在亚马逊和加利福尼亚州,通过无人机管理软件和植被管理来防止潜在的野火。 在后疫情时代,减少的现场劳动力正在迅速成为一种常态,人工智能实际上正在改善人类的工作。 从数据收集和分析到可行见解的呈现,人工智能和机器学习算法正在迅速重新定义公用事业公司如何管理其电力基础设施。 合并和分类数据 公用事业公司监督着庞大的基础设施网络,包括电线杆、导体、变电站。包含这些关键组件的传输线和配电线跨越数千英里。由于存在着火或停电的危险,因此还必须监视围绕该关键基础设施的植被管理。 全面了解这些资产意味着要使用各种不同的传感器进行电力线检查。这些传感器包括光检测和测距(LiDAR)、彩色(RGB)、高光谱和热成像。 这使无人机地图绘制软件可以捕获一切,从植被附近到基础设施资产,再到单个组件(例如变压器上的绝缘子),其操作完整性到指示潜在火灾隐患的热点。 这是要捕获、分类和处理的大量数据。而且,数据中有很多单独的元素(即使只有一张图像)也可以精确定位和分类,更不用说准确地进行分类了。在所有这些传感器上对数十亿个数据点进行分类是一项非常耗时的手动任务。 AI和ML工具可以完成相同的工作。在几秒钟内扫描在数千英里的公用事业基础架构中收集的数千张图像。LiDAR点云分割可以检测导体(相当难于分割的组件类型),每个点的准确度都超过95%,而高光谱图像分割可以识别植物物种,准确度高达99%。 不仅如此,当与无人机传感器配对时,这些算法还可以改善前期数据收集。AI和ML工具有助于实时调整传感器系统的位置。如果信号丢失或无人机偏离其检查飞行路线,则在专业无人机或飞行员硬件上运行的EDGE AI算法可以帮助无人机通过物体检测重新调整其焦点,或者避免机载碰撞造成的事故。 通过帮助在飞行中重新调整传感器的方位,AI不仅可以确保更准确的数据收集,而且可以确保由于数据收集不准确而无需重复飞行或提前结束飞行,从而节省了宝贵的时间和资源。 机器学习技术可以在空中发现传感器或无人机的飞行路径中的任何故障,根据需要进行重新校准,并在数据通过传感器的视频馈送时识别出数据中的各个元素。 分解孤岛以创建整体数据方法 所有这些的关键是消除在不同数据段之间自然形成的孤岛。在公用事业检查空间、资产管理和植被管理中,不同的传感器等都产生各自不同的、相互隔离的数据集。 当数据保持这种孤立状态时,团队从收集的信息中得出公司范围内的见解或结论将造成不必要地困难。如果不能将其用于检查自己和补充其他数据集,那么所有这些数据有什么好处? 好的数据管理不可能零星地存在。它需要是整体的,而AI为实现这一目标提供了动力。人工智能为将所有这些数据源汇集在一起,提供了一个中央资源,从而使对潜在问题(例如易生火的植被或损坏的组件)的数据分析更加容易。将这些问题收集到一个系统中后,识别故障并加以解决变得容易得多,而且比手动筛选无数的杆或植被图图像要快得多。 尽管人们普遍担心AI会消除人类的工作,但在公用事业公司,AI确实增强了人们在网络和电力线检查过程中必须扮演的角色。因为AI是执行数据分析的工具,所以它既不是依赖于专业检查员可能偏颇的专业知识,也不是容易疲劳和由此产生的异常结果,而是无人机检查软件。 但与此同时,人工智能本身无法做任何事情。它是一种提供更清晰/更准确和更具操作性的信息的方法,人们可以根据自己的判断采取行动。 关于AI有很多容易做出的好坏假设。随着社区开始从封锁中逐步开放,社交距离预示着日常生活的显着变化,人工智能对公用事业行业的真正意义在于减少了对人工检查的依赖,并且提供了有关电力公司的正确信息的更有效的工具基础设施-它的输配电线路,电线杆和附近的植被-掌握在关键决策者的手中。

    时间:2020-07-14 关键词: 人工智能 AI 新冠疫情

  • 2018年五大技术发展趋势分析

    2018年五大技术发展趋势分析

      据福消息报道,科技给我们现代生活的方方面面带来了翻天覆地的变化。在2018年,我们将看到无人驾驶汽车、人工智能(AI)医生和送货无人机。与许多人的想法相反,你不需要成为软件工程师或计算机科学家就能成为数字革命的领导者。更重要的是,以创新方式将现有企业问题与技术解决方案相匹配的能力。   这就意味着,理解驱动这些趋势的潜在力量和机制是至关重要的。下面是大数据专家伯纳德·马尔(Bernard Marr)对5大技术趋势的概述,他认为今年所有人都应该关注这些趋势,它们可能创造或颠覆更多产业。   1.数据无处不在,并以前所未见的速度增长   在生活中,我们创造了空前数量的数据,从社交媒体到我们使用Netflix、Fitbit或联网系统等服务留下的数字足迹。每秒钟有90万人点击Facebook, 45.2万人使用Twitter发文, 350万人在谷歌上进行搜索。这种情况发生得如此之快,以至于现有数据量每两年就会翻一番,而这种增长(以及它提供的机会)就是我们所说的大数据。   这些数据的绝对价值意味着某个行业以及某个充满热情、非商业驱动的社区围绕着大数据成长起来。就在几年前,只有大型企业才会有资源和专业知识来利用这种规模的数据,许多“即服务”平台已经减少了对基础设施的巨大投入。数据的爆炸性增长使得今天的许多其他趋势成为可能,而了解它们并深入洞察将会增加任何人在任何领域的前景。   2.万物智能化   以前,只有电脑才能连接互联网。随着技术进步,手机也开始联网。今天,你可以买到灯泡、电冰箱、汽车、手表、水壶、恒温器以及许多其他“智能”联网产品。在工业领域,机器越来越多地用来相互通信,而更少需要人工输入,以便更高有效地执行任务。总的来说,这一趋势被称为“物联网”,因为不再仅仅是电脑和手机能联网。   英特尔预计,到2020年,将有2000亿台设备接入互联网。这些设备产生的数据可以帮助我们更好地决定我们的生活(比如监控我们的锻炼习惯)以及商业。对于那些能够根据这些数据开发产品和服务的人来说,这里蕴含着巨大的机遇,其潜力实际上无法想象。   3.AI将主宰我们的生活   这并不是说人工智能会接管世界,但它们肯定会引起我们的注意。认知计算领域围绕着能够像人类一样“思考”的机器,尤其是在学习方面。当然,作为计算机,它们有某些优势。换句话说,只要教它们学习,它们就会以惊人的速度、以比任何人类都更精确的方式执行任务。其结果是,机器将不可避免地变得更有知识、更有能力,并且能够将解决方案(数据)与问题相匹配。   今天的人工智能系统要么是专为执行某项任务而设计的,要么是广义的(旨在适应任何任务),尽管真正的广义人工智能仍然是个遥远的目标。它们使用计算机视觉等方法使机器能够“看见”和识别物体,并相应地对其进行分类,或利用自然语言处理以类人的方式与我们交流。   和大数据一样,人工智能似乎拥有令人生畏的前景。不过,不必担心,由于开源和“即服务”选项的爆炸式增长,现在对于各种规模的组织来说,人工智能都是一个可行的前景。这个领域的技能和专业知识在2018年肯定会有很高的需求。   4.与机器交谈正在替代屏幕触控   我们与机器交互的方式已经从操作杠杆和阀门演变到控制面板、键盘和触摸屏界面。再次感谢我们拥有的数据量,我们现在正处于语音控制机器感觉自然的关键点上,并且通常能拥有最直观的选择。据预测,到2020年,半数在线搜索将通过语音进行,其中30%将使用完全没有屏幕的设备。今年,宝马将推出搭载亚马逊语音助手Alexa的新车,福特也不甘落后。   在企业中,我们会越来越习惯于使用人工智能助手来管理日常安排,并在需要的时候将信息带到我们面前。除此之外,通过使用聊天机器人和使用自然语言营销工具,我们有机会推动销售,并转向更多数据驱动的客户体验模式。   5.区块链将改变我们记录和访问某些类型数据的方式   区块链(虚拟货币比特币背后的分布式、加密和公开分类账)除了让早期的用户在虚拟货币中赚到钱以外,还带来了更多好处。专家表示,这代表着信息存储和安全的飞跃。区块链实际上只是一个数字文件,其中的信息块被链接起来,并使用私有密匙加密,确保只有拥有适当权限的用户才能编辑他们有权使用的数据部分。   由于该文件的副本存储在多个计算机系统(分布式)中,并通过网络的一致性保持同步,因此它们可能为数字世界中跟踪和分类记账事务问题提供创新的解决方案。事实上,区块链有可能改变我们的经济体系基础,尽管这可能会有些偏离。与此同时,任何能够将区块链技术与当前企业问题结合起来的人,都有可能获得备受需求的技能。   从技术创新的角度来看,2018年将是个激动人心的年份。这些技术创新将利用大数据、物联网、机器学习人工智能、语音和自然语言界面以及区块链工具来改造和改善我们所生活的世界。

    时间:2020-07-14 关键词: 无人驾驶汽车 人工智能 区块链

  • 从五个方面让你了解人工智能算法中的Apriori

    从五个方面让你了解人工智能算法中的Apriori

    Apriori算法是经典的挖掘频繁项集和关联规则的数据挖掘算法,也是十大经典机器学习算法之一。 Agrawal和Srikant两位博士在1994年提出了Apriori算法,主要用于做快速的关联规则分析。 A priori在拉丁语中指"来自以前"。当定义问题时,通常会使用先验知识或者假设,这被称作"一个先验"(a priori)。Apriori算法正是基于这样的事实:算法使用频繁项集性质的先验性质,即频繁项集的所有非空子集也一定是频繁的。 1.Apriori算法概念: Apriori算法使用一种称为逐层搜索的迭代方法,其中k项集用于探索(k+1)项集。首先,通过扫描数据库,累计每个项的计数,并收集满足最小支持度的项,找出频繁1项集的集合。该集合记为L1。然后,使用L1找出频繁2项集的集合L2,使用L2找出L3,如此下去,直到不能再找到频繁k项集。每找出一个Lk需要一次数据库的完整扫描。Apriori算法使用频繁项集的先验性质来压缩搜索空间。 注:数据库中的数据可以是结构化的,也可以是半结构化的,甚至还可以是分布在网络上的异构型数据。 Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里,所有支持度大于最小支持度的项集称为频繁项集,简称频集。 2.Apriori算法中术语: 1、项集和K-项集 令I={i1,i2,i3……id}是数据中所有项的集合,而T={t1,t2,t3….tN}是所有事务的集合,每个事务TI包含的项集都是I的子集。在关联分析中,包含0个或多个项的集合称为项集。如果一个项集包含K个项,则称它为K-项集。空集是指不包含任何项的项集。 2、支持度计数 项集的一个重要性质是它的支持度计数,即包含特定项集的事务个数,数学上,项集X的支持度计数σ(X)可以表示为 : σ(X)=|{TI|X?TI,TI∈T}| 其中,符号|*|表示集合中元素的个数。 3、关联规则 关联规则是形如X→Y的蕴含表达式,其中X和Y是不相交的项集,即X∩Y=空。 关联规则的强度可以用它的支持度(support)和置信度(confidence)来度量。 支持度确定规则可以用于给定数据集的频繁程度,而置信度确定Y在包含X的事务中出现的频繁程度。  支持度(s)和置信度(c)这两种度量的形式定义如下:  s(X→Y)=σ(X∪Y)/N  c(X→Y)=σ(X∪Y)/σ(X)  其中, σ(X∪Y)是(X∪Y)的支持度计数,N为事务总数,σ(X)是X的支持度计数。 对于靠谱的关联规则,其支持度与置信度均应大于设定的阈值。那么,关联分析问题即等价于:对给定的支持度阈值min_sup、置信度阈值min_conf,找出所有的满足下列条件的关联规则: 支持度>=min_sup 置信度>=min_conf 把支持度大于阈值的项集称为频繁项集(frequent itemset)。因此,关联规则分析可分为下列两个步骤: 1)生成频繁项集F=X∪Y; 2)在频繁项集F中,找出所有置信度大于最小置信度的关联规则X->Y Apriori算法思想: 1)找出所有的频集,这些项集出现的频繁性至少和预定义的最小支持度一样。 2)由频集产生强关联规则,这些规则必须满足最小支持度和最小可信度。 3)使用第1)步找到的频集产生期望的规则,产生只包含集合的项的所有规则,其中每一条规则的右部只有一项,这里采用的是中规则的定义。 4)一旦这些规则被生成,那么只有那些大于用户给定的最小可信度的规则才被留下来。为了生成所有频集,使用了递归的方法。 3.Apriori算法优点: 1)使用先验性质,大大提高了频繁项集逐层产生的效率; 2)简单易理解; 3)数据集要求低; 4)扩展性较好,可以并行计算。 Apriori算法缺点: 1)    可能产生大量的候选集; 2)    可能需要重复扫描整个数据库,非常耗时。 4.Apriori算法改进: 定理:如果规则X->Y?X 不满足置信度阈值, 则对于X的子集X′->Y?X′也不满足置信度阈值。 根据此定理,可对规则树进行剪枝。 5.Apriori算法应用: 通过对数据的关联性进行了分析和挖掘,挖掘出的这些信息在决策制定过程中具有重要的参考价值。Apriori 算法被广泛应用于各种领域: 1)应用于商业活动领域,应用于消费市场价格分析中,它能够很快的求出各种产品之间的价格关系和它们之间的影响。 2)应用于网络安全领域,通过模式的学习和训练可以发现网络用户的异常行为模式,能够快速的锁定攻击者,提高了基于关联规则的入侵检测系统的检测性。 3)应用于高校管理中。随着高校贫困生人数的不断增加,学校管理部门资助工作难度也越加增大。针对这一现象,将关联规则的Apriori算法应用到贫困助学体系中,挖掘出的规则也可以有效地辅助学校管理部门有针对性的开展贫困助学工作。 4)应用于移动通信领域。基于移动通信运营商正在建设的增值业务Web数据仓库平台,对来自移动增值业务方面的调查数据进行了相关的挖掘处理,从而获得了关于用户行为特征和需求的间接反映市场动态的有用信息,这些信息在指导运营商的业务运营和辅助业务提供商的决策制定等方面具有十分重要的参考价值。 结语: Apriori算法是一种挖掘关联规则的频繁项集算法,其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集。主要用于做快速的关联规则分析。Apriori算法在世界上广为流传,得到极大的关注。Apriori算法已经被广泛的应用到商业、网络安全、高校管理和移动通信等领域。

    时间:2020-07-14 关键词: 算法 人工智能

  • K-Means算法的简单介绍

    K-Means算法的简单介绍

    K-Means是十大经典数据挖掘算法之一。K-Means和KNN(K邻近)看上去都是K打头,但却是不同种类的算法。kNN是监督学习中的分类算法,而K-Means则是非监督学习中的聚类算法;二者相同之处是均利用近邻信息来标注类别。 提到“聚类”一词,使人不禁想到:“物以类聚,人以群分”。聚类是数据挖掘中一种非常重要的学习流派,指将未标注的样本数据中相似的分为同一类。 K-means算法是很典型的基于距离的聚类算法。于1982年由Lloyod提出。它是简单而又有效的统计聚类算法。一般采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。该算法认为簇是由距离靠近的对象组成的,因此把得到紧凑且独立的簇作为最终目标。 K-Means概念: K-means算法是硬聚类算法,是典型的基于原型的目标函数聚类方法的代表,它是数据点到原型的某种距离作为优化的目标函数,利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧式距离作为相似度测度,它是求对应某一初始聚类中心向量V最优分类,使得评价指标J最小。算法采用误差平方和准则函数作为聚类准则函数。 K-Means核心思想: 由用户指定k个初始质心(iniTIal centroids),作为聚类的类别(cluster),重复迭代直至算法收敛。即以空间中k个点为中心进行聚类,对最靠近他们的对象归类。通过迭代的方法,逐次更新各聚类中心的值,直至得到最好的聚类结果。 k个初始类聚类中心点的选取对聚类结果具有较大的。 K-Means算法描述: 假设要把样本集分为c个类别,算法描述如下: 1)适当选择c个类的初始中心; 2)在第k次迭代中,对任意一个样本,求其到c个中心的距离,将该样本归到距离最短的中心所在的类; 3)利用均值等方法更新该类的中心值; 4)对于所有的c个聚类中心,如果利用2)和3)的迭代法更新后,值保持不变,则迭代结束,否则继续迭代。 具体如下: 输入:k, data[n]; 1)选择k个初始中心点,例如c[0]=data[0],…c[k-1]=data[k-1]; 2)对于data[0]….data[n],分别与c[0]…c[k-1]比较,假定与c[i]差值最少,就标记为i; 3)对于所有标记为i点,重新计算c[i]={ 所有标记为i的data[j]之和}/标记为i的个数; 4)重复2)和3),直到所有c[i]值的变化小于给定阈值。 该算法的最大优势在于简洁和快速。算法的关键在于初始中心的选择和距离公式。 K-Means工作流程: 1)从 n个数据对象任意选择k个对象作为初始聚类中心; 2)根据每个聚类对象的均值(中心对象),计算每个对象与这些中心对象的距离;并根据最小距离重新对相应对象进行划分; 3)重新计算每个(有变化)聚类的均值(中心对象); 4)循环2)到3)直到每个聚类不再发生变化为止,即标准测度函数收敛为止。 注:一般采用均方差作为标准测度函数。 K-Means算法接受输入量k;然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足:同一聚类中的对象相似度较高;而不同聚类中的对象相似度较小。即,各聚类本身尽可能的紧凑,而各聚类之间尽可能的分开。 聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”(引力中心)来进行计算的。

    时间:2020-07-14 关键词: 人工智能 k-means

  • 关于人工智能领域ID3算法分析

    关于人工智能领域ID3算法分析

    前言:人工智能机器学习有关算法内容,人工智能之机器学习主要有三大类:1)分类;2)回归;3)聚类。今天我们重点探讨一下ID3算法。  Hunt、Marin、和 Stone于1966年研制了一个概念学习系统CLS, 可以学习单个概念,并用此学到的概念分类新的实例。John Ross Quinlan(悉尼大学)于1983年研制了ID3算法。 ID3算法是决策树的一种,它是基于奥卡姆剃刀原理的,即用尽量用较少的东西做更多的事。 ID3算法是以信息论为基础,以信息熵和信息增益度为衡量标准,从而实现对数据的归纳分类。 ID3算法概念: ID3(IteraTIve Dichotomiser 3),即迭代二叉树3代,该算法是一种贪心算法,用来构造决策树【请参加人工智能(23)】。ID3算法起源于概念学习系统(CLS),以信息熵的下降速度为选取测试属性的标准,即在每个节点选取还尚未被用来划分的具有最高信息增益的属性作为划分标准,然后继续这个过程,直到生成的决策树能完美分类训练样例。 ID3算法核心: ID3算法核心是“信息熵”。ID3算法通过计算每个属性的信息增益,认为信息增益高的是好属性,每次划分选取信息增益最高的属性为划分标准,重复这个过程,直至生成一个能完美分类训练样例的决策树。 ID3算法本质: 在信息论中,期望信息越小,那么信息增益就越大,从而纯度就越高。ID3算法本质是以信息增益来度量属性的选择,选择分裂后信息增益最大的属性进行分裂。该算法采用自顶向下的贪婪搜索遍历可能的决策空间。 在决策树的每一个非叶子结点划分之前,先计算每一个属性所带来的信息增益,选择最大信息增益的属性来划分,因为信息增益越大,区分样本的能力就越强,越具有代表性,很显然这是一种自顶向下的贪心策略。 ID3算法步骤: 计算各属性的信息增益,找出最大者为根节点 1)先验熵:没有接收到其他属性时的平均不确定性; 2)后验熵:接收到输出符号Vj时关于信源的不确定性 ; 3)条件熵:对后验熵在输出符号集V中求期望,接收到全部符号后对信源的不确定性 ; 4)信息增益:先验熵与条件熵的差,是信宿端所获得信息量; 5)对剩余属性重复上述步骤。 ID3算法计算每个属性的信息增益,并选取具有最高增益的属性作为给定集合的测试属性。对被选取的测试属性创建一个节点,并以该节点的属性标记,对该属性的每个值创建一个分支据此划分样本。 具体算法流程如下: ID3优点: 1)   算法结构简单; 2)   算法清晰易懂; 3)   非常灵活方便; 4)   不存在无解的危险; 5)   可以利用全部训练例的统计性质进行决策,从而抵抗噪音。 ID3缺点: 1)    处理大型数据速度较慢,经常出现内存不足; 2)    不能处理连续型数据,只能通过离散化将连续性数据转化为离散型数据; 3)    不可以并行,不可以处理数值型数据; 4)    只适用于非增量数据集,不适用于增量数据集,可能会收敛到局部最优解而非全局最优解,最佳分离属性容易选择属性值多一些的属性; 5)    没有对决策树进行剪枝处理,很可能会出现过拟合的问题。 注: ID3(并行)和ID3(number)解决了缺点3)的2个问题。 ID3应用场景: 决策树ID3算法是一个很有实用价值的示例学习算法,它的基础理论清晰,算法比较简单,学习能力较强,适于处理大规模的学习问题,是数据挖掘和知识发现领域中的一个很好的范例,为后来各学者提出优化算法奠定了理论基础。ID3算法特别在机器学习、知识发现和数据挖掘等领域得到了极大发展。 结语: ID3算法是基本的决策树构建算法,作为决策树经典的构建算法,具有算法结构简单、理论清晰易懂、学习能力较强和灵活方便的特点。但也存在着不能处理连续型数据,不适用于增量数据集,处理大型数据速度较慢,可能会出现过拟合等缺点。ID3算法在世界上广为流传,得到极大的关注。ID3算法特别在机器学习、知识发现和数据挖掘等领域得到了极大发展。

    时间:2020-07-14 关键词: 人工智能 机器学习 决策树 id3算法

首页  上一页  1 2 3 4 5 6 7 8 9 10 下一页 尾页
发布文章

技术子站

更多

项目外包

设计方案推荐

无线蓝牙耳机

产品推荐:BQ25619

参考设计:无线耳塞电池超低待机功耗参考设计