当前位置:首页 > 公众号精选 > TsinghuaJoking
[导读]旅行商问题是优化算法的试金石,可以使用多种方法进行求解。

旅行商问题[1] 是优化算法的试金石。 可以使用多种方法进行求解。比如下面是Will Campbell  利用遗传算法求解美国各州首府旅行商问题[2] 的动态过程。利用神经网络中的自组织映射网络(SOFM),连续Hopfield网络也可以进行求解。

▲ 使用遗传算法求解旅行商问题

下面是利用自组织特征映射(SOFM)用于求解十个地点中间的旅行商问题的过程。在SOFM网络的竞争层采用首尾相连的一维拓扑结构,学习速率从0.3线性降低到0, 学习半径从2线性减小到0。200步训练过程网络对应的位置的演变过程如下图所示:

▲ 循环和增加噪声两种效果下的搜索结果

在上述搜索过程中,对于每个搜索节点增加了随机噪声和定向游动,提高了网络搜索的能力。


前面使用SOFM网络进行优化,应用的是自组织特征映射网络的“保序特性”,也就是网络的竞争层的神经元相互之间的拓扑结构与对应训练样本在数据空间中的分布上保持有相似的关系。

比如下面使用来自于三角形内均匀分布的数据点训练一维拓扑结构的SOFM,随着训练过程的收敛竞争网络中的神经元逐步扩展到数据所在的三角形。

下面显示的是二维拓扑结构的SOFM网络在来自于 区间随机采样的数据训练下的收敛情况。

▲ 2D拓扑结构的SOFM的训练结果

下面是一次训练扭曲的分布结果:

▲ 发生扭曲的训练过程

上面的自组织特征映射网络是来自于对竞争算法(WTA:胜者为王)的改进。下面显示的是两个节点的竞争网络节点位置(红点)在五个训练样本(蓝点)作用下竞争的结果。

▲ 变学习速率的训练过程

简单的使用竞争算法,可以完成对于数据内部规律的学习。

比如下面是三个神经网络初始的位置。

▲ 三个神经元初始化后的情况

使用下面带有噪声的C,I,T字符进行训练。三个神经元便可以分别演化到C,I,T的平均结果。

▲ 添加噪声后的训练样本

经过100次竞争学习之后他们最终演变的形状。

▲ 竞争演变过程

在竞争的结果上,再增加一层映射,便可以去逼近函数。下面显示的是单相对偶传播网络(CPN)逼近Hermit函数的演变过程。

增加竞争神经元节点的个数,使用双向CPN可以进一步提高逼近函数的效果。

▲ 双向CPN函数逼近结果

对于神经网络,如果只是依靠竞争(无导师训练)所能够达到的精度会受到数据量和分布的影响。对于只有少数数据量的场景,只有竞争往往是无法达到很好的效果的,除非是一个天才。

适当引入导师信号可以在小样本下提高学习的效果。这就是学习矢量量化网络(LVQ)优势。下面是一个极端的例子,可以看到LVQ网络对于小样本下的学习能力是非常强的。

▲ LVQ训练过程
▲ LVQ训练中隐层节点演变过程

对于复杂的非线性映射,最有效的方式就是通过浅层网络的随机梯度下降,来获得较为可靠的训练结果。

下面是MATLAB中的Peaks二维函数。

▲ peaks函数图像

采集到一些离散的数据,对于有隐层网络进行训练。如果数据采集的足够多,分布的足够合理,可以很快获得其中的映射关系。

▲ 采集到的数据样本

下图显示了一个网络在训练过程中对应的输入输出关系演变过程。

▲ 神经网络输入输出对应函数曲面演变过程



公众号留言


大大,这周末规则值得我们拥有吗?



免责声明:本文内容由21ic获得授权后发布,版权归原作者所有,本平台仅提供信息存储服务。文章仅代表作者个人观点,不代表本平台立场,如有问题,请联系我们,谢谢!

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

随着人工智能(AI)模型变得越来越复杂,数据量不断攀升,数据中心正在通过改变系统架构,来实现更快、更高效的处理。

关键字: AI 连接器

近日举办的GTC大会把人工智能/机器学习(AI/ML)领域中的算力比拼又带到了一个新的高度,这不只是说明了通用图形处理器(GPGPU)时代的来临,而是包括GPU、FPGA和NPU等一众数据处理加速器时代的来临,就像GPU...

关键字: FPGA AI 图形处理器

西门子作为制造业数字化转型成功的代表企业之一,面对生产、服务与业务增长等挑战,积极拥抱AI、自动化等新兴技术,优化企业业务流程,打造企业数字化技术新基座,开拓出更多业务转型思路。

关键字: 自动化 AI 数字化

2024年3月20日,2024中国闪存市场峰会(CFMS2024)在深圳宝安前海·JW万豪酒店盛大举办。本次峰会以“存储周期、激发潜能”为主题,共同探讨在供需关系依然充满挑战的大环境下,未来存储市场的变化,以及如何挖掘产...

关键字: SSD 存储 AI

近日,胡润研究院发布《2024家大业大酒·胡润全球富豪榜》。70岁的钟睒睒财富比去年缩水9%,以4500亿元连续第四次成为中国首富,位于全球第21位,同比下降6位。44岁的黄峥财富比去年增长71%,即1600亿元,是今年...

关键字: 钟睒睒 AI

根据戴尔日前发布的一份文件,该公司在过去一年里裁掉了大约6000名员工,以改善财务状况。

关键字: 戴尔 AI

IDC在日前发布的一份名为《全球AI和GenAI支出指南》报告中指出,2023年生成式人工智能(GenAI)的支出占欧洲AI总支出的9.6%,而在未来三年内这一比例将提升至25%。

关键字: 生成式人工智能 GenAI AI

台湾新竹 – 2024年3月26日 – 新唐科技宣布推出基于微控制器的终端AI平台,使AI生态系扩展至微控制器领域。此解决方案是基于新唐全新架构设计的微控制器和微处理器,包括NuMicro® MA35D1、NuMicro...

关键字: AI 智能家居 机器学习

近日,英特尔在深圳举办以“智绘混合AI新篇, 赋能生成式 AI 无处不在 -- OpenVINO™ 2024 焕新启航”为主题的OpenVINO™ DevCon中国系列工作坊2024活动,此次活动汇聚了英特尔产品专家、行...

关键字: AI 英特尔 AIGC大模型
关闭
关闭