网络知识 娱乐 Intel® oneAPI下的机器学习优化

Intel® oneAPI下的机器学习优化

Intel® oneAPI下的机器学习优化

伴随着人工智能、大数据、区块链等各类新兴技术的崛起,异构计算已然成为高性能计算舞台上的主角。但异构计算的编程模型往往需要不同的硬件有独立的函数库和工具链,软件的维护成本极高,并且开发人员难以熟悉各种硬件的底层技术。

为满足现代工作负载在复杂场景、多任务并行、多架构组合的有效协同,Intel® oneAPI伴随着聚光灯的照耀,闪亮登场。

Intel® oneAPI下的机器学习优化

Intel® oneAPI作为一个为异构计算而设计的软件编程模型,具有开放的规范、高度的可扩展性,让开发者可以自由选择架构,无需在性能上做出妥协,也大大降低了使用不同的代码库、编程语言、编程工具和工作流程所带来的复杂性,使得开发者从私有的编程语言和编程模型的锁定中得以解放,同时支持最领先的硬件架构、丰富的库函数,使得针对框架层、应用层和服务层的开发变得更加高效

Intel® oneAPI下的机器学习优化

截至目前,最新的Intel® oneAPI产品针对Intel CPU、GPU、FPGA进行了深入优化,并包含众多针对不同场景的套件,以达到高效的跨平台性能。

其中,Intel® AI Analytics Toolkit为数据科学家、AI开发人员和研究人员提供了优化的深度学习框架,加速端到端机器学习。

Intel® oneAPI下的机器学习优化

Intel® AI Analytics Toolkit中包含的Intel优化的Python编译器、优化的scikit-learn、NumPy等AI套件和工具很好地消除了异构设备训练和推理时带来的性能瓶颈问题。

scikit-learn

scikit-learn(曾称 scikit.learn,简称 sklearn),是python平台下免费开源的机器学习库。开源实现了机器学习中几乎所有常用的分类器、回归模型、聚类算法、降维算法、模型选择算法、数据预处理算法等API

官方版sklearn使用的库均为开源实现,而oneAPI优化版sklearn 使用的库, 大多是基于 Intel环境优化过的. 比如intel oneMKL and oneDAL 高性能库。这里也称Intel® Extension For Scikit-Learn,几乎不需要改任何代码,即可以使用

对于难以并行化实现的算法,oneAPI优化版sklearn和官方版的训练速度基本打平手(是因为oneAPI优化版sklearn加入了众多并行化库导致一些开销,所以速度稍慢);而对于易于并行化实现的logistic回归算法,oneAPI优化版sklearn明显占优,且数据量越大优势越明显。

Intel® oneAPI下的机器学习优化

测试数据来源:

https://www.intel.com/content/www/us/en/developer/tools/oneapi/ai-analytics-toolkit.html#gs.2y8wt4


NumPy

NumPy(Numerical Python)Python的一种开源的数值计算扩展,可用来存储和处理大型矩阵,比Python自身的嵌套列表(nested list structure)结构要高效的多(该结构也可以用来表示矩阵matrix)支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。

在oneAPI优化版NumPy中,通过矢量化技术,以并行方式实现了大部分Loop的优化,大幅提升了科学运算整体效率,并且准确性几乎没有损失。


超集信息作为首批认证的Intel® oneAPI技术合作伙伴,已完成Intel® oneAPI与自研AI Max机器学习容器云平台的深度融合,为数据科学、机器学习等多领域开发带来更强助力。

通过在AI Max机器学习平台中集成Intel® oneAPI工具包,用户将能够降低机器学习任务跨平台开发与迁移的复杂性,提升机器学习模型在异构平台中运行的性能,并充分利用现有的机器学习模型,从而加速机器学习应用开发。

获取更多

AI Max机器学习容器云平台信息

Intel® oneAPI解决方案

欢迎致电"400-860-6560"

我们愿与您一起

以极致计算成就极致未来