想提高计算速度？作为数据科学家你应该知道这些Python多线程、进程知识

每个数据科学项目早晚城市面对一个不行停止的挑衅：速率题目。行使更大的数据会议导致处理赏罚速率变慢，因此最终必需想步伐优化算法的运行时刻。正如你们大大都人已经知道的，并行化是这种优化的须要步调。python 为并行化提供了两个内置库：多处理赏罚和线程。在这篇文章中，我们将切磋数据科学家如安在两者之间举办选择，以及在这样做时应留意哪些身分。

众所周知，数据科学是处理赏罚大量数据并从中提取有效看法的科学。凡是环境下，我们对数据执行的操纵很轻易并行化，这意味着差异的处理赏罚署理可以一次对数据执行一个操纵，最后举办组合以得到完备的功效。

为了更好地表明并行性，让我们拿一个真实天下的例子作为类比。假设你必要拂拭你家的三个房间。你可以本身拂拭，拂拭完一个再拂拭另一个，也可以让你的两个兄弟姐妹帮你拂拭，每小我私人拂拭一个房间。在后一种要领中，每小我私人完成整个使命的一部门，从而镌汰了完成使命所需的总时刻。这就是现实中的并行性。

并行处理赏罚可以用 python 以两种差异的方法实现：多处理赏罚和线程。

根基上，多处理赏罚和线程是实现并行计较的两种要领，别离行使历程和线程作为处理赏罚署理。为了领略它们的事变道理，我们必需搞清晰什么是历程和线程。

历程

历程是正在执行的计较机措施的实例。每个历程都有本身的内存空间，用来存储正在运行的指令，以及必要存储和会见才气执行的任何数据。

线程

线程是历程的组件，可以并行运行。一个历程中可以有多个线程，它们共享沟通的内存空间，即父历程的内存空间。这意味着要执行的代码以及措施中声明的全部变量将由全部线程共享。

譬喻，让我们追念一下正在你的计较机上运行的措施。你也许正在赏识器中阅读本文，赏识器也许打开了多个选项卡。你也可以同时通过 Spotify 桌面应用措施收听音乐。赏识器和 spotify 应用措施是差异的历程;每个历程都可以行使多个历程或线程来实现并行性。赏识器中的差异选项卡也许在差异的线程中运行。Spotify 可以在一个线程中播放音乐，在另一个线程中从 Internet 下载音乐，并行使第三个线程表现图形用户界面。这称为多线程。对多个历程举办多处理赏罚也可以做到这一点。究竟上，像 chrome 和 firefox 这样的大大都当代赏识器行使多处理赏罚，而不是多线程来处理赏罚多个选项卡。

技能细节

一个历程的全部线程都存在于统一个内存空间中，而历程有各自的内存空间。

与历程对比，线程更轻量级，开销更低。天生历程比天生线程慢一点。

在线程之间共享工具更轻易，由于它们共享沟通的内存空间。为了实现统一个历程间通讯，我们必需行使某种 IPC (inter-process communication) 模子，它凡是由 OS 提供。

并行计较的陷阱

将并行性引入措施并不老是一个正和博弈，也有一些陷阱必要留意。个中，最重要的是下面的这些题目。

• 竞争前提：正如我们已经接头过的，线程有一个共享内存空间，因此它们可以会见共享变量。当多个线程试图同时变动统一个变量时，会呈现竞争前提。线程调治措施可以在线程之间恣意互换，因此我们无法知道线程实行变动数据的次序。这也许会导致两个线程中的任何一个呈现不正确的举动，出格是当线程抉择基于变量的值执行某些操纵时。为了防备这种环境产生，可以在修改变量的代码段周围安排互斥锁，以便一次只能有一个线程写入变量。
• 饥饿：当一个线程在较长时刻内被拒绝会见某个特定的资源时，就会产生饥饿，在这种环境下，整个措施的速率会减慢。这也许是因为线程调治算法计划不妥而发生的不测副浸染。
• 死锁：太过行使互斥锁也有一个弱点——它会在措施中引入死锁。死锁是一个线程守候另一个线程开释锁时的状态，但另一个线程必要一个资源来完成第一个线程保持的操纵。这样，两个线程城市遏制，措施也会遏制。死锁可以被以为是饥饿的极度环境。为了停止这种环境，我们必需警惕不要引入太多彼此依靠的锁。
• 活锁：活锁是指线程在轮回中继承运行，但没有任何盼望。这也是因为互斥锁计划不妥和行使不妥造成的。

全局表明器锁

说到 python，有一些稀疏的处所必要记着。我们知道线程共享沟通的内存空间，因此必需采纳非凡的提防法子，以便两个线程不会写入沟通的内存位置。CPython 表明器行使名为 GIL 的机制或全局表明器锁来处理赏罚这个题目。

python wiki 上面的资料：

• 在 CPython 中，全局表明器锁(GIL)是一个互斥锁，它掩护对 python 工具的会见进程，防备多个线程同时执行 python 字节码。这个锁是须要的，这首要是由于 CPython 的内存打点不是线程安详的。

相识 python GIL 的具体信息，请查察 。

GIL 完成了使命，但支付了价钱。它在表明器级别上有用地序列化指令。其事变道理如下：任何线程要执行任何函数，都必需获取全局锁。一次只有一个线程可以获取该锁，这意味着表明器最终会以串行方法运行指令。这种计划使得内存打点线程安详，但功效是，它基础不能操作多个 cpu 内核。在单核 cpu 中，这不是什么大题目。可是假如你行使多核 cpu，这个全局锁最终会成为一个瓶颈。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!