Python中的分布式编程

文章/答案/技术大牛

发布

4回答

python、distributed

我计划编写一个简单的数据流框架，它基本上由对象的惰性方法调用组成。如果我曾经考虑过分布式编程，那么在Python中启用分布式编程的最简单方法是什么？不需要我做网络编程，有没有什么透明的解决方案？或者首先，我如何在Python中使用多核处理器？

浏览 0提问于2012-04-22得票数 7

回答已采纳

1回答

在PYspark中创建RDD

pyspark

Spark中的一切都是以RDD (键和值对)的形式创建的。这有必要吗？可以通过RDD数据集创建/执行哪种类型的分析？请提供一个将其转换为RDD的示例和用法谢谢，Aditya

浏览 15提问于2019-04-30得票数 0

2回答

遗传算法开源库，包含所有修剪功能，例如cellularGA功能

algorithm、distributed-computing、multicore、genetic-algorithm

我想为SGI系统(cores=512，shared memory=4TB)实现一个基于遗传算法的特征选择程序，其操作如下：(特征选择是找到原始特征的最小子集的过程，通过该过程，对于给定的数据，输出类别之间的区分比使用原始特征集更好因此，GA将负责除每个父代的评估(适合度)之外的所有事情-相反，GA将把父代发送到可用的核心并等待适合度结果。这就是该方法的分布式特性所在(所以我不希望在不同的内核上运行各

浏览 0提问于2010-07-07得票数 3

回答已采纳

4回答

分布式python编程

python、distributed

我正在尝试将python程序的执行分到两台不同的机器上。我想知道有没有办法从一台机器上调用另一台机器上的python解释器。不在另一台机器上运行脚本，而是将执行任务拆分到两台机器上。在接下来的几个月里，我将教授我的自我分布式编程，我认为这将是一个很好的开始。我认为第一步是使用一台机器调用另一台机器，并将程序的一部分发送给它。然后，下一步将是两台机器一起执行相同的程序，并进行通信以避免问题。第三步是

浏览 2提问于2012-09-02得票数 3

回答已采纳

4回答

任何编程语言中的分布式并行编程模型-类似于apach hadoop，但支持windows机器

php、python、perl、parallel-processing、distributed

我对理解任何编程语言(Java/Perl/Python/PHP)中的分布式并行编程模型很感兴趣-类似于Apache Hadoop，但支持Windows机器(我不想安装Cygwin)。示例:创建一个名为"sum“的作业，并从客户端提交它，这样它就可以在多个worker节点上运行(包括没有cygwin的windows机器)。

浏览 3提问于2013-02-25得票数 3

4回答

服务器和客户端可以在不同的平台上编程吗？

python、web-services

首先，我是电气工程师，但我想创建以下系统；我希望许多分布式计算机(客户端)中的应用程序能够通过服务器将数据发送到python计算框架。很久以前，我用JAVA编写了一个客户机/服务器程序，它或多或少是直截了当的，但现在我需要一个计算核心，学生可以在其中编写计算模块，python看起来很简单，不会让人们讨厌编程。问题是，服务器是否可以用python编程，将python计算核与数据服务器混合在一起，而客

浏览 7提问于2014-11-21得票数 1

回答已采纳

7回答

毕业设计

c++、python、artificial-intelligence、system、distributed

我需要做一个项目作为我最后一年工程毕业的一部分studies.Can你建议一些与分布式系统和人工智能相关的项目，这些项目需要python、c或c++来编程？注：

浏览 4提问于2009-07-26得票数 0

2回答

从哪里开始分布式计算/并行处理？(Python / C)

python、c、parallel-processing、distributed-computing

我目前正在研究计算机科学研究生学习的主题，我发现了一个相对较大的感兴趣的领域，分布式计算，我想获得更多的信息。在StackOverflow上还有其他几个问题[，，]也解决了类似的问题，但不一定是我要问的问题，特别是与我正在寻找的语言相关的问题。我在网上搜索过，找到了大量的论文、文章甚至课程，比如罗格斯大学的课程，描述了分布式计算背后的理论和机制。不幸的是，我发现<

浏览 0提问于2012-08-31得票数 7

回答已采纳

1回答

一种语言的驱动程序代码和不同语言的执行器

apache-spark

我如何使用不同的编程语言来定义我的执行器的逻辑，而不是我用于驱动程序的逻辑？这到底有没有可能？例如:我会用Scala编写驱动程序，然后调用用Java、Python编写的不同函数来实现数据集的分布式处理。

浏览 0提问于2018-02-20得票数 0

1回答

用Python处理类似Erlang的东西:哪里去了？

python、multithreading、concurrency、distributed、agent

我对它还不太了解，但我听说Erlang在处理网络应用程序方面有些特殊；据我所知，这来自于一些早期的设计决策，使得它能够拥有数千个并发进程，并且开销有限。我本质上是一个python程序员，最近我喜欢在分布式计算中使用0mq，直到我遇到批评。

浏览 5提问于2014-01-21得票数 3

回答已采纳

2回答

为什么python dataFrames‘只在同一台机器上本地化？

python、dataframe、apache-spark、pyspark、apache-spark-dataset

我正在阅读的权威指南，其中有这样的说法：更新 Python/R是否有类似于scala/java的</

浏览 3提问于2020-09-01得票数 2

1回答

解释RPC (远程过程调用)和RMI (远程方法调用)

rmi、rpc

有人能用(更好/更简单)的方式解释一下吗？远程过程调用(RPC)方法将过程调用的公共编程抽象扩展到分布式环境，允许调用进程调用远程节点中的过程，就好像它是本地的一样。远程方法调用(RMI)类似于RPC，但用于分布式对象，在分布式系统中使用面向对象的编程概念方面增加了好处，还将对象引用的概念扩展到全局分布式环境，并允许将对象引用用作远程调用中的<

浏览 4提问于2015-04-23得票数 0

1回答

基于python的分布式内存集群的“全局数组”并行编程

python、cluster-computing、distributed-computing、pytables、numexpr

我正在寻找一个python库，它将numpy的功能扩展到分布式内存集群上的操作:即“一个并行编程模型，其中程序员将数组看作一个全局数组，而不是位于不同处理器上的多个独立数组。”对于Matlab，麻省理工学院的林肯实验室已经创建了，它允许在集群上做矩阵代数，而不必过多地担心并行编程方面的细节。(上述报价的来源) 对于基于磁盘的存储，pyTables存在于python。尽管它没有优化计算在集群中

浏览 4提问于2013-01-28得票数 1

3回答

在没有集群的多台机器上进行并行编程

parallel-processing、neural-network

其基本思想是尝试使用神经网络来评估媒体中的偏见。训练数据将是带有众所周知偏见的政治博客。我需要的是一种编程语言，它可以在联网但不是集群的多台机器上并行运行。我有2台Linux机器和3台运行OS X的机器。我更希望这种语言编译成二进制代码，而不是字节码或VM，但我会得到我能得到的。我不需要任何GUI库，所以这不是一个限制。我的大部分编程都是用python编写的，但我愿意学习另一种语

浏览 0提问于2012-07-28得票数 3

2回答

不同语言中的简单片段in是否一致？

javascript、python、uniqueidentifier、distributed-system

我需要以分布式的方式生成唯一的in。有些在服务器端，另一些在客户端。服务器端编程语言可以是ruby和python，而客户端是javascript。我计划为各自的语言使用简单的代码库。或者，由于不同包中的实现细节，它们可能经常发生冲突？-Amit

浏览 2提问于2017-04-06得票数 3

回答已采纳

3回答

快速开发路由协议原型的环境

python、routing、network-programming、erlang、protocols

目前，我正在执行用Python编写的新协议的模拟。下一步是构建一个真正的原型，它可以真正运行在基于Linux的操作系统之上(作为路由守护进程，比如ospfd)。哪种编程环境/语言适合快速构建路由协议的原型？有人有构建分布式协议原型的经验吗？我希望尽可能多地关注高级协议逻辑，而不是低级机器相关指令。我愿意学习新的语言(如Erlang或Haskell)，以防它们能更好地适应这样的任务。或者，

浏览 2提问于2011-03-29得票数 2

3回答

使用消息队列的应用程序的良好示例

message-queue

我想学习更多关于编程消息传递应用程序和使用消息队列的知识。像qpid，亚马逊队列等的事情。你能告诉我一些应用程序(最好是C++，如果可能的话，开源)，这样我可以了解更多。另外，您能告诉我决定是否不使用消息队列的一般指导原则吗？我对leanring很感兴趣，只是因为“酷”的因素，但我认为这对我未来可能是有益的。

浏览 0提问于2011-02-12得票数 2

回答已采纳

1回答

查询大量csv文件的工具

c++、hive、amazon-redshift、distributed-computing、bigdata

我们有大量的csv文件，文件/目录按日期和其他几个因素进行分区。例如，可以将文件命名为/data/AAA/date/BBB.csv 有数千个文件，其中一些大小在GB范围内。总数据大小以in为单位。它们只会被追加，而且通常是批量的，所以写性能并不那么重要。我们不想将其加载到另一个系统中，因为我们运行的几个重要进程依赖于能够快速流式传输文件，这些文件是用c++编写的。我正在寻找的工具/库，将允许sql类似查询的数据

浏览 0提问于2016-01-14得票数 0

1回答

缩放基于Java的树

java、hadoop、apache-spark、hdfs、scalability

现在的用例需要搜索和维护100个或更多的树实例。所以我在考虑利用Hadoop的文件系统。跨集群对树进行索引，并使用MapReduce进行维护。干杯

浏览 0提问于2017-06-07得票数 0

1回答

卡格尔泰坦尼克号什么是GP？

kaggle、genetic-programming

有时，我看到了GP编程的内核。我的猜测和神经网络是一样的，对吧？

浏览 0提问于2019-02-10得票数 2

点击加载更多