我是一家中型网络公司的数据工程师。我们有一个每日ETL，它从我们的应用程序数据库(恰好是Cassandra和Postgres)中提取数据，并将其存储在我们的数据仓库(Redshift)中。我们当前的数据传输系统是以相对简单的方式设置的(对于我们的Postgres DB)：我们有Postgres DB的读取副本，用于将增量数据加载到S3，然后将其复制到Red
浏览 13提问于2019-01-05得票数 0
2回答
管理多个环境之间配置文件的方法。
、、、、
我们的环境: DEV、QA、Stage和PROD各有自己的配置文件和s3桶。如果我添加一个新字段，如"Polling_RATE=5000"，则必须手动将其添加到每个env中，因为这些配置文件还存储密码，因此它们不能绑定到应用程序或保存在中。并不是每个工程师都可以访问每个env，所以您必须记住在prod部署日期之前通知高级工程师(DEVOPS)，以添加新字段以使应用程序工作。目前这是一个非常混乱的过程。问题
是否有一种实用程序或架构设计模式</
浏览 5提问于2016-02-28得票数 5
1回答
我被指派支持一个旧的Django应用程序。此应用程序以前运行在gunicorn同步工作人员上。然而，它变得越来越慢。最近，一个工程师做了一个改变，用gevent来使用gunicorn异步工人。我们在error: can't start new thread上收到了很多gevent.threadpool._add_thread。增加的查询数量和渲染模板的CPU时间会对这个新的异步工作人员造成不良影响吗？如果是的话，我该如何向其他人解释呢？
连接池被配置为不超过<
浏览 0提问于2019-06-28得票数 0
回答已采纳
是否存在允许用户创建自定义域逻辑的指定模式或系统？考虑以下情况这个具体的问题是我在工作中面临的一个问题，但是这个问题感觉足够普遍，我想知道是否有一个共同的解决方案。为了实现它的价值，我们目前的解决方案是让机械工程师用vb编写计算，使用原始sql并给我们一个dll重新部署。所以从字面上
浏览 0提问于2020-10-20得票数 -2
2回答
我用PHP和MySQL编写了一个web应用程序，允许用户从目录中插入订单。你知道我可以使用什么来获得这个结果吗？我见过，但它只能在Windows上运行。
浏览 0提问于2011-02-10得票数 0
回答已采纳
1回答
我是DevOps工程师，也是团队中的一名软件工程师，几个月前，开发人员从拥有中央Oracle DB迁移到在其个人笔记本电脑上的CentOS VM上拥有数据库。从中央数据库迁移的目的是减少对DBA的依赖，并消除因数据不一致而导致的问题。这给我们带来了严重的挑战，
浏览 7提问于2017-04-02得票数 0
2回答
我是DevOps工程师，也是一个团队的软件工程师，几个月前，开发人员从拥有一个核心的Oracle，转移到了在他们各自的笔记本上使用CentOS VM的DB。从中央数据库的转移是为了减少对DBA的依赖，并消除由不一致的数据引起的问题。这对我们提出了严重的挑战，特别是我自己，最近我负责确保我们的Demo
浏览 0提问于2017-04-03得票数 8
2回答
移动应用的后台数据同步
、、、、
我们正在一个数据库之上构建一个API和移动应用程序，这个数据库在感兴趣的主表中有几十万条记录。我们的移动开发人员正在努力推动在本地数据库中使用完整的表预先加载应用程序，然后拥有一项服务，手机可以根据updated_at列同步更改。虽然这绝对可以通过搜索本地商店来提高应用程序的性能，但我担心随着我们获得更多客户，这将在服务器上产生大量负载。
还有没有人处理过这个问题？这是个好主意还是坏主意？你能分享一些见解和链接吗？
浏览 0提问于2014-07-18得票数 8
1回答
我是个十足的工程师。我要开发一个分散的社会应用程序。完全没有后端。正面:反应或声音。更便宜更快的链:多边形。数据库：？有灵活和大量的数据，如喜欢，评论，报告，和映射的内容在arweave。因为将会有上百万的数据。我无法想象那里的数据只是存储在列表或映射变量中。而如何在那里做搜索
浏览 0提问于2022-03-20得票数 0
回答已采纳
1回答
Android中视图和适配器背后的直觉是什么，这意味着创造这个概念的人是从哪里获得创建这些元素所需的思维过程的？更详细地说，圆的概念起源于自然、月亮、太阳等天体，如wise使用listview和适配器背后的直觉是什么？
浏览 1提问于2016-01-21得票数 0
1回答
红移发亮慢
、、、
在使用Postgres之后，我正在尝试使用Redshift作为一个闪亮的应用程序。到目前为止，除仪表板外，Redshift的表现一直优于Postgres。将数据提取到dataframe需要花费相当长的时间。我做了一些测试 user system elapsed > test_time('postgres然
浏览 0提问于2018-05-14得票数 2
回答已采纳
我现在已经编程一段时间了，我对Java、PHP和网站都很熟悉。我搞不懂的是程序员如何一起使用它们。我听说Facebook和Google如何在一个产品上使用各种语言，如Python、C、Java、PHP，但我只是对如何实现这一点感到困惑。另外，另一个附带问题是:软件工程师在为Twitter和Facebook等大型在线公司工作时，到底做了什么工作？大多数代码处理数据库和信息，那么除了可以通过几个教程在线学习的内容之外，还需要在服务器端完成
浏览 0提问于2012-04-09得票数 3
作为一家小公司的后端工程师，我们遇到了一个问题:我们是否需要一个DBA或另一个后端工程师(SWE2)。这个问题之所以是一个问题，是因为在定义角色方面存在困难。调查性能问题提供关于如何在我们的db实现中构造特定数据的输入(哪些列、哪种类型，以及为什么-在-是和将来的数据上)根据系统变化、应用需求、效率来处理数据结构的重组
我的理解是，软件工程师或至少是
浏览 0提问于2019-07-09得票数 0
回答已采纳
当这个项目运行时，它依赖于Tomcat来启动，这样它就可以访问数据库。据我所知，这被称为“在Tomcat容器中运行”。这是正确的方法吗?还是在测试应用程序上下文中通过某个Spring basic连接更常见？任何能为我的spring测试环境发布一些工作的数据库连接代码的人都将是我的英雄，因为我在网上找到的例
浏览 0提问于2012-03-12得票数 0
8回答
我在CouchDB 0.10上运行了一系列比较残酷的测试，它处理得很好(例如。服务器的网络堆栈已经崩溃，但我只能告诉您CouchDB还在运行)。不幸的是，如果我不能说服客户和雇主允许我使用它，那么所有这些都不重要。
“这只是一个版本的.10，那甚至不是一个生产版本！”但是MySQL\PostGres_PostGres\Oracle在对象元数据存储中运行得很好，如“文档”、“存储”、“存储”等等！不幸的是，有些客户认为自己是后座的建筑师/工程师<
浏览 4提问于2010-01-04得票数 9
回答已采纳
3回答
该网站正在AWS上运行。移动应用程序也在使用AWS服务。营销部门希望观察他们的广告行为的效率，如电子邮件、短信等，他们还想在仪表板上跟踪重要的实时指标(销售的产品、页面浏览量、最后n分钟的活跃用户等)。
首先，竞选自动化系统向目标客户发送个性化的竞选邮件。然后，数据工程师应该将这条点击流消息定向到存储层。(例如AWS S3)。这会导致AWS S3桶中的小文件过多吗？这会减慢数据流的执行速度吗？为了进行实时分析，数据工程师需要开发一个<
浏览 0提问于2019-08-14得票数 1
6回答
我一直在研究亚马逊的Redshift数据库，作为我们数据仓库未来可能的替代品。我的经验一直是使用多维建模和拉尔夫·金博尔的方法，所以看到Redshift不支持诸如用于自动递增列的串行数据类型这样的特性有点奇怪。然而，最近有一篇来自AWS大数据博客的博文介绍了如何为星型模式优化Redshift：https://blogs.aws.amazon.com/bigdata/post/Tx1WZ
浏览 0提问于2015-06-05得票数 9
2回答
免责声明:我是一个软件工程师，而不是IT专业人员，如果我的一些建议是愚蠢的或其他荒谬的，我很抱歉。
windows应用程序将始终保持运行状态，它连接到多个MS Access数据库，并不断与之交互。应用程序可以在任何时候读取或写入任何这些数据库。有些数据库很小，并且保持了大致相同的大小。有些数据库(相对地)很大(几十万行)，并且经常被附加到其中。我们希望在不关闭应用程序的情况下每隔X分钟对这组数据库进行备份。备份将在本地主机(第二个硬盘
浏览 0提问于2012-04-19得票数 1
回答已采纳
目前，我正试图为web应用程序创建一个登录使用情况报告。为了稍微描述一下报告，我们的系统中的用户被标记为关于用户的不同的元数据。例如，我可能被标记为“纽约市”和“软件工程师”，而其他用户可能被标记为不同的位置和职务。利用情况报告基本上如下：问题是，报告需要有一点动态。我需要能够应用任何职位和地点的组合，并让每个数字反映应用的元数据
浏览 3提问于2021-02-23得票数 0
云服务器
ICP备案
实时音视频
云直播
对象存储
腾讯云开发者
