PostgreSQL 每周新闻 2024-12-04

PostgreSQL每周新闻#580 - 2024年12月04日

_config.yml 备注:英文原文地址 img

Amazon Aurora DSQL:一款新的 Postgres 兼容数据库

目前处于“预览”阶段,DSQL 承诺具有高可用性和强一致性的“几乎无限的可扩展性”,同时兼容 Postgres(有点……?没有视图、触发器、JSON 或外键约束……)。AWS 英雄 AJ Stuyvenberg 称其为“我最近从 AWS 看到的最令人兴奋的发布”,因此请关注此消息。(官方新闻稿。)

Read More

PostgreSQL 每周新闻 2024-11-13

PostgreSQL每周新闻#577 - 2024年11月13日

_config.yml 备注:英文原文地址 img

pgvector 0.8.0 发布

Postgres 网站上有一篇关于这个流行的矢量索引和查询扩展版本的文章,但我喜欢这篇文章,因为它深入探讨了索引扫描的变化。使用 0.8,我们获得了改进的性能、对迭代索引扫描的支持以及将数组转换为 sparsevec 的方法。

Read More

PostgreSQL 每周新闻 2024-4-24

PostgreSQL每周新闻#552 - 2024年4月24日

_config.yml 备注:英文原文地址 img

PDF:MySQL 的未来是 Postgres

这个幻灯片的标题确实引起了我的注意! 这是上周在 Postgres Conference 2024 上发表的演讲的幻灯片。 一位演讲者在这里解释了这一切。 他们正在开发 Postgres 扩展,以使 MySQL 应用程序能够在 Postgres 上运行,而无需更改任何代码(因此它将支持有线协议、SQL 方言等)。预计今年夏天将发布 alpha 版本。

Read More

PostgreSQL 每周新闻 2024-4-3

PostgreSQL每周新闻#549 - 2024年4月3日

_config.yml 备注:英文原文地址 img

安息吧 Postgres 维护者 Simon Riggs

我们非常悲伤地告诉大家,Postgres 贡献者(也是多本 Postgres 书籍的作者)Simon Riggs在英国杜克斯福德机场的一次坠机事故中丧生。核心团队也表达了自己的敬意,并提到了他的贡献,包括时间点恢复、热备用和同步复制。他在 12 月的 PGConf EU 上发表了最后一次演讲,主题是▶️ Postgres 的未来 20 年。

Read More

PostgreSQL 每周新闻 2024-3-6

PostgreSQL每周新闻#545 - 2024年3月6日

_config.yml 备注:英文原文地址 img

使用Postgres扩展构建Q&A机器人

在过去的一两年里, pgvector和嵌入模型使得创建高级自然语言搜索系统变得更加容易。在这里,Tembo 展示了他们的堆栈和扩展如何使其成为一个更加简单、直接的过程。 pg_vectorize是一个特别的亮点,因为它是一个扩展,可以使用常见的 LLM 自动执行将文本转换为嵌入的许多过程。

Read More

PostgreSQL 每周新闻 2024-2-28

PostgreSQL每周新闻#544 - 2024年2月28日

_config.yml 备注:英文原文地址 img

Azure Database for PostgreSQL 的 azure_ai 扩展

Microsoft 与 OpenAI 密切关系的好处之一是它可以直接在 Azure 中使用,现在您可以使用 azure_ai 扩展以及 pgvector 从 Azure Database for PostgreSQL 中直接使用 Azure OpenAI 处理该工作的任何基于嵌入的结果。 克莱尔在 ▶️ 这个五分钟的截屏视频中展示了这一切在实践中的样子。

Read More

PostgreSQL 每周新闻 2024-1-17

PostgreSQL每周新闻#538 - 2024年1月17日

_config.yml 备注:英文原文地址 img

在 500 行 SQL 中实现 GPT

当一篇文章自称演示“在 PostgreSQL 中作为单个 SQL 查询的完整 GPT2 实现” ‘,您知道您将踏上一段艰难的旅程。大型语言模型中涉及的算法可以用SQL重新实现吗? (它不会很快取代 ChatGPT,但本文中的最终查询非常引人注目..)

Read More

PostgreSQL 每周新闻 2024-1-3

PostgreSQL每周新闻#536 - 2024年1月3日

_config.yml 备注:英文原文地址 img

1. 📗《PostgreSQL 14 内部原理》一书

一本关于 Postgres 14 的书成为 2023 年最受欢迎的链接,这似乎很奇怪,但它是经过长期开发后完成的,与更现代的 Postgres 版本仍然高度相关,并且可用 作为免费的 PDF。 它的 600 多页内容非常深入,并且包含代码驱动的示例和图表,使您可以轻松缩小范围到您感兴趣的主题,例如锁、索引和查询处理。

Read More

PostgreSQL 每周新闻 2023-11-22

PostgreSQL每周新闻#531 - 2023年11月22日

_config.yml 备注:英文原文地址 img

探索 Postgres 查询计划

Phil 通过研究如何拦截查询执行过程以及通过这样做可以学到什么,继续深入探讨 Postgres 工作原理的技术细节。 诚然,大多数 Postgres 用户永远不需要深入研究,但如果您想至少了解一下幕后发生的事情,那么值得浏览一下。

Read More

PostgreSQL 每周新闻 2023-11-8

PostgreSQL每周新闻#529 - 2023年11月8日

_config.yml 备注:英文原文地址 img

Postgres加密:可用选项

当谈到加密时,您只能使用开箱即用的普通 Postgres,但可以使用从硬件到 Postgres 扩展(例如 pgsodium )或应用程序提供的各种数据安全层级防御。这篇文章提供了一个简短的概述,并引发了有关该主题的广泛的黑客新闻讨论。

Read More

PostgreSQL 每周新闻 2023-10-11

PostgreSQL每周新闻#525 - 2023年10月11日

_config.yml 备注:英文原文地址 img

Postgres:下一代?

Postgres 上的专栏很少涉及核心贡献者的人口统计数据,但 James 指出,有证据表明 Postgres 上的大部分工作是由中位年龄较高的一小群人完成的。这根本不是一件坏事,但建议应该努力鼓励新人参与维护该项目。

Read More

PostgreSQL 每周新闻 2023-9-27

PostgreSQL每周新闻#523 - 2023年9月27日

_config.yml 备注:英文原文地址 img

选择 Postgres 的队列技术

如果 Postgres 本身就是一个出色的发布/订阅和任务服务器,那么为什么将其用作服务器会被称为“hacky”?为什么大多数流行的后台任务库都使用 Redis? Adriano 鼓励我们考虑权衡,并考虑像 Postgres 这样的“无聊技术”何时能够准确地满足您的用例的需求。

Read More

PostgreSQL 每周新闻 2023-9-20

PostgreSQL每周新闻#522 - 2023年9月20日

_config.yml 备注:英文原文地址 img

Postgres 16发布

Postgres 的最新主要版本在我们上周发送Postgres Weekly的第二天就发布了,但好处是我们可以在下面的代码和工具中链接到过去一周添加了 PG16 支持的许多扩展😆 尽管如此,这里有一些新增内容:

Read More

PostgreSQL 每周新闻 2023-9-13

PostgreSQL每周新闻#521 - 2023年9月13日

_config.yml 备注:英文原文地址 img

解释 Postgres 的“冰山模因”

“冰山层”是一种常见的图像模因格式,用于展示对特定主题的“深入知识”水平的不断提高,Postgres 去年也有了自己的一种。这篇文章巧妙地介绍了冰山的概念,从水面上的基本想法到“深处”中更神秘的东西(比如臭名昭著的“allballs” )。这里有很多值得学习和娱乐的东西。

Read More

PostgreSQL 每周新闻 2023-8-9

PostgreSQL每周新闻#518 - 2023年8月9日

_config.yml 备注:英文原文地址 img

Postgres语言服务器

语言服务器添加了自动完成、“转到定义”或悬停文档等功能到 VS Code 等 IDE。现在,在 Supabase 的帮助下,Postgres 有了自己的postgres_lsp。 现在还处于早期阶段,尚未考虑投入生产,但 Supabase 希望让社区参与其开发。黑客新闻上的人们当然对这种潜力感到兴奋。

Read More

PostgreSQL 每周新闻 2023-7-12

PostgreSQL每周新闻#514 - 2023年7月12日

_config.yml 备注:英文原文地址 img

Microsoft 对类似 PostgreSQL 的分布式数据库进行基准测试

Microsoft 委托GigaOM对 PostgreSQL 的 Azure Cosmos DB(在幕后使用 Citus)与来自 Cockroach 和 Yugabyte 的其他 Postgres 衍生替代品进行基准测试。结果正在推广的事实告诉您哪个产品已经获胜.. 😅 在 Marco Slot 的一篇文章中,他更详细地解释了为什么Cosmos DB 如此之快,并邀请您自己运行基准测试。

Read More

PostgreSQL 每周新闻 2023-6-28

PostgreSQL每周新闻#512 - 2023年6月28日

_config.yml 备注:英文原文地址 img

Vector 是 Postgres 中的新 JSON

当 JSON 作为一种交换格式迅速普及的时候,每个人都在构建面向文档的数据库时,Postgres 明智地添加了本机 JSON 支持,并逐渐引入了强大的使用方法。 随着机器学习和语言模型嵌入现在使 vector 成为流行的数据结构,Postgres 在这里也有一个新的机会(到目前为止 pgvector 在处理方面做得很好)。

Read More

PostgreSQL 每周新闻 2023-6-14

PostgreSQL每周新闻#510 - 2023年6月14日

_config.yml 备注:英文原文地址 img

让我们让Postgres多线程化?

🗣受 PGCon 上一些对话的启发,Postgres 贡献者 Heikki Linnakangas 对将 Postgres 从多进程世界转变为使用多线程的单进程世界的想法感到兴奋。不要兴奋;如果发生的话,这将是一项艰巨的任务。反应不一:Tom Lane预测灾难,尽管 Robert Haas 表示支持,但认为基于流程的模型可能需要在未来很长一段时间内保留为一种选择。

Read More

PostgreSQL 每周新闻 2023-4-19

PostgreSQL每周新闻#502 - 2023年4月19日

_config.yml 备注:英文原文地址 img

dbdev:一个Postgres包管理器

Supabase 的人们已经将database.dev置于预览状态,该网站包含许多Postgres 的可信语言扩展,建立在AWS 去年开始的一个想法之上。将其视为或dbdev的一种 Postgres 等价物。现在还处于早期阶段,但总体思路是使将扩展安装到 Postgres 环境(包括在云中)变得更容易。

Read More

PostgreSQL 每周新闻 2023-4-5

PostgreSQL每周新闻#500 - 2023年4月5日

_config.yml 备注:英文原文地址 img

PL/Rust 1.0:用 Rust 编写 Postgres 函数

这特别令人兴奋,因为 PL/Rust 函数不像 PL/pgSQL 或 PL/Python 函数那样被解析,而是被编译成本地机器代码。 这以更动态的形式提供了扩展风格的性能水平。 我怀疑我们很快就会看到很多进展和用例。 更多信息在这里。

TECHNOLOGY CONCEPTS AND DESIGN, INC.

如何使用下一代 Postgres 获得最多 5 个 9s 的正常运行时间

近乎零的停机时间对于许多行业来说都是关键任务。 了解如何通过高级冲突管理和数据丢失保护,通过多主复制和数据分发来降低风险并提高生产力和客户满意度。

EDB

SQL:2023 已经完成,但有什么新内容?

最新版本的 SQL 标准现在与所谓的“ISO 神”一起发布,并将在适当的时候发布。 没有数据库完全遵循 SQL 标准,但是查看新功能可能很有用,因为随着时间的推移,标准中的功能往往会过滤到 Postgres 中(反之亦然,正如刚刚添加到规范中的 JSON 类型所见)。

PETER EISENTRAUT

谷歌提供“随处”运行的 AlloyDB 版本

谷歌一年前首次推出 AlloyDB for PostgreSQL,作为一种托管的 Postgres 兼容服务,在风格上与 Amazon Aurora 有点相似,但来自谷歌。 他们现在可以预览 AlloyDB Omni,这是一个可下载的 AlloyDB 版本,专为在 Google 的云上运行而设计。

GOOGLE CLOUD BLOG

Citus Con 终极指南:Postgres 活动

Citus Con 是一项免费的在线 Postgres 活动,由 Postgres 团队于 4 月 18 日至 19 日在 Microsoft Azure 举办。 在这篇文章中,您可以了解更多关于所提供的一切,或者让克莱尔 ▶️ 以视频形式说服您?

CLAIRE GIORDANO

Hydra:在 Columnar Postgres 上引入更新和删除

Hydra 是一个 Postgres 驱动的数据仓库/OLAP 系统,被称为“开源 Snowflake 替代品”。 他们现在发布了难题的最新部分:支持在其他不可变和仅附加列存储上进行更新和删除,这篇文章解释了如何做到这一点。 GitHub 回购。

JONATHAN DANCE (HYDRA)

Postgres 中的行锁

Laurenz 快速介绍了 Postgres 中四种不同类型的行锁(与表锁相对),为什么你会选择某些类型,以及它们在幕后如何工作。 所有非常容易理解和有用的东西都需要知道。

LAURENZ ALBE

表示不重叠的时间范围

由于竞争条件,保证不重叠的时间范围(例如酒店预订)并不容易。 Postgres 的排除约束和范围类型可以提供帮助。

TOBIAS PETRY

一个特别插图的 Postgres 迁移故事

CRUNCHY BRIDGE

归咎于 Postgres 错误

Postgres 日志中的错误消息可能并不总是数据库本身的错误。 罗伯特研究了可能会出现用户错误或操作系统问题的情况。

ROBERT HAAS

从你的 Postgres 轻松做 Mongodb兼容

探索通过 MongoDB 外部数据包装器(现在所有新的 Crunchy Bridge 部署都支持)将 MongoDB 和 Postgres 配对的好处。

CHRISTOPHER WINSLETT (CRUNCHY DATA)

使用 Postgres 进行集成测试

了解在测试场景中使用 Postgres 的几种方法,每种方法各有优缺点。

EGON ELBRE

使用基于角色的访问控制的 Aurora 数据库授权

了解在测试场景中使用 Postgres 的几种方法,每种方法各有优缺点。

PINYANI AND LONAPPAN (AWS)

Read More

PostgreSQL 每周新闻 2023-3-15

PostgreSQL每周新闻#497 - 2023年3月15日

_config.yml 备注:英文原文地址 img

PostgreSQL 14内部书籍

PostgreSQL 14 Internals 已经开发了相当长的一段时间,基于 Egor Rogov 的一系列精彩技术文章, PostgreSQL 14 Internals是一本现已完全完成的书,可在此处以 PDF 格式获取。不要担心它对您来说过于技术化——它包含了代码驱动的示例和图表,并且很容易缩小到您可能感兴趣的主题,例如锁、索引或 Postgres 如何处理查询。

Read More

PostgreSQL 每周新闻 2023-2-1

PostgreSQL每周新闻#491 - 2023年2月1日

_config.yml 备注:英文原文地址 img

transaction ID 环绕:野外漫步

“对于大多数人来说,这是一个抽象的概念,一个潜伏在角落黑暗中的怪物。许多人都知道关于反环绕自动真空罐性能或数据库停止工作的恐怖故事,但是 谁见过真正的数据丢失?我决定直面野兽……”与 Laurenz 一起旅行,您也可以看到数据来自“死者”。

Read More

PostgreSQL 每周新闻 2023-1-11

PostgreSQL每周新闻#488 - 2023年1月11日

_config.yml 备注:英文原文地址 img

Supabase Wrappers:一个用 Rust 编写的 FDW 框架

外部数据包装器 (FDW) 在 Postgres 中提供了一种机制来访问远程/外部系统上的数据,无论是其他 SQL 数据库还是平面文件。 Supabase 构建了 Wrappers,试图将无数的 FDW 集中在一个屋檐下(已经包括与 Stripe、Firebase 和 Airtable 集成的 FDW),并使其更容易构建更多。

Read More

PostgreSQL 每周新闻 2022-12-7

PostgreSQL每周新闻#485 - 2022年12月7日

_config.yml 备注:英文原文地址 img

Amazon’s Trusted Language Extensions for Postgres

Amazon 的 Aurora 和 RDS Postgres 平台都运行着大约 85 个流行的 Postgres 扩展,但除此之外你就不走运了。考虑到扩展的强大功能,Amazon 不希望用户任意安装扩展,因此提出了一种围绕 RDS 或 Aurora 等平台可以满意pg_tle的权限模型构建安全扩展的解决方案这个想法能否在 Postgres 领域更普遍地流行起来?我们将会看到

Read More

PostgreSQL 每周新闻 2022-11-23

PostgreSQL每周新闻#482 - 2022年11月23日

_config.yml 备注:英文原文地址 img

Variadic Unnesting 的力量

本周没有明显的“大新闻”,所以让我们来看看“整洁的 Postgres 功能!” (从 Postgres 9.4 开始)。 这是对 string_to_array 和 UNNEST 表函数如何帮助规范化杂乱数据(在本例中来自电子表格)的了解。 正如作者所说:“在我使用过的其他数据库中,我做不到这么棒的事情。”

Read More

PostgreSQL 每周新闻 2022-11-16

PostgreSQL每周新闻#481 - 2022年11月16日

_config.yml 备注:英文原文地址 img

在 Postgres 15 中通过 I/O 并发减少复制滞后

Postgres 15 具有关键的复制改进,但为实现这一目标所做的工作很深入。这篇文章解释了 IO 并发性如何影响复制滞后,还讲述了 Postgres 的 IO 故事如何随着时间的推移而改进,并戏弄了一个未来,数据将异步传输到 Postgres 的缓冲区中,完全避免内核。“我们只触及了表面,” Thomas 说

Read More

PostgreSQL 每周新闻 2022-10-26

PostgreSQL每周新闻#478 - 2022年10月26日

_config.yml 备注:英文原文地址 img

“PostgresML 比 Python HTTP 微服务快 8-40 倍”

Postgres 一直与 MySQL、SQL Server 或 Oracle 进行比较……但是 Python 呢? PostgresML 是用于训练和部署机器学习模型的 Postgres 扩展。 这是一项更常与 Python 相关联的任务,但 Postgres 提供了一个引人注目的(如果完全不同的话)界面,Lev 有数据可以证明这一点。

Read More

PostgreSQL 每周新闻 2022-10-19

PostgreSQL每周新闻#477 - 2022年10月19日

_config.yml 备注:英文原文地址 img

Postgres全文搜索与其他

只要您了解限制(或解决它们),Postgres 的全文搜索功能可以带您走很长的路。Victor 展示了基础知识,并将 Postgres 提供的功能与一些流行的现代替代方案进行了比较。这篇文章引发了对 Hacker News 的广泛讨论,讨论得更深入一些。

Read More

PostgreSQL 每周新闻 2022-8-10

PostgreSQL每周新闻#467 - 2022年8月10日

_config.yml 备注:英文原文地址 img

PPagila 3.0:Postgres 的示例数据库

最初是 MySQL 的“Sakila”示例数据库的一个端口,Pagila 提供了一个完整且真实的模式和数据,可用于教程、演示、学习 SQL 或测试。来自 Sakila 的 DVD 出租店比喻仍然存在,但许多额外的功能已经发挥作用,包括 JSONB 列、外键和触发器。也有关于旋转它的完整说明。

Read More

PostgreSQL 每周新闻 2022-8-3

PostgreSQL每周新闻#466 - 2022年8月3日

_config.yml 备注:英文原文地址 img

调试 Postgres Autovacuum 问题:13 条提示

Samay 要求我们想象看到我们的数据库比预期的大,I/O 负载高且性能低下。 我们在我们的表中发现了很多膨胀并运行 VACUUM。 但是我们可能会问“为什么 Postgres autovacuum 不首先清理膨胀……?” — 这是一个很好的问题,如果您值得信赖的VACUUM没有像以前那样清理干净,这篇文章涵盖了各种绊脚石和要做的事情。

Read More

PostgreSQL 每周新闻 2022-7-27

PostgreSQL每周新闻#465 - 2022年7月27日

_config.yml 备注:英文原文地址 img

Postgres v14 中更好的 SQL 函数

Postgres 14 引入了一种定义 SQL 函数的新方法,本周它引起了至少两名开发人员的注意,因为我们有两篇关于它的好帖子。 从本质上讲,“SQL 函数和过程的主体不再需要是字符串常量”,这提供了一些优势,正如我们在 Laurenz 的演示中看到的那样。

Read More

PostgreSQL 每周新闻 2022-7-13

PostgreSQL每周新闻#463 - 2022年7月13日

_config.yml 备注:英文原文地址 img

Postgres 15 如何改进UNIQUE以及NULL

作者查看了最新的 Postgres 15 beta 版,并深入UNIQUE对具有值的列的约束NULL其中可以使 Postgres 将空值视为不同的值或不视为不同的值。开发此功能的 Peter Eisentraut 突然出现在 Hacker News上指出: “这里的背景是 SQL 标准对于实现应该表现的两种方式中的哪一种是模棱两可的。因此,在即将发布的 SQL:202x 中,通过定义行为实现并添加此NULLS [NOT] DISTINCT选项来选择其他行为来解决此问题。”

Read More

PostgreSQL 每周新闻 2022-6-29

PostgreSQL每周新闻#461 - 2022年6月29日

_config.yml 备注:英文原文地址 img

Google Cloud Spanner 的 Postgres 接口正式发布

看到很多聪明人歌颂非开源的云数据库是不寻常的,但 Google 的 Cloud Spanner 凭借其高可用性、可扩展性和 ACID 合规性的承诺而拥有许多这样的粉丝——进入 Postgres 生态系统被视为一个越来越重要的因素。 值得注意的是,作者说:“PostgreSQL 是用于操作数据库的新‘API’,”——也许我们可以期待 Google 对 Postgres 的更多热爱?

Read More

PostgreSQL 每周新闻 2022-6-22

PostgreSQL每周新闻#460 - 2022年6月22日

_config.yml 备注:英文原文地址 img

用于 Postgres 的 Citus 11 完全开源

Citus 是 Postgres 的横向扩展插件,六年前首次开源,但其通用商业模式是提供扩展的“企业”版本以赚钱。 不再。 现在只有一个 Citus 版本,而且都是开源的,因此租户隔离、非阻塞分片重新平衡等功能现在对所有人开放。 这是一个巨大的版本,并在这篇文章中得到了很好的解释。

Read More

PostgreSQL 每周新闻 2022-5-18

PostgreSQL每周新闻#455 - 2022年5月18日

_config.yml 备注:英文原文地址 img

Google Cloud 推出了适用于 PostgreSQL 的 AlloyDB

这并不是一个完美的比较,但想想 Amazon Aurora,除了 Google 吹嘘这是“只有 Google 才能提供的 PostgreSQL”。 AlloyDB 是一个托管的与 Postgres 兼容的服务(尽管它看起来确实像 Postgres 的元素就在幕后),它承诺以一定的价格实现无缝扩展。 这里有更技术性的解释。

Read More

PostgreSQL 每周新闻 2022-5-11

PostgreSQL每周新闻#454 - 2022年5月11日

_config.yml 备注:英文原文地址 img

数据湖中的 Parquet 和 Postgres

分区提供了一种方法来将巨大的静态数据集分解成更易于管理的部分(并在不再需要时丢弃它们)但是如果你想保留这些东西而不阻塞你的“主”数据库怎么办?将其放入“数据湖”并在需要时使用 FDW 进行查询!保罗在这里向我们展示了一种方法。

Read More

PostgreSQL 每周新闻 2022-4-13

PostgreSQL每周新闻#450 - 2022年4月13日

_config.yml 备注:英文原文地址 img

Postgres 14 中的多范围

范围通常非常简单:所有介于 5 和 12 之间的整数——类似的东西。但是,正如 Postgres 14 所支持的那样, multiranges通过能够以复合方式表示多个范围,将事情提升到一个更高的层次。Hans-Jürgen 在这里给了我们一些例子。

Read More

PostgreSQL 每周新闻 2022-4-6

PostgreSQL每周新闻#449 - 2022年4月6日

_config.yml 备注:英文原文地址 img

Postgres 如何选择用于查询的索引

每当一篇博客文章的日期为 4 月 1 日时,我都会立即处于紧张状态,但 Lukas 深入而直接地观察 Postgres 的查询计划器如何工作,这并不是胡闹。这直接进入 Postgres 的源代码(!),但也涵盖了一个实际示例,说明为什么这是一个有用的知识,可以放在你的口袋里。

Read More

PostgreSQL 每周新闻 2022-3-30

PostgreSQL每周新闻#448 - 2022年3月30日

_config.yml 备注:英文原文地址 img

MERGE 来到 Postgres 15

在 Postgres 文档中看到一个全新的页面总是很高兴——即使它是在今年晚些时候发布的。 这是一个用于 MERGE(您可能在 SQL Server 或 Oracle 中看到的 SQL 语句)——基本思想是在可定义的条件下将来自查询或源表的数据整体合并到目标表中。

Read More

PostgreSQL 每周新闻 2021-12-15

PostgreSQL每周新闻#434 - 2021年12月15日

config.yml 备注:英文原文地址 img

案例研究:基于 Postgres 和 Citus 的英国 COVID-19 仪表板如何工作

如果您喜欢深入的案例研究,这适合您。 英国政府的卫生安全局一直积极主动地与其公民共享有关 COVID-19 大流行的数据,Postgres(在 Azure 的 Postgres 和 Citus 服务上运行)是其流行仪表板的核心,由数十亿行频繁更新的数据提供支持 . 这里有很多东西要考虑。

Read More

PostgreSQL 每周新闻 2021-10-13

PostgreSQL每周新闻#426 - 2021年10月13日

_config.yml 备注:英文原文地址 img

Google Cloud Spanner 添加与 Postgres 兼容的接口

Cloud Spanner是一种基于 Google 云的关系数据库服务,拥有无限的可扩展性,现在您可以通过新的 Postgres 接口在更多地方使用它。值得注意的是,Kelsey Hightower在一年前提出,如果 Cloud Spanner 拥有兼容 Postgres 的接口,它就有可能成为“符合 ACID 的数据库中的 Gmail”。嗯,现在有了。

Read More

PostgreSQL 每周新闻 2021-10-6

PostgreSQL每周新闻#425 - 2021年10月6日

_config.yml 备注:英文原文地址 img

🎂 PostgreSQL 14 发布

距离 Postgres 13 的最终版本仅一年多,下一个主要版本就在这里。 与 13 一样,14 是您可以称之为“进化”版本的版本,没有巨大的新功能(都是关于小事的),而是一长串增强功能和成熟度。 这些包括:

  • 能够更轻松地为用户分配表、视图和模式的只读或只写权限。
  • 逻辑复制改进。
  • 更好的范围类型。
  • 改进了查询并行性支持并改进了并行顺序扫描性能。
  • 减少索引膨胀。
  • 一些 JSON 改进。
  • 每列可配置压缩。
  • 存储过程现在可以使用 OUT 参数返回数据。
Read More

PostgreSQL 每周新闻 2021-5-19

PostgreSQL每周新闻#406 - 2021年5月19日

_config.yml 备注:英文原文地址 img

Postgres 2021状态报告

最近,Timescale,TimescaleDB Postgres扩展背后的人们进行了一项调查,以了解Postgres社区的“状态”。 正如承诺的那样,他们共享了结果(包括原始的匿名数据,如果您想进行自己的分析),尽管受访者的数量不是特别多,但得出了一些有趣的结果:

  • 大多数用户将其称为“ Postgres”,而不是“ PostgreSQL”。
  • 大多数受访者都在自我管理他们的Postgres安装。
  • 到目前为止,AWS是拥有GCP的用户中最受欢迎的云,仅次于第二名。
  • pgAdmin 4是使用Postgres的最常用的第三方工具。
Read More

PostgreSQL 每周新闻 2021-5-12

PostgreSQL每周新闻#405 - 2021年5月12日

_config.yml 备注:英文原文地址 img

跳过扫描:一种使不重复查询加快8000倍的方法

首先,值得注意的是,这是一个TimescaleDB的特性,但考虑到Timescale是Postgres的扩展,它仍然是一个有趣的开发。“跳过扫描”是一项新功能,它解决了Postgres无法有效地从有序索引中提取唯一值列表的问题。马上到来的postgres15中也有一个类似的功能,但是TimescaleDB用户现在就可以使用它了,下面是它的工作原理。即使您没有使用TimescaleDB的计划,理解其基本概念也是值得的。

Read More

PostgreSQL 每周新闻 2021-4-7

PostgreSQL每周新闻#400 - 2021年4月7日

_config.yml 备注:英文原文地址 img

100条psql提示

您知道我们偶尔会包含Postgres的“每周提示”吗?这是一个类似的想法,但特别是针对psql的小技巧。如果您很快就会遇到psql会话,那么值得浏览!如果您不想被不知所措,也可以加载一个随机提示。

Read More

PostgreSQL 每周新闻 2021-2-24

PostgreSQL每周新闻#394 - 2021年2月24日

_config.yml 备注:英文原文地址 img

模糊名称匹配的方法

数据输入的过程以及人们记忆的工作方式都不是完美的,因此有时,如果系统返回的数据与我们正在搜索的数据比较类似也是有帮助的,例如搜索“Jimmy Arrington”的时候也搜索“Jim Harrington”的结果。 这篇文章探讨了Postgres提供的一些用于“模糊”搜索的方法。

Read More

PostgreSQL 每周新闻 2020-9-30

PostgreSQL每周新闻#375 - 2020年9月30日

_config.yml 备注:英文原文地址 img

Postgres 13发布

距离Postgres 12发布不到一年,这里13致力于我们最喜欢的数据库的进化步骤。发行说明提供了所需的新功能和已调整功能的清单,但是我们将在此处介绍相关文章的链接,以涵盖其中的一些大问题:

  • B树索引中的重复数据删除
  • VACUUM的并行性
  • 受信任的扩展
  • 使用SELECT gen_random_uuid()无需扩展
  • CREATE STATISTICS现在可以帮助进行IN / ANY操作的计划
  • postgres_fdw现在支持证书认证
  • TLS改进
  • ..和其他隐藏的宝石!
Read More

PostgreSQL 每周新闻 2020-9-16

PostgreSQL每周新闻#373 - 2020年9月16日

_config.yml 备注:英文原文地址 img

GitLab如何(以及为什么)从Postgres 9.6升级到11

GitLab的团队解释了他们在执行Postgres的主要版本升级所采用的精确维护过程。 而且,更好的是,他们记录了整个2小时的过程,因此您可以看到它的实际执行情况! 它并不能带来令人兴奋的观看效果,但是在一家大型公司的运营幕后却是非常罕见的记录。

Read More

PostgreSQL 每周新闻 2020-9-9

PostgreSQL每周新闻#372 - 2020年9月9日

_config.yml 备注:英文原文地址 img

看看Postgres中的B树索引重复数据删除13

B树索引是Postgres中创建的默认索引类型,因此对其操作的任何更改都可能会产生很多连锁反应。在即将发布的Postgres 13中尽可能对这些索引进行重复数据删除将有助于使这些索引保持较小并具有性能影响(很可能会降低I / O使用率,但会略微增加CPU,但在大多数情况下会提高整体性能)。

Read More

PostgreSQL 每周新闻 2020-6-17

PostgreSQL每周新闻#360 - 2020年6月17日

_config.yml 备注:英文原文地址 img

Jepsen在Postgres 12.3中发现错误

“Jepsen”这个名字肯定会激起任何数据库服务器创建者的情绪,因为他们对分布式系统(例如数据库!)的分析经常揭示出各种极端情况和缺陷。Postgres也是如此,它发现了可序列化隔离中的一个错误。这是技术性的东西,但是很高兴看到Postgres这样的系统受到如此严格的分析。

Read More

PostgreSQL 每周新闻 2019-10-16

PostgreSQL每周新闻#327 - 2019年10月16日

_config.yml 备注:英文原文地址 img

不定排序

postgres 12支持一个新的确定性属性,在创建排序规则时可以将其设置为false,这使得两个字节序列不同的字符串在既定的排序规则下可以被判断为相等。这开创了许多与文本匹配的方法,而无需使用显式函数。

Read More

PostgreSQL 每周新闻 2019-9-18

PostgreSQL每周新闻#323 - 2019年9月18日

_config.yml 备注:英文原文地址 img

探索Postgres视图的依赖关系

当您创建涉及相互依赖的表、视图、触发器、函数等的复杂结构时,数据库内部会创建依赖关系。以下是对视图依赖性的探索,以及如何查找视图依赖的其他对象。

Laurenz Albe

PostgreSQL 12 Beta 4发布

包含所有功能的预览,这些功能将在postgres 12的最终版本中提供,并且“可能是最终的beta版本”。

PostgreSQL Global Development Group

向社区核心人员学PG 12的功能

加入免费的PostgreSQL网络研讨会:与Peter Eisentrut一起加入PostgreSQL 12的新功能,并了解即将发布的PG 12的内部情况。

2ndQuadrant PostgreSQL Webinars

Postgres备忘单

15页的Postgres基础使用说明,用于各种Postgres相关任务,包含函数、用户、约束和查询表等。

Timescale

使用pgpool ii作为负载平衡器可以获得性能吗?

对少量的连接来说,不会有性能提升。如果有大量的用户连接,YES。运行自己的测试来确定是否需要使用pgpool。

Muhammad Usama

在postgres 12中分区更快

postgresql 12对分区做了很多改进。下面是一些基准测试结果,这里您就可以看到性能提升。

David Rowley

在非postgres数据库中使用distinct on

我们在321期的技巧文章中提到了distinct on,这是一个用于选择明显匹配各种条件的第一行的简洁功能。但如果你想在其他数据库系统上得到类似的结果呢?

Lukas Eder

为什么要在关系数据库上使用timescaledb?

有趣的是,虽然timescaledb是一个时间序列数据库,但它是作为关系数据库postgres之上的扩展而构建的!

TimescaleDB

Strongdm使管理数据库访问变得轻而易举

Splunk的CISO说“Strongdm可以让你看到发生了什么,回放和分析事件。”

strongDM

在RHEL、CentOS或Fedora上安装Postgres 12 Beta/RC

如何在红帽风格的Linux发行版上测试Postgres的下一个版本。

Devrim Gunduz

postgres和timescaledb的数据加载性能

在ec2实例上运行的postgres和timescaledb中加载大量数据(超过十亿行)时测试性能的实验。

Fabien Coelho

Postgres分页器PSPG 2.0.2发布

我们在两周前就推出了pspg,但它的创建者已经发布了两个版本,为所有显示的列引入了排序功能。

Pavel Stěhule

pl/proxy 2.9:基于函数的postgres分片

如果你不熟悉这个项目,它的主页上会有更多的信息,但是pl/proxy最初是在skype上开发的,目的是通过分片来帮助扩展postgres。

Luca Ferrari

💡本周提示

神秘的表格命令

做这些小贴士的乐趣之一就是我能发现一些我以前从未见过的有趣的事情。table sql命令是最新的示例。

给出一个简单的示例:

CREATE TABLE x (id int);
INSERT INTO x VALUES (10),(20),(30);

table允许您快速查看整个表:

TABLE x;
  
 id
----
 10
 20
 30

它有点幼稚,不支持where或group子句,但支持order、limit和offset。

在我看来,主要的用例是什么?如果您想在psql或类似工具中快速查找表,那么表名比select*from table name;更短,键入起来也不那么麻烦。向不知道的人炫耀是件有趣的事。

如果您有任何文件或参考,为这个命令,尽管,取得联系。我很好奇它是从哪里来的。

🗓即将举办的Postgres活动

Read More

数据库每周新闻 2019-9-13

数据库每周新闻#271 - 2019年9月13日

_config.yml 备注:英文原文地址

Amazon Quantum Ledger数据库(QLDB)现在可用

现在,qldb是一个跨五个aws区域的生产型数据库,可以准确的跟踪对数据集的所有已提交更改。

Jeff Barr

Scylla Alternator:开源dynamodb兼容api

alternator是一个开源项目,它为scylla带来了dynamodb兼容性,scylla是一个受cassandra启发的分布式nosql存储。

ScyllaDB

免费O’Reilly书籍:图形算法

建立预测模型还是预测现实世界的行为?下载这个免费的O’Reilly关于在ApacheSpark和Neo4J中使用图形算法的书,其中有20多个实际的例子。

Neo4j sponsor

procella:统一youtube上的服务和分析数据

Adrian Colyer很好的分析了Compsci论文,但在本例中,他大肆宣扬“这里是数据处理的未来发展方向”,而谷歌已经在生产中使用了Procella。

the morning paper

sql概念:从a到z

从a到z总结SQL概念。

Helen Anderson

memsql技术介绍

memsql数据库是一个分布式内存sql数据库管理系统。

John Sherwood (MemSQL)

netlify为其托管平台推出了faunadb插件。

netlify是一个非常新兴的现代网站托管平台,它推出了faunadb插件,让用户可以无缝地将全球分布的数据库插入到他们的网站中。

Netlify

💻招聘

  • 首席安全工程师-作为我们的第一位安全工程师发挥影响力,专注于围绕我们的云安全努力推动创新和最佳实践。

  • 通过Vettery找到一份DB工作-制作一份免费的个人资料,说出你的薪水,并与顶级雇主的招聘经理联系。

📒 其他

在非postgresql数据库中使用distinct on

distinct on是postgres的sql方言中的一个整洁特性,用于选择明显匹配各种条件的第一行。(我们甚至在我们的Postgres时事通讯的第321期中对此进行了报道)。

Lukas Eder

电子书:优化Postgres查询性能的最佳实践

了解如何得到一个3倍的性能改善,在这个自由的PGAnalyze电子书从磁盘加载500倍的Postgres数据库。

pganalyze sponsor

使用mysql作为bigquery与cube.js的缓存层

一个有趣的想法是,使用bigquery作为一个缓慢的“单一真相来源”,而使用mysql作为一个“缓存层”,用于cube.js仪表板中某些查询的次秒级响应。

Artyom Keydunov

什么是sql“关系”?

对“关系”概念的简短而甜蜜的介绍。这不仅仅是您熟悉的持久表,而是“事实上,任何sql查询都定义了一个新的关系。”dmitri本周还发布了一些相关文章,重新介绍了连接和聚合。

Dimitri Fontaine

在azure sql数据库中热修补sql服务器引擎

一个强技术性,但很有趣的例子,解释azure团队如何管理实时热修补程序,运行azure sql数据库使用的sql server引擎版本,以便在不影响客户的情况下保持最新。体验这个奇怪的方法,但是你不能依赖于它。

Hans Olav Norheim (Microsoft)

waltz:分布式预写日志

最初被设计为wepay系统的交易分类账,但现在被广泛应用于需要可序列化一致性的分布式系统的更广泛的用例。

wepay

nanosql 2:客户机、服务器和移动设备的通用“数据库层”

基本上是对任何希望在应用程序中使用数据库的javascript开发人员的抽象。它可以在幕后使用许多实际的数据库,包括localstorage、indexeddb、rocksdb、redis、dynamodb、scylladb和sqlite。它自称是“Lego™ for databases”。

Scott Lott

poli:为sql爱好者构建的一个易于使用的sql报告应用程序

基于Java的,可以连接到通过JDBC支持的任何数据库。

Zhonglu

Read More

PostgreSQL 每周新闻 2019-9-11

PostgreSQL每周新闻#322 - 2019年9月11日

_config.yml 备注:英文原文地址 img

postgres升级方法初探

Postgres12就在眼前了,因此有必要重新了解一下升级Postgres安装所涉及的内容。kaarel研究了三种不同方法的利弊。

Kaarel Moppel

容器中postgres的高可用性选择探讨

运行postgres的集群容器需要一个控制器来监视和管理集群。跟着我找寻适合你的方案。

EnterpriseDB

管理Postgres用户和角色

这是几个月前的文章了,但我们当时错过了。这真是一个遗憾,因为这是一个关于在postgres中与用户和角色合作的非常好的介绍。

Yaser Raja

postgres 12的Vacuum改进

postgres用户有时会抱怨Vacuum维护任务。好吧,Postgres12让这些东西不那么痛苦,而且更容易经常使用。

Shaun Thomas

什么是sql“关系”?

这是对“关系”概念的简短而甜蜜的介绍。这不仅仅是您熟悉的持久表,而是“事实上,任何sql查询都定义了一个新的关系。”dmitri本周还发布了一些相关文章,重新介绍了连接和聚合。

Dimitri Fontaine

从postgres数据库中获取更多信息

pganalyze总结了他们在如何提高postgres数据库3倍性能方面的经验。很多有用的最佳实践都在这里。

pganalyze

amazon rds中postgres 12数据库参数的优化

上周,jignesh向我们展示了如何在amazon rds上使用postgres 12的beta版,现在他将研究如何调整其设置以获得更好的性能。

Jignesh Shah

如何使用robin操作符在openshift上部署和管理postgres

Ankur Desai

在Debian 10上安装pgadmin 4

Shahriar Shovon

将postgresql复制到memsql的columnstore中

如何在postgresql中保存事务数据进行更新的同时,获得memsql查询的columnstore的高性能。

Oryan Moshe

💡本周提示

将查询结果转换为json

您知道postgres包含一个将查询结果行转换为json的函数吗?它被称为row_to_json。让我们创建一个包含两个人的记录的基本表,以及一个“兴趣”数组列,来处理:

CREATE TABLE people
  (name text, age int, interests text[]);

INSERT INTO people (name, age, interests)
  VALUES
  ('Jon', 12, ARRAY ['Golf', 'Food']),
  ('Jane', 45, ARRAY ['Art']);

使用row_to_json的最基本方法是使用行构造函数ROW,如下所示:

SELECT row_to_json(ROW(name, age, interests)) FROM people;

row_to_json
-----------------------------------
{"f1":"Jon","f2":12,"f3":["Golf","Food"]}
{"f1":"Jane","f2":45,"f3":["Art"]}

我们可以看到表中不同类型的数据(字符串、整数、数组)对应输出到结果中,但列名却没有!幸运的是,有一种更好的方法可以通过使用子查询来解决这个问题:

SELECT row_to_json(q1) FROM
  (SELECT * FROM people LIMIT 1) q1;

row_to_json
-----------------------------------
{"name":"Jon","age":12,"interests":["Golf","Food"]}

它与我们这里的示例没有关系,但是row_to_json有一个可选的第二个参数,可以在某些情况下“美化”输出—要启用它,您可以在上面的示例查询中使用row_to_json(q1,true)。

🗓即将举办的Postgres活动

Read More

数据库每周新闻 2019-9-6

数据库每周新闻#270 - 2019年9月6日

_config.yml 备注:英文原文地址 img

三星推出符合标准的“关键价值固态硬盘”原型

存储网络行业协会(snia)一直在研究ssd作为关键价值存储的规范,三星正在研究一种兼容的实现。这是一个有趣的发展,为新形式的高性能、持久的关键价值商店铺平了道路。

Billy Tallis

时间尺度云:完全管理的时间序列数据库

只需点击几下鼠标,就可以在您选择的云提供商(aws、gcp、azure)上,在世界各地的不同地区部署和管理时间序列工作负载。在这里注册300美元的试用积分。

Timescale sponsor

预测数据库,一个新的数据库类别?

我们经常在这里讨论人工智能、机器学习和数据库之间的交叉,这些思想将它们结合在一起,生成数据库查询,在后台自动“预测”事物。现在,一个新的数据库,aito提出了一些解决方案

Antti Rauhala

dgraph 1.1:一个快速的分布式图形数据库

旨在以低延迟提供“google生产级规模和吞吐量”,并支持类似graphql的查询语法。1.1.0版刚刚发布。

Dgraph

MongoDB Atlas数据湖,现在可以使用MongoDB Compass进行探索

MongoDB Data Lake目前处于beta版,是一个完全托管的数据湖,它是一个服务,允许您使用MongoDB查询语言探索存储在AWS S3(在适当时候支持的其他存储)上的半结构化数据。

MongoDB, Inc.

快速浏览

  • Yugabyte DB通过了著名的严格的Jepsen测试程序。

  • amazon elasticcache(aws的redis服务)现在允许客户携带自己的密钥来对静止数据进行加密。

  • MongoDB的Atlas托管服务现在可以在azure Marketplace上使用,从而使azure用户的计费更加容易。ElasticSearch服务在azure Marketplace上也是新的。

  • Brave是一款基于Chromium的隐私导向浏览器的创建者,他“发现”了一种据称谷歌用来规避GDPR隐私义务的技术。

    💻招聘

  • 通过Vettery找到一份DB工作-制作一份免费的个人资料,说出你的薪水,并与顶级雇主的招聘经理联系。

    📒 其他

将关系数据库重构为amazon dynamodb

使用aws glue从amazon ec2实例读取、转换和写入sql server数据到amazon dynamodb的过程。

Amazon Web Services

按核心数据结构类型列出的顶级redis用例

redis是流行的内存数据结构服务器,它有几种主要的数据类型,每种类型都适合不同的使用情况。

Kristi Anderson

免费O’Reilly书籍:图形算法

获取如何使用图形算法来预测行为的实际示例,并提供超过20个算法的示例代码和提示。

Neo4j sponsor

sql连接,不使用venn图解释

连接和联合是在了解了SQL基础知识之后的第一个大的学习曲线。

Helen Anderson

在google云平台(gcp)上运行postgresql

看看谷歌平台为postgres用户提供的功能。

Viorel Tabara

如何在zig中编写redis模块

redis支持模块、向redis数据库添加新命令、数据类型和功能的自定义扩展,本文将介绍如何使用一种鲜为人知但非常有趣的语言创建这样的模块。

Loris Cro

将postgresql复制到memsql的columnstore中

如何在postgresql中保存事务数据进行更新的同时,获得memsql查询的columnstore的高性能。

Oryan Moshe

MongoDB从Homebrew的核心公式中删除,但是..

由于最近对MongoDB的许可证进行了更改,Homebrew包管理器中的MongoDB公式(通常在MacOS上使用)已被删除,但MongoDB有自己的官方Brew Tap,您应该通过Brew Tap MongoDB/Brew使用它

Homebrew Project

pspg:为postgres(和mysql)表设计的unix分页器

如果您使用psql,您可能会使用less它作为寻呼机,但它不直接支持表格数据。是的!本文阐述的这个是支持的,而且持按列排序。也支持MySQL。

Pavel Stehule

Monstach:一个实时将MongoDB同步到ElasticSearch的守护进程

Ryan Wynn

ebay的tsv实用程序:用于大型表格数据文件的命令行工具

包括过滤、统计、采样、连接等操作。有趣的是,它们是用d编写的,但二进制文件是可用的。

eBay

Read More

PostgreSQL 每周新闻 2019-9-4

PostgreSQL每周新闻#321 - 2019年9月4日

_config.yml 备注:英文原文地址 img

pspg:为postgres表设计的unix分页器

如果您使用psql,您可能会用less它作为分页器,但它不直接支持表格数据。将要介绍的这个是支持的!最新的主分支版本还支持按列排序。

Pavel Stehule

如何使用pl/pgsql计算日期范围内的工作小时数

在一系列日期中有多少工作时间?一个使用pl/pgsql实现的,方便、完美的、容易理解的例子。

Luca Ferrari

因为你的数据是你的业务

PGX提供完整的PostgreSQL支持,从紧急服务到日常运营支持,再到战略规划。我们来这里是为了你的数据操作。

PostgreSQL Experts, Inc.

PostgreSQL 12如何提高性能

“只需升级就有性能提升”。Postgres12增强了CTE查询,默认情况下对查询进行了JIT编译,索引也得到了改进。

Jonathan S. Katz

为什么需要用pl pgsql检查你写的pl/pgsql存储过程

pl/pgsql允许您直接在postgres和sql查询中编写和执行一些非常高级的逻辑,plpgsql检查可以帮助您解决性能和sql注入问题。

Pavel Stěhule

在google云平台(gcp)上运行postgresql

看看谷歌平台为postgres用户提供的功能。

Viorel Tabara

如何设置在amazon rds上测试postgres12beta3

aws提供postgres的beta版本,用于在其美国东部2地区的“预览环境”中进行测试。

Jignesh Shah

集装箱时代的it监控:ebpf可观测性的挖掘

InfluxData

Postgres连接字符串和PSQL

你知道有三种不同的方法可以建立到同一个数据库的连接吗?一种键/值方法,流行的“url”方法,在psql中使用命令行选项。

Dimitri Fontaine

使用pgBackRest设置远程备份和恢复

Granthana Biswas

向postgres中添加二进制I/O类型

Johann 'Myrkraverk' Oskarsson

Postgres的周期和系统版本控制

preriod是一个sql:2016特性,有点像postgres的范围类型,这个扩展在postgres中实现了一些基本支持。

Vik Fearing

💡本周提示

使用distinct on的基本示例

上周,我们的技巧是关于select distinct,这是一种不使用group by从列中轻松选择唯一值的方法。本周,我们又向前迈了一步!

当select distinct从列中选择唯一值时,select distinct on选择可以明显匹配各种条件的第一行。这很难单独用文字来解释,所以让我们试试最简单的例子。

让我们创建一个表来存储不同位置的温度。在真实的案例中,您可能也会有一个与时间相关的列,但为了简洁起见,我们在这里使用int:

CREATE TABLE temperatures
  (location TEXT,
   temp INT);
   
INSERT INTO temperatures
  (location, temp)
  VALUES
  ('Springfield', 71),
  ('Springfield', 74),
  ('Springfield', 64),
  ('Springfield', 56),
  ('Miami', 84),
  ('Miami', 77),
  ('Miami', 91);

现在,假设我们只想得到每个位置记录的最高温度。使用distinct on来完成这个任务:

SELECT DISTINCT ON(location) * 
  FROM temperatures
  ORDER BY location, temp DESC;
  
    location |  temp
--------------------
       Miami | 91 
 Springfield | 74

如果我们没有使用DISTINCT,我们会得到所有的位置和温度随温度的降序排列。然而,Distinct on(location)将结果分解为每个位置的第一个匹配结果,为每个位置计算出最高温度。

🗓即将举办的Postgres活动

Read More

数据库每周新闻 2019-8-30

数据库每周新闻 #269 - 2019年8月30日

config.yml 备注:英文原文地址

img

Hadoop发生了什么

Hadoop曾经被称为是IT企业的前进方向,有一篇文章从高层次上阐述了Hadoop在走下坡路。

DERRICK HARRIS

隔离级别和一致性级别的差异

隔离和一致性是允许并发操作的多用户事务数据库中的重要概念,但数据库供应商以各种方式描述了他们对这些概念的支持程度。

DANIEL ABADI

今年夏天出现了新功能:BigQuery

谷歌云的BigQuery数据仓库的最新更新包括10倍的流量配额增加、自动重新群集以及导入TensorFlow模型,以便对BigQuery表数据进行批量预测。

GOOGLE CLOUD BLOG

亚马逊预测可供使用

这个全管理的时间序列预测服务声称在没有机器学习时提供高精度的预测。

AMAZON WEB SERVICES

快速浏览

  • 中国电子商务巨头百度正在围绕英特尔optane构建一个新的数据平台。
  • 就在两周前,我们听说Python是如何“扼杀R”的,但R基金会正处于资金筹措的阶段。
  • Arangodb3.5发布。

💻招聘

首席云安全工程师-作为我们的第一个安全工程师,发挥作用,专注于推动围绕我们的云安全工作的创新和最佳实践。

Vettery有需求DB开发人员——准备好大胆的职业发展了吗?制作一份免费的个人资料,标明你期望的待遇,并与当今顶尖雇主的招聘经理联系。

📒 其他

sirixdb:进化的、时态数据库系统的概念–对sirixdb(一个日志结构的时态nosql文档存储)体系结构概念的详细描述。

JOHANNES LICHTENBERGER

与Rob Skillington讨论时间序列数据库——系列数据库经过优化,可以跨时间存储大量连续数据。Uber的RobSkillington谈到了他们的用例和他帮助创建的分布式时序数据库M3DB。

SOFTWARE ENGINEERING DAILY

MongoDB Atlas是一个功能强大、可靠的云数据库。立即尝试

MONGODB ATLAS

2020年及以后的企业搜索:5大趋势值得关注–企业搜索一直停留在“90年代”,但随着人工智能和自然语言的发展,2020年将是“企业搜索年”。

DATANAMI

DQlite:raft协议的高可用性sqlite

来自Ubuntu背后的公司,是一个针对边缘和物联网应用的“企业级”sqlite版本

CANONICAL LTD.

SQLiteWrapper:SQLite的一个可扩展的轻量级C++ 17包装器

TRAIL OF BITS

Read More

PostgreSQL 每周新闻 2019-8-28

PostgreSQL每周新闻#320 - 2019年8月28日

_config.yml

备注:英文原文地址

img

Postgres的艺术第二版

一位Postgres社区的核心成员,收集了一些吸引人的东西,包括新版本的书籍,采访,代码,深入挖掘Postgres的例子(但是,这需要购买。)

DIMITRI FONTAINE

行安全,Postgres魔力视角

行安全是Postgres的一个重要功能,它可以创建更细粒度的策略划分用户能查询或者更新的数据行。让我们一起来看一下这是如何实践的。

HANS-JÜRGEN SCHÖNIG

电子书:Postgres日志中管理数据库的的重要信息

在这本pganalyze电子书中,我们将查看前6个Postgres日志事件,以监控查询性能并防止停机。

PGANALYZE赞助商

Timescale是如何在Postgres的基础上建立分布式数据库的

TimescaleDB是一个流行的扩展,它为Postgres带来了时间序列数据库功能。在这里,Timescale共享他们的设计、计划和新的(仍然是封闭测试版)分布式版本TimescaleDB的基准。。

MIKE FREEDMAN AND ERIK NORDSTRÖM (TIMESCALE)

使用Patroni管理高可用Postgres数据库

在技术的角度比较Patroni与repmgr和PAF在管理高可用Postgres集群的区别

MADAN KUMAR

快速收集你的Postgres数据库的图表

dbdiagram.io是一个使用简单的DSL语言绘制数据库关系图的在线工具。这个简短的脚本将您基于Postgres的数据库转换为该语言。

HOLISTICS SOFTWARE

开发者需要知道的Postgres的6个关键点

下载我们的白皮书,了解为什么PostgreSQL在开发人员中的受欢迎程度急剧上升

ENTERPRISEDB

PgBouncer 1.11.0发布

最新版本的流行连接池中的主要新功能是支持SCRAM 身份验证。改进了Postgres 12的支持。

PETER EISENTRAUT

PL/Prpxy在Postgres11和FreeBSD12中运行

但如果你需要这样做,这是不容易的,这个新的项目拉请求将有帮助。卢卡还建议了一种让它与Postgres12一起工作的方法,但建议在生产中不要使用它。

LUCA FERRARI

💡本周提示

SELECT DISTINCT

由DATADOG提供

今天的提示很简单,但我知道很多Postgres用户并不熟悉。在接下来的几周里,我们将从这个简单的提示构建成更有趣和更复杂的不同示例。

在最基本的级别上,distinct是一个关键字,可以用于select查询,以从最终结果中消除重复的行。例如:

SELECT DISTINCT city FROM employees;

这是一个比下面的语句更好的例子

SELECT city FROM employees GROUP BY city;

本周提示由DataDog赞助。

🗓 即将举办的Postgres活动

PGDay Austria 2019(9月6日, 维纳·纽斯塔特,奥地利)

PostgreSQL Conference Asia 2019(9月8-11日,巴厘岛,印度尼西亚)

PostgresOpen 2019 (9月11-13日, 佛罗里达)——两天包含有关PostgreSQL和相关技术的教程和演示文稿。

PostgresConf Silicon Valley 2019(9月18-20日,圣荷西)——时间表(包括培训)现已公布

PostgresConf South Africa 2019(10月8-9日, 约翰内斯堡)——提供给使用Postgres的数据库管理和开发人员互相了解的机会。

PostgreSQL Conference Europe 2019(10月15-18日, 米兰)

Read More

数据库每周新闻 2019-8-23

数据库每周新闻 #268 - 2019年8月23日

config.yml 备注:英文原文地址

img

学习怎样在微秒量级内查询1.3万亿行数据

本周我们将进行一个详细的技术案例研究,知乎是中国最大的问答网站,拥有超过2.2亿用户。这篇文章深入探讨了他们如何利用tidb横向扩展减少相应时间。

XIAOGUANG SUN

DigitalOcean推出了Managed MySQL和Redis服务

今年早些时候,我们写了DigitalOcean提供Managed PostgreSQL服务的步骤,现在是MySQL和Redis。

ANDRÉ BEARFIELD

将Oracle迁移至云的5个决断点

本技术指南涵盖了您需要做出的五个关键决策,以指导您的选择并使您获得成功。

ENTERPRISEDB

Startup Rockset将SQL添加至DynamoDB

这是一个无服务器搜索和分析启动,它已经推出了一个针对AWS典型的NoSQL DynaModb的SQL平台。

DATANAMI

Percona基于Postgres11的分布式现在发布

Percona,可能更以其MySQL性能专业知识而闻名,现在也在Postgres世界中。Postgres11的这个Percona风格的发行版包含了各种工具和扩展,使Postgres更加强大和可扩展。

BORYS BELINSKY (PERCONA)

CouchBase Mobile

couchbase是一个分布式nosql数据库,它最初汇集了couchdb和memcached的思想。CouchBase Mobile使CouchBase能够直接在最终用户的设备上运行,并在适当的时候与云中的主数据库同步,从而使事情进一步发展。

快速浏览

  • 在亚马逊2019年的“黄金日”期间,亚马逊dynamodb每秒提供4550万个请求,总通话量达7.11万亿次。

  • 一个以人工智能为核心的1.2万亿晶体管芯片已经问世。从一个典型的现代英特尔CPU的大约100亿个跃迁而来。

  • 据报道,由于一台关键服务器没有密码保护,数千部未加密的电影通行证客户卡号和其他数据已暴露数月。

💻招聘

首席云安全工程师-作为我们的第一个安全工程师,发挥作用,专注于推动围绕我们的云安全工作的创新和最佳实践。

Vettery有需求DB开发人员——准备好大胆的职业发展了吗?制作一份免费的个人资料,标明你期望的待遇,并与当今顶尖雇主的招聘经理联系。

📒 其他

了解apache arrow flight-arrow flight–arrow flight是一种用于大容量数据传输的高性能有线协议,用于分析现代数据传输需求(包括安全性、并行性和平台独立性)。它在引擎盖下使用GRPC和HTTP/2。

LUCIO DAZA

怎样在SQL查询中添加IF-ELSE逻辑——介绍CASE

HELEN ANDERSON

在aws aurora上使用proxysql实现mysql负载平衡–介绍如何使用开放源代码mysql代理proxysql来平衡aurora数据库的负载。

KRZYSZTOF KSIAZEK

Badoo的数据工程:每天处理200亿个事件Badoo是一个在线交友网络,在他们的堆栈中使用Protobuf、Exasol、Spark和Cubedb。还有20分钟的谈话。

INFOQ

supersqlite:python的sqlite库

提供了独特的功能,如HTTP上的远程流和扩展捆绑,如JSON、R-Trees(地理空间索引)和全文搜索

PLASTICITY

KVROCKS:基于ROCKSDB的ReIDIS兼容的关键值数据库

一个新的开源数据存储库,用C++支持命名空间、MySQL ESK复制,但目的是使用SSD磁盘作为后端存储来增加容量(相对于ReISIS面向内存的方法)。

MEITU

pgcmd:一个非交互式的postgresql查询cli工具——本质上它允许您连接到postgres数据库,发出查询,并以json格式返回结果。

SOHEIL RASHIDI

Read More

PostgreSQL 每周新闻 2019-8-21

PostgreSQL每周新闻#319 - 2019年8月21日

_config.yml

备注:英文原文地址

img

Percona推出基于Postgres11的分布式数据库

Percona,也许因其MySQL性能专业知识而闻名,现在也在活跃在PostgreSQL中。这种Percona风格的Postgres 11分布式数据库包括各种工具和扩展,使Postgres更强大和可扩展。

BORYS BELINSKY (PERCONA)

使用C创建更快的轻量级触发器函数

触发器函数或者存储过程经常会用PL/pgSQL编写,如果你要求高性能,你可以尝试使用C来编写它。

JOBIN AUGUSTINE

在工程团队中需要注意的20种模式

Gitprime的新书汇集了一些最常见的软件团队动态,这是在与数百个企业工程组织合作时观察到的。可操作的洞察力,帮助您用数据调试开发过程。

GITPRIME赞助商

在不停机的情况下改变Postgres的用户密码

实现思想是创建分离的role,使得在删除旧的密码之前有两个活动的密码同时存在。

JANNIK ARNDT

移植Postgres插件到windows系统

构建自己的Postgres扩展和移植现有的扩展以支持不同的操作系统是不同的事情,特别是向Windows系统移植,虽然很少有人需要这样做,但这些笔记可能是非常宝贵的。

JOHANN ‘MYRKRAVERK’ OSKARSSON

同时开发很多Postgres版本的过程

CRAIG RINGER

怎么简单的管理Postgres的权限

strongDM可以让您了解发生的事情,replay和分析事件。你无法在其他地方获得这样的功能。

STRONGDM

克隆模式的函数

开发人员需要一个函数来克隆/复制Postgres中的模式,将其修复以支持物化视图,并在此处重新发布。

DENISH PATEL

pgsodium:一个使用libsodium的Postgres插件

libsodium是一个用于加密,解密,签名,密码散列等的加密库。

MICHEL PELLETIER

💡本周提示

在你的数据库对象中添加注释

由CHAOS CONF提供

您是否知道Postgres支持在数据库中存储几乎任何内容(例如列,角色,域,表,触发器等)的注释?这个过程非常简单。

COMMENT ON [thing] IS 'your comment goes here'

这是一个例子

假设你有一个Postgres数据库。如果使用psql并运行\ dt,则会获得数据库中表的视图以及(空)描述列:

img

‘description’字段即为注释评论。让我们设置一个我们自己的:

COMMENT ON TABLE issues IS 'Newsletter issues';

img

这是使用注释的绝对最基本的示例,但它们具有更多实用程序(例如,您可以提供更复杂的索引,触发器,过程等的基本描述,这将有助于项目中的其他人理解您的数据库)。您可以在COMMENT命令文档中了解更多信息。

本周提示由Chaos Conf赞助。

🗓 即将举办的Postgres活动

PGDay Austria 2019(9月6日, 维纳·纽斯塔特,奥地利)

PostgreSQL Conference Asia 2019(9月8-11日,巴厘岛,印度尼西亚)

PostgresOpen 2019 (9月11-13日, 佛罗里达)——两天包含有关PostgreSQL和相关技术的教程和演示文稿。

PostgresConf Silicon Valley 2019(9月18-20日,圣荷西)——时间表(包括培训)现已公布

PostgresConf South Africa 2019(10月8-9日, 约翰内斯堡)——提供给使用Postgres的数据库管理和开发人员互相了解的机会。

PostgreSQL Conference Europe 2019(10月15-18日, 米兰)

Read More

数据库每周新闻 2019-8-16

数据库每周新闻 #267 - 2019年8月16日

config.yml 备注:英文原文地址

img

MongoDB 4.2发布

流行的面向文档的数据库向前迈出了一步,支持分布式ACID事务,按需物化视图,通配符索引和可重试读写(用于处理瞬态集群故障)。 客户端字段级加密也处于测试阶段。

ELIOT HOROWITZ (MONGODB)

AWS Lake Formation现已普遍推出

如果你没有足够的时间去构建一个数据库,你可以吧你的数据丢进一个’数据湖’,然后你可以随意查询。Lake Formation让这个过程更简单。

AMAZON WEB SERVICES

DevOps的数据库视角

无论您是在DevOps、开发或数据库管理领域,都可以从Studio3T免费下载完整的SQL迁移白皮书。

STUDIO 3T

我没有被聘为数据科学家,所以我找了相关数据

‘如果你是一个数据分析师,为什么不使用数据分析来解决你的问题呢?’我不知道哈尼夫的发现有多有用,但能看到这么多关于谁是数据科学家的细节是很有趣的。

HANIF SAMAD

使用RedisAI进行深度学习

与Redis实验室的高级产品经理Pieter Cailliau聊了45分钟,讨论如何使用Redis的Redisai模块处理张量数据类型和深度学习模型。

THE CHANGELOG

快速浏览

  • PostgresSQL 11.5 ,10.10,9.6.15发布,修复了一些安全性问题
  • 一个安全研究员认为空的license会很有趣,但这是不对的
  • 一位开发人员与广大的SQL Server博主分享了他是如何跟上步伐的。

💻招聘

首席云安全工程师-作为我们的第一个安全工程师,发挥作用,专注于推动围绕我们的云安全工作的创新和最佳实践。

Vettery有需求DB开发人员——准备好大胆的职业发展了吗?制作一份免费的个人资料,标明你期望的待遇,并与当今顶尖雇主的招聘经理联系。

📒 其他

怎么样在Grab构建一个日志堆栈——在本文之前,‘让你在很短时间内查询一个过去三天的字符串’事宜按很款按的事,本文即将将你解脱出来。

DANIEL KASEN

好的数据库设计从这里开始——当您开始一个新的数据库项目时要遵循的规则:用法、模型选择、过程和测试。

JUN WU

PostgreSQL中的服务器端编程概述-如果您只是使用PostgreSQL作为应用程序与之交互的数据存储,那么您可能不会意识到它作为一个具有用户定义类型、SQL和PL/PGSQL函数以及与其他语言集成的平台有多强大。

RAPIDLOOP

不正确管理数据库的隐藏成本-请参阅您的业务停机的真正成本,如果没有配置良好的数据库和基础设施设置,可能会造成的潜在损失

PERCONA

通过恶意的sqlite数据库获得代码执行——演示了“两个现实场景:密码窃取器后端服务器的pwning,以及以更高的权限实现IOS持久性”。

CHECK POINT RESEARCH

可扩展的SQL数据库如何为Uber的实时分析提供支持——Uber的James Burkhart解释了Memsql(一种分布式、内存中的SQL RDBMS)如何帮助解决Uber增长中关键点的延迟问题。

MEMSQL

Pinterest时间序列实时异常检测系统的建立

KEVIN CHEN AND BRIAN OVERSTREET (PINTEREST)

Python会扼杀R吗?——R语言的目标是统计计算和数据分析领域,但尽管最近流行起来,但由于Python不断增强的控制,它已经被称为“垂死的语言”。

ALEX WOODIE

sqltop:查找最消耗资源的SQL Server查询-使用sqlmon在elasticsearch中收集和存储SQL Server事件数据,然后将其用于分析。

SOHEIL RASHIDI

Read More

PostgreSQL 每周新闻 2019-8-14

PostgreSQL每周新闻#318 - 2019年8月14日

_config.yml

备注:英文原文地址

img

Postgres的服务端程序一览

如果你刚刚使用Postgres作为你的数据库服务,你可能还没有意识到它有多强大。使用定义类型、SQL、PL/PSQL函数、存储过程、甚至使用C、Python和Perl扩展Postgres的功能。

RAPIDLOOP

PostgreSQL 11.5, 10.10, 9.6.15, 9.5.19, 9.4.24, and 12 Beta 3 Released

当你能发布6个版本时,为什么要发布一个版本的Postgres?这些发布的动机是修复安全问题和其他bug。

POSTGRESQL GLOBAL DEVELOPMENT GROUP

2Q PGConf 2019 - CFP 现已开放注册

在芝加哥与我们一起学习Postgres最新的研究成果和未来的发展。在这里你可以获得手把手的教学:性能调优、PostgreSQL安全,多主复制。

2NDQUADRANT POSTGRESQL EVENTS赞助商

Postgres的状态:社区调查

Timescale正在进行Postgres社区调查,并计划公开分享汇总结果和分析结果。

TIMESCALE

怎么在使用GROUP BY的时候获取第一个和最后一个值

一个项目获得“终身成就”奖让人感觉很奇怪。好在Mark Wong、Bruce Momjian和Christophe Pettus代表PostgreSQL项目在O’Reilly的Oscon活动上接受了该奖项。

HAKI BENITA

Postgres的简单时间序列举例

使用TImescaleDB这样的插件可以增强Postgres的时间序列功能,你也可以使用Postgres吱声完成一些简单是时间序列工作

HANS-JÜRGEN SCHÖNIG

缩写使网络类型的排序速度加倍

虽然这不会立即被许多读者使用,但这是如此华丽的利基和详细!它深入探讨了在使用Postgres的inet/cidr类型对存储的网络地址进行排序时如何提高Postgres的性能。

BRANDUR LEACH

提高速度和规模

学习怎样使用内存计算平台提升Postgres的速度和规模,来支持你的数据密集型应用。

GRIDGAIN SYSTEMS

自动更新物化视图

GAJUS KUIZINAS

PostGIS 3.0.0alpha4, 2.5.3, 2.4.8, and 2.3.10发布

POSTGIS DEVELOPERS

Slonik:具有严格类型,详细日志记录和断言的Postgres客户端

构建在Node.js的pg库之上,Slonik为Postgres CLI体验提供了一些有趣的细节和便利方法。

GAJUS KUIZINAS

postgres的自适应查询优化

要让这个补丁和扩展与postgres一起工作,需要做一些改动,但是一旦这样做了,这是改进查询优化器的一个有趣的实验。仅限高级用户。

POSTGRES PROFESSIONAL

💡本周提示

psqsl的‘expanded’格式模式

由PGX提供

一个(非常)简单的改变!

当我在上周写有关使用pgstattuple查看死行的提示时,我遇到了一些对截图不切实际的输出:

img

幸运的是,psql支持一种称为“扩展表格式化模式”的不同类型的输出。通过运行带有-x或–expanded选项的psql启用它,或者在psql已经运行时键入\ x以打开和关闭它。

img

这对于截取屏幕截图或复制并粘贴到自述文件或电子邮件中更好

本周提示由pgexperts赞助。

🗓 即将举办的Postgres活动

PGDay Austria 2019(9月6日, 维纳·纽斯塔特,奥地利)

PostgreSQL Conference Asia 2019(9月8-11日,巴厘岛,印度尼西亚)

PostgresOpen 2019 (9月11-13日, 佛罗里达)——两天包含有关PostgreSQL和相关技术的教程和演示文稿。

PostgresConf Silicon Valley 2019(9月18-20日,圣荷西)——时间表(包括培训)现已公布

PostgresConf South Africa 2019(10月8-9日, 约翰内斯堡)——提供给使用Postgres的数据库管理和开发人员互相了解的机会。

PostgreSQL Conference Europe 2019(10月15-18日, 米兰)

Read More

数据库每周新闻 2019-8-9

数据库每周新闻 #266 - 2019年8月9日

config.yml 备注:英文原文地址

img

NVIDIA怎样提升数据科学

我们之前就提到NVIDIA在数据科学领域的志向,现在有两位NVIDIA的工程师的一篇文章,展示了基于GPU的工具如何将数据科学推向新的阶段,其中包括GPU存储。

JOSH PATTERSON

使用BigQuery和HyperLogLog建立PB级别的数据分析

Permutive为发布者提供了一个数据和分析平台,BigQuery和HyperlogLog在保持事物快速和准确方面发挥着重要作用。

PAULIUS IMBRASAS

电子书:优化数据库性能的最佳实践

学习我们如何为Postgres优化性能,如何500倍的降低磁盘IO。

PGANALYZE

对比Postgres的JSONB和Couchbase

Postgres真的能通过JSONB取代‘NOSQL’文档数据库么?从一个文档数据库供应商的角度来看,这是一个有意思的话题。

DENIS ROSA (COUCHBASE)

使用Amazon Aurora Multi-Master创建高可用MySQL APP

新推出的AmazonAurora多主机为Amazon的MySQL兼容数据库服务Aurora带来了更高的可用性功能。

AMAZON WEB SERVICES

快速浏览

  • PostgresSQL 11.5 ,10.10,9.6.15发布,它修复了两个安全性问题和超过40个bug
  • 有史以来第一次分布式SQL峰会将于9月20日在San Jose举行
  • 从2019年10月1日起,微软的许可条款将影响用户在“专用托管云服务”(如AWS)上使用prem服务。
  • 惠普已经收购了Mapr,这家Hadoop公司最近面临着不确定的未来
  • BigQuery现在支持持久的用户定义函数。
  • 由于预计PostgreSQL 12将增加对SQL/JSON的支持,Markus Winand一直在测试和比较其他数据库(包括SQLite、Mariadb、MySQL和SQL Server)的SQL/JSON功能。
  • BlazingSQL,一个基于Rapids的SQL引擎,现在是开源的。Nvidia数据科学故事的另一个有趣部分。

💻招聘

在Vettery上找到一份新的开发工作——Vettery专注于技术角色,对求职者来说是完全免费的。

VETTERY

📒 其他

我是如何销毁多个生产数据库的一个90年代的系统管理员“恐怖故事”教会了这位工程师一些未来的教训。

JAN GERRIT KOOTSTRA

Stack Overflow如何使用redis进行应用缓存一个有趣的技术描述,描述了流行的开发者Q&A站点Stack Overflow如何使用redis来保持事情的顺利运行。

NICK CRAVER (STACK OVERFLOW)

Mariadb vs MySQL,一个技术的衰败——不要只是把Mariadb看作是MySQL的衍生产品,它还有更多的功能。

TONINO JANKOV

您不需要一个ER图来理解您的数据库-“ERD对于可视化数据库很好,但不适合作为文档本身。” PIOTR KONONOW

MontyDB:python中MongoDB的一个很小的克隆版本——这对python开发人员来说有点有趣。这是一个Tinydb灵感,纯Python MongoDB-A-like!

DAVID LAI

LF:一个完全分散、完全复制的密钥/值存储——它被称为“beta”软件,但这是一个有趣的实验,可以为“小但关键”的信息片段创建一个快速的数据存储(想想ETCD,但适用于开放、分散的系统)。。 ZEROTIER, INC.

Read More

PostgreSQL 每周新闻 2019-8-7

PostgreSQL每周新闻#317 - 2019年8月7日

_config.yml

备注:英文原文地址

img

使用C写Postgres插件的初级教程

Postgres通过插件使自己容易扩展,最常见的插件是用C语言构建的。这个博客演示了如何建立一个基本的Postgres扩展项目并使其工作。

JOBIN AUGUSTINE

对比Postgres的JSONB和Couchbase

Postgres真的能通过JSONB取代‘NOSQL’文档数据库么?从一个文档数据库供应商的角度来看,这是一个有意思的话题。

DENIS ROSA (COUCHBASE)

免费的电子书:如何将你的Postgres数据库提升3倍的性能

学习我们如何为Postgres优化性能,如何500倍的降低磁盘IO。

PGANALYZE赞助商

Postgres VS MongoDB的Benchmarking:’要么透明化要么别测试’

最近有一个关于Postgres和MongoDB的基准测试,测试结果显示Postgres吊打MongoDB。MongoDB回应测试者没有将两个数据库放置在公平的测试环境之下。

ÁLVARO HERNÁNDEZ

Postgres获得终生成就奖

一个项目获得“终身成就”奖让人感觉很奇怪。好在Mark Wong、Bruce Momjian和Christophe Pettus代表PostgreSQL项目在O’Reilly的Oscon活动上接受了该奖项。

MARK WONG

Postgres对正则表达式的支持

正则表达式是描述文本搜索模式的字符序列。Postgres支持几种使用regex的方法。

MUHAMMAD HAROON

如何为Postgres程序进行linux的OOM killer设置

oom“killer”负责终止应用程序,以回收内存并防止内核崩溃。这里有一些建议,以避免它将Postgres进程干掉。

IBRAR AHMED

使用pl pgsql_check查找编译错误

plpgsql_check是一个类似于plprofiler的项目,它还能检查PL/pgSQL代码指出其中的编译错误。

AVINASH VALLARAPU

监控Postgres数据库的标准

当涉及到数据库性能时,您需要跟踪几个关键指标,它们并不都是特定于数据库的。

INFLUXDATA

为什么Postgres不会被卖掉

MYSQL之前也是一款开源数据库,oracle通过收购其母公司,接管了MYSQL项目,这种事情不会发生在Postgres。

UMAIR SHAHID

Barman 2.9:备份恢复管理工具

此版本引入了对即将发布的Postgres12的本机支持,其中包括对时间点恢复和复制管理方式的重大更改。

2NDQUADRANT

怎样将一个VARCHAR类型的数据显示为encode byte流

虽然不知道这会有什么应用场景,但是这是一个有趣的SQL。

ABBAS

💡本周提示

使用pgstattuple去查看无效的行和空闲空间

由[GitPrime提供

pgstattuple是一个内置的postgres扩展,它提供了各种函数来查看数据库中各种对象的统计信息。一种用途是检查表中有多少死行(通常是从表中删除数据时导致的)或者表中有多少可用空间。

我们来创建一个有1000行数据的表,然后看一下pgstattuple能带给我们什么。

CREATE TABLE numbers (id int);
INSERT INTO numbers SELECT * FROM generate_series(1,1000);

现在让我们来使用pgstattuple

CREATE EXTENSION pgstattuple;
SELECT * FROM public.pgstattuple('numbers');

img

这显示我们的表里有1000行数据,有0个无效tuple

让我们删掉一半的数据

DELETE FROM numbers WHERE id < 500;
SELECT * FROM public.pgstattuple('numbers');

img

现在我们得到了499的死元组计数(我们删除的行数)。但是整个表是一样的。因为那些无效tuple还存在。这可以通过运行以下命令来解决:

VACUUM numbers;

之后重新运行pgstatuple将不会显示无效行,但可用空间得到提升。表长度保持不变!这样做的原因是vacuum将清除死行并将其转换为自由空间(可以重新用于新行),但如果您真的希望Postgres重写表并释放该空间,则需要更进一步并使用vacuum full(尽管您需要注意执行此操作,在生产表上,因为它可能非常慢,并且会一直锁定表)。

本周提示由GitPrime赞助。

🗓 即将举办的Postgres活动

PGConf.Brasil 2019(8月1-3日,圣保罗)——为期三天的会议,包括讲座,教程,课程和闪电讲座。

PGDay Austria 2019(9月6日, 维纳·纽斯塔特,奥地利)

PostgreSQL Conference Asia 2019(9月8-11日,巴厘岛,印度尼西亚)

PostgresConf South Africa 2019(10月8-9日,约翰内斯堡)——提供给使用Postgres的数据库管理和开发人员互相了解的机会。

Read More

数据库每周新闻 2019-8-2

数据库每周新闻 #264 - 2019年8月2日

config.yml 备注:英文原文地址

img

Amazon发布了partiql:一种通用的、与SQL兼容的查询语言

partiql是一种新的查询语言,它将SQL扩展为能够支持非关系、无模式和其他数据格式。它是开源的,已经在各种AWS系统内部使用。几年前,它的一个共同创建者还创建了SQL++(通过CouchBase的N1QL实现了这一点)。

PAPAKONSTANTINOU, GOO, ET AL.

Dgraph实验室为图形数据库筹集了1150万美元

这篇来自dgraph的文章并没有聚焦于金钱,而是深入探讨了dgraph为什么存在,以及它如何对大多数图形数据库采取不同的方法(通过以图形为核心,而不仅仅是一堆抽象的传统关系)

MANISH RAI JAIN

利用NIFI和InfluxDB构建物联网数据流

结合NIFI和InfluxDB可产生安全、可访问和可用的物联网数据流。此解决方案支持跨所有设施的单一数据视图,提供主动维护、故障检测等。

INFLUXDATA

数据库潜力股:CouchDB

10年前,couchdb(一个早期面向文档的nosql数据库)引起了很多关注,但现在它并没有那么多出现在我们的视野中。所以很高兴看到它仍在积极开发中,并且有大量的用例。这篇文章围绕着对两个主要CouchDB团队成员的采访展开。

JOSH MINTZ (IBM)

数据工程目录

一个仍在编写的数据工程目录,试图涵盖数据工程中值得了解的主要思想。这是不完整的,但如果你想了解大局,这足够了。

ANDREAS KRETZ

了解Azure SQL数据库的SLA

Azure SQL数据库服务级别协议的两个主要更改:业务关键层中99.995%的可用性SLA,以及地理复制数据库的“业务连续性SLA”。

ALEXANDER NOSOV (MICROSOFT)

书评:Martin Kleppmann的《设计数据密集型应用程序》

我对这本书非常喜爱,这本书评对这本书的内容进行了相当深入的探讨。一本学习数据建模、查询语言、格式、事务和分布式数据库以及它们如何连接在一起的。

HENRIK WARNE

💻招聘

在Vettery上找到一份新的开发工作——Vettery专注于技术角色,对求职者来说是完全免费的。

VETTERY

📒 其他

对ApacheCassandra的介绍—Cassandra不是典型的RDBMS,这个介绍清楚地描述了与Cassandra相关的所有术语的含义。

JOHN HAMMINK

Postgres系数据库AWS Aurora—Amazon Aurora提升了Postgres的兼容性,这具体指什么,它是如何使用的,它的限制是什么。Viorel Tabara带你了解所有的这一切。

SEVERALNINES

引入MongoDB 4.2:管道驱动的更新和更具表现力的查询

DJ WALKER-MORGAN (MONGODB, INC.)

介绍Postgres的并行—介绍了新版本Postgres的并行机制,包括并行顺序扫描、并行聚合和并行B-tree索引扫描和他们加速数据扫描的原理。 IBRAR AHMED

在NEO4J中运行决策树-通过一个非正统的示例,了解NEO4J如何与决策树一起工作,以快速解决现实问题。 MAX DE MARZI

Postgres的组合索引和独立索引—在设计数据库关系时,会遇到一个常见的问题,组合索引和单个索引哪一个更有意义。HANS-JÜRGEN研究了Postgres中的一些场景。 HANS-JÜRGEN SCHÖNIG

LiftBridge:轻量级的、容错的消息流—为NATS实现持久的、复制的消息日志的服务器。

LIFTBRIDGE

Read More

PostgreSQL 每周新闻 2019-7-31

PostgreSQL每周新闻#316 - 2019年7月31日

_config.yml

备注:英文原文地址

img

介绍Postgres的并行

介绍了新版本Postgres的并行机制,包括并行顺序扫描、并行聚合和并行B-tree索引扫描和他们加速数据扫描的原理。

IBRAR AHMED

Postgres的组合索引和独立索引

在设计数据库关系时,会遇到一个常见的问题,组合索引和单个索引哪一个更有意义。HANS-JÜRGEN研究了Postgres中的一些场景。

HANS-JÜRGEN SCHÖNIG

Postgres的sharding

学习Postgres的新功能,现在可以完成简单的数据sharding

PERCONA赞助商

Postgres系数据库AWS Aurora

Amazon Aurora提升了Postgres的兼容性,这具体指什么,它是如何使用的,它的限制是什么。Viorel Tabara带你了解所有的这一切。

SEVERALNINES

在DNA上跑SQL是数据库的下一个发展方向么?

欧盟正在研究一些未来的新兴技术,其中一项是在合成DNA中存储数据。这是一项及其昂贵的研究,它已经有了可喜的进展,而且有人已经准备为这项研究做学术报告。这是一个值得关注的领域。

GEORGE ANADIOTIS (ZDNET)

jsquery和SQL/JSON在json查询的对比

Postgres12将提供对SQL/JSON的本地支持,并将提供一种标准化的方法来查询存储在Postgres JSONB列中的JSON数据。另一方面,JSQuery在Postgres9.4以后的扩展中提供了类似的查询语言。本文对这两种方式进行比较。

THOM BROWN

你的数据就是你的生命

PGX提供完整的PostgreSQL支持,从应急服务到日常运营支持,再到战略规划。我们是为你的数据操作而来的。

POSTGRESQL EXPERTS, INC赞助商

Postgres和Apache Spark大数据

Spark是一个非常流行的开源大数据分析引擎,如果你对这个不是很了解,那么这篇文章通过Postgres带你深入了解它。

SEBASTIAN INSAUSTI

使用约束排除提升查询性能

看 Timescale(PostgreSQL的时间序列集中扩展)如何利用PostgreSQL的基础,并扩展其性能以提高性能。

SVEN KLEMM

pglogical 2.2.2发布

PGLogical是一种基于扩展的逻辑复制系统,它是物理复制的有效替代方案。

2NDQUADRANT

💡本周提示

一个定制NULL值排序规则的方法

Jonathan ReininkTwitter提供支持

PostgreSQL中我最喜欢的一个小特性是NULL值的排序(NULL值放在开始或者末尾)。只需在方向(asc/desc)后添加nulls last或nulls first。

image

这允许你随意定义NULL值在排序结果中的位置。

本周提示由Datadog赞助。使用datadog在一个地方监控Postgres数据库、云服务、Web服务器、容器和servlet。Try it free

🗓 即将举办的Postgres活动

PGConf.Brasil 2019(8月1-3日,圣保罗)——为期三天的会议,包括讲座,教程,课程和闪电讲座。

PGDay Austria 2019(9月6日, 维纳·纽斯塔特,奥地利)

PostgreSQL Conference Asia 2019(9月8-11日,巴厘岛,印度尼西亚)

PostgresConf South Africa 2019(10月8-9日,约翰内斯堡)——提供给使用Postgres的数据库管理和开发人员互相了解的机会。

Read More

数据库每周新闻 2019-7-26

数据库每周新闻 #264 - 2019年7月26日

config.yml 备注:英文原文地址

img

在DNA上跑SQL是数据库的下一个发展方向么?

欧盟正在研究一些未来的新兴技术,其中一项是在合成DNA中存储数据。这是一项及其昂贵的研究,它已经有了可喜的进展,而且有人已经准备为这项研究做学术报告。这是一个值得关注的领域。

GEORGE ANADIOTIS (ZDNET)

领英开源了brooklin:大规模实时数据流处理

Brooklin是一个处理大规模实时数据流的分布式服务,近年来它大量的在领英使用。他是java程序而且现在已经开源

LINKEDIN ENGINEERING

Chef的首席技术官选择StrongDM

Adam Jacob说:“StrongDM消除了终端用户访问他们需要的系统时发生的摩擦。”零信任访问任何数据库、服务器或k8集群。点击这里免费试用。

STRONGDM

在LinkedIn加速数据修复和数据迁移

假设LinkedIn决定对用户名称强制执行1000个字符的限制。这需要对现有数据库进行“数据修复”。下面是他们如何思考和安排这样的工作。

KEVIN FU

数据库玩具:一个数据库演练场

你可以在没有安装数据库的情况下,在浏览器中测试各个版本的MySQL、PostgreSQL、SQLite的SQL语句。

STATUS200

总结:

  • PostgreSQL获得了O’Reilly开源终身成就奖。

  • 最新的SQL Server 2019技术预览版即将推出。它包括“大数据集群”,这是在SQL Server中进行大数据分析的新功能。

  • Azure数据共享是一项新的服务,它使从Azure Blob存储区或Azure Data Lake存储区向第三方组织共享数据变得更容易。

💻招聘

在Vettery上找到一份新的开发工作——Vettery专注于技术角色,对求职者来说是完全免费的。

VETTERY

📒 教程和故事

使用SQL对结果进行随机排序-本文介绍了使用ORDER BY以几种特定于数据库的方式进行随机排序。

VLAD MIHALCEA

备机在生产中的使用:在世界第二大分类站点的扩展-Avito是俄罗斯最大的分类广告站点,在100个PostgreSQL节点上存储20TB的数据。下面详细介绍了它们的高可用性设置。

KONSTANTIN EVTEEV

测试驱动一流的CI/CD管道-使用我们的新测试驱动快速了解GoCD如何通过一流的管道、可视化等帮助您解决CI/CD难题。

THOUGHTWORKS - GOCD 赞助商

使用Fastai和Tour创建“相似图像”建议—一种基于Python的图像相似性搜索实现,基于从预先学习的CNN获得的特征向量。

GAUTHAM KUMARAN

为什么在应用启动时运行数据库迁移是一个坏主意

ITAMAR TURNER-TRAURING

用约束排除完成更快的查询-时间刻度(一个PostgreSQL的时间序列为重点的扩展)如何利用PostgreSQL的基础并扩展其能力以提高性能。

SVEN KLEMM

SQL Server索引分析和优化的关键方面

EVGENIY GRIBKOV

Read More

PostgreSQL 每周新闻 2019-7-24

PostgreSQL每周新闻#315 - 2019年7月24日

_config.yml

备注:英文原文地址

img

待命生产:衡量世界第二大分类网站

阿维托是俄罗斯最大的分类广告网站,它在100个Postgres节点上存储了20TB的数据。这里带你从幕后详细地了解他们的Postgres高可用性设置。

KONSTANTIN EVTEEV

使用pg_qualstats和HypoPG的自动索引建议

HypoPG是Postgres的扩展,用于创建“假想索引”,本质上是虚拟索引,您可以使用它来测试某个索引是否能够提前改进查询。本文通过自动查找值得创建的索引,使事务推进到下一步。

AVINASH VALLARAPU

Chef的首席技术官选择StrongDM

Adam Jacob说:“StrongDM消除了终端用户访问他们需要的系统时发生的摩擦。”零信任访问任何数据库、服务器或k8集群。点击这里免费试用。

img

STRONGDM赞助商

不要忘记BRIN索引的好处

BRIN索引(它提供了一种有效的方法,可以将索引值分组为“范围”)在Postgres 9.5中引入,并具有一些特定的用例。这篇文章测试了一种确实可以提供帮助的情况。

JOBIN AUGUSTINE

使用SQL对随机结果排序

这篇文章介绍了如何使用ORDER以几种特定于数据库的方式对行进行随机排序,包括Postgres。

VLAD MIHALCEA

在psql脚本中检查Postgres的版本

假设您想根据正在运行的Postgres版本运行不同的代码。你可以的!

LUCA FERRARI

献给平均和高级(甚至更多)用户的Postgres技巧

希望你喜欢我们今年在《Postgres Weekly》中收录的各种“本周要诀”,但在这里,Craig Kerstiens还会发掘出更多:-)

CRAIG KERSTIENS

使用Datadog主动监控PostgreSQL性能

通过对延迟峰值、错误、异常等发出可操作的警报来改进PostgreSQL性能。智能监控与Datadog ——免费使用。

DATADOG赞助商

如何复制函数和存储过程?

简要介绍Postgres是如何存储函数和过程的,以及这些函数和过程是如何被复制的。

HANS-JÜRGEN SCHÖNIG

Postgres Docker Containers的证书认证配方

了解如何使用一个简单的Docker Containers配方设置基于PostgreSQL证书的认证。

JONATHAN S. KATZ

‘Mysterious’backend_flush_after配置设置

这是一个非常特别的设置,适用于那些希望获得一些额外性能的服务器操作人员(并且仅适用于那些使用Linux的操作人员)。

KAAREL MOPPEL

配置pgBackRest以使用Amazon S3

pgBackRest是一个功能强大的备份和恢复工具,可以配置以使用AWS S3。

STEFAN FERCOT

💡本周提示

由Gremlin提供支持

使用ROLLUP获取聚合的整体结果行

如果要将结果分组并聚合在一起,则使用GROUP BY作为一个常用方法,但ROLLUP是少数条款中的一个,它可以帮助您通过让多个集合在一个单元中将事物转移到另一个维度查询。

这是现场最佳演示的功能,所以让我们创建一个表并加载一些示例数据。不同年份不同足球队的得分数:

  CREATE TABLE goals (
  team TEXT, year INT, goals INT);

INSERT INTO goals VALUES
  ('USA', 2010, 5), ('USA', 2011, 3),
  ('USA', 2012, 12), ('ENG', 2010, 17),
  ('ENG', 2011, 9), ('ENG', 2012, 11);  

如果我们想要获得每队每年平均进球数,我们可以这样做:

SELECT team, ROUND(AVG(goals))
  FROM goals GROUP BY team;

但是,假设我们不仅希望按团队分组,还希望通过整体表格(即没有专栏)来获得总体平均目标数量。 我们可以这样做:

SELECT team, ROUND(AVG(goals))
  FROM goals GROUP BY ROLLUP(team);

这给我们带来了如下结果:

  team | round
--------------
   ENG | 12
   USA | 7
 (null)| 10

除此之外还有更多内容,所以请享受本教程来了解更多信息。

本周的提示由Gremlin提供给您,这个平台可以通过运行合理的Chaos Engineering实验来帮助您构建更具弹性的软件。 更多信息请访问gremlin.com

🗓 即将举办的Postgres活动

PGConf.Brasil 2019(8月1-3日,圣保罗)——为期三天的会议,包括讲座,教程,课程和闪电讲座。

PGDay Austria 2019(9月6日, 维纳·纽斯塔特,奥地利)

PostgreSQL Conference Asia 2019(9月8-11日,巴厘岛,印度尼西亚)

PostgresConf South Africa 2019(10月8-9日,约翰内斯堡)——提供给使用Postgres的数据库管理和开发人员互相了解的机会。

Read More

数据库每周新闻 2019-7-19

数据库每周新闻 #263 - 2019年7月19日

config.yml 备注:英文原文地址

img

基准测试中的MongoDB:“要么做好,要么根本不做”

MongoDB, Inc.对最近的一个基准测试做出了回应,该测试显示PostgreSQL在性能方面战胜了MongoDB,但基准测试进行的很困难,并且MongoDB对此并不满意,所以他们用自己的一些基准测试进行了反击。像往常一样,在依赖基准测试之前要考虑所有因素。

GREG MCKEON (MONGODB, INC.)

Redis Gears:Redis的新脚本语言

对Redis数据结构键/数值存储的一个有趣的补充。Gears是一个新模块,它添加了基于python的、集群感知的脚本语言,用于对数据执行更高级的查询。GitHub报道。

REDIS LABS

DevOps对数据库共存的看法

无论您是在DevOps、开发部门还是数据库管理部门,都可以从Studio 3T免费下载完整的SQL Migration白皮书。

STUDIO 3T赞助商

img

YugaByte DB重新定义为100%开源

YugaByte几年前就已经存在了,它是一个高性能的分布式数据库,支持SQL和Cassandra api。而它现在是完全开源的,包括以前的封闭源码和企业特性。

KARTHIK RANGANATHAN (YUGABYTE)

这就是为什么大数据现在仍然困难重重

一篇文章回顾了hadoop驱动的“大数据”时代的十年,并指出随着新技术的扩散和向“云数据”发展的大幅度变化,目标也在不停的变化。

DATANAMI

在Elasticsearch数据库配置失败中暴露了800万行与酒店相关的代码

如果您没有一个系统来设置和检查所有数据库系统的身份验证和网络访问策略,那么现在是时候开始了。

SILICONANGLE

问HN:有人在生产中使用CockroachDB吗?

一场骇客新闻探讨,内容涉及CockroachDB、分布式SQL数据库、它的用例以及谁在实际使用它。还有一个关于TiDB、yumb、Citus和MemSQL的有趣解释。

HACKER NEWS

WePay的流式Cassandra的故事

WePay是一个庞大的MySQL用户,但在面临扩展问题时,他们必须决定是分割MySQL还是切换到另一个解决方案。他们和卡桑德拉一起去的。

JOY GAO (WEPAY)

💻招聘

在Vettery上找到一份新的开发工作——Vettery专注于技术角色,对求职者来说是完全免费的。

VETTERY

📒 教程和故事

用SQL编写解释器来寻开心——这取决于你的兴趣,但是很高兴看到这种事情是可能的。我喜欢这句话:“SQL代码是吼叫和关系代数的奇怪组合。”

MICHAEL MALIS

操作分析的SQL查询规划——在基于SQL的事件数据分析系统Rockset中,了解如何实现SQL查询规划来支持操作分析需求,比如低延迟和高并发性。

PURVI DESAI

开始在Containers中部署Postgres数据库——探索是什么推动了containers的增长,以及containers用例的机会:数据库

ENTERPRISEDB 赞助商

SQL 301:为什么需要SQL窗口函数——窗口函数非常强大,它允许您查看表中的行,其中的新列显示了运行的总数、排名或移动平均线等。

HELEN ANDERSON

从Postgres看图形数据库的远景——几周前在Postgres Vision 2019上发表的一个关于AgensGraph的演讲,AgensGraph是一个基于Postgres的多模型图形数据库。音频质量不是很好,但是您可以很好地了解什么是AgensGraph以及它是如何提供帮助的。

AGENSGRAPH

在AWS选项中评估MySQL性能——比较Amazon Aurora、RDS和两个基于Percona服务器的选项。

ALEXEY STROGANOV (PERCONA)

OctoSQL:使用SQL支持的数据源连接、分析和转换来自多个数据源的数据——支持的源文件有CSV、JSON、MySQL、PostgreSQL和Redis

JACOB MARTIN

Read More

PostgreSQL 每周新闻 2019-7-17

PostgreSQL每周新闻#314 - 2019年7月17日

_config.yml

备注:英文原文地址

img

如何将您的Postgres密码提升到SCRAM标准

支持SCRAM身份验证是在Postgres 10中引入的,它提供了比MD5更大的好处。下面是如何以及为什么这样做,和如何将现有登录账号升级到使用SCRAM方法。

JONATHAN S. KATZ

用Postgres索引清理鳄鱼的牙齿

Citus Data(现在是微软的一部分)的一名工程师在Postgres Open(2018)上发表了一场40分钟的演讲,从一只鳄鱼出发,讲述了一个关于Postgres中所有索引类型的故事。这比听上去的更具有有教育意义,您将从中学到很多,如果您正好需要了解Postgres索引,这40分钟将是一个很好的机会。

LOUISE GRANDJONC

了解Postgres真空调优如何提高DB性能

加入免费的PostgreSQL网络研讨会: Postgres通过图片进行真空调优,了解PostgreSQL中的真空和自动真空的关键概念、真空操作、如何调优用于Postgres部署的真空,等等。

img

2NDQUADRANT POSTGRESQL WEBINARS赞助商

使用ICU排序来避免glibc 2.28数据损坏

这是一个技术问题! 最新版本的GNU C库(2.28)对Unicode排序规则(排序规则是控制字符串比较或排序的规则)进行了很大的更改,这可能会导致索引出现问题,包括损坏。Postgres在默认情况下使用os级排序,但也可以使用ICU排序,它本质上是一组独立的、第三方的、跨平台的排序,本文将深入探讨为什么要进行这种转换,以及如何进行这种转换。

LAURENZ ALBE

PostgreSQL Conference Europe 2019现在开放注册

今年10月在意大利米兰。演讲人要到八月才会选出(CFP现在已经关闭了),但是现在可以买到票了。

PGCONF.EU

看看Postgres 12中的分区增强功能

Postgres 12在分区选择、引用完整性改进和内省方面得到了一些“非常显著”的改进。

KIRK ROYBAL

在Postgres中实现“自治事务”

在Oracle世界中更常见,自治事务是由其他事务发起的独立事务(也就是说,它们具有不同的上下文,不会干扰“调用”事务)。Postgres对此没有原生支持,但有两种解决方案。

KAAREL MOPPEL

反向代理到pgAdmin

pgAdmin是一种流行的基于web的Postgres管理和数据库管理工具。

DAVE PAGE

为全文搜索建立文档索引

DAVE PAGE

CREATE STATISTICS:它是用来做什么的?

最近的一次演讲中这些代码丰富的幻灯片突出了CREATE STATISTICS的用例,这是Postgres 10中引入的一个命令,可以创建扩展的统计对象来帮助查询规划

TOMAS VONDRA SLIDEDECK

SQL、Python和R.都在一个平台上,并且永远免费

此模式结合了一个SQL编辑器、原生Python和R笔记本,还有viz builder在同一个平台上。连接、分析并且分享。

MODE赞助商

如何在GraphQL中使用MongoDB和PostgreSQL

演示如何使用GraphQL查询语言、Apollo Server和Node.js将各种数据库组合在一起(这里对MongoDB和Postgres的选择相当随意)。

BEN AWAD

从Postgres谈图形数据库的远景

几周前,在Postgres Vision 2019上发表了一篇关于AgensGraph的演讲,AgensGraph是建立在Postgres之上的一个多模型图数据库。音频质量不佳,但是您可以很好地了解什么是AgensGraph以及它是如何提供帮助的。

AGENSGRAPH

💡本周提示

由percona提供支持Percona

测试您的应用程序如何处理Postgres的失败或高延迟

如果您运行自己的Postgres服务器,它就像石头一样坚固,对吧? 如果您运行在云基础设施上,您永远不知道它是如何工作的,因此以一种能够应对Postgres失败的弹性方式构建系统是值得的。

您可以在各种故障场景下测试您的应用程序,方法包括提供不正确的数据库身份验证细节、关闭数据库服务器,甚至设置防火墙规则,但是间歇性故障怎么办? 你需要一些不那么严重的东西。

Toxiproxy是一个开源系统,它可以模拟不同的网络环境,因此您可以看到您的应用程序在后台服务(如Postgres数据库)处于间歇性或遭受高延迟的情况下如何执行。它既是一个Go支持的TCP代理(因此您可以将它用于Postgres之外的其他服务),也是用于Go、Ruby、Python、. net、PHP和Node的客户机库。因此,您可以将它直接集成到您的测试套件中。

本周的小贴士由Percona赞助。本白皮书讨论了高可用性数据库体系结构的重要性,以及如何为高可用性配置PostgreSQL。

🗓 即将举办的Postgres活动

GConf.Brasil 2019(8月1日至3日,巴西圣保罗)——为期三天的会议,包括讲座、辅导课、课程和闪电讲座。

PGDay Austria 2019(9月6日,奥地利维也纳诺伊施塔特)

PostgreSQL Conference Asia 2019 (9月9日至12日,印度尼西亚巴厘岛)

PostgresConf South Africa 2019(10月8日至9日在约翰内斯堡)——提供给使用Postgres的数据库管理和开发人员互相了解的机会。

Read More

数据库每周新闻 2019-7-5

数据库每周新闻#261 - 2019年7月5日

config.yml

备注:英文原文地址

img

DuckDB: 一种新的可嵌入式SQL OLAP DBMS

内置于C++中,DUCKDB将自己“标榜”为“用于分析的SQLite”。经过一段时间的开发,第一个官方0.1版本现已发布,同时已与C/C++、Python和 R绑定。官方主页

CWI DATABASE ARCHITECTURES GROUP

使用SQL可以完成所有的事情?

回顾一篇学术论文,概述了SQL可以扩展到更强大地支持现代流媒体需求的一些方法。

THE MORNING PAPER

教程:使用DocumentDB进行复杂的设计

本教程介绍如何针对Amazon的新MongoDB兼容数据库DocumentDB运行简单的网络黑洞攻击。

GREMLIN 赞助商

PostgreSQL的缓慢攀升和持久性的价值

最近PostgresVision会议的与会者从数据库先驱Michael Stonebraker博士那里听到了消息。他讲述了他如何帮助Postgres走向全世界。

JOAB JACKSON(THE NEW STACK)

db-to-sqlite 1.0:一个用于将表或查询从任何SQL数据库导出到SQLite的CLI工具

来自Datasette的创建者,这是一种将数据转换为基本Web站点和API的流行工具。

SIMON WILLISON

通过EXPLAIN变成更好的开发者

一个有趣的40分钟的讨论,深入探讨了查询解析和规划的世界,以及如何分析使用PostgreSQL的EXPLAIN命令创建的查询计划。

LOUISE GRANDJONC

简介:

• SQL Server 2019引入了对UTF-8(广泛使用的字符编码方案)的本机支持。

• RavenDB推出了RavenDB Cloud,这是一个基于托管云的事务性NoSQL数据库版本。

• 中国的初创企业正在寻找“购买中国”的途径,它们将目光从Oracle和IBM身上移开,转而投向像 PingCAP这样的供应商

• 开源的github -a平台GitLab已经放弃了对MySQL的支持,并解释了原因。

• 公平地说,Oracle对AWS赢得一份重要的美国军事合同并不满意

💻招聘

寻求:有️❤️和好奇心的开发者 - 停滞不前?看看C5吧:新项目、新技术、新挑战,以及身处旧金山、洛杉矶、纽约的善良而又聪明的同事们。

CARBON FIVE

在Vettery上找一份新的开发工作 - Vettery专注于技术角色,对求职者来说是完全免费的。

VETTERY

📒 教程和故事

Redis 6中的客户端缓存 - Redis的创建者解释了Redis的下一个主要版本将如何支持那些相当高级的客户端缓存,并完成服务器导向的缓存失效。

SALVATORE SANFILIPPO

积极地调优Cosmos DB (漫漫长路) - 有多少种调优Cosmos DB的方法?“为了(最终还是相当绝望)让它更好地扩展,我们尝试了9种方法。”

TOM WRIGHT

社区亮点:Timbergrove如何使用InfluxDB来提供一组智能的办公套件

INFLUXDATA赞助商

基于缓存的数据库架构可能过时的五个迹象

DATANAMI

36个关于Azure Cosmos DB概念的“宇宙级笔记” - 如果你有任何关于Azure的多模型数据库服务的工作要做的话,这些笔记可能会派上用场。

AZURE COSMOS DB

用Clang/WASI将Redis移植到WebAssembly中 - 几乎可以肯定,您自己永远不需要这样做,但我发现这是一个有趣的幕后观察。(如果您对这些内容感兴趣,您可能还喜欢这个编译为WebAssembly demo的SQLite。

MIKHAIL VORONOV

CDNs应该像数据库一样工作 - 一个新的边缘计算创业公司为它的方法提出了一个有趣的论点。

MACROMETA

Read More

数据库每周新闻 2019-6-21

数据库每周新闻 #259 - 2019年6月21日

config.yml 备注:英文原文地址 img

谷歌发布了“Private Join and Compute”,以改善多方计算体验

如果两个用户都有一个数据集合,Private Join and Compute为他们提供了一种在不影响任何数据的情况下私下计算共同记录的相关值总和的方法。

GOOGLE

我们如何在零停机的情况下将数据库迁移到Amazon Aurora

SaaS公司的CTO分享了从Amazon RDS迁移到Aurora(Amazon的高性能数据库系统,可以将自己呈现为Postgres或MySQL兼容)的故事。避免停机是关键,他们设法做到了。

MIGUEL CARRANZA (REVENUECAT)

编写高效可维护的SQL的建议

也被称为Matt Mazur的SQL风格指南,这是一个潜在的有用的关于部署SQL的强烈意见和最佳实践的来源。(只是我更喜欢所有大写的SQL格式吗…)

MATT MAZUR

studio 3t使SQL迁移到mongodb变得非常简单

现在,您可以使用Studio3T及其新的SQL迁移功能将整个SQL数据库导入MongoDB。

STUDIO 3T

你可能认识的人:LinkedIn如何根据海量数据快速提出社交建议

LinkedIn有一个“你可能认识的人”系统,用于将人们联系在一起。本文将深入探讨它在数据级如何工作的实用性。

INFOQ

一个Redis实例的速度有多快?

keydb是redis数据结构存储的一个多线程分支,它的开发人员试图演示其扩展方法可以带来的性能提升。

EQ ALPHA

时间刻度揭示时间刻度云:托管时间序列数据库服务

TimescaleDB是一个开源的Postgres扩展,用于大规模处理时间序列数据,现在它也是第一个托管的多云时间序列数据库系统的一部分。

JEFF SPOSETTI AND AJAY KULKARNI

bigcache 2.0:一个千兆数据的高效缓存

一个并发的内存中的高速缓存,内置Go。如果您想将HTTP服务器包作为服务提供,也可以使用它。

ALLEGRO TECH

简介

💻招聘

招聘有求知欲的负责的开发者–个人技术水平遇到瓶颈?新项目、技术和挑战与善良、支持和优秀的人完美结合。 CARBON FIVE

在Vettery上寻找数据库有关的工作 – Vettery专门为科技领域的求职者提供相关工作并完全免费。 VETTERY

📒 教程和故事

重新思考数据库物化视图作为索引 – 通过利用时间序列数据的属性,我们能使物化视图的维护足够有效,使它们像索引一样工作吗?

MATVEY ARYE

无损压缩的最低限度指南 – 无损压缩的简要历史,然后简要介绍它在Hadoop场景中的使用。

MARK LITWINTSCHIK

在5分钟内启动GoCD连续传送服务器– 使用新的gocd试驾,了解如何使用一流的管道、可视化等解决您的CI/CD挑战。

GOCD

SQL线性插值 – 如果您有一个缺少值的按时间顺序排列的数据集,那么您可以做些什么。如何找到差距,然后如何尝试填补这些差距?

PHILIPP WAGNER

OLTP和OLAP:它们之间有什么区别?–如果您对这些术语感到困惑,本文将使其保持简单。

TIAGO FRANCO

为企业带来可扩展的实时分析–一次35分钟的播客访谈,采访了Rockset公司的两名员工,Rockset是一家致力于低延迟大数据分析的公司。

O'REILLY DATA SHOW

Read More

数据库每周新闻 2019-3-15

数据库每周新闻 #245 - 2019年3月15日

config.yml

备注:英文原文地址

img

AWS 发布了新的开源版本的 ElasticSearch :Open Distro for Elasticsearch

Elasticsearch是一个分布式,面向文档的搜索和分析引擎。今天我们正式推出 Open Distro for Elasticsearch。这是 Elasticsearch 的一个增值发行版,100% 开源(采用 Apache 2.0 许可证)并且由 AWS 提供支持。随后,将考虑在main project里增加更多的专有功能。(更多详情,请查看相关主页,您将了解到后续的版本发展规划。)

JEFF BARR

通过终极的Cross-Platform insight来防范数据库风险

通过Foglight for Cross-Platform databasees 的界面,便可主动诊断并解决数据库的相应问题。 img

QUEST SOFTWARE 赞助商

ArangoDB获得Bow Capital领导的A轮融资1000万美元

ArangoDB是一个有趣的,高度可用的多模型NoSQL数据库,它将图形,文档和键/值这些数据类型整合在一个具有相同查询语言的核心中。

ARANGODB

按需定价如何将AWS DynamoDB账单削减90%

了解使用DynamoDB的公司如何利用新的按需定价模式,这种新模式大大节省了应用程序的数据库需求。

ASHWIN BHAT

让我们用C构建一个简单的数据库

从头构建简易的SQLite数据库教程,该教程共有13部分。

CONNOR STACK

Neo4j作为创始成员加入了GraphQL Foundation

GraphQL使您的应用程序的数据成为图形,并允许客户端将其作为图形进行查询。这使得GraphQL 天然适配Neo4j,后者是一款著名的图数据库。

NEO4J

MemSQL如何承载时序类型的应用程序

MemSQL是一款分布式的,in-memory的,专注于性能的SQL数据库管理系统, 通过这篇文章,我们可以知晓MemSQL如何被当作一款性能强劲的时序数据库使用的。

ERIC HANSON (MEMSQL)

从Oracle数据库迁移到MariaDB:深度解析

SEVERALNINES

📖 科技文章与行业见解

Hovis如何通过Google的BigQuery改进市场需求预测

一个主要的英国面包品牌已将所有关于其库存,第三方数据,公众假期等信息整合在一起,以进行基于机器学习的市场需求预测。

NEW STATESMAN

Andrew Mulholland 对于Security Incident(一些安全事件)的看法

BuzzFeed的核心基础架构负责人讨论了现实生产日志存储服务器如何崩溃以及如何处理它。

COSSACK LABS

Grab是如何简化其数据提取和转换过程的

用自研的Go-powered数据管道取代Spark流,为亚洲交通平台带来了巨大的改进。

GRAB TECH

对Amazon Aurora PostgreSQL进行基准测试

对托管的PostgreSQL服务进行基准测试,本文是系列文章中的第一篇。

SEVERALNINES

做好 迎接实时“决策”的准备吧

电子商务公司为在线交易进行实时防欺诈便是案例之一。

JOHN DILLON (AEROSPIKE)

🛠 数据库工具 和数据系统

Tile38:地理信息空间数据库(Geospatial DB),空间索引和实时地理围栏(Realtime Geofence)

内置Go,并且Tile38是一个内存中的地理定位数据存储,支持各种对象类型,包括lat / lon点,边界框,XYZ tile,Geohashes和GeoJSON。

JOSH BAKER

看看PostgreSQL的六大GUI工具

少用GUI工具是完全没错的,但基于GUI的工具在某些情况下很有用。本文最Postgres的GUI工具做了简要回顾。

SEBASTIAN INSAUSTI (SEVERALNINES)

KeyDB:Redis的多线程分支

John Sully在多线程上与Salvatore Sanfilippo持有不同意见,因此这个分支现在存在。总之,因人而异。

JOHN SULLY

Read More

数据库每周新闻 2019-3-8

数据库每周新闻 #244 - 2019年3月8日

config.yml

备注:英文原文地址

img

自动调整Cassandra以减少延迟

数据库可以实现自动扩展、自动调优以及自动的组织索引,这个“点子“很是吸引我。现在这些”点子“正在慢慢实现,这真的是太酷了。

VORSTELLA

Apache Solr:是数据库,更是搜索引擎

Apache Solr是一个流行的基于Lucene的搜索引擎(仅次于Elasticsearch),并且它本质上是一个文档数据库。本文(非常)详细介绍了它与MongoDB等传统文档数据库的区别。

GARY A. STAFFORD

电子书:优化Postgres查询性能的最佳实践

如何将Postgres数据库性能提升3倍,数据加载时间减少500倍?详情见该电子书。

img

PGANALYZE 赞助商

如何配置和连接基于AWS Aurora的Serverless架构的MySQL数据库

一个10分钟的教程,讲解有关配置和连接AWS的基于Serverless架构的MySQL数据库系统。(在这里,Serverless,基本上意味着自动扩展按需付费数据库。)

AMAZON WEB SERVICES, INC.

一个SQL Server DBA认为:Postgres的管理工具真是太烂了!

一个SQL Server User 表达了对Postgres 管理工具的强烈意见,激起了有趣的讨论,并引起了同行的针对性的博客回应

RYAN BOOZ

2019年数据库行业趋势:SQL与NoSQL以及热门数据库

我们向DeveloperWeek的数百名开发人员,工程师,软件架构师,开发团队和IT领导询问了当前NoSQL与SQL的使用情况,最受欢迎的数据库,要跟踪的重要指标以及最耗时的数据库管理任务。获取有关MySQLMongoDBPostgreSQLRedis和其他许多人的最新见解,了解今年哪些数据库管理系统最受青睐。

KRISTI ANDERSON

使用Redis Pub / Sub在4天内构建实时数据可视化

HEAP 如何使用Kafka和Redis的pub/sub(发布订阅)机制构建一个轻量级的event bus 。

HEAP

为Wine Store构建关系数据模型

Vertabelo因其频繁的数据库建模文章而闻名,这一趋势在延续着。

EMIL DRKUŠIĆ

使用Lead Time指标来改善您的CI / CD process

GoCD最新的CD metric博客将指导您如何识别瓶颈并改进CI / CD流程。

GOCD 赞助商

我们如何构建SQL防火墙

一个有趣的想法。就像WAF一样,不过是在数据库级别。

COSSACK LABS

如何使用JOIN LATERAL以及为什么要使用

JOIN LATERAL 是为PostgreSQL用户编写的,但Oracle和DB2也支持这种类型的连接。

ELEIN MUSTAIN

对于分析型的workload,On-Prem S3能否与HDFS竞争

ALEX WOODIE (DATANAMI)

SQL Server 2019之加速数据库恢复特性(Accelerated Database Recovery)

了解SQL Server 2019的新“加速数据库恢复 ”功能以及该功能是如何减小长时间运行的事务对数据库恢复的影响。AARON BERTRAND

在SQL Server中处理分层数据结构

使用公用表表达式(CTE)。

MATT STACEY

Read More

数据库每周新闻 2019-3-1

数据库每周新闻 #243 - 2019年3月1日

config.yml

备注:英文原文地址

img

ValuStor:基于Scylla构建,用以替代memcached

Scylla本身是一个高度可扩展的分布式低延迟数据库(基于Apache Cassandra设计), ValuStor则是建立在Scylla之上的,用以替代memcached的开源解决方案。该方案具备几处值得关注的新特性。

PETER CORLESS

Redis10岁了:Redis如何从Hacker News的一篇博客走到今天

十年前,Redis的创建者Salvatore Sanfilippo首先在Hacker News上发布了有关 Redis数据结构存储的信息,从那一刻便坚定了自己的使命。Redis现如今已成为网络基础设施的重要一环。

DAVE NIELSEN (REDISLABS)

新一代InfluxDB 2.0平台推出

我们迫不及待地想与您分享新一代的InfluxDB2.0。

img

INFLUXDATA 赞助商

SageDB:一个学习型数据库系统

“这有没有可能是数据库的未来?” 存在这样一个数据库,给定数据,便自动地构建最佳结构,算法和索引,以匹配工作负载和环境。

THE MORNING PAPER

MariaDB推出新的企业级数据库

新的MariaDB Enterprise Server专为企业生产工作负载而设计,同时忠于开源本心。

STEVEN J. VAUGHAN-NICHOLS(ZDNET)

美国的数据增长率将放缓

我们常常讨论数据增长率将持续升高,但其实不是。数据增长率预计放缓,其原因在于娱乐化产业的内容的减少。

DATANAMI

用MapReduce的思想运用SQL

MySQL 8.0具有很多大的改进,如果你是重度Mysql用户,你会发现在这一轮基准测试中,MySQL8.0明显优于MySQL 5.7。

CRAIG KERSTIENS

如何在Oracle数据库中存储,查询和创建JSON文档

[不仅仅是CouchDB,MongoDB和PostgreSQL支持JSON,Oracle也坚定不移地支持JSON,本文是对Oracle JSON功能的全面概述。

CHRIS SAXON (ORACLE)

将MySQL从AWS迁移到本地数据中心

并非所有人都转移云端,此博客向您展示如何在零停机时间内转移到现场。

SEVERALNINES 赞助商

在PostgreSQL中使用并行查询

NICKOLAY IHALAINEN

在Emacs 和 Postgres上运行Bakery

当程序员将其技能用来组建一个bakery时,会发生那些事情。当然,这可适用于任何DBMS。

PIERS CAWLEY

挑战Mysql的10万个数据库连接

通过thread pool、调优以及使用multiple IP 来建立10万个mysql数据库连接。

VADIM TKACHENKO

img

DBeaver:通用的数据库工具

用Java编写,这是一个面向开发人员,管理员和分析师的开源跨平台数据库工具。支持所有流行的数据库。

DBEAVER TEAM

‘Swim’:流数据APP构建器开源

一个用以构建app的运行环境,集合一个框架、SDKs 和 客户端,便可以构建流数据可视化,并将其嵌入到现有的app里。

DATANAMI

Read More

数据库每周新闻 2019-2-22

数据库每周新闻 #242 - 2019年2月22日

config.yml

备注:英文原文地址

img

dbadiagram.io:面向开发人员和分析师的免费的数据库设计工具

一个简易的在线工具,通过使用DSL语言可快速绘制关系模型图(relationship diagrams)与关系模型之间的对应关系。

HOLISTICS SOFTWARE

simdjson: 一个 C++ Library,每秒可以解析GB级别的JSON数据

JSON现在比以往任何时候都更多地被用作数据交换,服务器往往需要花费大量时间来解析JSON。该项目实现了对JSON的极速解析。

DANIEL LEMIRE

什么是时序数据(我为什么需要时序数据库)?

究竟什么是时序数据以及存储它的最有效方法是什么?我应该使用时序数据库吗?通过注册我们即将举行的网络研讨会(3/5)并阅读此博客文章来了解相关信息。

img

TIMESCALE 赞助商

Redis Developments在2019年将会如何发展?

Redis的创建者解决了最近对Redis前进方向的担忧。在相关新闻中, Redis Labs已经在E轮系列中筹集了6000万美元

SALVATORE SANFILIPPO

WePay使用Orchestrator,Consul和HAProxy构建新的高可用Mysql 集群

WePay的工程团队谈论他们使用HAProxy,Consul和Orchestrator构建的新的高可用性MySQL集群。新架构的停机时间将从30分钟减少到40-60秒。

INFOQ

Google在云数据迁移方面“双倍下注”

数据集成初创公司已成为主要的收购目标,因为云分析供应商希望加强其迁移能力。仅在过去八个月中,谷歌已经收购了两个。

MARKUS WINAND

对频繁更新的对象的更改情况,使用DynamoDB流处理可对其进行可视化

DynamoDB Streams是有关DynamoDB表中项目更改的有序信息流,并提供跟踪活动的方法。

MAJA GRUBIC AND SOFIA TZIMA

Redis Labs的Redis Modules相应 License的变化

去年八月, Redis Labs 的自研模块的许可变更(涉及the Commons Clause)引起了业界的争议。他们现在通过实施新的 Redis源可用许可证(RSAL)来解决批评。

REDIS LABS

还在手动撤销数据库Creds?

“数据库的访问权限控制往往是难以管理的。如今有了强大的DM,它将变得非常简单。” - Hearst MediaOS 的VP Engineering。了解更多

STRONGDM 赞助商

告别fsync():使用Docker可以将数据库测试效率提升十倍以上

在进行数据库测试时,通过并使用Docker技术并关闭fsync(),使得数据库测试效率提高10倍以上。

AMIT JAIN

打开PostgreSQL 护目镜观察MySQL 8

如果你是一个深度的Postgres用户,你可能多年没有使用过MySQL了。但是,如果你很好奇现在的MySQL是什么样的,Kaarel已经帮你了解了,甚至找到了在Postgres中受欢迎的一些功能。

KAAREL MOPPEL

使PostgreSQL EXPLAIN ANALYZE的结果更易读

把Explain Analyze 的结果粘贴到该工具 下,可以将Explain Analyze的结果内容转换为更加易读的版本。

HUBERT DEPESZ LUBACZEWSKI

Firebird 4.0 Beta 1 发布

这代表成熟的、关系型的、开源SQL数据库的另一个进步,Firebird脱胎于Borland的InterBase。

FIREBIRD PROJECT

Read More

数据库每周新闻 2019-2-15

数据库每周新闻 #241 - 2019年2月15日

config.yml

备注:英文原文地址

img

为什么谷歌需要图服务系统(Graph Serving System)

图数据库公司 Dgraph Labs的创始人介绍了他之前在谷歌的工作并解释了谷歌将如何使用图技术来改进他们的搜索系统。

MANISH RAI JAIN (DGRAPH LABS)

SQL:最有价值的技能之一

Citus Data公司的Craig Kerstiens解释了为什么,在他职业生涯中所学到的所有技能中,SQL仍然是最有价值的技能。

CRAIG KERSTIENS

定位、诊断、解决Postgres环境的性能问题

该软件产品可以管理您基础架构的运行状况。通过基于Web的仪表板,可直观地提醒您可能造成性能问题和可用性问题的隐患,清晰的enterprise-wide级别的视图可帮助您优化整个PostgreSQL环境。下载免费试用版。

img

QUEST SOFTWARE 赞助商

如何将TB级别的数据从PostgreSQL加载到BigQuery中

快速了解如何将大量数据从Postgres数据库传输到Google的 BigQuery,这可用于进行分析,甚至公开开放。

PAVEL TIUNOV

遵循即将出台的加利福尼亚州数据法的数据检测工具出现

加利福尼亚州消费者隐私法案(CCPA),本质上相当于欧洲的GDPR,将于2020年1月1日生效。鉴于加利福尼亚州的科技公司和数据库提供商的强大存在,提供相应工具用以检测数据是否遵守现代隐私法是必须的。

DATANAMI

PostgreSQL 11重塑其在窗口函数功能(window function)方面的领导力

PostgreSQL 11相对于其竞争者,提供了最佳的OVER子句支持,也提供了真正的procedures ,并对FETCH FIRST 做了改进,同时支持XML。

MARKUS WINAND

MySQL 性能基准测试对比: MySQL 5.7 vs MySQL 8.0

MySQL 8.0具有很多大的改进,如果你是重度Mysql用户,你会发现在这一轮基准测试中,MySQL8.0明显优于MySQL 5.7。

PAUL NAMUAG (SEVERALNINES)

为什么我们在RocksDB上构建CockroachDB

CockroachDB,是一个分布式的数据库, 将基于KV存储的 RocksDB作为其存储引擎, 因为RocksDB具备丰富的功能集. (如果您正在构建您的数据库系统,那么推荐阅读该文)

ARJUN NARAYAN AND PETER MATTIS (COCKROACH LABS)

如何计算SQL中的累积百分比

LUKAS EDER

PostgreSQL 11中的索引机制改进的概况

PostgreSQL 11对其处理数据库索引的机制进行了更改。

AMIT JAIN

使用Lead Time 指标 来提升 CI/CD Process

GoCD最新的CD metrics博客将指导您如何识别瓶颈并改进CI / CD流程。

GOCD 赞助商

使用dbdeployer在笔记本电脑上测试复杂的MySQL系统

DBdeployer是一种工具,可以轻松地在本地,单个或整体快速部署MySQL服务器,可以构建带replication的环境 或者不带repelication的环境 。

GIUSEPPE MAXIA

数据快速迁移那些事儿: 在PostgreSQL中,我们如何进行自动化迁移

Benchling是一个生命科学数据管理平台,这意味着他们需要处理大量数据,就像上周Braintree / PayPal一样,学习下这种数据级别的迁移是很酷的。

VINEET GOPAL

🐦Twitter点滴

img

译:我认为现在人们对图数据库及其用途了解甚少。 大多数人只熟悉 sql 和document存储, 所以存在这样一种丰富的语言用以对relationships进行描述和高效查询,对于数据探索和数据可视化来讲,是一种全新的方式。

Read More

数据库每周新闻 2019-2-8

数据库每周新闻 #240 - 2019年2月8日

config.yml

备注:英文原文地址

img

理解数据库sharding

理解何为sharding(分片),sharding的主要的优缺点以及几种常用的sharding方法。

MARK DRAKE

使用深度学习推荐相似风格的时尚图片

数据库与搜索功能(search)的关系,可以看成携手并进(例如Elasticsearch),但深度学习通过提供与数据库完全不同的模型,从而对search功能产生了有趣的,重大的影响。本文让我迫切地想了解在search功能上,数据库与深度学习有哪些明显的不同与对立之处。

JAMES LE (FLOYDHUB)

不要错过Postgres Vision 2019

日期:6月24日 - 26日,波士顿-马萨诸塞州。

img

ENTERPRISEDB 赞助商

PostgreSQL迈入11版本

在FOSDEM(自由及开源软件开发者欧洲会议)上,Joe Conway的演讲深入探讨了PostgreSQL的部分历史,并简要介绍了Postgres 11中的新特性以及未来版本Postgres 12的规划方案. 时长:48 mins

JOE CONWAY

SQL Server上的Telemetry Service运行了哪些Queries?

自SQL Server 2016以来,默认情况下,SQL Server实例对数据库进行各种查询并收集ResultSet,然后主动 “Photo home” to MS 。 但它们究竟是什么?对此,BRENT OZAR抓住了一丝痕迹。

BRENT OZAR

数据库行业简要新闻快报..

MailChimp的Mandrill服务体验由于PostgreSQL事务ID Wraparound而导致中断

对于您当下规模的Postgres,如果您没能正确地设置好相应的autovacuuming的值,那么您需要多加注意了,这则新闻就是对应的案例。Sentry在2015年经历了类似的中断,并做了一次full writeup。

HACKER NEWS

微软投资Databricks

Databricks是一个 由Apache Spark的创建者创立的high-flying analytics创业公司”。

DATANAMI

PostgreSQL at Scale:无需停机即更改Schema

Baypree Payments是PayPal的一个部门,大量使用Postgres,由于提供支付处理服务,因此必须实现零停机。这里深入探讨了在没有停机的情况下进行架构Schema更新所涉及的所有方面。

JAMES COLEMAN

新白皮书:为MySQL和MariaDB选择合适的Database Proxy

什么是Proxy,为什么需要它来实现数据库的高可用性?

SEVERALNINES赞助商

使用SQL Server Temporal Tables和.NET core 实现版本控制和审计跟踪

在处理个人或其他有价值的数据时,查看数据更改者,数据更改时间以及更改内容,都变得至关重要。

ROSS JAY JONES

mongofluxd:从MongoDB到InfluxDB的实时同步

RYAN WYNN

🐦Twitter点滴

“在WAL模式下我们使用挂载在共享存储卷上的SQLite”(用以在容器之间进行通信)

我真的很期待这篇blog,它介绍了一种有趣的容器通信方法。Database as databus?

RICK BRANSON ON TWITTER

Read More

数据库每周新闻 2019-1-25

数据库每周新闻 #238 - 2019年1月25日

config.yml

备注:英文原文地址

img

微软收购Citus Data,后者专注于PostgreSQL 的横向扩展

Citus因其同名的Postgres扩展插件—Citus extension而被人熟知,该扩展插件使得Postgres可以横向扩展,这是一场有趣的收购,表明微软致力于支持Azure上的开源数据库用户,并履行该承诺。

MICROSOFT

未来将被’Documented’

MongoDB首席执行官Dev Ittycheria解释 “为什么document model是显而易见地处理数据的最佳方式”“documents,而不是tables,才是未来。”文中展示了MongoDB与AWS DocumentDB的功能特性对比列表。

DEV ITTYCHERIA(MONGODB)

基于PostgreSQL 进行时序数据的管理和分析

ts db img 文中介绍了TimescaleDB如何通过将插入速率提高20倍,保持更快的查询速度,引入新的分析功能等,将PostgreSQL转换为时序数据库。

TIMESCALE 赞助商

通过百分位函数用以了解数据集偏斜程度

了解如何检测数据中的“skew”(正常的数据分布不对称并且衡量这种不对称度以及数据倾斜的方向)。

LUKAS EDER

MongoDB将MongoDB与AWS DocumentDB进行比较

MongoDB的CTO Eliot Horowitz对MongoDB和新的AWS DocumentDB服务进行了比较。虽然 DocumentDB提供了MongoDB协议兼容性,但MongoDB声称它只传递了35%的正确性测试,并且在许多类型的workloads上都表现优异。

ELIOT HOROWITZ (MONGODB)

在Go中构建弹性数据管道

了解GE如何使用Kafka和Cassandra在Go中构建高吞吐量数据管道,以及如何使用它。

GRANT GRIFFITHS

为什么我们在Redis中加入了“Stream”?

对于最新版本的Redis添加了新的数据类型“Stream”的概述以及添加原因。

FERNANDO DOGLIO

Caching Beyond RAM: 关于NVMe案例

探讨了对于cache类型的workload,使用新型存储设备用以减少DRAM依赖的可能性。

ALAN KASINDORF

深入讲解MongoDB技术

在此webcast系列中,您将了解MongoDB的schema设计,索引,数据聚合和扩展架构。

MONGODB 赞助商

使用TDS外部数据包装器,将SQL Server里的数据加载到PostgreSQL里

数据存储在SQL server里,然后用Postgres的查询引擎来查询,通过使用foreign data wrapper便可以办得到。方法见文中介绍。

LUCA FERRARI

InfluxDB 2.0 Alpha版本发布以及未来发展路线

InfluxDB 2.0的第一个alpha版本现已发布。

LUCA FERRARI

GridDB 4.1发布:东芝的Key Value Store

一个可扩展的高性能KV存储数据库,专注于传感器数据的时序存储。4.1增加了long-term data存档。

GRIDDB

工作相关

想找一份英国科技工作? 查看hackajob

超过65,000名开发人员和工程师信任我们,帮助他们找到完美的技术工作。 2019年是因为你的技能而被聘用的一年。

HACKAJOB

Read More

Ora2Pg v19.0 has been released

Ora2Pg v19.0 has been released today, this is one year of Oracle to PostgreSQL migration improvements! Now MySQL to PostgreSQL migration is fully functional and supported.

Read More