大数据 | C/C++程序员之家

#转载# Clickhouse 常用的运维SQL

当前连接数 ch7.nauu.com :) SELECT * FROM system.metrics WHERE metric LIKE '%Connection'; SELECT * FROM system.metrics WHERE metric LIKE '%Connection' ┌─metric────────────────┬─value─┬─description─────────────────────────────────────────────────────────┐ │ TCPConnection │ 2 │ Number of connections to TCP server (clients with native interface) │ │ HTTPCon...

2021年06月07日大数据已关闭评论喜欢 0 阅读 84 次阅读全文

#转载# ClickHouse Zookeeper依赖优化

ClickHouse zk依赖优化 ClickHouse 集群严重依赖zookeeper，clickhouse集群服务会在zk上存储大量的信息，例如数据库表metadata、blocksr、replicas等信息，znode节点和数据量/数据表呈线性相关。 ClickHouse把zk当做三种服务的结合，协调服务，日志服务、数据表catalog service。同时clickhouse在启动时还会对存在本地表的schema信息和存在zk上的schema信息做校验，如果两者存在差异则启动异常。当前我们...

2021年06月07日大数据已关闭评论喜欢 4 阅读 354 次阅读全文

Hive on tez的insert union 子目录的问题【使用tez，mr无法查询到数据】

Hive on tez的insert union 子目录的问题【使用tez插入，mr疫情无法查询到数据】 hive tez insert union all问题问题描述在hive中使用tez模式时，发现tez的输出结果在对应表目录中，生成了子目录，造成未配置tez的hive客户端对该表进行读取时，无法获取到数据。检查表的输出目录，在分区目录下发现了两个子目录:1和2： /user/hive/test1/20170920000000/1 /user/hive/test1/20170920000000/2 原因查看...

2020年03月10日大数据已关闭评论喜欢 1 阅读 638 次阅读全文

Flume Agent和Collector 的监控（Monitor)

使用Flume实时收集日志的过程中，尽管有事务机制保证数据不丢失，但仍然需要时刻关注Source、Channel、Sink之间的消息传输是否正常，比如，SouceàChannel传输了多少消息，ChannelàSink又传输了多少，两处的消息量是否偏差过大等等。 Flume为我们提供了Monitor的机制：http://flume.apache.org/FlumeUserGuide.html#monitoring 通过Reporting的方式，把过程中的Counter都打印出来。一共有4种Reporting方式，...

2019年07月02日大数据已关闭评论喜欢 1 阅读 350 次阅读全文

kafka-python 无故停止消费

kafka-python异常环境是2副本6分区kafka主题，但是kafka-python无任何故障停止消费，导致超时触发rebalance 原因具体原因未知，调试无任何错误日志，消费过程中就那么突然停止了。。。。。解决方案换成pykafka后解决。推荐使用balance多消费者（一消费者一分区） topic.get_balanced_consumer( consumer_group='groupId', auto_commit_enable=True, auto_commi...

2018年09月14日大数据, 异常已关闭评论喜欢 3 阅读 584 次阅读全文

Hive导出为csv格式到本地文件系统

语句中$表示可替换变量如有分隔符需要替换，建议用sed，例如：sed -i 's/\t/;/g' res2.csv hive -e "select ... from $databaseName.$tableName where ..." >> $outFileName.csv

2017年12月19日大数据已关闭评论喜欢 6 阅读 1,112 次阅读全文

#Flume# Flume日志采集框架一些知识

一、简介 1.1、介绍 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景 1.2、运行机制 Flume分布式系统...

2017年10月24日大数据已关闭评论喜欢 0 阅读 237 次阅读全文

百度图片真实地址解密

百度图片真实地址解密，百度图片搜索真实地址解密，图片爬虫地址解密 Python版示例代码： str_table = { '_z2C$q': ':', '_z&e3B': '.', 'AzdH3F': '/' } char_table = { 'w': 'a', 'k': 'b', 'v': 'c', '1': 'd', 'j': 'e', 'u': 'f', '2': 'g', 'i': 'h', 't': 'i', '3': 'j', 'h': 'k', 's': 'l', '4': 'm',...

2017年01月12日大数据已关闭评论喜欢 2 阅读 647 次阅读全文

新浪微博OAUTH2授权流程

新浪微博OAUTH2授权流程. 理解OAuth 2.0，推荐阅读：http://www.ruanyifeng.com/blog/2014/05/oauth_2_0.html 一、访问：https://api.weibo.com/oauth2/authorize?client_id=你的应用APPKEY&response_type=code&redirect_uri=https://api.weibo.com/oauth2/default.html(你的应用回调地址) 返回：https://api.weibo.com/oauth2/default.html?code=a9b216e00394b82fa7c351c1ab051931 二、访问：ht...

2017年01月04日大数据已关闭评论喜欢 0 阅读 589 次阅读全文

HDFS（hadoop）常用命令

文件操作：：： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs -mkdir /tmp/input 在HDFS上新建文件夹 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下 hadoop fs –get /user/sunlightcs/test.txt . 将HDFS中的test.txt复制到本地文件系统中，与-p...

2016年09月22日大数据已关闭评论喜欢 1 阅读 237 次阅读全文