C/C++程序员之家 | 关注cplusplus、互联网、程序员的历程–这仅是一个博客，时而无聊，时而搞些研究~

linux文件夹下字符串查找和替换

查找目录下的所有文件中是否含有某个字符串 find .|xargs grep -ri "IBM" 查找目录下的所有文件中是否含有某个字符串,并且只打印出文件名 find .|xargs grep -ri "IBM" -l 批量替换文件夹下的字符串 # $newstr替换$oldstr, $path为目录变量自行修改 sed -i "s/$oldstr/$newstr/g" `grep $oldstr -rl $path` vim单文件批量替换字符串 :%s/源字符串/目的字符串/g

2017年12月22日 Linux编程已关闭评论喜欢 2 阅读 249 次阅读全文

Hive导出为csv格式到本地文件系统

语句中$表示可替换变量如有分隔符需要替换，建议用sed，例如：sed -i 's/\t/;/g' res2.csv hive -e "select ... from $databaseName.$tableName where ..." >> $outFileName.csv

2017年12月19日大数据已关闭评论喜欢 6 阅读 1,112 次阅读全文

nginx: [emerg] socket() [::]:80 failed (97: Address family not supported by protocol)

问题：启动nginx报错： nginx: [emerg] socket() [::]:80 failed (97: Address family not supported by protocol) 解决： 1、编辑 vim /etc/nginx/sites-enabled/default 2、注释掉以下行：listen [::]:80 default_server; 3、重启nginx即可原因： ipv6引起的，从错误消息看来，您的服务器上禁用了ipv6。编辑nginx的默认服务器配置，并将其更改为仅监听ipv4或干脆启用ipv6。

2017年12月07日异常已关闭评论喜欢 2 阅读 981 次阅读全文

debian shell脚本加入开机启动

问题： debian shell脚本加入开机启动解决：编辑/etc/crontab，尾部加入：@reboot root /root/rules.sh即可，/root/rules.sh为脚本路径样例： # /etc/crontab: system-wide crontab # Unlike any other crontab you don't have to run the `crontab' # command to install the new version when you edit this file # and files in /etc/cron.d. These files also have username fields, # that non...

2017年12月07日运维已关闭评论喜欢 1 阅读 724 次阅读全文

debian禁止覆盖dns【阿里云】

vim /etc/network/interfaces # 加入 dns-nameservers 8.8.8.8 8.8.4.4 vim /etc/dhcp/dhclient.conf # 写死 supersede domain-name-servers 8.8.8.8; systemctl restart networking 查看dns是否正确 cat /etc/reslov.conf nameserver 8.8.8.8 nameserver 8.8.4.4

2017年12月07日运维已关闭评论喜欢 1 阅读 153 次阅读全文

彻底卸载阿里云盾

为什么要卸载心里不爽卸载阿里云盾监控 wget http://update.aegis.aliyun.com/download/uninstall.sh chmod +x uninstall.sh ./uninstall.sh wget http://update.aegis.aliyun.com/download/quartz_uninstall.sh chmod +x quartz_uninstall.sh ./quartz_uninstall.sh 删除残留 pkill aliyun-service rm -fr /etc/init.d/agentwatch /usr/sbin/aliyun-service rm -rf /usr/local/aegis* 阿里云盾...

2017年12月05日运维已关闭评论喜欢 0 阅读 683 次阅读全文

Linux内存做硬盘

大内存Linux服务器的另类应用：内存做为硬盘！极速读写！（Linux内存做硬盘） tmpfs简介 tmpfs是Linux/Unix系统上的一种基于内存的文件系统。tmpfs可以使用您的内存或swap分区来存储文件。由此可见，tmpfs主要存储暂存的文件。它有如下2个优势 : 1. 动态文件系统的大小。2. tmpfs 的另一个主要的好处是它闪电般的速度。因为典型的 tmpfs 文件系统会完全驻留在内存 RAM 中，读写几乎可以是瞬间的。同时它也...

2017年11月23日运维已关闭评论喜欢 1 阅读 340 次阅读全文

Selenium+PhantomJS+HeadlessChrome对比

Headless Chrome 它是指在headless模式下运行谷歌浏览器。本质就是不用谷歌运行谷歌！它将由Chromium和Blink渲染引擎提供的所有现代网页平台的特征都转化成了命令行。phantomjs无人维护的情况下（Slobodin在Google论坛上发帖表示，鉴于Chrome 59推出了特性，他认为没有理由再继续维护Phantom.js。），headless chrome确实为一个更好的选择！ Headless代码示例 from selenium import webdriver from seleni...

2017年11月17日 Scrapy 已关闭评论喜欢 0 阅读 1,065 次阅读全文

#Flume# Flume日志采集框架一些知识

一、简介 1.1、介绍 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景 1.2、运行机制 Flume分布式系统...

2017年10月24日大数据已关闭评论喜欢 0 阅读 237 次阅读全文

#Debian# Debian SSH允许root密码登录

Enable SSH root login on Debian ，Debian上SSH允许root密码登录一、 vim /etc/ssh/sshd_config # FROM: PermitRootLogin without-password # OR: PermitRootLogin prohibit-password # TO: PermitRootLogin yes 二、/etc/init.d/ssh restart 三、ssh root@your_ip_address

2017年10月24日运维已关闭评论喜欢 10 阅读 1,449 次阅读全文