Reprint

ELK Stack ELK ELK 是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写, 这三者都是开源软件,通常配合使用,而且又先后归于 Elastic.co 公司名下,所以被简称为 ELK Stack ELK Stack 已经成为目前最流行的集中式日志解决方案。 Elasticsearch: 分布式搜索和分析引擎,具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建,能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎,使其具有复杂的搜索功能； Logstash: 数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置； Kibana: 数据分析和可视化平台。通常与 Elasticsearch 配合使用,对其中数据进行搜索、分析和以统计图表的方式展示； Filebeat: ELK 协议栈的新成员,一个轻量级开源日志文件数据搜集器,基于 Logstash-Forwarder 源代码开发,是对它的替代。在需要采集日志数据的 server 上安装 Filebeat,并指定日志目录或日志文件后,Filebeat 就能读取数据,迅速发送到 Logstash 进行解析,亦或直接发送到 Elasticsearch 进行集中式存储和分析。 Grok 是 Logstash 最重要的插件。你可以在 grok 里预定义好命名正则表达式,在稍后(grok参数或者其他正则表达式里)引用它。 https://www.ibm.com/developerworks/cn/opensource/os-cn-elk-filebeat/index.html https://doc.yonyoucloud.com/doc/logstash-best-practice-cn/index.html http://soft.dog/2015/12/24/beats-basic/#section

chkconfig chkconfig --list # 如果这个服务尚未被添加到 chkconfig 列表中,则现需要使用 –-add 参数将其添加进去 chkconfig –-add postfix # 比如要将MySQLd设置为开机自动启动 chkconfig MySQLd on # 取消 postfix 的自动启动 chkconfig postfix off https://www.cnblogs.com/panjun-Donet/archive/2010/08/10/1796873.html chkconfig命令主要用来更新 (启动或停止) 和查询系统服务的运行级信息。谨记chkconfig不是立即自动禁止或激活一个服务,它只是简单的改变了符号连接。 使用语法: chkconfig [-add][-del][-list][系统服务] 或 chkconfig [-level <等级代号>][系统服务][on/off/reset] chkconfig在没有参数运行时,显示用法。如果加上服务名,那么就检查这个服务是否在当前运行级启动。如果是,返回true,否则返回false。如果在服务名后面指定了on,off或者reset,那么chkconfi 会改变指定服务的启动信息。on和off分别指服务被启动和停止,reset指重置服务的启动信息,无论有问题的初始化脚本指定了什么。on和off开关,系统默认只对运行级3,4,5有效,但是reset可以对所有运行级有效。 参数用法: -add 增加所指定的系统服务,让chkconfig指令得以管理它,并同时在系统启动的叙述文件内增加相关数据。 -del 删除所指定的系统服务,不再由chkconfig指令管理,并同时在系统启动的叙述文件内删除相关数据。 -level<等级代号> 指定读系统服务要在哪一个执行等级中开启或关毕。 等级0表示: 表示关机 等级1表示: 单用户模式 等级2表示: 无网络连接的多用户命令行模式 等级3表示: 有网络连接的多用户命令行模式 等级4表示: 不可用 等级5表示: 带图形界面的多用户模式 等级6表示: 重新启动 需要说明的是,level选项可以指定要查看的运行级而不一定是当前运行级。对于每个运行级,只能有一个启动脚本或者停止脚本。当切换运行级时,init不会重新启动已经启动的服务,也不会再次去停止已经停止的服务。 chkconfig --list [name]: 显示所有运行级系统服务的运行状态信息 (on或off) 。如果指定了name,那么只显示指定的服务在不同运行级的状态。 chkconfig --add name: 增加一项新的服务。chkconfig确保每个运行级有一项启动(S)或者杀死(K)入口。如有缺少,则会从缺省的init脚本自动建立。 chkconfig --del name: 删除服务,并把相关符号连接从/etc/rc[0-6].d删除。 chkconfig [--level levels] name: 设置某一服务在指定的运行级是被启动,停止还是重置。 http://www.edbiji.com/doccenter/showdoc/78/nav/994.html

golang pdf,excel excel https://github.com/360EntSecGroup-Skylar/excelize https://github.com/jung-kurt/gofpdf

itext commants, annotation https://gist.github.com/i000313/6372210

memcache basic,command run as docker podman run \ --name memcache \ -d \ -p 11211:11211 \ -v /etc/localtime:/etc/localtime:ro \ memcached -m 16 connect telnet HOST PORT set set key flags exptime bytes [noreply] value # 参数说明如下: key: 键值 key-value 结构中的 key,用于查找缓存值。 flags: 可以包括键值对的整型参数, 客户机使用它存储关于键值对的额外信息 exptime: 在缓存中保存键值对的时间长度 (以秒为单位,0 表示永远) bytes: 在缓存中存储的字节数 noreply (可选) : 该参数告知服务器不需要返回数据 value: 存储的值 (始终位于第二行) (可直接理解为key-value结构中的value) ### 示例 set foo 0 0 3 bar #获取存储在 key(键) 中的 value(数据值) ,如果 key 不存在,则返回空。 get key # 删除key delete <key> #输出各个slab中的item的数目和最老item的年龄(最后一次访问距离现在的秒数) . stats items # 根据<slab_id>输出相同的<slab_id>中的item信息。是输出的个数,当为0是输出所有的item。 stats cachedump <slab_id> #显示各个slab的信息,包括chunk的大小、数目、使用情况等。 stats slabs Memcached 连接 ...

ConcurrentLinkedQueue http://www.infoq.com/cn/articles/ConcurrentLinkedQueue 一个基于链接节点的无界线程安全队列。此队列按照 FIFO（先进先出）原则对元素进行排序。队列的头部 是队列中时间最长的元素。队列的尾部 是队列中时间最短的元素。 新的元素插入到队列的尾部，队列获取操作从队列头部获得元素。当多个线程共享访问一个公共 collection 时，ConcurrentLinkedQueue 是一个恰当的选择。此队列不允许使用 null 元素。 https://www.cnblogs.com/yangzhenlong/p/8359875.html ConcurrentLinkedQueue是Queue的一个安全实现．Queue中元素按FIFO原则进行排序．采用CAS操作，来保证元素的一致性。 https://blog.51cto.com/u_15259710/3193985 https://juejin.cn/post/6844903602427805704

多源复制 MySQL 5.7多源复制实践 什么是多源复制 首先,我们需要清楚几种常见的复制模式: 一主一从 一主多从 级联复制 multi-master MySQL 5.7 之前只能实现一主一从、一主多从或者多主多从的复制。如果想实现多主一从的复制,只能使用 MariaDB,但是 MariaDB 又与官方的 MySQL 版本不兼容。 MySQL 5.7 开始支持了多主一从的复制方式,也就是多源复制。MySQL 5.7 版本相比之前的版本,无论在功能还是性能、安全等方面都已经有不少的提升。 首先,我们需要清楚 multi-master 与 multi-source 复制不是一样的。multi-master 复制通常是环形复制,你可以在任意主机上将数据复制给其他主机。 MySQL multi-source 是不同的。简单的说,多源复制就是将多个主库同步到一个从库上面,从而增加从的利用率,节省了机器。如下图:

tftp default TFTP port 69. pacman -S tftp-hpa

网卡命名规则 Predictable Network Interface Names 可预测的网络接口命名 自从 v197 systemd/udev 开始，系统可以为本地的 Ethernet、WLAN和WWAN接口自动地分配可预测的、稳定的网络接口名称。该规范脱离了传统的命名机制（eth0,eth1,wlan0等），但是修复了许多问题。 原因 在传统的网络接口命名规则下，是由内核简单地从eth0开始为可被驱动探索到的设备分配名字（eht0,eth1…）。由于这些驱动不能够被现在技术所预测，意味着多个网络接口都可以被分配名为“eth0”、“eth1”这样的名字，这种方式存在一种隐患，就是一种接口可能是以“eth0”启动，但是结束时就变成了“eth1”.不可预测的命名规则存在着严重的安全威胁。 为了修复这个问题，许多方案被提出和实现。很长一段时间，udev都是根据Mac地址来分配永久了“ethX”名字。这导致了很多问题：这需要一个可写的但是通常不允许的root目录；由于系统的无边界性，当root一个OS镜像的时候可能会改变镜像的配置信息；许多系统的Mac地址并不是固定的。其中最大的问题是用户空间和系统内核对设备命名的冲突。 另一种解决方案就是“biosdevname”，该方案通过找到固件中固定的拓扑信息然后利用它们分配固定的接口。这个命名机制同/dev/*/by-path/ symlinks的方式很相似。大多数情况下，biosdevname 从底层的内核设备定位机制中分离了出来。 最后，许多观点迟滞根据用户选择的名字对接口重新命名，切断同Mac和物理位置的联系。这是一个非常好的选择，但是存在一个隐藏的问题就是用户获得了选择和分配这些名字的权利。 我们相信由“biosdevname”机制已领的泛化机制是一个很好的选择。基于固件、拓扑和位置信息分配固定的名字有一个巨大的优势，名字是全自动地、可预测的，即使硬件添加或删除也不影响。 V197添加了什么 systemd 197为许多命名策略新增了许多本地化的支持到 systemd/udevd 并实现了一个类似于“biosdevname”的机制。五种网络接口的命名机制通过udev得到了支持： 1、Names incorporating Firmware/BIOS provided index numbers for on-board devices (example: eno1) 2、Names incorporating Firmware/BIOS provided PCI Express hotplug slot index numbers (example: ens1) 3、Names incorporating physical/geographical location of the connector of the hardware (example: enp2s0) 4、Names incorporating the interfaces’s MAC address (example: enx78e7d1ea46da) 5、Classic, unpredictable kernel-native ethX naming (example: eth0) ...

redis pub sub PubSub 的缺点 尽管 Redis 实现了 PubSub 模式来达到了 多播消息队列 的目的,但在实际的消息队列的领域,几乎 找不到特别合适的场景,因为它的缺点十分明显: 没有 Ack 机制,也不保证数据的连续: PubSub 的生产者传递过来一个消息,Redis 会直接找到相应的消费者传递过去。如果没有一个消费者,那么消息会被直接丢弃。如果开始有三个消费者,其中一个突然挂掉了,过了一会儿等它再重连时,那么重连期间的消息对于这个消费者来说就彻底丢失了。 不持久化消息: 如果 Redis 停机重启,PubSub 的消息是不会持久化的,毕竟 Redis 宕机就相当于一个消费者都没有,所有的消息都会被直接丢弃。 基于上述缺点,Redis 的作者甚至单独开启了一个 Disque 的项目来专门用来做多播消息队列,不过该项目目前好像都没有成熟。不过后来在 2018 年 6 月,Redis 5.0 新增了 Stream 数据结构,这个功能给 Redis 带来了 持久化消息队列,从此 PubSub 作为消息队列的功能可以说是就消失了 redis-cli -h redis.wiloon.com SUBSCRIBE channel0 publish channel0 message0 http://redisbook.readthedocs.io/en/latest/feature/pubsub.html 在消费者下线的情况下,生产的消息会丢失,得使用专业的消息队列如RocketMQ等。 http://blog.csdn.net/lihao21/article/details/48370687 Redis为我们提供了publish/subscribe(发布/订阅)功能。我们可以对某个channel(频道)进行subscribe(订阅),当有人在这个channel上publish(发布)消息时,redis就会通知我们,这样我们可以收到别人发布的消息。 作为Java的redis客户端,Jedis提供了publish/subscribe的接口。本文讲述如何使用Jedis来实现redis的publish/subscribe。 定义Subscriber类 Jedis定义了抽象类JedisPubSub,在这个类中,定义publish/subsribe的回调方法。通过继承JedisPubSub类并重新实现这些回调方法,当publish/subsribe事件发生时,我们可以定制自己的处理逻辑。 在以下例子中,我们定义了Subscriber类,这个类继承了JedisPubSub类,并重新实现了其中的回调方法。 Subscriber.java import redis.clients.jedis.JedisPubSub; public class Subscriber extends JedisPubSub { public Subscriber() { } public void onMessage(String channel, String message) { ...

glide sudo pacman -S glide glide install https://github.com/Masterminds/glide

DNS DNS 的本质是什么？ Domain Name System = DNS (域名系统) 其实是一个数据库,是用于 TCP/IP 程序的分布式数据库,同时也是一种重要的网络协议。DNS储存了网络中的 IP 地址与对应主机的信息,邮件路由信息和其他网络应用方面的信息,用户通过询问解决库 (解决库发送询问并对DNS回应进行说明) 在 DNS 上查询信息。 DNS的作用是什么? DNS是网络分层里的应用层协议,事实上他是为其他应用层协议工作的,简单说就是把域名,或者说主机名转化为IP地址 (同时也提供反向域名查询的功能) ,类似字典,比如访问 www.baidu.com, 实际访问的是它的IP地址,因为机器识别的是拥有固定格式和含义的IP地址,而域名可以千奇百怪,甚至是中文,不利于识别。还有比如公司内部的域验证,通过分配给员工的域账号登录内网就必须通过DNS来找到域名权限服务器,来认证身份,故有些书上说: DNS是因特网世界里不可缺少的东西。 比如,使用host命令进行DNS查询 host命令用来做DNS查询。如果命令参数是域名,命令会输出关联的IP；如果命令参数是IP,命令则输出关联的域名。 http://www.cnblogs.com/kubixuesheng/p/6260195.html dnsmasq http://blog.wiloon.com/?p=8698&embed=true#?secret=4F3Jvk9nTk dns ttl https://jaminzhang.github.io/dns/DNS-TTL-Understanding-and-Config/ 我们有配置域名时,不同情况下,不同业务下,需要增大或减小 DNS TTL 值。这是为什么呢？ 这需要我们重新理解下 DNS TTL 值的含义。 什么是域名的 TTL 值 TTL(Time-To-Live), 就是一条域名解析记录在 DNS 服务器中的存留时间。 当各地的 DNS 服务器接受到解析请求时, 就会向域名指定的 NS 服务器发出解析请求从而获得解析记录； 在获得这个记录之后, 记录会在 DNS 服务器中保存一段时间,这段时间内如果再接到这个域名的解析请求, DNS 服务器将不再向 NS 服务器发出请求, 而是直接返回刚才获得的记录； 而这个记录在 DNS 服务器上保留的时间,就是 TTL 值。 DNS记录中的 ttl 决定了信息的更新频率，如果 ttl 设置为0，每个请求都会发起DNS查询，显然这会造成性能问题，但是DNS的更新、改变延迟会相对非常低 ...

nmap, 网络 扫描 params -v verbose -p port install nmap apt install nmap 扫描一个网段 (使用 ping) nmap -sn xx.xx.xx.xx/24 nmap -sn 192.168.50.0/24 -sn, -sP: -sP 是 -sn 的别名, ping scan, nmap 发现主机之后不扫描端口, 直接返回 主机 IP 地址, (Ping扫描) 选项告诉 Nmap 仅仅 进行 ping 扫描 (主机发现), 然后打印出对扫描做出响应的那些主机。 没有进一步的测试 (如端口扫描或者操作系统探测)。 这比列表扫描更积极, 常常用于 和列表扫描相同的目的。它可以得到些许目标网络的信息而不被特别注意到。 对于管理员来说,了解多少主机正在运行比列表扫描提供的一列IP和主机名往往更有价值。 它可以很方便地得出网络上有多少机器正在运行或者监视服务器是否正常运行。 常常有人称它为 地毯式 ping, 它比ping广播地址更可靠,因为许多主机对广播请求不响应。-sP 选项在默认情况下, 发送一个ICMP 回声请求和一个TCP报文到80端口。 如果非特权用户执行,就发送一个SYN报文 (用connect()系统调用)到目标机的80端口。 当特权用户扫描局域网上的目标机时,会发送ARP请求(-PR), 除非使用了–send-ip选项。 -sP选项可以和除-P0)之外的任何发现探测类型-P* 选项结合使用以达到更大的灵活性。 一旦使用了任何探测类型和端口选项,默认的探测(ACK和回应请求)就被覆盖了。 当防守严密的防火墙位于运行Nmap的源主机和目标网络之间时, 推荐使用那些高级选项。否则,当防火墙捕获并丢弃探测包或者响应包时,一些主机就不能被探测到。 ...

nc 命令检查远程端口是否打开 https://linux.cn/article-8186-1.html 使用 nc 命令检查远程端口是否打开 编译自: http://www.tecmint.com/check-remote-port-in-linux/作者: Aaron Kili 原创: LCTT https://linux.cn/article-8186-1.html译者: geekpi 本文地址: https://linux.cn/article-8186-1.html 2017-02-09 11:50 评论: 4 收藏: 5 端口是与 Linux 操作系统上的应用或进程的通讯端点的逻辑实体。在使用之前,了解目标机器上哪些端口是打开并正在运行服务是非常有用的。 我们可以使用 netstat 或其他几个 Linux 命令如 NMAP 在本地机器上轻松地列出 Linux 中的打开端口。 在本指南中,我们将向你展示如何使用简单的 netcat (简称 nc) 命令来确定远程主机上的端口是否可访问/打开。 netcat (或简称 nc) 是一个功能强大且易于使用的程序,可用于 Linux 中与 TCP、UDP 或 UNIX 域 socket 相关的任何事情。 yum install nc [在 CentOS/RHEL 中] dnf install nc [在 Fedora 22+ 中] $ sudo apt-get install netcat [在 Debian/Ubuntu 中] 我们可以使用它: 打开 TCP 连接、侦听任意 TCP 和 UDP 端口、发送 UDP 数据包、在 IPv4 和 IPv6 进行端口扫描。 ...

test for a specific port from Linux, shell> telnet> netcat> socat 使用 Telnet 验证端口的连通性 打开命令行模式。具体方法,请参考打开命令或 Shell 提示符 (2076587) (Opening a command or shell prompt (1003892))。 在命令行窗口键入 telnet 192.168.50.1 1025 # 标准的 telnet 命令本身没有直接参数用于设置超时时间 timeout 10 telnet 192.168.1.1 80 端口已打开 Connected to localhost. Escape character is '^]'. 220 archx1 Mailpit ESMTP Service ready 端口未打开 Trying 192.168.50.1... telnet: Unable to connect to remote host: Connection refused 其中 server 是服务器的主机名或IP地址,port 是您想要连接的端口号。 按回车。 注: 要离开 Telnet 应用程序,请键入 Ctrl + ], 然后键入 quit。 ...

CGI CGI: 全拼(Common Gateway Interface)是能让web服务器和CGI脚本共同处理客户的请求的协议。Web服务器把请求转成CGI脚本,CGI脚本执行回复Web服务器,Web服务回复给客户端。 CGI fork一个新的进程来执行,读取参数,处理数据,然后就结束生命期。 FastCGI采用tcp链接,不用fork新的进程,因为程序启动的时候就已经开启了,等待数据的到来,处理数据。 CGI的一些知识点 2012-12-24 11:31 by 轩脉刃, 4325 阅读, 3 评论, 收藏, 编辑 CGI(Common Gateway Interface)是能让web服务器和CGI脚本共同处理客户的请求的协议。它的协议定义文档是http://www.ietf.org/rfc/rfc3875。 其中Web服务器负责管理连接,数据传输,网络交互等。至于CGI脚本就负责管理具体的业务逻辑。 Web服务器的功能是将客户端请求 (HTTP Request) 转换成CGI脚本请求,然后执行脚本,接着将CGI脚本回复转换为客户端的回复 (HTTP Response) 。 CGI的脚本请求有两部分: 请求元数据 (request meta-variables) 和相关的消息体 (message-body) 。 请求元数据 包含: "AUTH_TYPE" | "CONTENT_LENGTH" | "CONTENT_TYPE" | "GATEWAY_INTERFACE" | "PATH_INFO" | "PATH_TRANSLATED" | "QUERY_STRING" | "REMOTE_ADDR" | "REMOTE_HOST" | "REMOTE_IDENT" | "REMOTE_USER" | "REQUEST_METHOD" | "SCRIPT_NAME" | "SERVER_NAME" | "SERVER_PORT" | "SERVER_PROTOCOL" | "SERVER_SOFTWARE" | scheme | protocol-var-name | extension-var-name 下面一个一个看: ...

QUIC 读作 “quick” QUIC (Quick UDP Internet Connection） Quic 是一个通用的基于UDP的传输层网络协议, 其目的是为了在网络层代替 TCP。 QUIC旨在提供几乎等同于TCP连接的可靠性，但延迟大大减少, 提供与TLS/SSL相当的安全性 QUIC 是 Google 制定的一种互联网传输层协议，它基于UDP传输层协议，同时兼具TCP、TLS、HTTP/2等协议的可靠性与安全性，可以有效减少连接与传输延迟，更好地应对当前传输层与应用层的挑战。目前阿里云 CDN 线上提供 QUIC 版本服务，已经有 Tbps 级别的流量承载，并对客户来带了显著的延迟收益。本文将由低向上分层讨论 QUIC 协议的特点。 QUIC协议在当前Chrome版本中被默认开启，活跃的会话可以用 chrome://net-export/ 导出, 再导入分析工具 https://netlog-viewer.appspot.com/ 查看。 HTTP/3就是基于QUIC协议的 chrome dev tool 里 “h3-29”表示是QUIC请求 目前常见的实现有Google的quiche，微软的msquic，mozilla的neqo，以及基于go语言的quic-go等。 什么是QUIC QUIC (Quick UDP Internet Connections）是一种实验性传输层网络协议，提供与TLS/SSL相当的安全性，同时具有更低的连接和传输延迟。QUIC基于UDP，因此拥有极佳的弱网性能，在丢包和网络延迟严重的情况下仍可提供可用的服务。QUIC在应用程序层面就能实现不同的拥塞控制算法，不需要操作系统和内核支持，这相比于传统的TCP协议，拥有了更好的改造灵活性，非常适合在TCP协议优化遇到瓶颈的业务。 Quic 相比现在广泛应用的 http2+tcp+tls 协议有如下优势： 减少了握手的延迟 (1-RTT 或 0-RTT）, 连接创建期间大大减少开销, 减少了 TCP 三次握手及 TLS 握手时间。 改进的拥塞控制 – 拥塞控制移到了用户空间 在QUIC级别而不是UDP级别重传丢失的数据 避免队头阻塞的多路复用。 QUIC与HTTP/2的多路复用连接协同工作，允许多个数据流独立到达所有端点，因此不受涉及其他数据流的丢包影响。相反，HTTP/2创建在传输控制协议 (TCP）上，如果任何一个TCP数据包延迟或丢失，所有多路数据流都会遭受队头阻塞延迟。 连接迁移 (Connection Migration） QUIC包含一个连接标识符，该标识符唯一地标识客户端与服务器之间的连接，而无论源IP地址是什么。这样只需发送一个包含此ID的数据包即可重新创建连接，因为即使用户的IP地址发生变化，原始连接ID仍然有效。 QUIC连接未严格绑定到单个网络路径上。连接迁移使用连接标识符来允许连接转移到新的网络路径。在这个版本的QUIC中，只有客户端能够进行迁移。此设计还允许在网络拓扑或地址映射发生变化 (如NAT重新绑定可能引起的变化）后继续连接。 ...

linux shell ctrl – s ctrl+c 结束正在运行的程序【ping、telnet等】 ctrl+d 结束输入或退出shell ctrl+s 暂停屏幕输出 ctrl+q 恢复屏幕输出 ctrl+l 清屏,【是字母L的小写】等同于Clear http://www.tsingpost.com/articles/201405/828.html http://blog.csdn.net/absurd/article/details/593881

linux git gui https://git-scm.com/book/zh/v2/Appendix-A%3A-%E5%85%B6%E5%AE%83%E7%8E%AF%E5%A2%83%E4%B8%AD%E7%9A%84-Git-%E5%9B%BE%E5%BD%A2%E7%95%8C%E9%9D%A2 gitk git gui

git proxy # http proxy git config http.proxy 'http://192.168.50.xx:80' git config --global http.proxy http://proxy.mycompany:80 # socks5 proxy # project git config http.proxy 'socks5://192.168.50.4:10800' git config https.proxy 'socks5://192.168.50.4:10800' # global git config --global http.proxy 'socks5://192.168.50.90:1080' git config --global https.proxy 'socks5://192.168.50.90:1080' git config --global --unset http.proxy git config --global --unset https.proxy npm config delete proxy https://gist.github.com/laispace/666dd7b27e9116faece6 https://www.jianshu.com/p/739f139cf13c