CzmMiao的博客生活
czmmiao · 共 634 篇文章
[置顶] 工作大事记(原创)
2010-09 上班。主要从事移动业务系统的运维和主机、数据库的管理,对于初出茅庐的我能接触如此专业的系统和友善的同事实属幸运。 2010-11 加班。由于新领导的好大喜功招来了总局的检查,全省上下200多号人为他一个人擦屁股。连续3天加班到3、4点,不停的处理数据,做报表,第一次体会到加班到半夜的感觉,很累也很充实。 2010-11 出差。刚加班完就被派到外地去学习,有点累,不过第一次出差什么事都新鲜,刚巧出差地方还有久违的朋友,玩得不算开心,不过着实新鲜。 2011-05 独立。部门老大让我去配置一个linux的ha,出于想表现的心理,之前连听都没听说过的我硬着头皮接下来。接着就是没日没…
2012-11-21 19:42 · 生活和工作 · 评论(8)
[置顶] DBA日常维护SQL整理(原创)
database 概况信息检查 # 检查 database 基本信息 select * from v$version; select name ,open_mode,log_mode from v$database; select instance_number,instance_name ,status from gv$instance; show parameter cpu_count show parameter block_size select group#,thread#,members,bytes/1024/1024 from gv$log; show sga select c…
2011-12-05 17:46 · Oracle日常管理 · 评论(2)
Spark: 内存管理
Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络,抛砖引玉,引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本,阅读本文需要读者有一定的 Spark 和 Java 基础,了解 RDD、Shuffle、JVM 等相关概念。 在执行 Spark 的应用程序时,Spark 集群会启动 Driver 和 Executor 两种 JVM 进程,前者为主控进程,负责创建 Spark 上下文,提交 Sp…
2020-03-15 10:05 · Hadoop大数据 · 评论(0)
弄明白python reduce 函数
reduce() 函数在 python 2 是内置函数, 从python 3 开始移到了 functools 模块。 官方文档是这样介绍的 reduce(...) reduce(function, sequence[, initial]) -> value Apply a function of two arguments cumulatively to the items of a sequence,from left to right, so as to reduce the sequence to a single value. For example, reduce(lambda x…
2020-03-02 00:22 · Python · 评论(0)
Python中函数的参数传递与可变长参数
1.Python中也有像C++一样的默认缺省函数 1 def foo(text,num=0): 2 print text,num 3 4 foo("asd") #asd 0 5 foo("def",100) #def 100 定义有默认参数的函数时,这些默认值参数位置必须都在非默认值参数后面。 调用时提供默认值参数值时,使用提供的值,否则使用默认值。 2.Python可以根据参数名传参数 1 def foo(ip,port): 2 print "%s:%d" % (ip,port) 3 4 foo("192.168.1.0",3306) #192.168.1.0:3306 5 foo(por…
2020-02-26 19:11 · Python · 评论(0)
Python的itertools
itertools 我们知道,迭代器的特点是:惰性求值(Lazy evaluation),即只有当迭代至某个值时,它才会被计算,这个特点使得迭代器特别适合于遍历大文件或无限集合等,因为我们不用一次性将它们存储在内存中。 Python 内置的 itertools 模块包含了一系列用来产生不同类型迭代器的函数或类,这些函数的返回都是一个迭代器,我们可以通过 for 循环来遍历取值,也可以使用 next() 来取值。 itertools 模块提供的迭代器函数有以下几种类型: 无限迭代器:生成一个无限序列,比如自然数序列 1, 2, 3, 4, ...; 有限迭代器:接收一个或多个序列(sequen…
2020-02-25 22:27 · Python · 评论(0)
Python中的lambda 表达式
在不讨论 lambda 表达式的情况下, 我很难深入地讲授 Python 类. 我经常遇到有关它们的问题. 学生们往往会在 StackOverflow 或者他们同事的代码中(实际上, 这个也可能来自StackOverflow)碰到他们. 我对 lambda 有很多的疑问, 我很犹豫是否要推荐学生接受 Python lambda 表达式. 多年来我一直都很厌恶 lambda 表达式, 自从几年前我开始频繁教授 Python 后, 我对它的厌恶与日俱增. 我将会说明我对 lambda 表达式的看法, 以及为何我倾向于建议学生们避免使用它. 更多Python视频、源码、资料加群683380553免…
2020-02-25 00:40 · Python · 评论(0)
kudu命令详解
kudu tablet kudu tablet leader_step_down <master_addresses> <tablet_id> 功能:强制使<tablet_id>的leader step down(即强制使现在的leader节点变为follower节点) kudu tablet leader_step_down 10.110.18.102:7051,10.110.18.184:7051,10.110.18.185:7051 08c7def983394ff3ac64b5292dfb5dea 1 kudu tablet change_config add_replica <mas…
2019-11-30 12:28 · Hadoop大数据 · 评论(0)
CDH 5.13 Quickstart安装Spark2.2
在先前装的CDH5.14集群中,默认安装的spark是1.6.0版本。我们现在可以现有的集群中再装spark2.x版本,能和spark1.6版本并存。 当前CDH支持的Spark2.X最新版本是Spark2.3.0,目前Apache Spark最近版本是2.3.1,即CDH的版本更新是慢半拍的,但基本上不影响使用。 下面是在CDH中安装Spark2.3的步骤: 这是官方给出安装和升级方法说明: https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html 一. 安装准备 1. 下载所需的安…
2018-12-07 09:24 · Hadoop大数据 · 评论(0)
Impala中的invalidate metadata和refresh
前言 Impala采用了比较奇葩的多个impalad同时提供服务的方式,并且它会由catalogd缓存全部元数据,再通过statestored完成每一次的元数据的更新到impalad节点上,Impala集群会缓存全部的元数据,这种缓存机制就导致通过其他手段更新元数据或者数据对于Impala是无感知的,例如通过hive建表,直接拷贝新的数据到HDFS上等,Impala提供了两种机制来实现元数据的更新,分别是INVALIDATE METADATA和REFRESH操作,本文将详细介绍这两个操作。 使用方式 INVALIDATE METADATA是用于刷新全库或者某个表的元数据,包括表的元数据和表内…
2018-12-03 14:25 · Hadoop大数据 · 评论(0)
Hadoop Shell命令
FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是 scheme://authority/path 。对HDFS文件系统,scheme是 hdfs ,对本地文件系统,scheme是 file 。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如*/parent/child 可以表示成 hdfs://namenode:namenodeport/parent/child*,或者更简单的*/par…
2018-12-01 21:15 · Hadoop大数据 · 评论(0)
Oracle 11g、12c大量错误登陆尝试带来的数据库异常
APPLIES TO: Oracle Database - Enterprise Edition - Version 10.2.0.5 and later Information in this document applies to any platform. CAUSE A hang is possible in earlier versions of RDBMS as a result of an unpublished bug fixed in the following versions: 12.1.0.1 (Base Release) 11.2.0.2 (Server Patch…
2018-07-16 09:21 · Oracle日常管理 · 评论(0)
Linux OOM机制介绍
Linux系统运行过程中,有时候会在message中看到Out of memory,并kill某个进程的信息。这篇文章讲的就是OOM机制的原理以及其核心配置参数。 内核版本基于centos6使用的linux-2.6.32。 OOM(Out Of Memory)机制为Linux内核中一种自我保护机制,当系统分配不出内存时(触发条件)会触发这个机制,由系统在已有进程中挑选一个占用内存较多,回收内存收益最大的进程杀掉来释放内存。 Linux下允许程序申请比系统可用内存更多的内存(如malloc函数),这个特性叫Overcommit。这么做是出于优化系统的考虑,因为并不是所有的程序申请了内存就立刻使…
2018-06-06 11:27 · Linux/Unix日常管理 · 评论(0)
如何定位那些SQL产生了大量的redo日志
在ORACLE数据库的管理、维护过程中,偶尔会遇到归档日志暴增的情况,也就是说一些SQL语句产生了大量的redo log,那么如何跟踪、定位哪些SQL语句生成了大量的redo log日志呢? 下面这篇文章结合实际案例和官方文档“How to identify the causes of High Redo Generation (文档 ID 2265722.1)”来实验验证一下。 首先,我们需要定位、判断那个时间段的日志突然暴增了,注意,有些时间段生成了大量的redo log是正常业务行为,有可能每天这个时间段都有大量归档日志生成,例如,有大量作业在这个时间段集中运行。 而要分析突然、异常的…
2018-05-15 14:38 · Oracle日常管理 · 评论(0)
When Memory_target Is Set and Swap Size Is Not Big (Doc ID 2356025.1)
Kkjcre1p: unable to spawn jobq slave process Happened Intermittently When Memory_target Is Set and Swap Size Is Not Big (Doc ID 2356025.1) To Bottom In this Document Symptoms Cause Solution References APPLIES TO: Oracle Database - Enterprise Edition - Version 11.2.0.1 to 12.2.0.1 [Release 11.2 to 1…
2018-03-16 18:13 · Oracle日常管理 · 评论(0)