月度存档: 九月 2012

hadoop 学习笔记——HDFS文件系统

特点:一次写入,多次读取

不适合的领域:

1.低时间延迟的数据访问

2.大量小文件

3.多用户写入,任意修改文件 继续阅读 »

php 编写 mapreduce 入门[转]

用PHP写hadoop的mapreduce程序

Hadoop本身是Java写的,所以,给hadoop写mapreduce,人们会自然地想到java

但hadoop里面有个contrib叫做hadoop streaming,这是一个小工具,为hadoop提供streaming支持,使得任何支持标准IO (stdin, stdout)的可执行程序都能成为hadoop的mapper 或者 reducer

例如:hadoop jar hadoop-streaming.jar -input SOME_INPUT_DIR_OR_FILE -output SOME_OUTPUT_DIR -mapper /bin/cat -reducer /usr/bin/wc 继续阅读 »

hadoop 学习笔记——MapReduce

map函数用来按照自定义的规则在一堆数据中获取需要的数据,并以key/value的形式输出

map 到reduce 之间有个排序的过程书上用用sort表示

reduce函数用来按照 map 函数输出的按照用户的自定义规则 计算获取目标信息

hadoop 将输入的数据分为多个等长的数据(默认用哈希算法,64M),简称”分片“. 继续阅读 »

CentOS下Hadoop安装配置教程

1、安装JDK

(1)下载安装JDK:确保计算机联网之后命令行输入下面命令安装JDK
sudo apt-get install sun-java6-jdk
(2)配置计算机Java环境:打开/etc/profile,在文件最后输入下面内容
export JAVA_HOME = (Java安装目录)
export CLASSPATH = “.:$JAVA_HOME/lib:$CLASSPATH”
export PATH = “$JAVA_HOME/:PATH”
(3)验证Java是否安装成功
输入 java -version ,输出Java版本信息即为安装成功。 继续阅读 »

CentOS 安装jdk1.7 64位

# wget http://download.oracle.com/otn-pub/java/jdk/7u3-b04/jdk-7u3-linux-x64.rpm
–2012-02-28 00:13:34– http://download.oracle.com/otn-pub/java/jdk/7u3-b04/jdk-7u3-linux-x64.rpm
正在解析主机 download.oracle.com… 63.97.94.56, 63.97.94.80
Connecting to download.oracle.com|63.97.94.56|:80… 已连接。
已发出 HTTP 请求,正在等待回应… 200 OK 继续阅读 »

LVS的3种模式

一、Virtual server via NAT(VS-NAT)

优点:集群中的物理服务器可以使用任何支持TCP/IP操作系统,物理服务器可以分配Internet的保留私有地址,只有负载均衡器需要一个合法的IP地址。 继续阅读 »

Linux环境下MySQL服务器级优化

普通的MySQL用户利用表创建和索引操作,以及利用查询的编写能够进行的优化。不过,还有一些只能由MySQL管理员和系统管理员来完成的优化,这些管理员在MySQL服务器或运行MySQL的机器上具有控制权。有的服务器参数直接适用于查询处理,可将它们打开。而有的硬件配置问题直接影响查询处理速度,应该对它们进行调整。

磁盘问题 继续阅读 »

curl 安装遇到的问题

今天安装一个curl扩展太坑爹了,按照教程死活都安装不成功,在phpinfo里面没看到,结果加一个make clean 就ok了

执行下 make clean
/usr/local/php5/bin/phpize
./configure –with-curl –with-php-config=/usr/local/php/bin/php-config
make
make install

linux setuid 让命令具有root权限

setuid 和setgid位是让普通用户可以以root用户的角色运行只有root帐号才能运行的程序或命令。比 如我们用普通用户运行passwd命令来更改自己的口令,实际上最终更改的是/etc/passwd文件我们知道/etc/passwd文件是用户管理的 配置文件,只有root权限的用户才能更改

[root@localhost ~]# ls -l /etc/passwd 继续阅读 »

SHELL 编程注意要点

#!/bin/sh        //说明使用哪种shell

#this is a test //说明这个shell是干什么的

$号的特别用法
#!/bin/sh
# this is a test about $

echo ‘$# is:’ $# //显示参数个数

echo ‘$* is:’ $* //显示所有参数 继续阅读 »