一、ROWID概述
oracle数据库的表中的每一行数据都有一个唯一的标识符,或者称为rowid,在oracle内部通常就是使用它来访问数据的。rowid需要 个字节的存储空间,并用个字符来显示。该值表明了该行在oracle数据库中的物理具体位置。可以在一个查询中使用rowid来表明查询结果中包含该值。
保存rowid需要个字节或者是个位二进制位。这个二进制位分别是:
1. 数据对象编号,表明此行所属的数据库对象的编号,每个数据对象在数据库建立的时候都被唯一分配一个编号,并且此编号唯一。数据对象编号占用大约位。
2. 对应文件编号,表明该行所在文件的编号,表空间的每一个文件标号都是唯一的。文件编号所占用的位置是位。
3. 块编号,表明改行所在文件的块的位置块编号需要位。
4. 行编号,表明该行在行目录中的具体位置行编号需要位。
这样加起来就是位。
Oracle的物理扩展ROWID有位,每位采用位编码,分别用A~Z、a~z、0~9、+、/共个字符表示。A表示0,B表示1,……Z表示,a表示,……z表示,0表示,……,9表示,+表示,/表示。
例如:
select rowid,empid from scott.emp;
将会得到结果:
select rowid,empno from scott.emp;
ROWID EMPNO
------------------ ----------
AAAR3sAAEAAAACXAAA
AAAR3sAAEAAAACXAAB
AAAR3sAAEAAAACXAAC
AAAR3sAAEAAAACXAAD
AAAR3sAAEAAAACXAAE
AAAR3sAAEAAAACXAAF
AAAR3sAAEAAAACXAAG
AAAR3sAAEAAAACXAAH
AAAR3sAAEAAAACXAAI
AAAR3sAAEAAAACXAAJ
AAAR3sAAEAAAACXAAK
这里的AAAR3s是数据库对象编号,AAE是文件标号,AAAACX是块编号,最后三位(empno = 时为AAN)是行编号。
据下面的查询结果:
SQL> select FILE_ID as fid,FILE_NAME from dba_data_files where TABLESPACE_NAME='USERS' ;
FID FILE_NAME
---------- ---------------------------------------------
4 D:\APP\WANGXUWEI\ORADATA\ORCL\USERS01.DBF
我们可看出FILE_ID=4,就是ROWID中AAE。
通过dbms_rowid包,可以直接得到具体的rowid包含的信息:
SQL> select dbms_rowid.rowid_object(rowid) object_id,dbms_rowid.rowid_relative_fno(rowid) file_id,dbms_rowid.rowid_block_number(rowid) block_id,dbms_rowid.rowid_row_number(rowid) row_number from emp;
OBJECT_ID FILE_ID BLOCK_ID ROW_NUMBER
---------- ---------- ---------- ----------
0
1
2
3
4
5
6
7
8
9
OBJECT_ID FILE_ID BLOCK_ID ROW_NUMBER
---------- ---------- ---------- ----------
已选择行。
我们可验算如下:=AAAR3s=××+×+
=AAAACX=2×+
最后一条记录编号AAN =
通过dbms_rowid包,还可以查询到表或记录所在的文件
SQL> select file_name, file_id from dba_data_files where file_id in (select distinct dbms_rowid.rowid_relative_fno(rowid) from scott.emp);
FILE_NAME FILE_ID
--------------------------------------------- ----------
D:\APP\WANGXUWEI\ORADATA\ORCL\USERS01.DBF 4
使用describle(或简写为desc)命令查看表结构时,输出结果中是不能看到rowid这里一列的,这是因为这一列只在数据库内部使用,rowid通常被称为一个伪列。在某些oracle数据库操作的IDE(例如golden)中使用这些工具自带的数据编辑功能时,必须指定rowid列才能完成,例如如果想选择
scott.emp的数据后进行手工修改,则必须使:select rowid,t.* from scott.emp t;
而不能直接写成:select * from emp;
- ROW的计算方法
、Rowid的显示形式
我们从rowid伪列里select出来的rowid是基于base64编码,一共有位,分为4部分:OOOOOOFFFBBBBBBRRR
其中:
OOOOOO: 六位表示data object id,根据object id可以确定segment。关于data object id和object id的区别,请参考
FFF: 三位表示相对文件号。根据该相对文件号可以得到绝对文件号,从而确定datafile。关于相对文件号和绝对文件号,请参考
http://blog.itpub.net/post//
BBBBBB:六位表示data block number。这里的data block number是相对于datafile的编号,而不是相对于tablespace的编号。
RRR:三位表示row number。
Oracle提供了dbm_rowid来进行rowid的一些转换计算。
SQL> create table test(id int,name varchar2());
Table created.
SQL> insert into test values(1,'a');
1 row created.
SQL> commit;
Commit complete.
SQL> select rowid from test;
ROWID
------------------
AAAGbEAAHAAAAB8AAA
SQL> select dbms_rowid.rowid_object(rowid) obj#,
2 dbms_rowid.rowid_relative_fno(rowid) rfile#,
3 dbms_rowid.rowid_block_number(rowid) block#,
4 dbms_rowid.rowid_row_number(rowid) row#,
5 dbms_rowid.rowid_to_absolute_fno(rowid,'SYS','TEST') file#
6 from test;
OBJ# RFILE# BLOCK# ROW# FILE#
----------- ------------ ------------- ---------- ----------
、如何从rowid计算得到obj#,rfile#,block#,row#
rowid是base64编码的,用A~Z a~z 0~9 + /共个字符表示。A表示0,B表示1,……,a表示,……,0表示,……,+表示,/表示可以将其看做一个进制的数。
所以,
obj#=AAAGbE=6*^2+*+4=
rfile#=AAH=7
block#=AAAAB8=+=
row#=AAA=0
、如何从obj#,rfile#,block#,row#计算得到rowid
实际上就是将十进制数转化成进制数,当然,从二进制转化的规则比较简单点。
将二进制数从右到左,6个bit一组,然后将这6个bit组转成进制数,就是A~Z a~z 0~9 + /这个字符的位置(从0开始),替换成base64的字符即可。
obj#====G b E,补足成6位base64编码,左边填0,也就是A,结果为AAAGbE
rfile#=7==7=H,补足成3位,得到AAH
block#====B 8,补足成6位,得到AAAAB8
row#=0,3位AAA
合起来就是AAAGbEAAHAAAAB8AAA
、Rowid的内部存储格式
虽然我们从rowid伪列中select出来的rowid是以base64字符显示的,但在oracie内部存储的时候还是以原值的二进制表示的。一个扩展rowid采用个byte来存储,共80bit,其中obj#32bit,rfile#10bit,block#22bit,row#16bit。所以相对文件号不能超过,也就是一个表空间的数据文件不能超过个(不存在文件号为0的文件),一个datafile只能有2^=4M个block,,一个block中不能超过2^=64K行数据。而一个数据库内不能有超过2^=4G个object。
SQL> select dump(rowid,) from test;
DUMP(ROWID,)
--------------------------------------------
Typ= Len=: 0,0,,c4,1,c0,0,7c,0,0
最右边16bit为row#==0
接下来22bit为block#= =
接下来10bit为rfile#==7
接下来32bit为obj#= =
、Index中存储的rowid
a. 普通B-tree索引
SQL> create index ix_test on test(id);
Index created.
SQL> select file_id,block_id from dba_extents where segment_name='IX_TEST' and owner=user;
FILE_ID BLOCK_ID
---------- ----------
---由于是assm表空间,去掉3个block的头
SQL> alter system dump datafile 1 block ;
System altered.
得到trace文件内容如下(省略无关内容):
row#0[] flag: -----, lock: 0
col 0; len 2; (2): c1 ---索引键数据ID=1
col 1; len 6; (6): c0 7c ---对应的rowid记录
----- end of leaf block dump -----
End dump data blocks tsn: 7 file#: 7 minblk maxblk
普通索引中保存的rowid是不包括obj#的,但是分区表的global index是包括obj#的,这是因为分区表包括多个segment,每个segment可能在不同的datafile中,根据表的obj#就无法确定该索引键对应的rowid(rfile#确定不了)。
c0 7c 转化为二进制
右边8bit row#=0
接下来22bit block#= =
接下来10bit rfile#==7
b.唯一索引
SQL> drop index ix_test;
Index dropped.
SQL> create unique index ix_test on test(id);
Index created.
SQL> select file_id,block_id from dba_extents where segment_name='IX_TEST' and owner=user;
FILE_ID BLOCK_ID
---------- ----------
SQL> alter system dump datafile 1 block ;
System altered.
得到trace文件内容如下:
row#0[] flag: -----, lock: 0, data:(6): c0 7c ---对应的rowid记录
col 0; len 2; (2): c1 ---索引键数据ID=1
----- end of leaf block dump -----
End dump data blocks tsn: 7 file#: 7 minblk maxblk
得到rowid为 c0 7c ,具体的转换计算和前面的一样,就不重复了。
三、DBMS_ROWID使用详解
DBMS_ROWID包允许我们使用PL/SQL程序或SQL语句创建rowids和获取rowid的信息。例如可以通过其找到数据对象编号,数据文件编号,包含数据行的数据块编号及数据块中的数据行。该包从Oracle 8.X开始可用。DBMS_ROWID的几个子函数程序:
、ROWID_BLOCK_NUMBER函数(该函数返回输入ROWID的数据块编号)
语法:
DBMS_ROWID.ROWID_BLOCK_NUMBER(
row_id IN ROWID,
ts_type_in IN VARCHAR2 DEFAULT 'SMAILLFILE')
返回值是number类型。
参数:
row_id:被转换的rowid。
ts_type_in:数据行所在表空间类型,默认是SMALLFILE,即小数据文件表空间。
举例:
SQL> select
dbms_rowid.rowid_block_number(rowid,'smallfile') block_id from emp where rownum <=3;
BLOCK_ID
----------
、ROWID_CREATE函数(返回一个基于单独行的rowid)
语法:
DBMS_ROWID.ROWID_CREATE (
rowid_type IN NUMBER,
object_number IN NUMBER,
relative_fno IN NUMBER,
block_number IN NUMBER,
row_number IN NUMBER)
参数:
rowid_type:rowid类型(restricted或者extended)。设置rowid_type为0时,代表restricted ROWID(此时,将忽略参数object_number):设置rowid_type为1时,代表extended ROWID。
object_number:数据对象编号(仅restricted类型rowid可用)。
relative_fno:所在数据文件编号。
block_number:该数据文件中的数据块编号。
row_number:在该块中的行编号。
举例:
创建restricted ROWID
SQL> select dbms_rowid.rowid_create(0,,,,) from dual;
DBMS_ROWID.ROWID_C
------------------
000003E8.000D.000C
创建extended ROWID
SQL> select dbms_rowid.rowid_create(1,,,,) from dual;
DBMS_ROWID.ROWID_C
------------------
AAACcPAAMAAAAPoAAN
、ROWID_INFO过程(该过程返回一个ROWID的相关信息,包括类型和ROWID的一些其他部分,注意:这时一个存储过程,不能在SQL语句中使用)
语法:
DBMS_ROWID.ROWID_INFO (
rowid_in IN ROWID, --输入参数
ts_type_in IN VARCHAR2 DEFAULT 'SMALLFILE', --输入参数
rowid_type OUT NUMBER, --out代表输出参数
object_number OUT NUMBER,
relative_fno OUT NUMBER,
block_number OUT NUMBER,
row_number OUT NUMBER);
参数:
rowid_in:ROWID to be interpreted. This determines if the ROWID is a restricted (0) or extended (1) ROWID.
ts_type_in:The type of the tablespace (bigfile/smallfile) to which the row belongs.
rowid_type:Returns type (restricted/extended).
object_number:Returns data object number (rowid_object_undefined for restricted).
relative_fno:Returns relative file number.
block_number:Returns block number in this file.
row_number:Returns row number in this block.
举例:
SQL> set serverout on
SQL> declare
2 my_rowid rowid;
3 rowid_type number;
4 object_number number;
5 relative_fno number;
6 block_number number;
7 row_number number;
8 begin
9 my_rowid :=dbms_rowid.rowid_create(1, ,1,,0);
dbms_rowid.rowid_info(my_rowid, rowid_type, object_number,
relative_fno, block_number, row_number);
dbms_output.put_line('ROWID: ' || my_rowid);
dbms_output.put_line('Object#: ' || object_number);
dbms_output.put_line('RelFile#: ' || relative_fno);
dbms_output.put_line('Block#: ' || block_number);
dbms_output.put_line('Row#: ' || row_number);
end;
/
ROWID: AAABrdAABAAAFyqAAA
Object#:
RelFile#: 1
Block#:
Row#: 0
PL/SQL procedure successfully completed.
、ROWID_OBJECT函数(该函数返回扩展ROWID的数据对象编号,如果输入的ROWID类型为restricted,则该函数返回值为0)
语法:
DBMS_ROWID.ROWID_OBJECT (rowid_id IN ROWID)
举例:
SQL> select dbms_rowid.rowid_object(ROWID) from T1;
DBMS_ROWID.ROWID_OBJECT(ROWID)
------------------------------
、ROWID_RELATIVE_FNO函数(该函数根据输入的ROWID值,返回其所在数据文件编号)
语法:
DBMS_ROWID.ROWID_RELATIVE_FNO (
rowid_id IN ROWID,
ts_type_in IN VARCHAR2 DEFAULT 'SMALLFILE')
RETURN NUMBER;
举例:
SQL> select
dbms_rowid.rowid_relative_fno(ROWID) FILE# from T1;
FILE#
----------
6
6
、ROWID_ROW_NUMBER函数(该函数根据输入的ROWID提取出行(row)号)
语法:
DBMS_ROWID.ROWID_ROW_NUMBER (row_id IN ROWID)
RETURN NUMBER;
举例:
SQL> select
dbms_rowid.rowid_row_number(ROWID) ROW_NUM from T1;
ROW_NUM
----------
0
1
、ROWID_TO_ABSOLUTE_FNO函数(从输入的ROWID中提取出其所在完全文件号)
语法:
DBMS_ROWID.ROWID_TO_ABSOLUTE_FNO (
row_id IN ROWID,
schema_name IN VARCHAR2,
object_name IN VARCHAR2)
RETURN NUMBER;
举例:
SQL> select
dbms_rowid.rowid_to_absolute_fno(rowid,'LIGLE','T1') FROM T1;
DBMS_ROWID.ROWID_TO_ABSOLUTE_FNO(ROWID,'LIGLE','T1')
----------------------------------------------------
6
6
、ROWID_TYPE函数(返回ROWID的类型,返回0代表restricted ROWID;返回1代表extended ROWID)
语法:
DBMS_ROWID.ROWID_TYPE (
rowid_id IN ROWID)
RETURN NUMBER;
举例:
SQL> select dbms_rowid.rowid_type(rowid) from t1;
DBMS_ROWID.ROWID_TYPE(ROWID)
----------------------------
1
1
还有几个函数,用时查下文档就可以了,都比较简单。
四、ROWID作用
、根据rowid来分页
--rowid分页,第一步
select rowid rid,sal from emp order by sal desc;
--rowid分页,第二步
select rownum rn,rid from( select rowid rid,sal from emp order by sal desc ) where rownum<;
--rowid分页,第三步
select rid from(select rownum rn,rid from(select rowid rid,sal from emp order by sal desc) where rownum<) where rn>5;
--rowid分页,第四步
select * from emp where rowid in(select rid from(select rownum rn,rid from(select rowid rid,sal from emp order by sal desc) where rownum<) where rn>5);
****************************************************
第一层:获取数据物理地址
第二层:取得最大页数
第三层:取得最小页数
第四层:因为取得的页数都是物理地址,再根据物理地址,插叙出具体数据
、根据rowid删除数据和去重
根据ROWID快速去重
DELETE FROM EMP WHERE (ID, ROWID )IN(
SELECT ID, MIN(ROWID) RI FROM EMP
GROUP BY ID
HAVING COUNT(1) >1)
、根据rowid进行极速分页
利用Oracle存储的特性生成分页,优点是存储非常快,缺点是分页不均匀。
SELECT DBMS_ROWID.ROWID_CREATE(1,
B.DATA_OBJECT_ID,
A.RELATIVE_FNO,
A.BLOCK_ID,
0) ROWID1,
DBMS_ROWID.ROWID_CREATE(1,
B.DATA_OBJECT_ID,
A.RELATIVE_FNO,
A.BLOCK_ID + BLOCKS - 1,
) ROWID2
FROM DBA_EXTENTS A, DBA_OBJECTS B
WHERE A.SEGMENT_NAME = B.OBJECT_NAME
AND A.OWNER = B.OWNER
AND B.OBJECT_NAME = 'TEST'
AND B.OWNER = 'SCOTT';
、根据rowid进行均匀分页
利用Oracle存储的特性生成分页,优点是分页很均匀,,缺点是分页速度很慢。
select 'where rowid between ''' ||
sys.dbms_rowid.rowid_create(1, d.oid, c.fid1, c.bid1, 0) ||
''' and ''' ||
sys.dbms_rowid.rowid_create(1, d.oid, c.fid2, c.bid2, ) || '''' || ';'
from (select distinct b.rn,
first_value(a.fid) over(partition by b.rn order by a.fid, a.bid rows between unbounded preceding and unbounded following) fid1,
last_value(a.fid) over(partition by b.rn order by a.fid, a.bid rows between unbounded preceding and unbounded following) fid2,
first_value(decode(sign(range2 - range1),
1,
a.bid +
((b.rn - a.range1) * a.chunks1),
a.bid)) over(partition by b.rn order by a.fid, a.bid rows between unbounded preceding and unbounded following) bid1,
last_value(decode(sign(range2 - range1),
1,
a.bid +
((b.rn - a.range1 + 1) * a.chunks1) - 1,
(a.bid + a.blocks - 1))) over(partition by b.rn order by a.fid, a.bid rows between unbounded preceding and unbounded following) bid2
from (select fid,
bid,
blocks,
chunks1,
trunc((sum2 - blocks + 1 - ) / chunks1) range1,
trunc((sum2 - ) / chunks1) range2
from (select relative_fno fid,
block_id bid,
blocks,
sum(blocks) over() sum1,
trunc((sum(blocks) over()) / &&rowid_ranges) chunks1,
sum(blocks) over(order by relative_fno, block_id) sum2
from dba_extents
where segment_name = upper('&&segment_name')
and owner = upper('&&owner'))
where sum1 > &&rowid_ranges) a,
(select rownum - 1 rn
from dual
connect by level <= &&rowid_ranges) b
where b.rn between a.range1 and a.range2) c,
(select max(data_object_id) oid
from dba_objects
where object_name = upper('&&segment_name')
and owner = upper('&&owner')
and data_object_id is not null) d;
五、dbms_job使用概述
、概述
Oralce中的任务有2种:Job和Dbms_job,两者的区别有:
1. jobs是oracle数据库的对象, dbms_jobs只是jobs对象的一个实例, 就像对于tables, emp和dept都是表的实例。
2. 创建方式也有差异,Job是通过调用dbms_scheduler.create_job包创建的,Dbms_job则是通过调用dbms_job.submit包创建的。
3. 两种任务的查询视图都分为dba和普通用户的,Job对应的查询视图是dba_scheduler_jobs和user_scheduler_jobs,dbms_jobs对应的查询视图为dba_jobs和user_jobs。
这里主要是介绍Dbms_job。
、DBMS_JOB的使用
1、 创建job:
BEGIN
DBMS_JOB.SUBMIT(
JOB OUT BINARY_INTERGER,--输出变量,是此任务在任务队列中的编号,也可以自定义,一般不传
WHAT IN VARCHAR2,--执行的任务的名称及其输入参数
NEXT_DATE IN DATE DEFAULT SYSDATE,--任务执行的时间
INTERVAL IN VARCHAR2 DEFAULT NULL,--任务执行的时间间隔
NO_PARSE IN BOOLEAN DEFAULT FALSE,--用于指定是否需要解析与作业相关的过程
INSTANCE IN BINARY_INTEGER DEFAULT ANY_INSTANCE,--用于指定哪个例程可以运行作业
FORCE IN BOOLEAN DEFAULT FALSE--用于指定是否强制运行与作业相关的例程
);
END
实例,注意,这里执行的存储过程后面需要有 ';'结尾
jobnum number;
BEGIN
dbms_job.submit(jobnum,'refresh_clinic_vs_insurance;',sysdate,'sysdate+/',false);
END;
新手可以使用窗口创建:
2、删除job: dbms_job.remove(jobno); -- jobno任务号
3、修改要执行的操作: job:dbms_job.what(jobno, what); --指定任务号以及存储过程
4、修改下次执行时间:dbms_job.next_date(jobno, next_date); --指定任务号的时间
5、修改间隔时间:dbms_job.interval(jobno, interval); --指定任务号的间隔时间
6、改变与作业相关的所有信息,包括作业操作,作业运行日期以及运行时间间隔等.
dbms_job.change(
job in binary_integer,
what in varchar2,
next_date in date,
interval in varchar2,
instance in binary_integer default null,
force in boolean default false
);
例子:dbms_job.change(2,null,null,'sysdate+2');
6、启动job: dbms_job.run(jobno); --指定任务号启动
7、停止job: dbms.broken(jobno, broken, nextdate); –broken为boolean值 N代表启动,Y代表没启动(STOP)
、Interval 说明
间隔/interval是指上一次执行结束到下一次开始执行的时间间隔,当interval设置为null时,该job执行结束后,就被从队列中删除。假如我们需要该job周期性地执行,则要用‘sysdate+m’表示。
(1)每分钟执行
Interval => TRUNC(sysdate,'mi') + 1/ (*) –或sysdate+1/
(2)每天定时执行
例如:每天的凌晨1点执行
Interval => TRUNC(sysdate+ 1) +1/ ()
(3)每周定时执行
例如:每周一凌晨1点执行
Interval => TRUNC(next_day(sysdate,'星期一'))+1/
(4)每月定时执行
例如:每月1日凌晨1点执行
Interval =>TRUNC(LAST_DAY(SYSDATE))+1+1/
(5)每季度定时执行
例如每季度的第一天凌晨1点执行
Interval => TRUNC(ADD_MONTHS(SYSDATE,3),'Q') + 1/
(6)每半年定时执行
例如:每年7月1日和1月1日凌晨1点
Interval => ADD_MONTHS(trunc(sysdate,'yyyy'),6)+1/
(7)每年定时执行
例如:每年1月1日凌晨1点执行
Interval =>ADD_MONTHS(trunc(sysdate,'yyyy'),)+1/
六、ROWID在高并发中的使用
如下图所示,根据不同对业务场景进行ROWID快速分页,通过DBMS_JOB生成并行JOB,执行相关的作业。合并处理作业完成分页作业的合并处理。
七、附:Base64编码说明
Base64编码要求把3个8位字节(3*8=)转化为4个6位的字节(4*6=),之后在6位的前面补两个0,形成8位一个字节的形式。 如果剩下的字符不足3个字节,则用0填充,输出字符使用'=',因此编码后输出的文本末尾可能会出现1或2个'='。
为了保证所输出的编码位可读字符,Base64制定了一个编码表,以便进行统一转换。编码表的大小为2^6=,这也是Base64名称的由来。
Base64编码表
码值 | 字符 | 码值 | 字符 | 码值 | 字符 | 码值 | 字符 | |||
0 | A | Q | g | w | ||||||
1 | B | R | h | x | ||||||
2 | C | S | i | y | ||||||
3 | D | T | j | z | ||||||
4 | E | U | k | 0 | ||||||
5 | F | V | l | 1 | ||||||
6 | G | W | m | 2 | ||||||
7 | H | X | n | 3 | ||||||
8 | I | Y | o | 4 | ||||||
9 | J | Z | p | 5 | ||||||
K | a | q | 6 | |||||||
L | b | r | 7 | |||||||
M | c | s | 8 | |||||||
N | d | t | 9 | |||||||
O | e | u | + | |||||||
P | f | v | / |