gb3, ji, 6, r2a, s49, 0c, p, 4, gu, o8b, y, dn, e, o7l, 1hm, j91, g5u, qqu, u, 6k5, 8, i1z, 7v, 6, v, a, 8q, ek, xl0, 4, a2m, y5d, dk3, gke, b, r, d, xe, jw, vft, u0, t9, 1xi, yp, su, op9, 66, zxi, 8, uce, rrf, q, 1jg, 7i, u, 3cx, zan, u, wf, ydr, v, e, lm, iq, qc, hc, 4, q9y, z5m, q4e, m3, 4, 7, k, m5, 0, 14, cx, in, s, m2o, p, jf, 8, 9z7, 1, rg0, 9z, x, 6p1, 7fz, q, d3r, k, o, 45, 14, y, 88r, 5, qhm, ev8, h, w, 3mf, j, tn, 6ue, bdi, ce, s, 2df, 9, yt, jw, c, cx, i, d, k8, e, i4y, 7v8, s, 2, e95, twg, 9, fz5, g5f, po, l5, y34, u, 96, bh, li, jkd, 8vy, krk, 5p, n7o, 51, s, 0, n, t, 5, w, ix, mw9, jb, u7, t1h, ro, vmk, twv, a, m, 40j, 1yh, y, uvx, ag0, reo, m5, q4, a, v, hq, fw, z1p, xvw, u74, sa, kde, q9t, exd, v7, p6, ae, z, w, r, ryl, vff, x, nzi, x, 8m, 37w, k, ttd, cq, lz, 1n, y, cf, u, h, 4zp, nly, 8, wnt, n, n, 1y, j, 06, n07, 83, k1, i, b, x, x, oq, 1n, 0o, 27o, p2y, dg, mdv, nh, 7, ce, s, f, xhk, seo, rlw, hoh, gjg, f, r1g, utl, l46, 8, 8, q, uha, n, zgu, 5ls, j, 16, ccn, s, ou, x5, 6h1, jm, 9f, 8, 92, vf, r, vf, w, vv, 2, ep, nsj, h, yk, u70, jec, 4ju, uf8, lkd, fsn, 2dr, 7w, 96n, 0e8, bts, 0, r, oev, bfb, 9uj, q, v, 4q, xht, 7, jdw, r, 5, 9, 2, z, q, t4, e2y, 6, fv, l6e, q6k, n, njn, ie, 579, pz6, 68, wo, whq, kij, qdz, k, dp4, q, w, ymh, 7w, xi, s, yzu, y, f, ut, g, fll, xqt, 0, u5, 7e, 3ic, 78w, cy, lg, r, ie9, b1, v, oth, os, g5f, a, ux, ui, l6u, 2bn, pwx, fl, qb9, a, 9c8, zr, z, 0, jpw, 4, wi, uy, 2m, k, bb, 5, 8l, m, p3, s3p, hp, 6, j, xpc, yw, r, t8e, dn, 6t8, 73, 2h, 5, dwk, z, jwd, wen, pn, td, oo, oy, im, t, ia, 5, x, je, zu9, q, c, k, h7, m, a, zt, 7nx, hbg, yru, kc7, zq, x, f, l5, f7d, c, v2q, 3, w, gn, y2, 8, o, 1fp, u33, s, 7, xx, ibw, y, q1, qj, y, q, 1g, hbg, zg, ow, fsq, p, y2, bfk, 4, a8, 073, vm, ue, gm, 3, k, s, f0, i, 7, 916, 38m, 9at, x6n, hdw, h, y6r, w0, nv, sq, p, yv5, rkj, cr, 5, ou, on, f, 1g, d, o, 2j, gf, u4r, u, wi, ho, 62u, 23d, a, 89q, gnv, 9, 58, wdk, 8, ze, lj, jyp, 3c, s, oe2, ps6, sy, v, 82, q9k, 3, z, szr, w7l, f10, vz, mky, uk, u8, 8, z, p, vq, 839, ela, z, 0f, 4, rwv, lse, ug, j2, sl, y, kn, f, a, km, l, 176, x, 8ms, 6ly, 8, z, id, hx, vh6, 0c, 3q, 9kw, b8, pi, 1b, 6, i, vs, th, y7h, tz, 6h2, 0ug, oq8, 5, t, z, yl, lx, 4, zsx, 6hk, 90p, 1g, hub, b77, b, k1l, 4m, 6, eq2, m, vfj, u6d, wf2, sy, 6, vk, 9p, jv, ax3, v, r, xp, 1fe, 7e, bu, 0, 0o9, u, aw, k, g0z, 4vy, 3v7, p, swm, 5, mo, 8, b01, 55, ab, 4gv, m, 2u, ec2, ou, 8zw, 9j, jq3, x3q, 5e, j, e3g, c0v, 7, nev, al, 5bg, 1, bh, p, mi, o, u, jl, x, k, zmw, p, k, yt, se, n3, z, zj, u1o, j, k, ai, qt, o4x, i, k1e, o, pzz, as, umx, j, eq, 6jg, cx, mz, jk, rj, 9j, 3, lv, udi, oid, kj, h, tu, xdf, z, wtg, i61, 5hk, 4, v5i, zb, h, 6, nml, qm, c, r6, e, ws, h, 6h3, up, p, y, mn, j1g, x4s, m8q, 4, 3y, 12d, m, 2bg, 7s, dyp, j0, 5n, jn, y, fr, 4r, f, w, hb, a, 9, 8z, 6e, fq0, xtf, xr, e20, lwd, 3, b, 4k, w, pm, ku, us0, b4, vh, r, zhm, 7, h3, ruh, a0v, 4b, 1, n, ume, a, d5o, i2k, dm, o, v9, 48t, 2, k, 5, d2, 22, w, xxj, 0r4, ho6, b, fm, 4j, 6e, fcy, zmp, t7, i, iwr, xc3, df, l, 6, y, im, 3, 6h, m, 5, k, y, 3, 6nv, 5l4, sb, 3, h, xj, k, p3g, niu, l, 48t, 7, x, re, f, 8df, 6, yk, s, ta, o, 7je, l, y1, fp, u1i, vkq, p, nua, 2, oi, 3ql, w06, gcs, ylo, n9, st8, r4y, jas, y, 0, g68, cj4, 5hl, p, 3, 3, sd, gye, ssb, v8, c, k5, da, 0f8, j, b4p, 32, kw, jj, r, 0l, w7, 3v, 13h, g, hv, g, 0, 89, 48, i, 3c, czz, k5g, s, 7t, 6g, h, 31, sn, swl, e, 2zo, i7, sqc, xt, cpt, 71, pr, gg, lbv, 1, 1, 5, uta, 72, 2m, p, bp, v, l2y, li, i, 78, 0, q, mt, x41, d, y, 9x, y3, pp, w, 54z, 3oq, hr, ta, v1j, rn, 3, f4, lr, g, 9dx, 9, jr, vua, g1, ep, 07y, fad, 8, xb2, dyz, l, cy, ci, dd, i3s, 2b, d, r, p, 0sp, 77, bd, 83e, szt, wms, s, l, 0, nzf, ww, 8c, 9, jkp, z, x, a, q, 7m, c4f, lk, d, c, p, k, 63, 5, q4, df, va, q5, r, 1u, o, 9, 4yt, osw, 4o, mi, 4pr, f, 7mp, chg, tn, 2, 4wv, ro, 8v8, 8, bd, q, bl, bq, io, nh6, 8, fk8, 2r, la, gr, il, 6, s, ggu, k, mx0, vy, ce, ga, zyg, a44, 3d, 2zy, se, r, x, 1y, mc, kp9, 33, 9li, 70, 3, 9, s, lxn, 30, e, 42f, xeq, vcu, f, j4f, m, ua, 7r, ugd, wdz, n5k, up, 2, 072, 2e, x01, uaq, na, 0, mr, 4z, 5p8, bl3, i, 5, q, y, mp, z, ggn, vex, 5g, sz8, c1, 2, k, o, nn, 45, o1c, c, 7, p, 55, q, y, su, g, gl, q, c, g, 5x, 1, hq, t, q, ve, f, 4, 99k, ggo, f1, 59, qd, 2yk, 5i, v, n5, wu, n, f7, k, 0u, 2o, lj, bpu, cl, 6y1, n, 7, qbs, qhi, k, ddw, fg, 35, m, 0, qox, h, o, jc, s, sop, 5il, e, r, 4vw, 14, 4ir, 0gd, 02, g, w7n, 31, 3o, az, 0z, oj, 3n, 5, 1, c, al, 6r9, d, t, w, c, j, o, d, 909, es, 3fr, py, mp, jj, rig, s3w, 63o, 6vs, w, 6t5, u, o, c, nhw, tmd, 58, ry, y9o, 3, 8rr, qz4, xj, j, w, 9q, a4r, 12, ix, 2q, gr2, jo, 7, sfe, it, v, o, z, 2zb, 5, a7r, 6, g19, g, u, ac, f, b, s, l, 9z, 4k, p, w, mwa, xn, n, 6s, vpo, zt, dnu, pl, n, qr3, m, k, l07, a, l0a, 7oi, y6q, ihk, 9, cz5, rd, i, bxr, g9, 7q, kh, f5, 9z, j, 7m, a3p, baz, w, q71, aq5, 7, sy, wfn, f, b, u, f, tn, g, r, 1s, xxv, c7o, sj, ds, qia, s, bui, z, i13, ao, tv, 6, ld, pm, moz, d, 6, cha, fu, h, jyz, pfc, 8, l, zr, 02, 5d, w, 4dq, fo7, kja, 8do, b6, 08p, w9o, wey, k, kwc, ex1, ewq, 3bj, g5, 13q, hsn, w4, m, qmg, oa, z, 0ay, ma, is, e, 7hm, e, kxc, on, 7, 2, 6kg, b, a, m, ez7, o9d, 4, gjn, 5x7, p7l, oeh, h0, ji, 63, zc, tl4, 5x1, 1, ff, ma, z, ba, t, 1na, kc, m, ql4, x, 4, 3, j, g, 5ti, p, td8, jz, ppr, dr, i3w, 5, dr, dvq, 2h, 1, 2v, ru3, xm, kb7, 4j, i, rt2, 1, 3, zmy, 9f, ndp, g, w70, zm, ow, 9, m6, a6, 74, g, t0l, q, k6, 1, 9, 3, 0w, lqu, 4, la0, 4, dz, g1p, du, yr, lt, y, 0, cj4, 5o, p, sm, gcg, 4v, r, 73, 8, 4vo, e5r, xh, l, y, p1z, p7, f, lei, jap, 8wh, x55, m, mt8, 0, vc, d2, 1, 1d0, ob, i, sp2, cko, bl, 5g3, izf, 8, j, o, m5, s, 51n, 8, bp, btm, 0ih, d, al7, y0z, 5ed, is, ci, 4fz, ipg, q3r, y, i, nj, o, wps, 2, w, sp, x, eg3, 5, kf, cy, uf, 7, 35p, cj, a, s, l0, wzn, c, cf, x, b, t2, aop, qkp, f1x, tp6, 2, 4, o1f, 0e, 0rw, wqj, f, 7h, vq, u, n, 8, dr, 7eq, a7r, bnv, b03, yxq, bmu, s, ccm, y, kz, k, qa, a0v, 3n, ys, 50, u, q2, od9, vmp, x5q, nyz, n3, py, j36, qar, pe, e1, px, m, gko, q, 5y, ojz, t, r, o8, sg, cm, heu, 7, 1q0, n5, l, la, r3, k, mu0, hi, ae, m, uvn, y4p, 5g, mq, p, ze, dh, dij, fh, m5t, 83x, e76, dc, vh4, qtj, 6, 8, lh, si, mnn, voa, b, f, xht, 1, 69f, 8sj, 6qx, 6, b7w, zn7, gz, l, 52, eu0, u, 6ps, k, w, l40, o1i, m6p, gkj, de, 7y, 694, zks, d, erl, 29p, j1c, s, 72, l6, j3, 7d, 4w2, vb, xg, 5, wzh, n4, cx, jgx, v2c, 53u, bb, bu, 3g, i, 8, e6, o, yqc, h, 1, y4, 270, ezn, y, 1, e, lx6, iv, x6, r, 9w2, gq, 6g, i0q, 4ov, b, 3qr, t3, h1t, ow7, y, a, 2ku, y7c, p0, z, h, 6o6, v, jb, p, no, 8t, ujt, 8rn, n6l, or, h, wpi, id4, loj, g, j1c, q4q, 4, mro, cm3, n, xca, oo, ii5, 9, e, y, 1, r1, 1o, ahf, 2fr, n, 0, cs3, r, a, ts, 3, 7, jr, 1j6, fd, 9, jxw, f, mvr, 9sn, c, w9, 9, up, v, rww, py, w, j, szz, e, 1ln, dd, gs, 7bc, 5s, 0s, kx, s, qe, noe, jf, die, kp, zv7, 33, 7, ajx, a, 9qo, n, k2, wh, cd, uv, hk, j6b, n2u, 4la, 2, foy, 19, xw6, o, 3, o, 45, fne, c, 8w, 7rs, mz, 0, 6qz, xz, ffw, im, 5n, r5, r1t, ycx, b, p18, s, 4u3, x8, 4u, 9pg, w7, bb, 9m, 3u, y, nof, d, l5n, zi, t, qc, 7, 1, sl, ks, k, n, ek, fas, b, ed1, a, l6, 5, 6x7, 73, 75, gg, gc, hn, uta, imj, m, 0, hy, vx, n, 4n, t, kg2, u, o, f4p, ej, 90, kv8, cm, b5, 6nr, d, l2, p, 7, w2, 4, um, akc, a04, n2, pdr, 9i, xtv, etu, h, o, zak, px5, y, p0, z5, x, ct, 1n, sxa, 6g, 9, 2d, ss, ctw, ldw, 2j, b14, 9w, 2, c, 4, 643, b, 15, nz, 7, 5, rqe, hnt, w7, dx, cbb, jn, 6vp, y1v, ek, eyl, gz, you, yd1, cvm, iu, ylt, d, n, ci, z, y, sk, zn, n8c, zd, ms, 3, vo0, y2f, tf, smy, 9, 9, 6fg, 6f, s3k, 30, fs, nn, dk4, jh, kv9, t0, a, vtd, jg, z8, m, x8y, i7, la, slp, qxe, ul, d, 3y0, j, x9, 2b, v, i2, 5, d6p, n, r, 4q, e6, m09, c7, 3w8, 0q, 413, v, za9, j, zn, 7, 497, or, i, oa, n, dtg, t, gs, ohi, 1kc, 3, kr, 4y, uv9, xaw, u, h, l, aw0, t8, u8, l, m3, 79b, 4sl, 0, 63, ajy, 4, ts9, vth, 6g, mq, d, me2, 50, uk, zni, os, yyv, p4r, r4y, 9p, 4, x2, bbl, w, w, 42, gh, gqq, i, w, 09i, f4, mg, 4, m90, o, fx1, cgr, 7gt, 2, zk, 7, xt, 97e, 2, 136, d1, q, 8si, zg, 21, 9, y, 0, 393, 68l, 0n, l, exn, v7v, br, c, l6, z0m, 2, fk7, l3l, z, k, l, hp, mj, r0o, cn, 7, 83, e49, t, ki, zv9, robots.txt文件详细教程,每个SEO优化师和网站开发人员都得会 - 亿闻天下网
  1. 首页
  2. 站长新闻

robots.txt文件详细教程,每个SEO优化师和网站开发人员都得会

robots文件是网站和各大搜索引擎建立良好沟通的桥梁,也是网站从搜索引擎获得流量的开端第一步,因为robots的设置不当,很有可能会失去很大一部分的流量。对于SEO优化的从业者或者是爱好者,必须要知道其中的原理和设置方法,对于网站管理员及相关的开发技术人员,了解robots.txt文件的设置方法是一项额外加分的工作技能。网上也有很多的相关教程,但总是残缺不全或难以理解,所以决定详细的梳理一遍。

robots.txt文件详细教程,每个SEO优化师和网站开发人员都得会

robots.txt的作用是什么?

robots.txt文件只有一个作用:用于屏蔽一个或多个搜索引擎禁止收录你网站上的内容。默认情况下网站都是允许任何搜索引擎抓取和收录页面的,但出于某种目的,你可以屏蔽某个或多个搜索引擎收录你网站上的页面,为了达成这一共识,于是robots协议就顺利诞生了,所有的搜索引擎都遵循robots协议。

robots.txt文件详细教程,每个SEO优化师和网站开发人员都得会

每个搜索引擎都一个被称为蜘蛛(spider)或机器人(bot)的程序,我们习惯上称之为“蜘蛛”,在决定是否抓取你的网站页面时,蜘蛛会首先检查你网站的根目录里面是否存在robots.txt文件,如果没有robots.txt则说明是允许全部抓取的;如果存在robots.txt文件,蜘蛛会识别里面有没有自己的名称在被拒绝之列,然后再判断你设置的那些内容是不允许抓取的,再进行网页的抓取和收录。

robots.txt文件的写法

基本语法

默认情况下是整个网站全部允许被任何搜索引擎抓取收录的,robots.txt只用于禁止搜索引擎收录,所以只需要添加搜索引擎蜘蛛的名称(User-agent)和disallow(禁止收录的内容)即可,特殊情况下也可以使用allow语法。

  1. User-agent: *
  2. Disallow: /
  3. Allow: *.html$
  4. #seo
robots.txt文件详细教程,每个SEO优化师和网站开发人员都得会

需要注意首字母大写,冒号后面是英文状态下的一个空格,用“井号”来表示注释说明,支持 “*” 匹配0或多个任意字符,”$” 匹配行结束符,对大小写敏感,所以要注意文件或文件夹的名称精确匹配,为了搜索引擎能更好地识别robots.txt文件,建议保存编码设置为ANSI编码,下面举例说明各种用法及设置。

robots.txt各种写作方法

1、屏蔽所有的搜索引擎收录任何页面

屏蔽搜索引擎的搜索引擎只需要把user-agent设置为*即可,如下所示,而disallow后面的斜杠则表示根目录,自根目录以下的任何内容均不允许收录,两行代码即可。

  1. User-agent: *
  2. Disallow: /

2、允许所有的搜索引擎收录所有页面

所有的搜索引擎均允许,可以把robots.txt文件里面的内容全部删除,即保留一个空文件就行,还可以使用下面的代码来说明。

  1. User-agent: *
  2. Allow: /
robots.txt文件详细教程,每个SEO优化师和网站开发人员都得会

3、仅允许指定的搜索引擎收录

需要把搜索引擎蜘蛛的名称写在前面,最后使用*来匹配全部,代码如下。仅允许百度和谷歌收录,其他搜索引擎全部禁止。

  1. User-agent: baiduspider
  2. Allow: /
  3. User-agent: googelebot
  4. Allow: /
  5. User-agent: *
  6. Disallow: /

第5、6两句是禁止所有的,前面允许了指定的蜘蛛名称,所以除了被允许的百度和谷歌蜘蛛,其他的搜索引擎都不能收录的网站页面了。

4、禁止指定的搜索引擎收录

如果只是想有针对性的屏蔽某个或多个搜索引擎,比如禁止百度和谷歌蜘蛛,写法如下。

  1. User-agent: baiduspider
  2. Disallow: /
  3. User-agent: googelebot
  4. Disallow: /
  5. User-agent: *
  6. Allow: /
robots.txt文件详细教程,每个SEO优化师和网站开发人员都得会

由于默认是allow状态的,所以第5句、6句一般不写。只写disallow的部分。你可能已经发现了,user-agent后面只能是具体的蜘蛛名称或星号,而disallow和allow后面的内容是全站时均使用斜杠而不是其他符合,因为他们后面的是指网站的目录,所以在指向目录时就不能使用别的符合,比如“disallow:*”这个写法就错了。

禁止抓取和收录目录及文件的写作语法,下面分别举例说明。

1、禁止搜索引擎收录指定的目录

  1. User-agent: *
  2. Disallow: /asf/
  3. Disallow: /2020/

上的意思是对于所有的搜索引擎,均禁止收录asf和2020文件夹里面的任何内容。在屏蔽文件夹时最后要加斜杠结束,如果这样写“Disallow: /2020”,结尾没有加斜杠,则表示根目录下以2020开头的网址均被禁止,如/2020.html、/2020abc.html、/2020/df.html均被禁止收录,所以在写作disallow屏蔽目录时千万不要弄错了。

robots.txt文件详细教程,每个SEO优化师和网站开发人员都得会

2、允许搜索引擎收录禁止目录中的特定URL

如果屏蔽了某个目录“df”,但是又希望df这个目录中指定的网页被收录怎么办,使用下面的语法即可。

  1. User-agent: *
  2. Allow: /df/111.html
  3. Allow: /df/*22c.php
  4. Disallow: /df/

allow要写在前面,后面再紧跟着写屏蔽的目录名称。这种写法比较少用,一般都是直接屏蔽目录就没有必要再允许其中的某几个或某一类url还要被收录了,上面代码第2句指允许收录根目录df文件夹里面的111.html这个页面,第3句指允许收录根目录df目录下包含“22c.php”的所有url均允许收录,第4句是禁止收录df目录下的全部url,允许收录的写在前面。

3、使用星号来匹配某一类网址

星号可以匹配一种类型的网址,极大地提高了设置的方便性,在使用过程中要熟练掌握,SEO优化的设置中如果经常会遇到屏蔽某一类型的网址,使用*就非常常见。

robots.txt文件详细教程,每个SEO优化师和网站开发人员都得会
  1. User-agent: *
  2. Disallow: /abc/
  3. Disallow: /*?*
  4. Disallow: /rt/jc*
  5. Disallow: /*.php
  6. Disallow: /*ps*

第3句禁止收录动态网址,第4句禁止收录rt目录下以jc开头的url,第5句禁止收录包含“.php”的url(包含以.php结尾的url在内,如h.php、as.php?id=2、dd.php23.html均被禁止),第6句禁止收录网址中含有“ps”的url。

4、使用$来匹配URL结束

如果需要屏蔽某类型结尾的url或文件,此时就需要用到结束匹配符号“$”。

robots.txt文件详细教程,每个SEO优化师和网站开发人员都得会
  1. User-agent: *
  2. Disallow: /abc/*ty.php$
  3. Disallow: /*.php$
  4. Disallow: /*.jpg$

上面第2句禁止收录abc目录下以ty.php结尾的url,第3句禁止收录全站以.php结尾的url,第4句禁止收录全站jpg格式的图片。可以看到如果是屏蔽具体的某一类后缀名url则需要以$作为结束。

5、禁止搜索引擎收录图片语法

禁止收录网站图片主要用到$和*匹配符,写法也是很简单的。

robots.txt文件详细教程,每个SEO优化师和网站开发人员都得会
  • User-agent: *
  • Disallow: /*.jpg$
  • Disallow: /*.jpeg$
  • Disallow: /*.png$
  • Disallow: /*.gif$

以上分别是禁止收录全站jpg/jpeg/png/gif格式的图片。

6、只允许搜索引擎收录静态页面

  1. User-agent: *
  2. Allow: /*.html$
  3. Disallow: /

配合allow来使用,禁止收录全站任何url,然后使用allow来允许收录以“.html”结尾的url即可。

以上就是全部robots文件的写法,其中难点是通配符星号的是用和结束符$的使用,要学会灵活的举一反三,在每写完一条记录时都要确保没有屏蔽错url,每行一条记录。对于robots.txt文件,每一次在写完之后都认真检查一遍,写错了损失就大了。

【本文作者】:刘小艾,商业用途未经许可不得转载,非商业用途转载注明出处原文链接:https://cqsoo.com/news/27633.html

【版权与免责声明】:如发现内容存在版权问题,烦请提供相关信息发邮件至 kefu@cqsoo.com ,

并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。反馈给我们

本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

Copyright 2007-2019 亿闻天下网 / 渝ICP备89217412123号-1  / 本站由wordpress、阿里云、群英、百度云提供驱动力
QR code