¿Como se utiliza googlebot?!!!!

Creo que te estas confundiendo, habrá páginas que quizás si tu User-Agent es el de una araña como el de google, baidu o el que sea tengas acceso a contenido que con tu user-agent normal no lo veas, por ejemplo se usa para el black-seo.

Pero esto no quiere decir que por ejemplo si entras a este foro como si fueses una araña no te tengas que registrar para ver el contenido oculto.

¿Me explique?

ok, debes de tener algunos conceptos claros.

User-Agent: No puedes ver links Registrate o Login Tu cuando visitas cualquier web envias tu user-agent, el tuyo lo puedes obtener por ejemplo visitando esta web
http://whatsmyuseragent.com/
Como puedes ver se envían diferentes datos de tu navegador. Bien si tu cambias tu user-agent por el de googlebot, lo que estas haciendo es "suplantar" a google, google tiene la araña/bot que indexa los contenidos, que es lo que tu estas suplantando.

Por lo que al visitar cualquier web, esta web se cree que lo esta visitando google (y NO un usuario cualquiera).

Por lo que algunas web tiene contenido oculto que no muestran a usuarios normales sino que sólo muestran a esas arañas que indexan (google, baidu...), si tu cambias tu user-agent podrás ver ese contenido oculto. Pero NO todas las web tienen contenido oculto, por lo que si tu cambias tu user-agent al del googlebot esto no significa que puedas ver los links ocultos o los contenidos ocultos, en algunas web puede que sí pero en otras no tiene porqué.