If you are at a land border and inadmissible in both directions, you'll be taken to a detention centre. In the scenario you described, most likely Viru. They will book you in and then go over your travel document(s) with a view to determining where you are admissible. They will contact the consulate where you have citizenship and let them know you are in custody.

Once they have determined the next steps, they will serve you with a removal order. If it happens in Russia, you'll go to the Мировой суд (local magistrate) and get a five year ban, you can also expect to get dunned for their expense. Estonia has a similar sanction, but it operates under the EEA judicial system.

Once the paperwork is complete, you'll be escorted to a removal centre. In Estonia, it would be at Tallinn Airport, and in Russia there's one at Sheremetyevo 2. In most cases, you'll be issued a one-way travel document and placed on the appropriate (civil) flight. Nobody gets stuck forever in a gulag. If the receiving country has no problems with you, the removing country will give your actual travel document to the airline staff and you'll get it back once the flight has cleared the removing country's air space.

I've been in the one at Sheremetyevo (on the representation side), the biggest concern they have is finding out the REAL reason you are in their country. Also, you need to really hope there were no crimes committed in the area where you were caught. I have no experience in Tallinn. Overall, it's comparable to detention anywhere; the biggest problem people face is the language barrier in the day-to-day world as their paperwork is getting sorted out. From end-to-end, the process would take a maximum of two weeks.

When you debrief people who have been removed, they invariably report that the conditions are civil, and the most harrowing part of the experience was the screwballs they encountered whilst in detention.

NOTE: your scenario takes place where there are clear land borders. If your scenario took place at a disputed border, like in Morocco, things could get exponentially more complex very quickly. This answer is scoped to stable countries only and the intervention occurs at a control point. If you are caught deeply inland in Russia, you will be in trouble. Also countries and regions not mentioned in this answer are out of scope.

Related: Airline policy when a passenger is refused entry in both departure and arrival countries

Adding...

Further to the comment by Nate (to whom thanks), depending upon how the control point is laid out, there may be a 'discussion' by the border guards over who has jurisdiction. My best guess is given in the first paragraph. BUT... For the scenario described, the OP should try to get taken into custody by the Russians (even if they have to run to the interior).

Från personlig erfarenhet vid den thailändska-kambodjanska gränsen (lämnade Thailand men vägrade inresa till Kambodja) avbryts avgångsstämpeln och du återvänder till det land du just lämnade.

Här är ett exempel en avbruten thailändsk utgångsstämpel ser ut (hämtad från https://rompingandnguyening.wordpress.com/2014/07/03/bangkoking-again/):

Det hände mig en gång i Saudiarabien - på grund av en försenad invandring. mitt visum markerades som ogiltigt eftersom midnatt hade gått.

De stämplade ingenting på mitt pass. Jag hölls i ett fängelse på flygplatsen - fick inte komma in i landet.

Mitt pass var hos invandringsmyndigheterna; som sedan eskorterade mig till nästa avgångsflyg till Kuwait och mitt pass överlämnades till flygbesättningen. Vid ankomsten till Kuwait fick jag mitt pass och jag gick in i landet som om ingenting hade hänt.

Det finns två landkorsningar mellan Saudiarabien och Kuwait; och vid var och en av dem finns ett "ingenmansland"; vilket är en landbuffert mellan de två länderna.

Allt i detta land betraktas som en neutral zon. Det finns gott om fordon och rester av Gulfkriget där (gamla stridsvagnar etc.)

Här är en bild som jag tog under en av mina vägresor till Saudiarabien som visar staketet runt manzon:

Det gröna skylten på arabiska pekar lastbilar åt höger och passagerarfordon rakt fram; och under det "invandring och tull"

Om du nekas inresa till något av länderna, måste du korsa denna landgräns; förutsatt att du kan komma in i något av de gränsande länderna.

Om du inte kan tas upp till något av länderna hålls du kvar i interneringscentret och utsätts sedan för utvisning.

Du har turen att ha blivit antagen i Kuwait. Överväg att lägga till en genomsökning av dina vägringsstämplar. Hittade du också skruvbollar medan du var i förvar? Hur var förhållandena?

Tyvärr fanns det inga vägringsfrimärken. eftersom förseningen berodde på invandringens fel (de hade en datorfel).

Så det var som om jag aldrig kom in i Saudiarabien. Ingen poststämpel, ingen exitstämpel. Bara en ut- och inresestämpel från Kuwait. Anledningen till att jag togs in i Kuwait är att jag hade kommit från Kuwait (jag har permanent uppehållstillstånd där).

Fängelseförhållandena var dåliga enligt västerländsk standard, men okej för saudiska standarder.

Det fanns en barnsäng med lite sängkläder; rummet hade inget ljus och det fanns massor av buggar som körde runt; det var en tillfällig cell tills de berörda antingen flyttades ut till invandringscellen eller gick ombord på en utflykt.

För det mesta var jag där ensam; och eftersom jag fastnade i ett byråkratiskt loophål (mitt flyg var bra i tid och om de inte hade problem med sina system, var mitt visum giltigt) och försökte inte komma in olagligt, jag tillbringade större delen av min tid utanför kvarhållningsområdet som sitter på väntstolarna vid invandringshallen.

Under skiftbyten var jag tvungen att gå in i cellen tills någon kom fram och kollade på mig och sedan de var ursäktande och lät mig bara komma ut igen.

Jag hade varandra från Nepal som eskorterades till cellen vid midnatt den första natten jag var där. Personen talade inte arabiska eller engelska; men talade hindi som jag också kan tala.

Jag frågade en av officerarna vad som var hans situation eftersom de inte kunde förklara för honom varför han satt i förvar.

De förklarade för mig att de misstänkte att han hade förfalskat sitt födelsedatum på passet och verkade underårig. Personen kom in på arbetskraftsvisum.

Jag förklarade för honom situationen och personligen; han såg ut som minderårig - troligen ett offer för visumhandlare.

Han hade inga kontaktnummer förutom en av den som skulle hämta honom. Jag erbjöd min mobiltelefon för att ringa samtalet, men numret kopplades bort.

Tjänstemännen sa till mig att de skulle sätta tillbaka honom på första flygningen till Nepal.

Med tanke på vad som väntade på honom (arbetsläger och virtuellt slaveri från hans sponsorer) visste han inte det ännu, men den saudiska immigrationen gjorde honom en tjänst och skickade honom tillbaka.

Jag försökte förklara det för honom men (som de flesta sådana arbetare) var han bara orolig eftersom han var tvungen att ta ett lån för att betala för visum och biljett.

Ärligt talat - invandringsmyndigheterna var mycket förståelse det hjälpte att jag förstod och talade lite arabiska och jag fick inte panik / skrek. För mig var det en av de situationer där jag skulle krita upp det till en fantastisk historia att berätta.

Mina föräldrar var mycket upprörda eftersom de inte fick veta vad det hände. Så min mamma klagade till invandringspersonalen vad som händer osv. Och så (som vanligtvis är fallet i Saudiarabien - kvinnor prioriteras i frågor); de eskorterade mig till ett område där de tog min mamma in så att hon kunde se att jag var okej och allt.

It's happened to me--single entry visa, the officials at the destination country decided the whole group of us weren't getting in. (Internal issues, not a problem with us.) I think the border guards of the country we left were used to the situation, we had no trouble getting back in as if we had never left. I don't have that passport anymore to see if they put any special notation in it when this happened.

Edit: As per request: This was on the Burundi/Congo border, 1982.

It depends on the foreign policies of the involved countries and the relations between your country(ies) of origin and those.

Unless the nation is currently under a civil war, revolution, invasion or under a dictatorship, your basic human rights are granted on the signataries of UN treaties. The list of countries is here:
http://indicators.ohchr.org/

A good resource is the US Department of State report on foreign countries:
http://travel.state.gov/content/passports/english/country.html
While it is only fully valid for US citizens, the foreign policies of the countries is listed there.

For the Mercosul countries, you can expect a fair treatment and even some time to fix your documents without being deported. While I will focus on Brazil, the other countries follow a very similar policy.

Also, Mercosul citizens have free pass on most of the member states' borders, but foreign visitors must have a valid visa for each of the countries visited.

The answer assumes you are a tourist having visa troubles, not that you are illegally entering the country (my sentiments with all the refugees that are attempting that right now, may you find a safe place to live).

Brazil:

Brazilian law dictates that foreign visitors without a valid visa have to be sent back immediately. The responsability falls with the transportation company (air, water or ground borders) [art55].

You have the right to contact your country consulate or embassy, and the right to assistance from your diplomatic representative.

If they cannot be sent back, the barred visitor can be assigned a temporary stay on a limited region (the don't leave the city kind of thing).

The border officers are most concerned with drug and gun smuggling and contraband. Attempt to cross the border on popular tourist checkpoints, not in the middle of the amazon or other known smuggler's routes.

Detainment is only reserved for clandestine visitors, and can last for 30 days maximum renewable for 30 more days.

If you cannot get the visa, you will be given 3 days to leave the country by your own means (book a flight or something else). Otherwise you will be deported [art98].

You can request political asylum from within the country, and Brazil is known for granting even controversial requests (Ronald Biggs, Cesare Battisti). More info:
http://jus.com.br/artigos/14997/concessao-de-asilo-politico-no-brasil

Från vad jag har samlat de här åren. Slutsatsen är att det finns dessa standardbehandlingar:

a. Du kommer att arresteras om de bedömer dig som olaglig deltagare (invandrare som hoppade över staketet)

b. Du kommer att hållas kvar i interneringscentret om de bedömer att du inte är en äkta turist.

c. Du kommer att tas för att tillbringa lite tid i marken för frihetsberövande (på flygplatsen eller någonstans i landet för ditt fall). När det gäller den illegala invandraren kommer han att fängslas för rättegång, få sin dom och straff (avtjänar fängelsetid upp till ett år eller mer), varefter han avvisas. Slutligen kommer du att eskorteras till en utgångspunkt, vanligtvis för att flyga tillbaka till ditt land, eller med en depåbuss om det är ett grannland.

e. Ditt rykte kommer att skadas för alltid om du har haft pass, att vanligtvis måste du ändra dina uppgifter och pass och börja om från början på nytt. Du är dömd.

f. Du betraktas som en brottsling. Förvänta dig hård, omänsklig behandling och utpressning om de känner att du har pengar för att täcka din egen utvisning och alla dina tillhörigheter kan konfiskeras.

g. Allt ovanstående kan lindras om du har goda kontakter, var dem med inflytelserika vänner eller människor i landet, advokat, byrå etc.