Frege’s theorie van betekenis, voor al haar verfijning, berustte op een onbevredigende weergave van gedachten als abstracte objecten. De Tractatus hoefde niet met een dergelijk probleem om te gaan, omdat het betekenis – en taal in zijn geheel – behandelde los van de manieren waarop taal feitelijk door mensen wordt gebruikt. Minder dan 10 jaar na de voltooiing van het werk, echter, kwam Wittgenstein tot de overtuiging dat deze dimensie van taal van het grootste belang is. Zonder enige beschrijving ervan, dacht hij nu, zou het hele systeem van de Tractatus als een kaartenhuis in elkaar storten. In zijn geschriften en onderricht vanaf 1930 legde hij dan ook de nadruk op de verbanden tussen woorden en praktische menselijke activiteiten. Woorden worden bezield, of krijgen betekenissen, door zulke activiteiten – en alleen door die activiteiten. In de vele verhaaltjes over wat hij “taalspelen” noemt, stelde Wittgenstein zich mensen voor die telden, om gereedschap vroegen, aanwijzingen gaven, enzovoort. Door de betekenis van een woord te vergelijken met de kracht van een schaakstuk, benadrukte hij dat betekenis alleen bestaat in de context van menselijke activiteit. Door de taal los te zien van haar gebruikers, had de Tractatus dus de essentie ervan over het hoofd gezien. De slogan die daarom met Wittgensteins latere werk wordt geassocieerd is dat “Betekenis is gebruik”, hoewel hij zelf deze opvatting nooit in zo’n ongenuanceerde vorm heeft geuit.

Een van Wittgensteins hoofdthema’s is het open-eind of open-textuur karakter van linguïstische disposities. Hoewel het, vooral voor filosofen, lijkt alsof het woordgebruik wordt bepaald door de toepassing van duidelijke en vastomlijnde regels – en dus dat het kennen van de betekenis van een woord hetzelfde is als het kennen van de corresponderende regel – blijkt uit een zorgvuldig onderzoek van feitelijke spreeksituaties dat in geen geval één enkele regel de ontelbare variatie aan gebruiksmogelijkheden van een individueel woord kan verklaren. Wittgenstein vraagt bijvoorbeeld welke regel de grote verscheidenheid zou verklaren van dingen die een spel genoemd kunnen worden. Wanneer men zoekt naar iets dat alle spellen gemeen hebben, vindt men slechts “een ingewikkeld netwerk van overeenkomsten die elkaar overlappen en doorkruisen: soms algemene overeenkomsten, soms overeenkomsten in details.” De verschillende spellen lijken slechts verenigd te zijn door een vage “familiegelijkenis”. Het gebruik van het woord wordt dus niet bepaald door een ingewikkelde regel of definitie – zelfs niet een die onbewust wordt toegepast – maar alleen door een tamelijk ontspannen instelling om sommige dingen wel en andere niet onder het begrip te laten vallen. Als er al sprake is van een regel, dan is het een triviale: noem spellen alleen die dingen die spellen zijn. Kennis van woordbetekenissen, en lidmaatschap van de taalgemeenschap in het algemeen, is dus niet een kwestie van regels kennen, maar alleen van het delen van disposities om woorden toe te passen op een manier die vergelijkbaar is met de manier waarop andere mensen dat doen. Er is geen conceptuele basis voor deze activiteit: het concept wordt gegenereerd door het gebruik, niet het gebruik door het concept.

Dit betekent in het bijzonder dat woordgebruik niet kan worden gegrondvest op Lockeaanse ideeën. Wittgenstein’s weerlegging van deze opvatting is een van de meest vernietigende korte bewijzen in de filosofie. Hij stelt eerst het probleem hoe iemand de opdracht om een rode bloem uit een weide te brengen kan begrijpen: “Hoe moet hij weten wat voor bloem hij moet brengen, aangezien ik hem slechts een woord heb gegeven?” Een mogelijkheid is dat de hoorder het woord rood associeert met een idee (een mentaal beeld van rood) en dan op zoek gaat naar een bloem die bij dat beeld past. Wittgenstein zegt,

Maar dit is niet de enige manier van zoeken en het is ook niet de gebruikelijke manier. We gaan, kijken om ons heen, lopen naar een bloem en plukken hem, zonder hem met iets te vergelijken. Om te zien dat het proces van gehoorzamen van de opdracht van deze aard kan zijn, beschouw de opdracht “stel je een rode vlek voor.” Je komt in dit geval niet in de verleiding om te denken dat je, voordat je gehoorzaamt, je een rode lap moet hebben voorgesteld om te dienen als patroon voor de rode lap die je je moest voorstellen.

De meest gevierde passages in Wittgensteins late meesterwerk Philosophical Investigations (1953) proberen de notie van privé-ervaring te ontkrachten. Hun interpretatie is eindeloos controversieel, maar het basisidee is dat objecten van het denken geen elementen kunnen bevatten die zuiver “privé” zijn voor een enkel individu – zoals bijvoorbeeld gewaarwordingen verondersteld worden te zijn. Want als er particuliere objecten van het denken zouden zijn, dan zou er geen onderscheid kunnen zijn, in wat men zegt over zijn eigen gedachten, tussen gelijk hebben en slechts gelijk lijken te hebben. Voorwerpen van denken moeten daarom in wezen openbare, controleerbare zaken zijn, waarover men in principe met anderen kan converseren.

Niet alleen ervaring en waarneming, maar ook rede en logica worden in Wittgensteins latere filosofie getransfigureerd. Voor Frege en Russell zijn de stellingen van de logica en de wiskunde volkomen onafhankelijk van de zintuiglijke ervaring, en voor hun waarheid alleen afhankelijk van de structuren van de abstracte wereld die zij beschrijven – een wereld die voor de mens toegankelijk wordt gemaakt door het licht van de zuivere rede. Deze visie werd later enigszins gecompromitteerd door de assimilatie van logica en wiskunde tot tautologie en conventie door de logisch positivisten. Bij de latere Wittgenstein wordt echter het hele onderscheid tussen logische en empirische waarheid onduidelijk. Logica, bijvoorbeeld, is een geheel van praktijken en dus een taal, perfect in orde zoals ze is; wat in de logica telt als een correcte toepassing van een term of een toelaatbare gevolgtrekking, hangt dus alleen af van wat logici doen. Net als bij woordbetekenissen in meer alledaagse contexten, gaat het om de vaste gewoonten van degenen die de taal in kwestie gebruiken. Omdat deze opvattingen kunnen veranderen, is de betekenis echter niet – althans niet in beginsel – vast en onveranderlijk. De regels die het gemeenschappelijk gebruik weerspiegelen, met inbegrip van zelfs fundamentele natuurkundige beginselen en de wetten van de logica zelf, kunnen veranderen, op voorwaarde dat voldoende van de betrokken taalgemeenschap oude woorden op nieuwe manieren begint te gebruiken. De zekerste en meest zekere waarheden kunnen op samenhangende wijze worden verworpen, aangezien de regels die eraan ten grondslag liggen op passende wijze zijn veranderd. Er zijn geen “hogere” regels waarmee deze veranderingen kunnen worden geëvalueerd.

Op dit punt opent zich een ongemakkelijke visie. Het idee van waarheid zelf lijkt een notie van juistheid bij de toepassing van woorden te veronderstellen. Als men een nijlpaard een koe noemt, behalve in metaforische of analoge zin, dan heeft men vermoedelijk iets verkeerd gedaan. Maar als de regel voor de toepassing van het woord koe volledig is afgeleid van de linguïstische praktijk, wat zou dan maken dat dit geval louter een vergissing is en niet een verandering van de regel – en dus een verandering van wat het woord koe betekent? Een adequaat antwoord op deze vraag lijkt te vereisen dat men zich afvraagt wat het betekent dat een regel “van kracht” is. Wittgenstein suggereert in sommige passages dat dit begrip geen inhoud heeft: in normale tijden danst iedereen in de maat, en meer is er niet aan de hand. Deze suggestie wordt met name gewekt in de discussie over het volgen van regels in de Philosophical Investigations. Het is niettemin duidelijk dat Wittgenstein geloofde dat het onderscheid tussen vergissing en vernieuwing gemaakt kon worden.